一种面向差异化QoS保障的链路汇聚节点缓存方法

本发明属于信息工程领域，具体涉及一种面向差异化qos保障的链路汇聚节点缓存方法。

背景技术：

1、缓存设计是指在不同网络性能边界的要求下设计缓存容量的最大/最小值。作为通信网络节点的关键网络设备，以太网交换机或者路由器的性能直接影响网络的整体性能，进而影响用户的通信体验。缓存设计技术广泛应用于基于存储转发的交换设备中，如路由器、交换机。存储转发机制中，在输出端口流量控制情况下或者接收的数据帧未能及时调度到发送端口情况下，数据帧就需要存储下来。因此，缓存容量直接影响丢包率和时延，如果缓存容量太大，队列的丢包率可以满足要求，但时延不能得到保障；反之，如果缓存容量太小，数据包时延可以满足要求，但丢包率可能得不到保障。目前的缓存设计方法主要包括两大类：非自适应缓存设计和动态自适应缓存设计。

2、其中，非自适应缓存设计主要包括经验法则、极小缓冲区规则、基于丢包率的缓冲区规则以及基于排队论的缓存设计规则。具体来说，经验法则将节点的缓冲区大小设置为略大于网络的带宽-延迟乘积(bandwidth-delay product，bdp)，即b=rtt*c。该法则的主要依据是最大化网络接口带宽利用率。极小缓冲区规则（tiny buffer rule）是将缓冲区大小设置为，其中 w表示平均tcp窗口大小。该方法通过牺牲部分链路利用率（约为10~15%）来降低缓存大小，但前提是核心瓶颈链路的聚合流量服从泊松分布。基于丢包率的缓存法则根据丢包率的变化来设计缓冲区大小，此方法的目标是在充分利用瓶颈带宽的同时确保丢包率不会超过一个给定的上限。基于排队论的缓存设计是基于流量特性来确定缓冲区大小，即给定一个输入流量模型和服务模型，利用排队论分析队列长度分布，得到合适的缓冲区大小。

3、当前大部分缓存设计方法都建立在严格假设的数学模型之上，但是由于网络流量特征的时变性与复杂性，很难找到一个精确的数学模型描述网络的行为特征，为此动态自适应缓存设计应运而生。现有技术中一种动态自适应的缓存设计算法adt（adaptive drop-tail），该算法实时测量链路的利用率水平，根据当前利用率水平与目标利用率的关系动态改变可用缓存阈值，在保证高利用率的同时最小化排队延迟。adt通过对可用缓存空间的变化反馈到源端以改变流量的到达特征，这种方法成立的关键在于流量的到达是弹性的。然而，队列参数的调整可能引起队列振荡或其他不稳定性现象。现有技术中的一种动态自适应缓存设计策略，该策略根据传入事件的传输时间不断对缓存大小进行更新修正，从而为每个传入事件争取了适当的重新排序时间，缓解乱序传输问题。仿真结果表明，较于静态缓存设计，动态缓存设计方法能够降低传输时延，同时能够处理更多的乱序数据，此外其动态特性能够应对网络环境的突变。针对5g场景下由静态缓存耗尽而导致的低时延业务逗留时间过大的问题，现有技术中5g-bdp算法，仿真验证表明，所提出的算法在保持链路利用率最大化(0.99947-0.99949)的同时将时延降低至最小(9.12ms-9.43ms)。

4、综上所述，非自适应缓存设计方法能够有效降低硬件成本，自适应缓存设计方法对于网络状态的适应能力更强。然而，随着网络规模的扩大和网络业务的个性化发展趋势，如何实现网络业务的差异化服务是一个值得关注的问题。

技术实现思路

1、本发明针对当前无论是非自适应缓存设计方法还是动态自适应缓存设计方法，都未曾考虑网络业务的差异化服务问题，提供了一种面向差异化qos保障的链路汇聚节点方法，将网络业务划分为时延敏感业务、带宽敏感业务、可靠性敏感业务，并基于dqn（deep q-learning network，深度强化学习实现3种业务类型下链路汇聚节点缓存的动态调整，利用实现对路由器等网络流量汇聚节点缓存的动态调整，以增强汇聚节点对于网络业务的差异化服务能力。

2、为解决以上技术问题，本发明提供如下技术方案：一种面向差异化qos保障的链路汇聚节点缓存方法，包括如下步骤：

3、s1、针对网络业务进行差异化业务分类，分类为三种类型业务：时延敏感业务、带宽敏感业务和可靠性敏感业务；

4、s2、构建dqn缓存动态调整策略：针对三种类型业务分别将汇聚节点缓存中的当前队列长度、出队速率、排队时延三个状态作为dqn缓存动态调整的依据，得到对应的动态调整结果：动态增加或者减少缓存空间。

5、s3、构建dqn缓存动态调整策略的智能体，该智能体包括主q网络和目标q网络；

6、将汇聚节点的缓存空间作为dqn智能体的环境，并将缓存空间中的当前队列长度、出队速率、当前排队时延作为状态空间用于dqn智能体的训练，定义dqn智能体的动作空间为：增大缓存容量和减小缓存容量；基于差异化业务分类，将奖励函数分为时延奖励、吞吐量奖励、丢包率奖励，并加权求和得到总奖励；采用策略选择当前状态下奖励函数最大化的动作；

7、利用dqn缓存动态调整策略训练智能体：主q网络用于评估当前策略，目标q网络通过提供一个稳定的目标q值稳定训练过程，并且在训练过程中采用经验回放机制，使用目标q网络计算下一状态下所有动作的q值，选择最大q值计算目标q值，使用主q网络计算当前状态下动作的q值，计算当前状态下动作的q值与目标q值之间的损失，然后不断更新主q网络，直到达到预设训练次数，得到面向差异化qos保障的链路汇聚节点缓存模型；

8、s4、以不同类型的网络业务为输入，利用面向差异化qos保障的链路汇聚节点缓存模型，输出相应网络业务的缓存策略。

9、进一步地，前述的步骤s2包括以下子步骤：

10、s201、对汇聚节点缓存容量 b进行初始化；

11、s202、根据当前队列长度、出队速率、排队时延状态执行动作0或动作1；

12、s203、若执行动作0，则在当前缓存空间的基础上增加1个数据包容量，为了避免缓存容量过大，当增加至缓存容量上限 u时，停止继续增加缓存空间；

13、s204、若执行动作1，则在当前缓存空间的基础上减小1个数据包容量，为了避免缓存容量为0，当减小至缓存容量下限 l时，停止继续减小缓存空间；

14、s205、判断当前汇聚节点缓存中是否存在队列，是则返回执行步骤s202，否则结束动态调整。

15、进一步地，前述的dqn缓存动态调整策略的智能体中，主q网络和目标q网络结构相同；主q网络、以及目标q网络均包括输入层、隐藏层、全连接层、以及输出层：

16、所述输入层：用于接收输入状态数据，输入层包括3个输入单元，分别对应汇聚节点缓存区内的当前队列长度、出队速率、排队时延3个状态；

17、所述隐藏层：用于对输入的状态数据进行非线性变换和特征提取，并将输入的状态数据映射到更高维度的表示空间中；

18、所述全连接层：用于整合隐藏层的特征信息，并将这些信息转化为缓存调整策略的输出；所述输出层：用于将输出转换为动作概率，输出层包括2个输出单元，采用softmax激活函数实现动作0或动作1的概率输出。

19、进一步地，前述的步骤s3中，时延奖励、吞吐量奖励、丢包率奖励、总奖励具体为：

20、时延奖励：

21、,（1）

22、其中， d target表示队列在缓存中的目标排队时延， d current表示当前队列的排队时延，通过getseconds()函数获取， d current越小则 reward delay越接近 d target；

23、吞吐量奖励：, （2）

24、其中， r dequeue表示队列的出队速率， r phy表示瓶颈链路的物理带宽， r dequeue越逼近 r phy表明吞吐量越大；

25、丢包率奖励：, （3）

26、其中， packetlossrate表示当前丢包率， n dropped表示当前被丢弃的数据包个数， n enq表示当前成功入队的数据包个数；

27、总奖励：

28、，（4）

29、其中， w1、 w2、 w3分别对应时延奖励、吞吐量奖励、丢包奖励的权重，clip(*)表示剪裁函数，用于将奖励值限制在(-1,1)之间。

30、进一步地，前述的步骤s3中，策略的决策方式为：

31、， （5）

32、其中， a表示针对当前状态 s下做出的动作调整策略， m为(0,1)内的随机数,为探索率，当时，选择预期价值最大的动作；当时，随机选择一个参数调整动作， ，episode为训练回合数， s={ l current ，r duqueue ，d current}， l current表示当前队列长度， r dequeue表示出队速率， d curren t表示当前排队时延，是q网络的参数，q（s,a;θ）表示在神经网络参数为θ时，状态s下，智能体选择动作a的q值。

33、进一步地，前述的步骤s3中，目标q值计算公式如下：

34、 （6）

35、其中， r为当前奖励，为折扣因子，表示未来奖励的重要性， a’为下一个动作， s’表示下一个状态，为目标q网络的参数，表示在神经网络参数为，下一个状态状态 s’时，智能体选择下一个动作 a’的q值。

36、进一步地，前述的步骤s3中，计算当前状态下动作的q值与目标q值之间的损失，如下式，然后通过反向传播算法和梯度下降法更新主q网络的参数，以最小化该损失

37、 （7）。

38、相较于现有技术，本发明采用以上技术方案的有益技术效果如下：

39、 ns3网络拓扑仿真验证表明，较于fifo、red、codel三种主队管理算法中的固定缓存策略，本发明基于dqn缓存设计策略在大幅降低缓存容量的前提下，实现了平均传输时延最大降低2.7%、吞吐量最大提升1.38%、丢包率最大降低0.9%。上述结果表明，本发明提出的一种面向差异化qos保障的链路汇聚节点方法，能够在降低硬件成本的前提下，有效提升主动队列管理算法的传输时延、吞吐量、丢包率的性能，从而为差异化业务的qos保障提供了技术支撑。