流量负载均衡方法、装置、电子设备及介质

本发明属于通信网络，具体涉及一种流量负载均衡方法、装置、电子设备及介质。

背景技术：

1、随着大数据、云计算和现代网络技术的持续发展，数据中心网络(datacenternetwork，dcn)规模不断扩大、内部数据流量剧增，这对dcn的带宽性能和网络需求提出了更高的要求。而在云端网络中，流量可分为大流和小流：90％的数据流属于小流。少数大流会产生小流，从而使网络环境发生剧烈变化，最终导致链路拥塞。此外，大量的数据包容易占据交换机的缓存队列，形成线头阻塞，使小流的延时增加，dcn通常使用等价多路径算法包括ecmp，该算法通过哈希函数将网络中的每一条流均匀地分配到路径上，但是ecmp算法无法感知网络中是否存在拥塞状态。当网络中存在大流时，ecmp会将多条大流分配到同一条链路或路径上，从而使网络出现拥塞或加重其拥塞，网络的吞吐量大幅下降。网络环境变化速度快，传统的负载均衡方案缺乏实时性，且易造成网络负载。

2、因此，针对上述技术问题，有必要提供一种流量负载均衡方法、装置、电子设备及介质。

技术实现思路

1、本发明的目的在于提供一种流量负载均衡方法、装置、电子设备及介质，其能够解决传统的负载均衡方法缺乏实时性、易造成网络负载加重拥塞的技术问题。

2、为了实现上述目的，本发明一具体实施例提供的了一种流量负载均衡方法，所述方法包括：

3、sdn控制器基于无人机群的网路信息输出网路状态，以供强化学习模块基于网路状态给出流量分配策略，所述流量分配策略用于所述无人机群的目标网络流量路径的重新分配；

4、所述sdn控制器将流量分配策略下发至无人机群后再次获取无人机群的网路信息；

5、所述sdn控制器根据无人机群在流量重新分配后的网络信息再次输出网路状态以供强化学习模块基于网路状态产生奖励，所述奖励用于更新强化学习模块。

6、在本发明的一个或多个实施方式中，所述方法还包括：所述sdn控制器基于无人机群的网路信息输出预测网路状态，以供所述强化学习模块基于预测网路状态给出流量预分配策略，所述流量预分配策略用于所述无人机群目标网络流量路径发生拥堵前对目标网络流量路径重新分配。

7、在本发明的一个或多个实施方式中，所述方法还包括：

8、所述强化学习模块通过q值评价流量分配策略在当前状态下获得的奖励，所述q值通过ddqn模型进行选择，所述q值通过cnn模型进行计算；

9、所述ddqn模型包括主网络和目标网络，所述主网络用于估计分配策略获得的奖励，所述目标网络用于选择分配策略；

10、所述cnn模型中q＝(s，a；θ)；其中，s为状态空间，a为分配策略，θ表示网络的权重。

11、在本发明的一个或多个实施方式中，所述方法还包括：

12、所述网路状态包括所述无人机群交换机的端口负载和链路带宽，所述网路状态的状态空间在强化学习模块中转化为cnn图像，所述cnn图像用于反应无人机群中每个交换机的状态。

13、在本发明的一个或多个实施方式中，所述流量分配策略包括在所述无人机群中构建链路列表，所述链路列表用于将目标网络流量从源地址传递到目的地址，所述流量分配策略与目标网络流量路径对应，所述链路列表包括单个节点和/或多个节点到单个节点和/或多个节点的流量路径。

14、在本发明的一个或多个实施方式中，所述奖励包括大流奖励和小流奖励，所述大流奖励的评价参数包括高吞吐量和低丢包率中的至少一个，所述小流奖励的评价参数包括低延迟和低丢包率中的至少一个。

15、在本发明的一个或多个实施方式中，所述ddqn模型还包括经验池，所述经验池用于存储状态空间s、分配策略a、奖励以及使用分配策略a的下一个状态空间；所述ddqn模型对经验池进行采样以进行更新。

16、在本发明的另一个方面当中，提供了一种流量负载均衡装置，所述装置包括：

17、分配模块，用于sdn控制器基于无人机群的网路信息输出网路状态，以供强化学习模块基于网路状态给出流量分配策略，所述流量分配策略用于所述无人机群的目标网络流量路径的重新分配；

18、发送模块，用于所述sdn控制器将流量分配策略下发至无人机群后再次获取无人机群的网路信息；

19、更新模块，用于所述sdn控制器根据无人机群在流量重新分配后的网络信息再次输出网路状态以供强化学习模块基于网路状态产生奖励，所述奖励用于更新强化学习模块。

20、在本发明的另一个方面当中，提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行流量负载均衡方法。

21、在本发明的另一个方面当中，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现流量负载均衡方法的步骤。

22、与现有技术相比，本发明的流量负载均衡方法，其能够实时监测网路状态，动态调整流量分配策略，以适应网络流量的动态变化，当无人机群的目标网络流量路径发生拥塞时，对目标网络流量路径进行重新分配，以提高网络资源利用率，降低网络拥塞，确保网络稳定运行。

技术特征：

1.一种流量负载均衡方法，其特征在于，所述方法包括：

2.根据权利要求1所述的流量负载均衡方法，其特征在于，所述方法还包括：所述sdn控制器基于无人机群的网路信息输出预测网路状态，以供所述强化学习模块基于预测网路状态给出流量预分配策略，所述流量预分配策略用于所述无人机群目标网络流量路径发生拥堵前对目标网络流量路径重新分配。

3.根据权利要求1所述的流量负载均衡方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的流量负载均衡方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的流量负载均衡方法，其特征在于，所述流量分配策略包括在所述无人机群中构建链路列表，所述链路列表用于将目标网络流量从源地址传递到目的地址，所述流量分配策略与目标网络流量路径对应，所述链路列表包括单个节点和/或多个节点到单个节点和/或多个节点的流量路径。

6.根据权利要求3所述的流量负载均衡方法，其特征在于，所述奖励包括大流奖励和小流奖励，所述大流奖励的评价参数包括高吞吐量和低丢包率中的至少一个，所述小流奖励的评价参数包括低延迟和低丢包率中的至少一个。

7.根据权利要求3所述的流量负载均衡方法，其特征在于，所述ddqn模型还包括经验池，所述经验池用于存储状态空间s、分配策略a、奖励以及使用分配策略a的下一个状态空间；所述ddqn模型对经验池进行采样以进行更新。

8.一种流量负载均衡装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至7中任一项所述的流量负载均衡方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的流量负载均衡方法的步骤。

技术总结本发明公开了一种流量负载均衡方法、装置、电子设备及介质，所述方法包括：SDN控制器基于无人机群的网路信息输出网路状态，以供强化学习模块基于网路状态给出流量分配策略，所述流量分配策略用于所述无人机群的目标网络流量路径的重新分配；所述SDN控制器将流量分配策略下发至无人机群后再次获取无人机群的网路信息；所述SDN控制器根据无人机群在流量重新分配后的网络信息再次输出网路状态以供强化学习模块基于网路状态产生奖励，所述奖励用于更新强化学习模块。本发明的流量负载均衡方法在无人机群的目标网络流量路径发生拥塞时，对目标网络流量路径进行重新分配，以提高网络资源利用率，降低网络拥塞，确保网络稳定运行。技术研发人员：胡峰,龙浩,缪树泉,胡杰英,毛旭初受保护的技术使用者：南京航空航天大学技术研发日：技术公布日：2024/11/14