一种基于负载评估的容器化RDMA应用迁移方法

本发明涉及虚拟化技术的容器迁移领域，尤其涉及一种基于负载评估的容器化rdma应用迁移方法。

背景技术：

1、随着云计算和大数据技术的发展，数据中心等大规模计算服务场景对高性能通信和稳定可扩展的计算服务需求日益增长，rdma(remote di rect memory access)技术因其高数据传输速度和低延迟特性，被广泛应用于高性能计算和大规模数据存储处理等场景。容器化技术则因其轻量级虚拟化特性，被广泛用于应用部署、提高应用可移植性、弹性和安全性；

2、目前主流的解决容器化rdma应用迁移问题的方案基本依赖rdma专用网卡，流程是要先暂停rdma连接，把容器迁移后，再通过注册mr(memory region)把网卡映射到节点当中，使网卡能通过mr访问到应用层的数据，而后再在新的计算节点上重新建立rdma连接，然后从初始化状态开始恢复，但这种迁移的不透明性，会导致数据传输的中断，从而影响应用的性能，增加应用的部署和维护难度，在一些负载不均衡场景下无法及时满足用户需求等情况，影响实际业务的连续性、便捷性、灵活性和效率性，除此之外，在实际应用中，随着devops技术的快速发展,应用版本更新的速度和频率快速上升，在一些互联网公司，每天10次的应用发布频率已成为基本标准配置，频繁的镜像更新，会导致每一次容器迁移都需要重新从注册表仓库中拉取新版镜像，再通过checkpo i nt来恢复原有状态，这受限于网络带宽和镜像大小的影响，在网络带宽等资源紧张时会影响容器迁移时间；

3、现有技术在实现容器化rdma应用迁移时存在依赖专用硬件、迁移时延过长、缺乏透明度等问题，这些问题限制了容器化rdma应用的灵活性和可扩展性；

4、针对现有虚拟化技术的容器迁移过程中的不足，现提出一种解决方案。

技术实现思路

1、本发明的目的在于设计一种更快的容器迁移方案，综合rdma热迁移技术和负载评估，在即将迁移的节点上预下载镜像，减少容器化rdma应用迁移的时间。

2、本发明的目的可以通过以下技术方案实现：一种基于负载评估的容器化rdma应用迁移方法，步骤一：负载评估器通过量化集群中各个节点的资源负载状态，并通过多阈值算法划分出负载处于正常范围的节点集群，结合容器运行的资源需求对可被迁移的节点进一步筛选；

3、步骤二：镜像预下载器负责在目标节点上预先下载容器镜像，以减少迁移过程中的延迟；

4、步骤三：迁移执行器负载执行容器的实时迁移，包括创建checkpoint、数据传输和容器恢复。

5、优选的，所述负载评估器包括：

6、负载评估模型：每个待迁移节点j有三个指标，cpu配置情况zj1，内存配置情况zj2和网络i/o配置情况zj3，每个指标对应的权重为k1，k2，k3，其中k1+k2+k3＝1，对不同的异构节点进行评估比较，我们设置一个标准节点nst，其cpu配置zst1，内存利用率zst2，网络i/o利用率zst3，得到任意一节点与标准节点的资源配置比即为对应指标的权重比如下：

7、

8、节点j的负载值为：

9、lj＝k1*nj1+k2*nj2+k3*nj3

10、其中，nj1代表待迁移节点j正在使用的cpu利用率，nj2代表待迁移节点j正在使用的内存利用率，nj3代表待迁移节点j正在使用的网络利用率；

11、多阈值算法：设定节点负载的两个阈值，分别是低位阈值th1、高位阈值th2，将th1设置为10％，将th2设置为90％，判断节点j的负载值lj与节点负载的两个阈值之间大小关系判定是否适合作为备选的被迁移节点。

12、优选的，所述判断节点j的负载值lj与节点负载的两个阈值之间大小关系具体为：

13、若lj小于th1则说明该节点j负载较少，不适合作为备选的被迁移节点；

14、若lj介于th1和th2间，则说明该节点j负载正常，可以作为备选的被迁移节点；

15、若lj大于th2，则说明节点j超载，不适合作为被迁移节点；

16、选择负载值在th1和th2间的待迁移节点作为可被迁移节点，后续用j表述；

17、基于容器占有的资源情况和节点可提供的资源情况，结合皮尔逊积矩相关系数来计算目标容器i和可被迁移的节点j间的相似程度y：

18、

19、其中，其中xi代表待迁移容器需求的资源向量，nj代表可被迁移的节点正在使用的资源向量，每一个向量均包含cpu利用率、内存利用率和网络i/o利用率，xi1代表容器i需求的cpu利用率，xi2代表容器i需求的内存利用率，xi3代表容器i需求的网络利用率，代表容器需求的cpu利用率xi1、内存利用率xi2和网络i/o利用率xi3的均值，nj1代表可被迁移节点j正在使用的cpu利用率，nj2代表可被迁移节点j正在使用的内存利用率，nj3代表可被迁移节点j正在使用的网络利用率，代表可被迁移节点资源中cpu利用率、内存利用率和网络i/o利用率的均值，y(xi,nj)代表第j个可被迁移节点nj与第i个待迁移容器xi的相似程度。

20、优选的，基于节点可提供的资源情况能满足容器运行占有的资源下，且所剩资源越多，说明该节点越适合作为容器迁移的首要选择，定义其为该节点适合容器迁移的满足率，满足率应为：

21、satisfy(xi,nj)＝1-y(xi,nj)

22、依据满足率大小进行排序，排名最靠前的一个或几个容器节点作为要迁移到的目标节点，负载评估器记录下这些目标节点的地址。

23、优选的，步骤二中，基于负载评估的量化结果选择最优的目标节点，拉取容器对应的镜像。

24、优选的，步骤三的具体操作为：在源节点上使用criu创建checkpoint，并生成容器迁移指令，将容器相关数据从源节点迁移到已拉取镜像的目标节点，并在目标节点使用criu从checkpoint中恢复容器状态。

25、本发明的有益效果如下：

26、1、本发明在迁移过程中rdma连接的恢复更快速且摆脱对专用网卡的依赖，能够预测并提前在迁移到的目标节点内部署最新版本镜像，提高数据传输效率并降低迁移时延，使得应用程序更加灵活和可扩展，可以根据实际需求进行快速部署和调整，从而适应不断变化的业务需求和流量负载；

27、2、本发明通过动态负载评估算法预选择了集群中最适合迁移的节点，并预先拉取对应容器的镜像版本，节省了容器迁移时不可避免的镜像下载部分，从而加速容器迁移执行过程。

28、3、本发明镜像预下载和迁移执行器两部分执行容器迁移，容器迁移时间可以稳定的保持毫米级别，节省了迁移过程中镜像下载动辄数十秒的镜像拉取部分，不受网络波动等影响，增加了容器迁移时间的稳定性。

技术特征：

1.一种基于负载评估的容器化rdma应用迁移方法，其特征在于，包括：

2.根据权利要求1所述的基于负载评估的容器化rdma应用迁移方法，其特征在于，所述负载评估器包括：

3.根据权利要求1所述的基于负载评估的容器化rdma应用迁移方法，其特征在于，所述判断节点j的负载值lj与节点负载的两个阈值之间大小关系具体为：

4.根据权利要求3所述的基于负载评估的容器化rdma应用迁移方法，其特征在于，基于节点可提供的资源情况能满足容器运行占有的资源下，且所剩资源越多，说明该节点越适合作为容器迁移的首要选择，定义其为该节点适合容器迁移的满足率，满足率应为：

5.根据权利要求4所述的基于负载评估的容器化rdma应用迁移方法，其特征在于，步骤二中，基于负载评估的量化结果选择最优的目标节点，拉取容器对应的镜像。

6.根据权利要求1所述的基于负载评估的容器化rdma应用迁移方法，其特征在于，步骤三的具体操作为：在源节点上使用criu创建checkpoint，并生成容器迁移指令，将容器相关数据从源节点迁移到已拉取镜像的目标节点，并在目标节点使用criu从checkpoint中恢复容器状态。

技术总结本发明公开了一种基于负载评估的容器化RDMA应用迁移方法，步骤一：负载评估器通过量化集群中各个节点的资源负载状态，并通过多阈值算法划分出负载处于正常范围的节点集群，结合容器运行的资源需求对可被迁移的节点进一步筛选，步骤二：镜像预下载器负责在目标节点上预先下载容器镜像，以减少迁移过程中的延迟，步骤三：迁移执行器负载执行容器的实时迁移。本发明在迁移过程中RDMA连接的恢复更快速且摆脱对专用网卡的依赖，能够预测并提前在迁移到的目标节点内部署最新版本镜像，提高数据传输效率并降低迁移时延，使得应用程序更加灵活和可扩展，可以根据实际需求进行快速部署和调整，从而适应不断变化的业务需求和流量负载。技术研发人员：李垚臻,李文信受保护的技术使用者：天津大学合肥创新发展研究院技术研发日：技术公布日：2024/12/12