技术新讯 > 电子通信装置的制造及其应用技术 > 数据配置方法、装置、存储介质及电子设备与流程  >  正文

数据配置方法、装置、存储介质及电子设备与流程

  • 国知局
  • 2024-10-21 14:32:56

本申请涉及数据处理,更具体的说是涉及一种数据配置方法、装置、存储介质及电子设备。

背景技术:

1、伴随着集中式存储、分布式存储以及云数据库的普及,应用服务有越来越多的数据需要从网络中获取,这就对网络的交换速度和性能要求越来越高。例如,ai(人工智能)分布式训练场景下,工作负载一般运行在各个节点的容器中,节点间通过rdma(remotedirect memoryaccess,远程直接内存访问)通信,从而满足ai分布式训练任务的高带宽、低时延需求。

2、若需要通过rdma通信进行数据传输,需要对其进行相关配置,如何准确配置以保证对应容器的正常应用已成为需要解决的问题。

技术实现思路

1、有鉴于此,本申请提供如下技术方案:

2、一种数据配置方法,包括:

3、对能够实现远程直接内存访问rdma通信模式的虚拟网卡的目标字段进行监测;

4、在检测到所述虚拟网卡的目标字段的变化事件的情况下,将所述目标字段所表征的命名空间的配置数据同步至容器资源在第一通信模式和第二通信模式的配置信息中;

5、其中,所述目标字段设置于所述虚拟网卡的配置空间中,用于表征所述虚拟网卡在容器分配的独立命名空间的标识信息。

6、可选地,还包括:

7、配置基于主机的物理网卡的虚拟网卡,在确定所述物理网卡支持rdma的情况下设置所述虚拟网卡的目标字段,并赋予初始值。

8、可选地,还包括:

9、在目标容器应用为所述容器分配虚拟网卡的情况下,获得所述容器对应的独立命名空间的配置信息;

10、基于所述独立命名空间的配置信息,修改所述虚拟网卡的目标字段的初始值到当前值。

11、可选地,所述虚拟网卡的目标字段的变化事件包括:所述虚拟网卡的目标字段的初始值变化为所述当前值;

12、其中,所述方法还包括:

13、若检测到所述容器对应的命名空间发生变化,更新所述独立命名空间的配置信息;

14、基于更新后的独立命名空间的配置信息,更新所述虚拟网卡的目标字段的当前值;

15、基于更新后的所述目标字段的当前值,更新所述目标字段。

16、可选地,所述第一通信模式包括以太网通信模式,所述第二通信模式包括rdma通信模式,所述将所述目标字段所表征的命名空间的配置数据同步至容器资源在第一通信模式和第二通信模式的配置信息中,包括:

17、将所述目标字段所表征的命名空间的配置数据同步至所述以太网通信模式对应的内核协议栈以及所述rdma通信模式对应的rdma协议栈;其中,容器应用平台基于所述内核协议栈的配置信息进行以太网络通信模式的数据传输,所述容器应用平台基于所述rdma协议栈的配置信息进行rdma通信模式的数据传输。

18、可选地,还包括:

19、若所述容器应用平台生成资源调用请求,对所述资源调用请求进行解析,确定与所述资源调用请求对应的目标通信模式;

20、基于与所述目标通信模式对应的独立命名空间,获得与所述目标通信模式对应的目标容器资源信息;

21、基于所述目标容器资源信息响应所述资源调用请求。

22、一种数据配置装置,包括:

23、监测单元,用于对能够实现远程直接内存访问rdma通信模式的虚拟网卡的目标字段进行监测;

24、同步单元,用于在检测到所述虚拟网卡的目标字段的变化事件的情况下,将所述目标字段所表征的命名空间的配置数据同步至容器资源在第一通信模式和第二通信模式的配置信息中;

25、其中,所述目标字段设置于所述虚拟网卡的配置空间中,用于表征所述虚拟网卡在容器分配的独立命名空间的标识信息。

26、可选地,还包括:

27、设置单元,用于配置基于主机的物理网卡的虚拟网卡,在确定所述物理网卡支持rdma的情况下设置所述虚拟网卡的目标字段,并赋予初始值。

28、一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述中任一项所述的数据配置方法。

29、一种电子设备,所述电子设备可以包括:

30、存储器,用于存储应用程序和所述应用程序运行所产生的数据;

31、处理器,用于执行所述应用程序,以实现如上述中任一项所述的数据配置方法。

技术特征:

1.一种数据配置方法,包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求2所述的方法,还包括:

4.根据权利要求3所述的方法,所述虚拟网卡的目标字段的变化事件包括:所述虚拟网卡的目标字段的初始值变化为所述当前值;

5.根据权利要求1所述的方法,所述第一通信模式包括以太网通信模式,所述第二通信模式包括rdma通信模式,所述将所述目标字段所表征的命名空间的配置数据同步至容器资源在第一通信模式和第二通信模式的配置信息中,包括:

6.根据权利要求5所述的方法,还包括:

7.一种数据配置装置,包括:

8.根据权利要求7所述的数据配置装置,还包括:

9.一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至6中任一项所述的数据配置方法。

10.一种电子设备,所述电子设备可以包括:

技术总结本申请公开了一种数据配置方法、装置、存储介质及电子设备,该方法包括:对能够实现远程直接内存访问RDMA通信模式的虚拟网卡的目标字段进行监测;在检测到虚拟网卡的目标字段的变化事件的情况下,将目标字段所表征的命名空间的配置数据同步至容器资源在第一通信模式和第二通信模式的配置信息中;其中,目标字段设置于虚拟网卡的配置空间中,用于表征虚拟网卡在容器分配的独立命名空间的标识信息。技术研发人员:李蕾,吉敏,刘冰受保护的技术使用者:联想(北京)有限公司技术研发日:技术公布日:2024/10/17

本文地址:https://www.jishuxx.com/zhuanli/20241021/318541.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。