技术新讯 > 电子通信装置的制造及其应用技术 > 数据交互方法、计算机设备、存储介质和程序产品与流程  >  正文

数据交互方法、计算机设备、存储介质和程序产品与流程

  • 国知局
  • 2024-08-02 14:33:23

本技术涉及通信,特别是涉及一种数据交互方法、计算机设备、存储介质和程序产品。

背景技术:

1、 目前容器通常在主机系统中部署,对于dpu(data processing unit,数据处理器)这种新兴设备缺少有效的使用方式,通常只将其作为普通网卡使用,其rdma(remotedirect memory access,远程直接数据存取)数据传输功能没有得到有效利用,例如在函数计算场景中,用户的函数之间通常存在调用关系,当运行在不同容器之间的函数相互调用时,通常采用基于以太网的tcp/ip(transmission control protocol/internetprotocol,传输控制协议/因特网互联协议,又名网络通讯协议)通信方式,尽管主机系统中配置的dpu卡支持rdma,但仅使用了其以太网的传输功能。

2、因此,亟需提出一种能够提高dpu卡资源利用率以及跨节点函数调用效率和数据交互安全性的数据交互方法、计算机设备、存储介质和程序产品。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高dpu卡资源利用率以及跨节点函数调用效率和数据交互安全性的数据交互方法、计算机设备、存储介质和程序产品。

2、第一方面,提供一种数据交互方法,所述方法包括:

3、响应于接收到数据处理请求时,在目标节点上部署容器,其中,所述目标节点至少包括基于主机系统生成的第一节点,定义所述第一节点为调用端所属节点;

4、基于数据通信守护组件和共享内存,构建数据传输通道,并生成对应的数据传输通道标识,其中,所述共享内存与所述容器中应用程序进程之间存在关联关系;

5、基于目标数据传输通道标识以及被调用端所属节点,确定调用端和被调用端之间的数据传输方式,其中,所述被调用端所属节点包括所述第一节点或基于dpu设备生成的第二节点;

6、基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互。

7、可选的,在接收数据处理请求之前,所述方法还包括:

8、响应于检测到所述第一节点和/或所述第二节点已启动时,基于数据通信守护组件的启动参数,启动并运行部署在所述第一节点和/或所述第二节点上的数据通信守护组件;

9、其中,所述启动参数至少包括用于运行所述数据通信守护组件的节点标识,以及用于支持目标传输方式的传输设备标识。

10、可选的,所述目标节点的确定方法包括:

11、解析所述数据处理请求,获取调用端和被调用端的节点标识;

12、响应于检测到所述调用端和被调用端的节点标识一致时,确定所述第一节点为所述目标节点;

13、响应于检测到所述调用端和被调用端的节点标识不一致时,确定所述第一节点和所述第二节点为所述目标节点。

14、可选的,响应于接收到数据处理请求时,在目标节点上部署容器包括:

15、响应于检测到所述调用端和被调用端的节点标识一致时,在所述第一节点上部署容器;

16、响应于检测到所述调用端和被调用端的节点标识不一致时,在所述第一节点和所述第二节点上部署容器。

17、可选的,在目标节点上部署容器之前,所述方法还包括:

18、在所述目标节点上安装用于提供容器运行环境的第一软件包,以及安装用于支持目标传输方式的第二软件包。

19、可选的,在目标节点上部署容器之后,所述方法还包括:

20、运行所述容器中的应用程序,以及基于套接字连接方式,建立调用端接口与设置于第一节点上的数据通信守护组件之间的通信连接,并连接到目标套接字端口,所述调用端接口包括以下至少一项:数据传输通道构建接口、数据传输通道初始化接口、数据发送接口、数据接收接口和数据传输通道销毁接口;

21、基于所述目标套接字端口,监听在响应所述数据处理请求时生成的消息类型;

22、基于所述消息类型,调用目标接口,以向数据通信守护组件发送所述消息类型对应的消息。

23、可选的,基于数据通信守护组件和共享内存,构建数据传输通道,并生成对应的数据传输通道标识包括:

24、响应于监听到的消息类型为构建数据传输通道时,基于容器中的应用程序调用数据传输通道构建接口,以向数据通信守护组件发送构建数据传输通道消息;

25、基于接收到的所述构建数据传输通道消息,利用所述数据通信守护组件注册数据传输通道,并生成对应的数据传输通道标识;

26、同时,利用所述数据通信守护组件记录调用端容器中的应用程序进程,以及向调用端返回所述数据传输通道标识。

27、可选的,所述方法还包括:

28、响应于检测到数据传输通道已注册成功时,基于容器中的应用程序调用数据传输通道初始化接口,以向数据通信守护组件发送初始化数据传输通道消息;

29、基于接收到的所述初始化数据传输通道消息,利用所述数据通信守护组件对所述数据传输通道进行初始化处理;

30、基于初始化处理后的数据传输通道,分配共享内存,以生成目标数据传输通道,所述目标数据传输通道至少包括通信接口、数据发送通道和数据接收通道;

31、同时,将所述共享内存与容器中应用程序进程进行关联。

32、可选的,在构建所述数据传输通道之前,所述方法还包括:

33、基于数据处理请求和安全等级之间的映射关系,确定所述数据处理请求的安全等级;

34、响应于检测到所述安全等级大于预设标准时,在构建所述数据传输通道时,对所述数据传输通道设置加密层,以对传输数据进行加密。

35、可选的,基于目标数据传输通道标识以及被调用端所属节点,确定调用端和被调用端之间的数据传输方式包括:

36、基于响应所述数据处理请求时生成的数据,确定目标数据传输通道标识;

37、基于所述目标数据传输通道标识,确定被调用端所属节点;

38、响应于检测到所述被调用端所属节点为所述第一节点时,确定调用端和被调用端之间的数据传输方式为通过数据通信守护组件进行直接拷贝;

39、响应于检测到所述被调用端所属节点为所述第二节点时,确定调用端和被调用端之间的数据传输方式为通过数据通信守护组件基于远程直接数据存取方式进行拷贝。

40、可选的,基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互包括:

41、响应于检测到被调用端所属节点为所述第一节点时,将响应所述数据处理请求时生成的数据写入调用端的数据发送通道所属共享内存;

42、基于数据发送接口,向数据通信守护组件发送数据发送消息;

43、基于接收到的数据发送消息,利用数据通信守护组件将数据直接拷贝至被调用端的数据接收通道所属共享内存,以实现调用端向被调用端的数据传输。

44、可选的,基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互包括:

45、响应于检测到被调用端所属节点为所述第二节点时,将响应所述数据处理请求时生成的数据写入调用端的数据发送通道所属共享内存;

46、基于数据发送接口,向数据通信守护组件发送数据发送消息;

47、基于接收到的数据发送消息,利用数据通信守护组件以远程直接数据存取方式将数据拷贝至被调用端的数据接收通道所属共享内存,以实现调用端向被调用端的数据传输。

48、可选的,基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互包括:

49、响应于检测到被调用端所属节点为所述第一节点时,将基于数据生成的任务执行结果写入被调用端发送通道所属共享内存;

50、基于数据接收接口,向数据通信守护组件发送数据接收消息;

51、基于接收到的数据接收消息,利用数据通信守护组件将任务执行结果直接拷贝至调用端的数据接收通道所属共享内存,以实现被调用端向调用端的数据传输。

52、可选的,基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互包括:

53、响应于检测到被调用端所属节点为所述第二节点时,将基于数据生成的任务执行结果写入被调用端发送通道所属共享内存;

54、基于数据接收接口,向数据通信守护组件发送数据接收消息;

55、基于接收到的数据接收消息,利用数据通信守护组件以远程直接数据存取方式将任务执行结果拷贝至调用端的数据接收通道所属共享内存,以实现被调用端向调用端的数据传输。

56、可选的,在将数据传输至被调用端之后,所述方法还包括:

57、基于所述被调用端执行所述数据对应的任务,并将任务执行结果写入被调用端的数据发送通道所属共享内存;

58、通过目标数据传输方式将任务执行结果从被调用端的数据发送通道所属共享内存传输至调用端的数据接收通道所属共享内存。

59、可选的,所述方法还包括:

60、响应于从调用端的数据接收通道所属共享内存读取到数据处理请求对应的执行结果时,判断所述数据处理请求已处理完成。

61、可选的,所述方法还包括:

62、响应于检测到所述数据处理请求已处理完成时,基于数据传输通道销毁接口,向数据通信守护组件发送销毁数据传输通道消息;

63、基于接收到的销毁数据传输通道消息,利用数据通信守护组件对目标数据传输通道进行销毁,以释放对应的共享内存。

64、第二方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

65、响应于接收到数据处理请求时,在目标节点上部署容器,其中,所述目标节点至少包括基于主机系统生成的第一节点,定义所述第一节点为调用端所属节点;

66、基于数据通信守护组件和共享内存,构建数据传输通道,并生成对应的数据传输通道标识,其中,所述共享内存与所述容器中应用程序进程之间存在关联关系;

67、基于目标数据传输通道标识以及被调用端所属节点,确定调用端和被调用端之间的数据传输方式,其中,所述被调用端所属节点包括所述第一节点或基于dpu设备生成的第二节点;

68、基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互。

69、第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

70、响应于接收到数据处理请求时,在目标节点上部署容器,其中,所述目标节点至少包括基于主机系统生成的第一节点,定义所述第一节点为调用端所属节点;

71、基于数据通信守护组件和共享内存,构建数据传输通道,并生成对应的数据传输通道标识,其中,所述共享内存与所述容器中应用程序进程之间存在关联关系;

72、基于目标数据传输通道标识以及被调用端所属节点,确定调用端和被调用端之间的数据传输方式,其中,所述被调用端所属节点包括所述第一节点或基于dpu设备生成的第二节点;

73、基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互。

74、第四方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现以下步骤:

75、响应于接收到数据处理请求时,在目标节点上部署容器,其中,所述目标节点至少包括基于主机系统生成的第一节点,定义所述第一节点为调用端所属节点;

76、基于数据通信守护组件和共享内存,构建数据传输通道,并生成对应的数据传输通道标识,其中,所述共享内存与所述容器中应用程序进程之间存在关联关系;

77、基于目标数据传输通道标识以及被调用端所属节点,确定调用端和被调用端之间的数据传输方式,其中,所述被调用端所属节点包括所述第一节点或基于dpu设备生成的第二节点;

78、基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互。

79、上述数据交互方法、计算机设备、存储介质和程序产品,所述方法包括:响应于接收到数据处理请求时,在目标节点上部署容器,其中,所述目标节点至少包括基于主机系统生成的第一节点,定义所述第一节点为调用端所属节点;基于数据通信守护组件和共享内存,构建数据传输通道,并生成对应的数据传输通道标识,其中,所述共享内存与所述容器中应用程序进程之间存在关联关系;基于目标数据传输通道标识以及被调用端所属节点,确定调用端和被调用端之间的数据传输方式,其中,所述被调用端所属节点包括所述第一节点或基于dpu设备生成的第二节点;基于目标数据传输通道和目标数据传输方式,实现响应数据处理请求时生成数据在调用端和被调用端之间的数据交互,本技术可以提高dpu卡资源利用率,从而提升系统负载能力,以及可以降低通信时延,提高跨节点函数调用效率和数据交互安全性。

本文地址:https://www.jishuxx.com/zhuanli/20240801/243135.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。