大模型推理及训练的分布式传输方法及系统

本发明涉及大模型分布式数据传输，特别涉及一种大模型推理及训练的分布式传输方法及系统。

背景技术：

1、大模型的推理和训练是人工智能领域中的重要环节，它们涉及到复杂的算法和大量的计算资源。

2、相关技术中，在涉及本地终端与模型所在服务器的过程当中，通常在本地终端侧进行数据处理，生成供服务器处理的样本数据，之后，本地终端将样本数据发送至服务器当中，服务器中预存的大模型将对样本数据进行处理，或基于样本数据进行训练，从而达到结果生成或模型训练的目的。

3、然而，上述方法对于本地终端数据的保密性较差，容易造成用户的隐私泄露问题。

技术实现思路

1、本发明关于一种大模型推理及训练的分布式传输方法及系统，能够降低服务器端的数据处理量，并且提高客户端的隐私安全性，该技术方案如下：

2、一方面，提供了一种大模型推理及训练的分布式传输方法，该方法应用于大模型推理及训练的分布式传输系统中，系统包括客户端以及服务器；

3、客户端与服务器通信连接；

4、客户端配置有第一模型模块，服务器配置有第二模型模块，第一模型模块与第二模型模块组合后可得到目标大模型；

5、该方法包括：

6、客户端接收模型输入数据以及与模型输入数据对应的模型目标指令；将模型输入数据以及模型目标指令输入第一模型模块，输出得到模型中间处理结果，将中间处理结果以及模型目标指令发送至服务器；

7、服务器接收中间处理结果以及模型目标指令；将中间处理结果以及目标模型指令输入第二模型模块中，输出得到模型处理结果，模型处理结果与模型目标指令中指示的结果输出类型对应；向客户端反馈模型处理结果。

8、在一个可选的实施例中，该方法还包括：

9、服务器获取目标大模型；基于纵向联邦学习技术对目标大模型进行拆分，得到第一模型模块以及第二模型模块；将第一模型模块发送至客户端；

10、客户端，接收并配置第一模型模块。

11、在一个可选的实施例中，客户端将中间处理结果以及模型目标指令发送至服务器端，包括：

12、客户端基于中间结果以及模型目标指令，结合远程过程调用框架gprc分布式通信技术，生成至少一组分布式传输数据；将分布式传输数据发送至服务器。

13、在一个可选的实施例中，分布式传输数据的格式包括消息头部分以及数据部分；

14、消息头部分包括消息类型字部分、节点标识字部分以及消息码字部分。

15、在一个可选的实施例中，客户端结合远程过程调用框架gprc分布式通信技术，生成至少一组分布式传输数据之后，包括：

16、客户端对分布式传输数据进行压缩并切分，得到数据分片。

17、在一个可选的实施例中，服务器接收中间处理结果以及模型目标指令，包括：

18、服务器接收数据分片；

19、对数据分片进行解压以及合并，得到中间处理结果以及模型目标指令。

20、在一个可选的实施例中，该方法还包括：

21、客户端向服务器发送握手请求；

22、服务器接收握手请求；基于握手请求发送验证证书；

23、客户端以及服务器基于验证证书交换密钥；响应于密钥交换完成，建立通信连接。

24、在一个可选的实施例中，模型目标指令包括训练指令、结果输出指令、模型切分指令、模型加载指令以及模型推理指令。

25、另一方面，提供了一种大模型推理及训练的分布式传输系统，该系统包括客户端以及客户端与服务器通信连接；

26、客户端配置有第一模型模块，服务器配置有第二模型模块，第一模型模块与第二模型模块组合后可得到目标大模型；

27、系统用于执行如上任一的大模型推理及训练的分布式传输方法。

28、在一个可选的实施例中，客户端配置有第一网卡以及第一图形处理器（graphicsprocessing unit，gpu）模块，服务器端配置有第二网卡以及第二gpu模块；

29、第一网卡与第一gpu模块通信连接，第二网卡与第二gpu模块通信连接。

30、本发明提供的技术方案带来的有益效果至少包括：

31、通过在服务器与客户端中进行分布式服务器模型模块的配置，并由客户端在进行初步的数据处理后，将中间数据发送至服务器，在服务器中对应的模型模块进行处理的情况下，实现了服务器与客户端之间对于大模型的分布式部署以及共同应用，从而降低服务器端的数据处理量，同时提高客户端的隐私安全性。

技术特征：

1.一种大模型推理及训练的分布式传输方法，其特征在于，所述方法应用于大模型推理及训练的分布式传输系统中，所述系统包括客户端以及服务器；

2.根据权利要求1所述的大模型推理及训练的分布式传输方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的大模型推理及训练的分布式传输方法，其特征在于，所述客户端将所述中间处理结果以及所述模型目标指令发送至服务器，包括：

4.根据权利要求3所述的大模型推理及训练的分布式传输方法，其特征在于，所述分布式传输数据的格式包括消息头部分以及数据部分；

5.根据权利要求3所述的大模型推理及训练的分布式传输方法，其特征在于，所述客户端结合远程过程调用框架gprc分布式通信技术，生成至少一组分布式传输数据之后，包括：

6.根据权利要求5所述的大模型推理及训练的分布式传输方法，其特征在于，所述服务器接收所述中间处理结果以及所述模型目标指令，包括：

7.根据权利要求3所述的大模型推理及训练的分布式传输方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的大模型推理及训练的分布式传输方法，其特征在于，所述模型目标指令包括训练指令、结果输出指令、模型切分指令、模型加载指令以及模型推理指令。

9.一种大模型推理及训练的分布式传输系统，其特征在于，所述系统包括客户端以及服务器；

10.根据要求9所述的大模型推理及训练的分布式传输系统，其特征在于，所述客户端配置有第一网卡以及第一图形处理器gpu模块，所述服务器端配置有第二网卡以及第二gpu模块；

技术总结本发明涉及一种大模型推理及训练的分布式传输方法及系统，涉及大模型分布式数据传输技术领域。该方法包括：客户端接收模型输入数据以及与模型输入数据对应的模型目标指令；将模型输入数据以及模型目标指令输入第一模型模块，输出得到模型中间处理结果，将中间处理结果以及模型目标指令发送至服务器；服务器将中间处理结果以及目标模型指令输入第二模型模块中，输出得到模型处理结果。在服务器中对应的模型模块进行处理的情况下，实现了服务器与客户端之间对于大模型的分布式部署以及共同应用，从而降低服务器端的数据处理量，同时提高客户端的隐私安全性。技术研发人员：孙龙,陆吕健,车静文,范秋枫,曹祥,刘洋受保护的技术使用者：清华大学无锡应用技术研究院技术研发日：技术公布日：2024/12/23