数据处理方法、数据处理装置、系统、设备及介质与流程

本公开涉及计算机，特别涉及一种数据处理方法、数据处理装置、数据处理系统、电子设备及计算机可读存储介质。

背景技术：

1、大模型(large model，lm)可能具有超过千亿规模的巨量参数，这为大模型的部署和应用带来了巨大挑战。并且，随着用户对隐私性、时效性等需求的增长，在手机、笔记本电脑等端设备上本地部署大模型逐渐变得必要，这对降低大模型的存储空间和运算时的传输带宽提出了更高要求。

技术实现思路

1、本公开提供一种数据处理方法、数据处理装置、数据处理系统、电子设备及计算机可读存储介质。

2、第一方面，本公开提供了一种数据处理方法，该数据处理方法包括：对预设模型的目标网络层的网络参数进行静态压缩，得到所述目标网络层的第一目标网络参数；在获取到所述目标网络层的输入数据的情况下，根据所述输入数据对所述第一目标网络参数进行动态压缩，得到所述目标网络层的第二目标网络参数；将所述第二目标网络参数加载到目标设备，以供所述目标设备基于所述第二目标网络参数和所述输入数据进行处理，得到所述目标网络层的输出数据。

3、第二方面，本公开提供了一种数据处理装置，该数据处理装置包括：第一压缩模块，用于对预设模型的目标网络层的网络参数进行静态压缩，得到所述目标网络层的第一目标网络参数；第二压缩模块，用于在获取到所述目标网络层的输入数据的情况下，根据所述输入数据对所述第一目标网络参数进行动态压缩，得到所述目标网络层的第二目标网络参数；加载模块，用于将所述第二目标网络参数加载到目标设备，以供所述目标设备基于所述第二目标网络参数和所述输入数据进行处理，得到所述目标网络层的输出数据。

4、第三方面，本公开提供了一种数据处理系统，该数据处理系统包括：数据处理装置和目标设备；所述数据处理装置用于实现如本公开实施例中任一项所述的数据处理方法；所述目标设备用于根据所述数据处理装置加载的预设模型的目标网络层的第二目标网络参数与所述目标网络层的输入数据进行处理，得到所述目标网络层的输出数据。

5、第四方面，本申请提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例任一项所述的数据处理方法。

6、第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现本公开实施例任一项所述的数据处理方法。

7、本公开所提供的实施例，考虑到在芯片端部署模型时，若模型的网络参数的数据量过大，则对芯片的存储和带宽要求较大，基于此，在本公开实施例中，对预设模型的目标网络层的网络参数进行静态压缩，得到目标网络层的第一目标网络参数；在获取到目标网络层的输入数据的情况下，根据输入数据对第一目标网络参数进行动态压缩，得到目标网络层的第二目标网络参数；将第二目标网络参数加载到目标设备，以供目标设备基于第二目标网络参数和输入数据进行处理，得到目标网络层的输出数据。由此可知，在本公开实施例中，通过静态压缩和动态压缩两种方式对预设模型的目标网络层的网络参数进行压缩，可以有效减少网络参数的数据量，并且，在向目标设备加载网络参数时，仅需加载压缩后的第二目标网络参数即可，能够降低对目标设备的存储和带宽要求。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述输入数据对所述第一目标网络参数进行动态压缩，得到所述目标网络层的第二目标网络参数，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述输入数据的稀疏阈值，包括：

4.根据权利要求2所述的方法，其特征在于，所述确定所述输入数据的稀疏阈值，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述压缩比例，确定所述输入数据的稀疏阈值，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据所述稀疏阈值，以及所述输入数据与所述第一目标网络参数之间的对应关系对所述第一目标网络参数进行动态压缩，得到所述第二目标网络参数，包括：

7.根据权利要求1所述的方法，其特征在于，所述对预设模型的目标网络层的网络参数进行静态压缩，得到所述目标网络层的第一目标网络参数，包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，所述预设模型包括用于执行预设任务的大模型。

9.一种数据处理装置，其特征在于，包括：

10.一种数据处理系统，其特征在于，包括：数据处理装置和目标设备；

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-8中任一项所述的数据处理方法。

技术总结本公开提供了数据处理方法、数据处理装置、系统、设备及介质，属于计算机技术领域。该数据处理方法包括：对预设模型的目标网络层的网络参数进行静态压缩，得到目标网络层的第一目标网络参数；在获取到目标网络层的输入数据的情况下，根据输入数据对第一目标网络参数进行动态压缩，得到目标网络层的第二目标网络参数；将第二目标网络参数加载到目标设备，以供目标设备基于第二目标网络参数和输入数据进行处理，得到目标网络层的输出数据。根据本公开的实施例能够降低对目标设备的存储和带宽要求，提高模型推理速度。技术研发人员：刘发强,祝夭龙受保护的技术使用者：北京灵汐科技有限公司技术研发日：技术公布日：2024/7/29