AI模型的处理方法、终端及网络侧设备与流程

本申请属于通信，具体涉及一种ai模型的处理方法、终端及网络侧设备。

背景技术：

1、人工智能(artificial intelligence，ai)目前在各个领域获得了广泛的应用，通过将ai融入无线通信网络，可以显著提升吞吐量、降低时延以及提升用户容量等。

2、ai模型通常是由网络侧设备训练完成，并由网络侧设备发送给终端。终端在获取到ai模型后，无法确定是否能够压缩或量化该ai模型，在ai模型不允许压缩或量化的情况下，若终端对获取到的ai模型进行压缩或量化，则会造成ai模型的性能损失；反之，在ai模型允许压缩或量化的情况下，若终端没有对ai模型进行压缩或量化，则会占用过多的终端开销，例如，占用过多的存储开销、运算开销等。

技术实现思路

1、本申请实施例提供一种ai模型的处理方法、终端及网络侧设备，能够解决因终端无法确定是否能够压缩或者量化获取到的ai模型，造成ai模型的性能损失或占用过多的终端开销的问题。

2、第一方面，提供了一种ai模型的处理方法，包括：终端获取ai模型；所述终端基于第一信息确定是否允许压缩或量化所述ai模型；其中，所述第一信息包括如下至少之一：所述ai模型的结构；所述ai模型的量化类型；所述ai模型的模型大小；所述ai模型的性能；所述终端与网络侧设备之间链路的无线环境；网络侧设备的指示。

3、第二方面，提供了一种ai模型的处理方法，包括：网络侧设备发送第一信息，所述第一信息用于指示第一参数，所述第一参数用于终端确定是否允许压缩或量化接收到的ai模型。

4、第三方面，提供了一种ai模型的处理装置，包括：获取模块，用于获取ai模型；处理模块，用于基于第一信息确定是否允许压缩或量化所述ai模型；其中，所述第一信息包括如下至少之一：所述ai模型的结构；所述ai模型的量化类型；所述ai模型的模型大小；所述ai模型的性能；所述装置与网络侧设备之间链路的无线环境；网络侧设备的指示。

5、第四方面，提供了一种ai模型的处理装置，包括：发送模块，用于发送第一信息，所述第一信息用于指示第一参数，所述第一参数用于终端确定是否允许压缩或量化接收到的ai模型。

6、第五方面，提供了一种终端，该终端包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

7、第六方面，提供了一种终端，包括处理器及通信接口，其中，所述通信接口用于获取ai模型；所述处理器用于基于第一信息确定是否允许压缩或量化所述ai模型；其中，所述第一信息包括如下至少之一：所述ai模型的结构；所述ai模型的量化类型；所述ai模型的模型大小；所述ai模型的性能；所述终端与网络侧设备之间链路的无线环境；网络侧设备的指示。

8、第七方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的方法的步骤。

9、第八方面，提供了一种网络侧设备，包括处理器及通信接口，其中，所述通信接口用于发送第一信息，所述第一信息用于指示第一参数，所述第一参数用于终端确定是否允许压缩或量化接收到的ai模型。

10、第九方面，提供了一种ai模型的处理系统，包括：终端及网络侧设备，所述终端可用于执行如第一方面所述的方法的步骤，所述网络侧设备可用于执行如第二方面所述的方法的步骤。

11、第十方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

12、第十一方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤，或实现如第二方面所述的方法的步骤。

13、第十二方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

14、在本申请实施例中，终端可以基于第一信息确定是否允许压缩或量化获取到的ai模型，第一信息包括如下至少之一：ai模型的结构；ai模型的量化类型；ai模型的模型大小；ai模型的性能；终端与网络侧设备之间链路的无线环境；网络侧设备的指示，本申请实施例可以避免终端对不允许压缩或量化ai模型进行不合理的压缩或量化造成的ai模型的性能损失；还可以使终端对允许压缩或量化ai模型进行压缩或量化，避免占用过多的终端开销；同时，本申请实施例可以使终端和网络侧设备对ai模型的最终状态达成共识，避免网络侧设备对终端性能有错误的估计，从而提升网络侧对终端侧的性能监测准确性，进而提升无线通信系统性能。

技术特征：

1.一种人工智能ai模型的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述终端确定允许压缩或量化所述ai模型的情况下，所述方法还包括：所述终端压缩或量化所述ai模型；

3.根据权利要求1所述的方法，其特征在于，在所述终端确定允许压缩或量化所述ai模型的情况下，所述方法还包括如下至少之一：

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一信息包括所述ai模型的结构，所述终端基于第一信息确定是否允许压缩所述ai模型包括：

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求1至4任一项所述的方法，其特征在于，所述第一信息包括所述ai模型的量化类型，所述终端基于第一信息确定是否允许量化所述ai模型包括：

8.根据权利要求1至4任一项所述的方法，其特征在于，所述第一信息包括所述ai模型的模型大小，所述终端基于第一信息确定是否允许压缩或量化所述ai模型包括如下至少之一：

9.根据权利要求1至4任一项所述的方法，其特征在于，所述第一信息包括所述ai模型的性能，所述终端基于第一信息确定是否允许压缩或量化所述ai模型包括如下至少之一：

10.根据权利要求1至4任一项所述的方法，其特征在于，所述第一信息包括所述终端与网络侧设备之间链路的无线环境，所述终端基于第一信息确定是否允许压缩或量化所述ai模型包括：

11.根据权利要求1至4任一项所述的方法，其特征在于，所述第一信息包括所述网络侧设备的指示，所述终端基于第一信息确定是否允许压缩或量化所述ai模型包括：

12.根据权利要求11所述的方法，其特征在于，所述第一参数包括如下至少之一：

13.一种ai模型的处理方法，其特征在于，包括：

14.根据权利要求13所述的方法，其特征在于，所述第一参数包括如下至少之一：最高压缩比例，最小模型大小，最高量化等级，最高性能损失等级。

15.根据权利要求13所述的方法，其特征在于，进行压缩或量化的所述ai模型对应的模型切换时延或模型生效时延为第一时长，未压缩或量化的所述ai模型对应的模型切换时延或模型生效时延为第二时长，所述第一时长大于所述第二时长。

16.根据权利要求13所述的方法，其特征在于，所述方法还包括如下至少之一：

17.根据权利要求16所述的方法，其特征在于，

18.一种ai模型的处理装置，其特征在于，包括：

19.根据权利要求18所述的装置，其特征在于，在所述处理模块确定允许压缩或量化所述ai模型的情况下，所述处理模块，还用于压缩或量化所述ai模型；

20.根据权利要求18所述的装置，其特征在于，所述装置还包括发送模块，用于在所述处理模块确定允许压缩或量化所述ai模型的情况下，执行如下至少之一：

21.根据权利要求18至20任一项所述的装置，其特征在于，所述第一信息包括所述ai模型的结构，所述处理模块，用于：

22.根据权利要求18至20任一项所述的装置，其特征在于，所述第一信息包括所述ai模型的量化类型，所述处理模块，用于：

23.根据权利要求18至20任一项所述的装置，其特征在于，所述第一信息包括所述ai模型的模型大小，所述处理模块，用于如下至少之一：

24.根据权利要求18至20任一项所述的装置，其特征在于，所述第一信息包括所述ai模型的性能，所述处理模块，用于如下至少之一：

25.根据权利要求18至20任一项所述的装置，其特征在于，所述第一信息包括所述装置与网络侧设备之间链路的无线环境，所述处理模块，用于：

26.根据权利要求18至20任一项所述的装置，其特征在于，所述第一信息包括所述网络侧设备的指示，所述处理模块，用于：

27.一种ai模型的处理装置，其特征在于，包括：

28.根据权利要求27所述的装置，其特征在于，所述第一参数包括如下至少之一：最高压缩比例，最小模型大小，最高量化等级，最高性能损失等级。

29.根据权利要求27所述的装置，其特征在于，进行压缩或量化的所述ai模型对应的模型切换时延或模型生效时延为第一时长，未压缩或量化的所述ai模型对应的模型切换时延或模型生效时延为第二时长，所述第一时长大于所述第二时长。

30.根据权利要求27所述的装置，其特征在于，所述装置还包括接收模块，用于如下至少之一：

31.一种终端，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至12任一项所述的方法的步骤。

32.一种网络侧设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求13至17任一项所述的方法的步骤。

33.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至12任一项所述的方法的步骤，或者实现如权利要求13至17任一项所述的方法的步骤。

技术总结本申请实施例公开了一种AI模型的处理方法、终端及网络侧设备，属于通信技术领域，本申请实施例的AI模型的处理方法包括：终端获取AI模型；所述终端基于第一信息确定是否允许压缩或量化所述AI模型；其中，所述第一信息包括如下至少之一：所述AI模型的结构；所述AI模型的量化类型；所述AI模型的模型大小；所述AI模型的性能；所述终端与网络侧设备之间链路的无线环境；网络侧设备的指示。技术研发人员：杨昂,孙鹏受保护的技术使用者：维沃移动通信有限公司技术研发日：技术公布日：2024/7/23