基于随机初始化的神经网络压缩、图像分类方法及系统

本技术涉及神经网络和人工智能领域的图像处理技术，尤其涉及一种基于随机初始化的神经网络压缩和图像分类方法及装置。

背景技术：

1、在过去的十多年里，神经网络在图像分类等图像处理任务上取得了不错的性能，但日益复杂的神经网络以及多元的图像分类需求使得设计神经网络成为了一种繁杂、效率低下且计算资源消耗大的工作。而实际工业应用中针对图像分类任务需要的是一种更加高效和便捷的解决方案，例如高效应用于不同种类的图像数据(如自然图像、医学图像等)，高效配置于不同计算资源的设备(如中心服务器、边缘设备等)。

2、与传统模型相比，深度神经网络的参数量巨大，具有表示能力高、泛化能力好和快速收敛等优点。尽管有这些好处，但过度参数化带来了计算资源要求高、神经网络存储和部署推理速度慢的挑战，特别是在手机或物联网设备等资源受限的设备上。

3、网络量化可以减轻存储深度神经网络的要求以及计算过程中在不同设备间传输网络参数的限制。它将高精度浮点权重映射到低位宽整数，而无需改变网络架构。具体来说，训练后量化方法可以直接应用于经过训练的深度神经网络，选择合适的量化参数来最小化网络输出之间的差异。现有的量化方法侧重于使用学习步长或混合精度直接量化权重。然而，这些方法忽略了深度神经网络训练过程中初始化参数和优化参数之间的冗余，应用中仍旧存在计算资源要求高、神经网络存储和部署推理速度慢的挑战，进而影响图像分类等图像处理任务在应用中的高效和便捷性。

技术实现思路

1、针对现有技术中的不足，本发明的目的是提供一种基于随机数生成器的神经网络压缩方法及装置。

2、根据本发明的一个方面，提供一种于基于随机初始化的神经网络压缩，包括：

3、获取待压缩网络及其参数初始化方法和初始化的随机数种子，所述待压缩网络是由多个网络层并联或者串联构成，网络层包含训练后的网络参数；

4、使用所述随机数种子按照所述初始化方法生成初始化的网络参数；

5、对所述待压缩网络的每一层每个通道搜索缩放因子，将所述初始化的网络参数乘以所述缩放因子获得缩放的初始化网络参数，使得所述缩放的初始化网络参数与所述训练后的网络参数之间误差的平方和最小；

6、将所述训练后的网络参数减去所述缩放的初始化网络参数，得到参数差值；

7、对所述参数差值进行压缩处理得到压缩的网络参数。

8、优选地，对所述待压缩网络的每一层每个通道搜索缩放因子，将所述初始化的网络参数乘以所述缩放因子获得缩放的初始化网络参数，使得所述缩放的初始化网络参数与所述训练后的网络参数之间误差的平方和最小，包括：

9、设置缩放因子的取值范围为其中集合q为小于1的正实数，返回小于1/q的最大整数；

10、对于待压缩网络的每一层中每一个通道，以及缩放因子的所有可能值，计算缩放因子乘以初始化的网络参数，得到缩放的初始化网络参数；

11、对于所述缩放的初始化网络参数，计算与训练后的网络参数间误差的平方和，即平方误差；

12、从缩放因子的所有可能值中获得最小平方误差的值作为最终的缩放因子，将最终的缩放因子对应的缩放的网络参数作为最终的缩放的网络参数。

13、可选地，所述对所述参数差值进行压缩处理得到压缩的网络参数，是通过量化处理或剪枝处理的某一种或两种实现的：

14、所述量化处理指将32位浮点数表示的参数差值映射成2n个离散值，其中n表示量化后的数据位宽，并使用n位整型数对离散值进行索引；

15、所述剪枝处理指将所述参数差值中绝对值小的一部分元素置零，并只存储所述参数差值中非零的元素。

16、根据本发明的第二个方面，提供一种基于随机初始化的神经网络解压缩方法，包括：

17、获取待解压网络初始化方法和随机数种子、每一层每一个通道的缩放因子和压缩后的参数差值；

18、使用所述随机数种子按照所述初始化方法生成初始化的网络参数；

19、将所述压缩后的参数差值进行解压缩得到全精度的参数差值；

20、将所述初始化的网络参数乘以所述相应通道的缩放因子得到缩放的初始网络参数；

21、将所述全精度的参数差值加上所述缩放的初始网络参数得到解压后的训练后网络参数。

22、根据本发明的第三个方面，提供一种高效图像分类任务的方法，包括：

23、获取待分类图像；

24、提供一用于图像分类的训练后的神经网络模型；

25、对所述神经网络模型进行压缩，获得缩放因子和压缩后的参数差值；

26、将所述缩放因子和参数差值存储或者传输到用于图像分类的终端中；

27、从所述图像分类的终端中获得缩放因子和参数差值，并解压缩得到训练后网络参数；

28、基于所述神经网络模型，使用解压缩得到的训练后网络参数，对所述待分类图像进行分类，得到分类结果；

29、其中，对所述神经网络模型进行压缩采用上述的基于随机初始化的神经网络压缩方法；从所述图像分类的终端中获得缩放因子和参数差值，并解压缩得到训练后网络参数，采用上述的基于随机初始化的神经网络解压缩方法。

30、根据本发明的第四个方面，提供一种使用压缩网络的高效图像分类系统，包括：

31、图像获取模块：获取待分类图像；

32、分类模型提供模块：提供一用于图像分类的训练后的神经网络模型；

33、压缩模块：对所述神经网络模型进行压缩，获得缩放因子和压缩后的参数差值；将所述缩放因子和参数差值存储或者传输到用于图像分类的终端中；

34、解压缩模块：从所述图像分类的终端中获得缩放因子和参数差值，并解压缩得到训练后网络参数；

35、分类模块：基于所述神经网络模型，使用解压缩得到的训练后网络参数，对所述待分类图像进行分类，得到分类结果；

36、其中，所述压缩模块采用上述的基于随机初始化的神经网络压缩方法；所述解压缩模块采用上述的基于随机初始化的神经网络解压缩方法。

37、根据本发明的第五个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法。

38、根据本发明的第六个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项方法。

39、根据本发明的第七个方面，提供一种芯片系统，包括处理器，所述处理器与存储器的耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述任一项方法。

40、与现有技术相比，本发明具有如下的有益效果：

41、本发明提供的基于随机初始化的神经网络压缩和解压缩方法，是一种即插即用的技术，只需要获得训练的随机种子即可提高压缩率，并且适配现阶段绝大多数压缩技术。

42、本发明提供的基于随机初始化的神经网络压缩和解压缩方法，通过对神经网络的压缩，可以解决现有神经网络在计算资源要求高、神经网络存储和部署推理速度慢的问题，提高图像分类等图像处理任务应用中的高效和便捷性。

43、本发明提供的图像分类方法和系统，基于随机初始化的神经网络压缩和解压缩进行，降低了计算资源的要求，加速了处理速度，相对于现有的图像分类方法，在保证分类准确度的情况下，降低图像分类器的参数规模，有助于在边缘设备和存储能力不足的移动设备上部署基于神经网络的图像分类器，提升图像分类效果。