一种基于码率和准确率优化的图像特征压缩方法和装置

本发明涉及图像特征编码，尤其是涉及一种基于码率和准确率优化的图像特征压缩方法和装置。

背景技术：

1、随着智能应用在我们的日常生活中越来越普遍，各种数据传输的变得越来越重要，例如：城市中的监控数据、工业场景中的故障检测，智能驾驶中的视频数据等。受限于边缘设备的算力以及传输的实时性，无法将全部的神经网络布置在设备上，因此需要将深度神经网络进行分割，将提取的中间数据压缩，通过无线信道将数据传输至后端，以便大部分计算可以在云端处理。

2、现有的图像特征编码方法中，并没有考虑不同通道对于最后任务准确率的重要性，因此，即使对图像特征进行量化编码仍会产生较大的数据量。并且针对不同场景下码率需求的不同，无法快速做出判断，选择合适的量化参数。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于码率和准确率优化的图像特征压缩方法和装置，能够根据场景的码率需求，选择最优的量化参数，并进一步的压缩特征数据量。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于码率和准确率优化的图像特征压缩方法，其特征在于，包括以下步骤：

4、将待处理的图像输入卷积神经网络中进行特征提取，从卷积神经网络中选取卷积层，提取该卷积层输出的特征；

5、根据特征重要性对卷积层输出特征的特征通道进行分区；

6、按顺序对各特征通道进行平铺，得到特征图；对整体特征图作离散余弦变换；

7、对离散余弦变换后的特征图按照重要性分区结果进行分块均匀量化；

8、对量化后的特征图作算术编码得到比特流，并计算出码率；

9、将比特流作算术解码、反量化和反离散余弦变换，恢复出能输入剩余的卷积神经网络的特征向量；

10、通过所述卷积神经网络的输出端得到分类准确率，从而建立码率和准确率损失模型，根据该码率和准确率损失模型进行参数优化，获取最优的量化参数进行数据压缩。

11、进一步地，选取的卷积层为卷积神经网络中卷积层通道数量最少的卷积层。

12、进一步地，所述分区的过程具体为：

13、计算每个特征通道的方差，选取前k个方差最小的特征通道，定义为非重要性特征区域，其余特征通道定义为重要性特征区域。

14、进一步地，所述离散余弦变换的计算表达式为：

15、

16、

17、

18、u＝0,1...m-1

19、v＝0,1...n-1

20、式中，m,n分别为特征图f(i,j)的长和宽，f(u,v)为经过二维离散余弦变换后的特征，u、v分别为特征f(u,v)的横纵像素坐标，c(u)和c(v)分别为补偿系数，f(i,j)为二维dct变换前的特征图，i、j分别为特征图f(i,j)的横纵像素坐标。

21、进一步地，所述分块均匀量化的表达式为：

22、

23、式中，v为量化前的特征向量，为量化后的特征向量，min(v)和max(v)为v中的最小值和最大值，q为均匀量化系数；

24、所述非重要性特征区域的均匀量化系数为粗量化系数q2，所述重要性特征区域的均匀量化系数为轻量化系数q1，所述轻量化系数q1大于粗量化系数q2。

25、进一步地，所述轻量化系数q1和粗量化系数q2满足约束条件：

26、q1≥q2∈{3,4,5,6,7,8}。

27、进一步地，所述反离散余弦变换的表达式为：

28、

29、

30、

31、i＝0,1...m-1

32、j＝0,1...n-1

33、式中，f′(i,j)为反离散余弦变换后得到的特征图，f′(u,v)为反量化后得到的特征，m,n分别为特征图f(i,j)的长和宽，u、v分别为特征f′(u,v)的横纵像素坐标，c(u)和c(v)分别为补偿系数，f(i,j)为二维dct变换前的特征图，i、j分别为特征图f(i,j)的横纵像素坐标。

34、进一步地，所述码率和准确率损失模型的表达式为：

35、j＝argmin(1-vap(q1,q2))+λr(q1,q2)

36、式中，vap(q1,q2)为选择当前量化参数(q1,q2)量化后恢复的特征对应准确率的值，λ为比例系数，r(q1,q2)为选择当前量化参数(q1,q2)对应的码率，j为码率和准确率损失模型输出值。

37、进一步地，使用拉格朗日乘子对所述码率和准确率损失模型进行优化。

38、本发明还提供一种基于码率和准确率优化的图像特征压缩装置，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。

39、与现有技术相比，本发明具有以下优点：

40、本发明在图像压缩方法中首先选取了卷积通道最小的第18层卷积层输出的图像特征，首次压缩特征量；在特征图分区中，选取方差最小的k个通道，代表所含信息量较小，将这部分特征图区域定义为非重要性区域，其余区域作为重要性区域；在做完dct变换后，重要性区域采取轻均匀量化，非重要性区域采取重均匀量化，可以有针对性的降低数据量。最后，根据不同量化参数得到的码率和准确率，建立码率与准确率损失模型，并使用拉格朗日乘子进行优化，可以根据场景码率的需求，选择合适的量化参数。

41、综上，本发明在图像特征压缩中，充分考虑到不同通道的重要性，经过通道匹配以及分块量化，大大地减少特征数据，并且根据场景多变的传输码率，建立码率与准确率损失模型，以选择最优的量化参数，有效的提升了传输效率。

技术特征：

1.一种基于码率和准确率优化的图像特征压缩方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，选取的卷积层为卷积神经网络中卷积层通道数量最少的卷积层。

3.根据权利要求1所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，所述分区的过程具体为：

4.根据权利要求1所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，所述离散余弦变换的计算表达式为：

5.根据权利要求3所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，所述分块均匀量化的表达式为：

6.根据权利要求5所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，所述轻量化系数q1和粗量化系数q2满足约束条件：

7.根据权利要求1所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，所述反离散余弦变换的表达式为：

8.根据权利要求1所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，所述码率和准确率损失模型的表达式为：

9.根据权利要求1所述的一种基于码率和准确率优化的图像特征压缩方法，其特征在于，使用拉格朗日乘子对所述码率和准确率损失模型进行优化。

10.一种基于码率和准确率优化的图像特征压缩装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如权利要求1～9任一所述的方法的步骤。

技术总结本发明涉及一种基于码率和准确率优化的图像特征压缩方法和装置，方法包括：在边缘端，提取卷积神经网络的中间卷积层特征；根据特征重要性对卷积层输出特征的特征通道进行分区；按顺序对各特征通道进行平铺，得到特征图；对特征图作离散余弦变换；对特征图按照重要性分区结果进行分块均匀量化；对特征图作算术编码得到比特流，并计算出码率；将比特流作算术解码、反量化和反离散余弦变换，恢复出能输入剩余的卷积神经网络的特征向量；通过卷积神经网络的输出端得到分类准确率，从而建立码率和准确率损失模型，获取最优的量化参数进行数据压缩。与现有技术相比，本发明能够根据场景的码率需求，选择最优的量化参数，并进一步的压缩特征数据量。技术研发人员：蒋伟,沈昊宇,杨俊杰受保护的技术使用者：上海电力大学技术研发日：技术公布日：2024/8/1