一种轻量化的特征图处理方法与流程

1.本发明属于图像处理技术领域，涉及一种轻量化的特征图处理方法。


背景技术：

2.深度学习可以提取目标的抽象特征，同时，深度学习提取的特征能够从浅层的部分区域特征到深处全局的特征多层次的表示目标，拥有更好的鲁棒性和更强的表达能力，因而，深度学习引起了人们广泛的关注。卷积神经网络也是因为alexnet在图像处理方面的出色表现，开始在目标检测、语义分割和图像分类等领域广泛应用。
3.随着人们对深度学习的进一步了解，学者们相继提出了vgg，resnet，senet等性能优越的网络结构。
4.互联网时代的到来使得智能手机和其他的便携式设备得到普及和发展，伴随着移动互联网的发展，在线直播、人脸识别、视频美颜和在线识图等多样的移动式应用相继出现。目前来说，传统的深度神经网络为了提取更具有表达能力的深度特征，往往设计的非常复杂。因此，它对计算资源和存储设备的要求就变得十分之高，一般的移动设备根本无法满足这种需求，这导致深度神经网络很难再移动设备上应用。
5.为了提高移动设备处理图像的效率和能力，提高提取特征的能力，同时减少存储空间和功耗的限制，让网络变得轻量化成为了解决问题的关键。近年来研究者们确实也在将重心放到这一方面，比如mobilenet系列、squeezenet和shufflenet等网络的提出，大大减少了参数量，使得网络能够在移动端也能更加轻松的应用。
6.在轻量化操作中，对输入特征进行分组是个很有效的方法，在保持神经网络性能的前提下，显著的减少网络的参数和计算量，实现在便携式设备上训练和应用深度神经网络。
7.卷积神经网络的引入能够提高提取特征的能力减少识别的误差，但是传统的通过增加网络深度和通过增加网络宽度来提高网络性能的网络，对设备的要求高，一般需要有强大的存储能力和计算能力。然而随着移动互联网的发展，在便携式设备上应用像人脸识别、图像分类和目标检测等功能的需求越来越高，但是移动设备并没有如此强大的硬件性能，所以在保证性能的同时如何减少参数量就成了当今研究的热点和趋势。


技术实现要素：

8.有鉴于此，本发明的目的在于提供一种轻量化的特征图处理方法，减少在处理图像时的计算量，解决卷积神经网络对移动设备的计算资源和存储资源要求高的问题，同时提升轻量级神经网络在准确度上的表现。本发明使用分组卷积减少卷积时的计算量，通过不同的卷积方式提取不同感受野的图像特征和添加改进后的更为轻量化的eca模块施加注意力机制提高网络的精确度。
9.为达到上述目的，本发明提供如下技术方案：
10.一种轻量化的特征图处理方法，具体包括以下步骤：
11.s1：输入图像处理后得到的特征图ⅰ；
12.s2：将步骤s1得到的特征图ⅰ升维，然后使用分组卷积处理，将特征图分为等通道数的若干组特征图ⅱ；
13.s3：分别对步骤s2得到的每组特征图ⅱ进行不同感受野的卷积操作，得到特征图iii；
14.s4：将步骤s3得到的每组特征图iii进行拼接，形成特征图ⅳ；
15.s5：将步骤s4得到的特征图ⅳ输入改进后的eca模块中，施加通道注意力机制，得到特征图v；
16.s6：将步骤s5得到的特征图v降维后与输入的特征图ⅰ进行跳连形成最终的特征图。
17.进一步，步骤s2中，分组卷积处理具体包括：主要通过1*1的卷积核来扩张通道数，并且可根据需求自行设置分为几个等通道数的特征图ⅱ。
18.进一步，步骤s3中，与传统网络的进行分组卷积后使用相同的卷积操作处理每组特征不同的是，使用不同感受野的卷积操作处理分组后的特征图ⅱ，主要体现在采用不同的卷积核大小和不同的卷积方式，同时，使用两个3*3的卷积核或者一个dilation rate＝2的3*3的空洞卷积来代替传统网络中卷积核为5*5的卷积，三个3*3的卷积核或者一个dilation rate＝3的3*3的空洞卷积来代替传统网络中卷积核为7*7的卷积。
19.进一步，步骤s5中，改进后的eca模块是将传统网络的eca模块中的归一化操作替换为使用b_sigmoid函数，其表达式为：
[0020][0021]
其中，relu6(
·
)是普通的relu但是限制最大数值值为6；α是用来控制函数斜率的系数，取值范围(0.8，1.5)。
[0022]
进一步，步骤s6中，与步骤s2扩张通道数相同，使用1*1的卷积核来压缩通道数；所述跳连是将最初输入的特征图ⅰ与施加通道注意力机制后的特征图v进行跳连。
[0023]
本发明的有益效果在于：本发明首先输入待处理的特征图，对其进行通道扩张后使用分组卷积分组，将其分为等量通道数的几组特征图，减少计算时的计算量；然后对每组特征图进行感受野不同的卷积操作，将得到的特征进行拼接得到新的特征图；然后增加经过改进的更为轻量化的eca模块对其施加注意力机制，提高准确度；最后将得到的施加有注意力机制的特征图压缩通道数，与输入的特征图进行跳连，以此消除梯度消失的问题。本发明可用于改进传统的卷积神经网络，减少其计算量，减少对硬件设备的要求，使其能够更加轻松的应用在移动设备，同时，本发明考虑了感受野的影响以及对图像施加了通道注意力机制，使得网络的精确度有了一定的提升，拥了更好的效果和体验。
[0024]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0025]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0026]
图1为本发明轻量化的特征图处理方法的流程图。
具体实施方式
[0027]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0028]
请参阅图1，图1为本发明设计的轻量化的特征图处理方法的具体流程图，该方法可以传统的图像处理操作。该方法具体步骤如下：
[0029]
1)输入特征图。
[0030]
特征图为处理图像得到的像素矩阵。
[0031]
2)将输入的特征图升维后使用分组卷积处理特征图，将其分为等通道数的若干组特征图。
[0032]
虽然图像降维之后，计算量更小，会加快计算速度，但是会导致不能提取到足够多的信息，因此本发明首先对其进行通道扩张，增加整体的准确性。
[0033]
对于普通的卷积操作，都是对整个特征图进行卷积处理，这样会因为计算量过大而造成计算时间过长和对硬件设备要求高的问题。在普通卷积中，n个c
×k×
k卷积核的总参数量为n
×c×k×
k。假设将特征图分为g组，则n个c
×k×
k卷积核的总参数量为n
×
(c/g)
×k×
k。计算量变为原来的1/g。大大减少了参数量。
[0034]
2)分别对每组特征图进行不同感受野的卷积操作。
[0035]
感受野是指卷积神经网络结构中某个特征映射到输入空间的区域大小。卷积核越小，计算量也会越少，但是会导致局部信息过多，全局信息会受影响，影响到网络的识别率；卷积核越大，能够进一步提取到图像的全局信息，提高识别率，但是计算量也会大幅增加，同时也不利于对小目标的检测。考虑到感受野对计算量和识别率的影响，可以将分组后的特征图分别进行一个3
×
3的卷积核，两个3
×
3的卷积核，三个3
×
3的卷积核操作或者一个dilation rate＝2的3
×
3的空洞卷积或者一个dilation rate＝3的3
×
3的空洞卷积，经验证，两个3
×
3的卷积核的感受野相当于一个5
×
5卷积核的感受野，同理，3个3
×
3的卷积操作相当于7
×
7卷积核的感受野,但是小卷积核的计算量更小。空洞卷积又叫扩张卷积，它引入了一个成为“扩张率”的参数，用来改变卷积核的感受野，dilation rate＝2的3
×
3的空洞卷积的感受野相当于一个5
×
5卷积核的感受野，dilation rate＝3的3
×
3的空洞卷积的感受野相当于一个7
×
7卷积核的感受野。
[0036]
4)将得到的每组新的特征图进行拼接，形成新的特征图。
[0037]
经过分组卷积后，特征图也会分为不同组，因此，要将其拼接到一起形成新的特征图。
[0038]
5)将特征图输入改进后的eca模块中，施加通道注意力，得到新的特征图。
[0039]
通道注意力机制的目的是给特征图施加注意力，让模型知道哪些信息是重要的，哪些是次重要的，但是注意力机制会带来一定的计算量。eca模块本身是一种较为轻量化的注意力机制。它首先是进行全局平均池化，它将原始特征图压缩为一维，压缩成一维后，它就相当于有了全局的感受野，感受区域更广。然后他通过每个通道及它们的k个邻居来获得局部跨通道的信息。这与se模块的两个fc全连接层相比，计算量更小且效率更高。再然后就是通过一个sigmoid函数进行归一化操作，最后是将计算出来的各通道权重值分别和原特征图对应通道的二维矩阵相乘。本发明中将归一化操作中的sigmoid函数改进为了b_sigmoid函数，其公式为α取值范围(0.8，1.5)。考虑到网络的轻量化，本发明将sigmoid函数设计的更加简单，计算更为方便，提高了计算效率。
[0040]
6)将施加注意力后得到的特征图降维后与输入的特征图进行跳连得到输出特征图。
[0041]
自resnet出现后，这一步基本会出现在大部分网络中，主要是为了避免梯度消失，提高网络的准确率，在跳连之前首先对特征图进行降维。
[0042]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。