基于随机颜色丢弃和注意力的轻量行人重识别方法及系统

本发明涉及行人重识别，具体的是基于随机颜色丢弃和注意力的轻量行人重识别方法及系统。

背景技术：

1、随着深度学习技术的迅猛发展，行人重识别领域取得了显著的进展。残差网络（resnet），应用于行人重识别领域并取得了显著的成果，resnet网络通过引入残差连接，解决了深层网络训练中的梯度消失问题，使得网络更加容易优化。

2、现有技术的识别方法的鲁棒性和泛化性不高，为提高识别系统的鲁棒性、泛化性，一些数据增强策略如颜色增强被广泛应用。颜色信息作为行人重要的区分特征，可以丰富行人特征的表达，尤其在面对光照变化等复杂场景时发挥重要作用，融合颜色信息的行人重识别系统相比传统方法在复杂环境下具有更明显的优势。但在某些情况下，颜色特征产生的颜色偏差在一定程度上限制了模型做出正确的预测，主要体现在两个方面：首先是同一行人图像之间的颜色差异，增加了误识别的可能性；其次，颜色偏差弱化了不同行人图像之间的特征差异，降低了系统的辨识度。目前，对减弱颜色偏差提高模型鲁棒性的研究较少。

技术实现思路

1、为解决上述背景技术中提到的不足，本发明的目的在于提供基于随机颜色丢弃和注意力的轻量行人重识别方法及系统。

2、第一方面，本发明的目的可以通过以下技术方案实现：基于随机颜色丢弃和注意力的轻量行人重识别方法，方法包括以下步骤：

3、接收图像数据，对图像数据进行预处理，得到预处理图像数据；

4、将预处理图像数据输入至预先建立的嵌入有级联自注意力模块的osnet内，提取特征，输出得到图像特征；

5、将图像特征通过全连接层进行分类，将图像特征映射到相应的类别标签上，得到分类后的图像特征；

6、使用分类后的图像特征计算带有标签平滑的身份损失，通过反向传播更新梯度，对预先建立的轻量行人重识别网络模型进行优化训练，得到优化后的轻量行人重识别网络模型；

7、获取行人重识别数据集的测试集，将行人重识别数据集的测试集输入至优化后的轻量行人重识别网络模型内，输出得到轻量行人重识别结果。

8、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述对图像数据进行预处理的过程包括：

9、数据增强：采用随机翻转，随机擦除以及基于lagt的随机颜色丢弃策略进行执行，最终得到预处理图像数据。

10、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述基于lagt的随机颜色丢弃策略采用聚合灰度变换对图像灰度化，计算过程如下：

11、

12、其中，，和表示红色、绿色和蓝色通道，，，，和分别表示红色通道、绿色通道和蓝色通道的特定位置处的像素值，权重系数表示为，为图像的高，为图像的宽。

13、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述lagt的实现过程如下：

14、在数据加载过程中，采用随机身份采样器，随机选取种身份，每个身份选取张行人，图片训练批次大小为，集合表示为，其中表示训练批次中的第个图像，表示第个图像的样本标签，lagt以概率将原始图像转变为灰度图像，从原始图像随机选择一个矩形区域，将灰度图像对应位置区域的灰度值替换到原始图像之中，给定一张原始行人图片，以概率进行聚合灰度变换，对应的agt图像被定义为：

15、

16、原始图像面积大小：

17、

18、其中，为图像的高，为图像的宽；

19、agt矩形的面积：

20、

21、其中，、为agt图像面积与原始图像面积比的最小值与最大值；

22、agt矩形的高宽比及高和宽：

23、

24、

25、

26、其中，为灰度变换矩形高宽比的最大值和最小值；

27、在原始图像中随机初始化一个点，满足下列条件：

28、

29、为图像的高，为图像的宽；

30、选定的lagt区域为：

31、

32、对于每个，所选定的lagt区域 rect为：

33、

34、lagt算法最终可表示为：

35、

36、其中，是将图像对应矩形中的像素给予到图像，是lagt变换后的样本。

37、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述嵌入有级联自注意力模块包括ssam和csam。

38、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述ssam对预处理图像数据提取的中间特征图为，其中为特征通道数，为中间特征图的大小，对进行1×1卷积操作，得到，，，其中，对，，重塑操作后，求得空间自注意力亲和矩阵,，其中，该过程表示如下：

39、

40、其中表示空间中第个位置对第个位置的注意权重，将与相乘嵌入注意力权重后，再与原始特征图像素叠加得到空间自注意力加权的特征图：

41、

42、其中是调整ssam影响的超参数，将空间自注意力加权的特征图通过csam进行处理。

43、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述csam对于输入带有空间自注意力加权的特征图，重塑操作后，求得通道自注意力亲和矩阵，，该过程表示如下：

44、

45、其中表示通道对通道的注意权重，对于，初始化一个与大小相同且值全为最大值的矩阵，新的通道自注意权重亲和矩阵为，，将与相乘嵌入注意力权重后再与对应位置像素叠加得到通道自注意力加权的特征图；

46、

47、其中是调整csam影响的超参数；

48、将通道自注意力加权的特征图经过osnet骨干网后，得到图像特征。

49、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述使用分类后的图像特征计算带有标签平滑的身份损失 lid的计算过程：

50、

51、其中表示行人类别，表示训练集行人图像数量，为真实标签，为网络的预测逻辑值。

52、第二方面，为了达到上述目的，本发明公开了基于随机颜色丢弃和注意力的轻量行人重识别系统，包括：

53、图像处理模块，用于接收图像数据，对图像数据进行预处理，得到预处理图像数据；

54、特征提取模块，用于将预处理图像数据输入至预先建立的嵌入有级联自注意力模块的osnet内，提取特征，输出得到图像特征；

55、图像分类模块，用于将图像特征通过全连接层进行分类，将图像特征映射到相应的类别标签上，得到分类后的图像特征；

56、模型训练模块，用于使用分类后的图像特征计算带有标签平滑的身份损失，通过反向传播更新梯度，对预先建立的轻量行人重识别网络模型进行优化训练，得到优化后的轻量行人重识别网络模型；

57、行人重识别模块，用于获取行人重识别数据集的测试集，将行人重识别数据集的测试集输入至优化后的轻量行人重识别网络模型内，输出得到轻量行人重识别结果。

58、一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了如上所述的基于随机颜色丢弃和注意力的轻量行人重识别方法。

59、本发明的有益效果：

60、本发明采用osnet作为模型的骨干网络，参数量大幅减少；

61、对于具有相同颜色衣物的行人，背景颜色与行人颜色差异大的情形，本发明通过lagt算法能有效抑制颜色偏差对识别效果的负面影响，鼓励模型发现并注重与颜色不相关的特征信息，平衡神经网络对颜色特征与非颜色特征的权重，提高了baseline识别效果；

62、对于具有复杂背景以及遮挡的行人图片，本发明通过级联自注意力模块能有效聚合行人本身，抑制不相关的背景，从而使提取的特征更为精细且具判别力，提高了baseline识别效果。