一种卷积与自注意力混合图像特征提取方法、装置和设备与流程

本发明涉及图像处理，特别涉及一种卷积与自注意力混合图像特征提取方法、装置和设备。

背景技术：

1、在目标检测和语义分割任务中，图像的特征提取是最重要的一步。过去大部分图像特征提取算法主要围绕着梯度直方图、颜色、纹理等传统手工特征进行改进，这些算法虽然具有较快的运行速度，但是它们的识别精度不高并且鲁棒性也较差。

2、卷积神经网络通过卷积核在图像上进行滑动特征提取，只专注于图像的局部信息，通过堆叠多个卷积层，卷积神经网络能够逐层提取输入图像数据的不同层次特征。这种层次化特征提取方式使得模型能够更好地理解和处理复杂的图像数据。但是仅通过堆叠多个卷积层实际无法做到获得全局感受野信息，在目标检测等视觉任务中，无法获取物体全部信息（特别是大物体），从而造成检测偏差。

3、因此，当前图像特征提取方法存在图像特征提取效果差的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种卷积与自注意力混合图像特征提取方法、装置和设备，解决了现有技术中图像特征提取效果差的技术问题。

2、为解决上述技术问题，本发明提供了一种卷积与自注意力混合图像特征提取方法，包括：

3、对输入图像数据利用n×n卷积层和1×1卷积层进行处理，得到卷积处理数据；

4、利用局部自注意力模块对所述输入图像数据进行局部特征提取，得到局部特征；

5、对所述局部特征和所述卷积处理数据进行融合处理，得到融合数据；

6、利用全局自注意力模块对所述融合数据和所述卷积处理数据进行全局特征提取，得到全局特征；

7、将所述全局特征和所述局部特征进行融合，得到融合图像特征。

8、可选的，在所述利用局部自注意力模块对所述输入图像数据进行局部特征提取，得到局部特征之后，还包括：

9、利用n×n卷积层对所述局部特征和所述融合数据进行卷积处理，得到融合局部数据；

10、相应的，所述将所述全局特征和所述局部特征进行融合，得到融合图像特征，包括：

11、将所述全局特征和所述融合局部数据进行融合，得到所述融合图像特征。

12、可选的，所述对所述局部特征和所述卷积处理数据进行融合处理，得到融合数据，包括：

13、对所述局部特征和所述卷积处理数据进行融合处理，得到初始融合数据；

14、对所述初始融合数据进行随机打乱处理，得到所述融合数据。

15、可选的，在所述对所述局部特征和所述卷积处理数据进行融合处理，得到融合数据之后，还包括：

16、将所述融合数据划分成两份，得到第一融合数据和第二融合数据；

17、相应的，所述利用全局自注意力模块对所述融合数据和所述卷积处理数据进行全局特征提取，得到全局特征；将所述全局特征和所述局部特征进行融合，得到融合图像特征，包括：

18、利用所述全局自注意力模块将所述第一融合数据和所述卷积处理数据进行全局特征提取，得到所述全局特征；

19、将所述局部特征和所述第二融合数据利用n×n卷积层进行处理，得到卷积局部特征；

20、将所述卷积局部特征和所述全局特征进行融合，得到所述融合图像特征。

21、可选的，在所述将所述全局特征和所述局部特征进行融合，得到融合图像特征之后，还包括：

22、利用1×1卷积层对所述融合图像特征进行处理，得到最终融合图像特征。

23、可选的，进行局部特征提取的过程，包括：

24、对所述输入图像数据进行窗口等分操作，得到等分数据，对所述等分数据分别进行自注意力qkv矩阵计算，得到对应的目标等分数据；

25、对所述目标等分数据进行重组恢复处理，得到重组输入图像数据；

26、将所述重组输入图像数据分成3份，分别进入3个输出维度为d的全连接层进行数据计算，分别获得特征矩阵q、k和v，然后这3个特征矩阵再根据局部自注意力公式进行计算，得到所述局部特征。

27、可选的，在将所述全局特征和所述局部特征进行融合，得到融合图像特征之后，还包括：

28、将所述融合图像特征输入目标检测模型或语义分割模型进行特征分析，得到目标处理结果。

29、本申请还提供了一种卷积与自注意力混合图像特征提取装置，包括：

30、卷积处理模块，用于对输入图像数据利用n×n卷积层和1×1卷积层进行处理，得到卷积处理数据；

31、局部特征提取模块，用于利用局部自注意力模块对所述输入图像数据进行局部特征提取，得到局部特征；

32、信息交叉模块，用于对所述局部特征和所述卷积处理数据进行融合处理，得到融合数据；

33、全局特征提取模块，用于利用全局自注意力模块对所述融合数据和所述卷积处理数据进行全局特征提取，得到全局特征；

34、局部和全局融合模块，用于将所述全局特征和所述局部特征进行融合，得到融合图像特征。

35、本申请还提供了一种卷积与自注意力混合图像特征提取设备，包括：

36、存储器，用于存储计算机程序；

37、处理器，用于执行所述计算机程序时实现如上述的卷积与自注意力混合图像特征提取方法的步骤。

38、本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的卷积与自注意力混合图像特征提取方法的步骤。

39、可见，本发明通过对输入图像数据利用n×n卷积层和1×1卷积层进行处理，得到卷积处理数据；利用局部自注意力模块对所述输入图像数据进行局部特征提取，得到局部特征；对局部特征和卷积处理数据进行融合处理，得到融合数据；利用全局自注意力模块对融合数据和卷积处理数据进行全局特征提取，得到全局特征；将全局特征和局部特征进行融合，得到融合图像特征。本申请将输入图像数据在两种方法中交叉处理的方式进行特征提取，既发挥了卷积专注于局部细微特征的优势，又结合了自注意力捕获长距离依赖信息的能力，从而提高了图像特征提取效果，这对于一些特定场景，比如工业缺陷检测，物体尺度变化过大时，能保持较好的稳定性。

40、此外，本发明还提供了一种卷积与自注意力混合图像特征提取装置、设备及计算机可读存储介质，同样具有上述有益效果。

技术特征：

1.一种卷积与自注意力混合图像特征提取方法，其特征在于，包括：

2.根据权利要求1所述的卷积与自注意力混合图像特征提取方法，其特征在于，在所述利用局部自注意力模块对所述输入图像数据进行局部特征提取，得到局部特征之后，还包括：

3.根据权利要求1所述的卷积与自注意力混合图像特征提取方法，其特征在于，在所述对所述局部特征和所述卷积处理数据进行融合处理，得到融合数据，包括：

4.根据权利要求1所述的卷积与自注意力混合图像特征提取方法，其特征在于，在所述对所述局部特征和所述卷积处理数据进行融合处理，得到融合数据之后，还包括：

5.根据权利要求1至4任一项所述的卷积与自注意力混合图像特征提取方法，其特征在于，在所述将所述全局特征和所述局部特征进行融合，得到融合图像特征之后，还包括：

6.根据权利要求1至4任一项所述的卷积与自注意力混合图像特征提取方法，其特征在于，进行局部特征提取的过程，包括：

7.根据权利要求1所述的卷积与自注意力混合图像特征提取方法，其特征在于，在将所述全局特征和所述局部特征进行融合，得到融合图像特征之后，还包括：

8.一种卷积与自注意力混合图像特征提取装置，其特征在于，包括：

9.一种卷积与自注意力混合图像特征提取设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的卷积与自注意力混合图像特征提取方法的步骤。

技术总结本发明公开了一种卷积与自注意力混合图像特征提取方法、装置和设备，应用于图像处理技术领域，包括：对输入图像数据利用N×N卷积层和1×1卷积层进行处理，得到卷积处理数据；利用局部自注意力模块对所述输入图像数据进行局部特征提取，得到局部特征；对局部特征和卷积处理数据进行融合处理，得到融合数据；利用全局自注意力模块对融合数据和卷积处理数据进行全局特征提取，得到全局特征；将全局特征和局部特征进行融合，得到融合图像特征。本申请将图像数据在两种方法中交叉处理的方式进行特征提取，既发挥了卷积专注于局部细微特征的优势，又结合了自注意力捕获长距离依赖信息的能力，从而提高了图像特征提取的效果。技术研发人员：邹磊,韩雪超,卢天华,倪军受保护的技术使用者：杭州安脉盛智能技术有限公司技术研发日：技术公布日：2024/9/2