基于端到端深度网络的光学图像外来物检测方法和装置

本技术涉及外来物检测，特别是涉及一种基于端到端深度网络的光学图像机场外来物检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、外来物(foreign objects debris, fod)是指位于机场跑道上的可能损伤航空器、设备以及威胁人员生命安全的外来物体。机场路面上的fod扎破轮胎、导致发动机故障、影响起落架襟翼操作、损伤航空器事件时有发生，不仅给航空公司造成了较大经济损失，也给飞行安全和人员安全带来较大风险。目前，fod探测技术主要包括光电和雷达技术。基于光学的检测系统能够提供高分辨率的图像，且能布置在整个机场的跑道附近，实现全范围的覆盖。然而，光学系统易受外界光照变化影响，存在错检与漏检的风险。常见fod的体积较小，现有基于光学的检测系统无法将目标特征同背景特征区分开来，进而无法达到预设的指标。因此，提高目标区分度、增强目标特征是提升异物探测系统性能的关键。

2、detr（detection transformer，目标检测架构）是一个纯端到端的检测架构，广泛应用于目标监测。deformable detr是针对detr无法应用于小目标检测而设计的transformer架构。将deformable detr应用于fod探测具有天然的优势：一是图像分辨率高，特征丰富；二是纯端到端架构，无需投入额外资源设计手工组件；三是模型架构简单，易于部署；四是检测精度高，适应绝大部分场景需求。

3、然而，deformable detr在特征提取部分仅采用resnet进行特征提取，例如公开号为cn116543409a的专利中公开了一种证件目标提取方法，包括利用证件图像边缘线段具有直线的几何特性进行建模，结合全局图像的上下文信息推理；使用resnet网络提取全局图像特征，再使用deformabledetr编码器进行编码。由于resnet网络提取到的特征权值相当，甚至背景特征权值占据主要地位，影响检测性能。因此，与其它光学系统一样，deformabledetr对于弱小目标仍无法达到常规目标检测的性能。

技术实现思路

1、基于此，有必要针对现有的deformable detr在特征提取部分时采用resnet网络提取到的特征权值相当，甚至背景特征权值占据主要地位，影响检测性能技术问题，提供一种基于端到端深度网络的光学图像机场外来物检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种基于端到端深度网络的光学图像外来物检测方法。所述方法包括：

3、步骤s1，从光学图像的输入特征图中提取特征向量；

4、步骤s2，将特征向量沿不同维度方向进行压缩，得到各维度方向上的特征平面；

5、步骤s3，根据偏移生成网络的卷积核参数分别计算各特征平面的空间偏移量；

6、步骤s4，基于各空间偏移量分别对各特征平面进行可变形卷积，得到各特征平面的空间注意力权重；

7、步骤s5，对特征向量进行全局池化，得到通道信息统计量；

8、步骤s6，将通道信息统计量输入至第一全连接层，第一全连接层输出降维后的通道信息统计量；

9、步骤s7，利用relu激活函数对降维后的通道信息统计量进行非线性变换；

10、步骤s8，将步骤s7得到的通道信息统计量输入至第二全连接层，第二全连接层将通道信息统计量的维度恢复到原始通道数；

11、步骤s9，利用sigmoid激活函数将步骤s8得到的通道信息统计量映射到0到1之间，以生成每个通道的通道注意力权重；

12、步骤s10，将各特征平面的空间注意力权重和每个通道的通道注意力权重加权到特征向量，得到不同维度方向上的注意力向量；

13、步骤s11，对不同维度方向上的注意力向量进行形状对齐，得到加权特征图；

14、步骤s12，根据加权特征图得到光学图像机场外来物检测结果。

15、在其中一个实施例中，步骤s1包括：

16、步骤s110，从输入特征图中提取不同尺度的特征向量；

17、步骤s120，对不同尺度的特征向量进行通道对齐处理。

18、在其中一个实施例中，步骤s2包括：

19、步骤s21，将特征向量沿高度维度方向进行压缩，得到高度维度方向上的第一特征平面；第一特征平面的表达式为：

20、

21、式中，表示第一特征平面，h表示输入特征图的高度，表示特征向量中第i行第j列的特征值；

22、步骤s22，将特征向量沿宽度维度方向进行压缩，得到宽度维度方向上的第二特征平面；第二特征平面的表达式为：

23、

24、式中，表示第二特征平面，w表示输入特征图的宽度。

25、在其中一个实施例中，步骤s5包括：

26、步骤s51，对特征向量进行全局平均池化，得到通道信息统计量；通道信息统计量的表达式为：

27、

28、式中，表示通道信息统计量。

29、在其中一个实施例中，第一全连接层和第二全连接层均为1×1卷积层。

30、在其中一个实施例中，步骤s3包括：

31、步骤s31，根据偏移生成网络的卷积核参数计算特征平面的初始偏移量；

32、步骤s32，对初始偏移量进行双线性插值得到特征平面的空间偏移量。

33、第二方面，本技术还提供了一种基于端到端深度网络的光学图像外来物检测装置。所述装置包括：

34、特征向量压缩模块，用于从光学图像的输入特征图中提取特征向量；将特征向量沿不同维度方向进行压缩，得到各维度方向上的特征平面；

35、空间注意力权重计算模块，用于根据偏移生成网络的卷积核参数分别计算各特征平面的空间偏移量；基于各空间偏移量分别对各特征平面进行可变形卷积，得到各特征平面的空间注意力权重；

36、特征向量全局池化模块，用于对特征向量进行全局池化，得到通道信息统计量；

37、通道注意力权重计算模块，用于利用relu激活函数对降维后的通道信息统计量进行非线性变换；将降维后的通道信息统计量输入至第二全连接层，第二全连接层将通道信息统计量的维度恢复到原始通道数；利用sigmoid激活函数将恢复到原始通道数的通道信息统计量映射到0到1之间，以生成每个通道的通道注意力权重；

38、加权特征图生成模块，用于将各特征平面的空间注意力权重和每个通道的通道注意力权重加权到特征向量，得到不同维度方向上的注意力向量；对不同维度方向上的注意力向量进行形状对齐，得到加权特征图；

39、光学图像机场外来物检测模块，用于根据加权特征图得到光学图像机场外来物检测结果。

40、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

41、步骤s1，从光学图像的输入特征图中提取特征向量；

42、步骤s2，将特征向量沿不同维度方向进行压缩，得到各维度方向上的特征平面；

43、步骤s3，根据偏移生成网络的卷积核参数分别计算各特征平面的空间偏移量；

44、步骤s4，基于各空间偏移量分别对各特征平面进行可变形卷积，得到各特征平面的空间注意力权重；

45、步骤s5，对特征向量进行全局池化，得到通道信息统计量；

46、步骤s6，将通道信息统计量输入至第一全连接层，第一全连接层输出降维后的通道信息统计量；

47、步骤s7，利用relu激活函数对降维后的通道信息统计量进行非线性变换；

48、步骤s8，将步骤s7得到的通道信息统计量输入至第二全连接层，第二全连接层将通道信息统计量的维度恢复到原始通道数；

49、步骤s9，利用sigmoid激活函数将步骤s8得到的通道信息统计量映射到0到1之间，以生成每个通道的通道注意力权重；

50、步骤s10，将各特征平面的空间注意力权重和每个通道的通道注意力权重加权到特征向量，得到不同维度方向上的注意力向量；

51、步骤s11，对不同维度方向上的注意力向量进行形状对齐，得到加权特征图；

52、步骤s12，根据加权特征图得到光学图像机场外来物检测结果。

53、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

54、步骤s1，从光学图像的输入特征图中提取特征向量；

55、步骤s2，将特征向量沿不同维度方向进行压缩，得到各维度方向上的特征平面；

56、步骤s3，根据偏移生成网络的卷积核参数分别计算各特征平面的空间偏移量；

57、步骤s4，基于各空间偏移量分别对各特征平面进行可变形卷积，得到各特征平面的空间注意力权重；

58、步骤s5，对特征向量进行全局池化，得到通道信息统计量；

59、步骤s6，将通道信息统计量输入至第一全连接层，第一全连接层输出降维后的通道信息统计量；

60、步骤s7，利用relu激活函数对降维后的通道信息统计量进行非线性变换；

61、步骤s8，将步骤s7得到的通道信息统计量输入至第二全连接层，第二全连接层将通道信息统计量的维度恢复到原始通道数；

62、步骤s9，利用sigmoid激活函数将步骤s8得到的通道信息统计量映射到0到1之间，以生成每个通道的通道注意力权重；

63、步骤s10，将各特征平面的空间注意力权重和每个通道的通道注意力权重加权到特征向量，得到不同维度方向上的注意力向量；

64、步骤s11，对不同维度方向上的注意力向量进行形状对齐，得到加权特征图；

65、步骤s12，根据加权特征图得到光学图像机场外来物检测结果。

66、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

67、步骤s1，从光学图像的输入特征图中提取特征向量；

68、步骤s2，将特征向量沿不同维度方向进行压缩，得到各维度方向上的特征平面；

69、步骤s3，根据偏移生成网络的卷积核参数分别计算各特征平面的空间偏移量；

70、步骤s4，基于各空间偏移量分别对各特征平面进行可变形卷积，得到各特征平面的空间注意力权重；

71、步骤s5，对特征向量进行全局池化，得到通道信息统计量；

72、步骤s6，将通道信息统计量输入至第一全连接层，第一全连接层输出降维后的通道信息统计量；

73、步骤s7，利用relu激活函数对降维后的通道信息统计量进行非线性变换；

74、步骤s8，将步骤s7得到的通道信息统计量输入至第二全连接层，第二全连接层将通道信息统计量的维度恢复到原始通道数；

75、步骤s9，利用sigmoid激活函数将步骤s8得到的通道信息统计量映射到0到1之间，以生成每个通道的通道注意力权重；

76、步骤s10，将各特征平面的空间注意力权重和每个通道的通道注意力权重加权到特征向量，得到不同维度方向上的注意力向量；

77、步骤s11，对不同维度方向上的注意力向量进行形状对齐，得到加权特征图；

78、步骤s12，根据加权特征图得到光学图像机场外来物检测结果。

79、上述基于端到端深度网络的光学图像外来物检测方法、装置、计算机设备、存储介质和计算机程序产品，通过从光学图像的输入特征图中提取特征向量，将特征向量沿不同维度方向进行压缩以得到不同维度方向上的特征平面，利用偏移生成网络生成的卷积核参数计算每个特征平面的空间偏移量，并通过可变形卷积为每个特征平面分配了空间注意力权重，能够动态地调整特征平面的空间关注度，使得与目标相关的特征区域得到更高的权重，从而增强了目标区域的特征显著性；与此同时，还通过全局池化和两层全连接网络生成了每个通道的通道注意力权重，不仅实现了通道维度的特征筛选，还通过非线性变换和维度恢复，确保了通道注意力权重的精确性和有效性。最后通过将空间注意力权重和通道注意力权重加权到特征向量上，生成了包含丰富且精准注意力信息的注意力向量，对不同维度方向上的注意力向量进行形状对齐得到了加权特征图。该特征图不仅突出了外来物的特征，还减少了背景噪声的干扰，从而极大提高了对机场外来物检测的准确性和可靠性。