基于像素自适应多尺度特征融合的隧道病害诊断方法

本发明属于计算机视觉及人工智能，具体涉及基于像素自适应多尺度特征融合的隧道病害诊断方法。

背景技术：

1、隧道病害诊断是计算机视觉和人工智能领域的一个关键技术，其核心目标是利用图像捕捉设备从隧道捕获的图像、传感器数据或其他检测手段获取的信息中自动识别和评估隧道的病害情况。通过深度神经网络的强大特征提取和模式识别能力，实现对隧道结构中潜在病害的高精度检测和分类。

2、近年来，在隧道病害诊断领域，由于缺陷检测任务中经常存在复杂背景的现象，将进一步加剧特征融合中的混叠效应，如何缓解混叠效应，成为提高缺陷检测任务精度的关键。随着机器学习和深度学习的发展又产生了多层卷积网络提取目标特征的方法，但因其对复杂物体尺寸的处理能力较弱，降低了对检测对象复杂尺度变化的处理能力。基于fpn的方法在ssd的基础上增加了一种多尺度特征融合设计，通过多尺度特征融合大大提高了检测精度，但也带来了混叠效应的问题。缺陷检测任务中目标物体相对于周围背景对比度低，显著性不足。这将进一步加剧特征融合中的混叠效应，即除了物体特征之间的相互干扰外，缺陷的特征很容易被复杂的背景信息所掩盖。这对隧道病害图像中不同尺度物体和结构的精确识别和分析产生巨大的阻碍。

技术实现思路

1、本发明的目的是提供基于像素自适应多尺度特征融合的隧道病害诊断方法，解决了现有缺陷检测任务中由于复杂背景而导致的混叠效应。

2、本发明所采用的技术方案是，基于像素自适应多尺度特征融合的隧道病害诊断方法，具体按照以下步骤实施：

3、步骤1、数据预处理；

4、步骤2、构建基于亚像素卷积和图卷积混合的特征增强模块；

5、步骤3、构建基于图卷积与非线性激活混合的像素自适应模块；

6、步骤4、利用融合特征预测。

7、本发明技术方案的特点还在于：

8、步骤1具体按照以下步骤实施：

9、步骤1.1，收集图像捕捉设备从隧道捕获的图像，区分不同的病害类别后进行标注，将病害的区域作为检测目标进行标记，构建带有标签的隧道病害训练集；

10、步骤1.2，通过实施随机的竖直或水平旋转图像变换，创建出与原图像相似但又具有差异的样本；

11、步骤1.3，将隧道病害数据集中的图像输入骨干网，经过骨干网提取的每个尺度映射到s层特征其中hs、ws、cs分别是s层的高度、宽度和通道数，r表示实数域；

12、步骤1.4，输入特征ps输入到1×1的卷积层中，将通道数统一为c，将得到的特征记为其中表示统一指定的信道数。

13、步骤2具体按照以下步骤实施：

14、步骤2.1，构建亚像素卷积上采样，通过像素洗刷算子提高图像分辨率；

15、步骤2.2，构建像素跳跃融合的图卷积层，对洗刷后的特征进行融合。

16、步骤2.1具体按照以下步骤实施：

17、步骤2.1.1，构建亚像素卷积，将步骤1.2的输出送入亚像素卷积，其中，亚像素卷积层定义为：

18、

19、其中，r为传递因子，f为输入特征，ps(f)x，y，c为在坐标(x，y，c)上输出的特征像素，和(·)分别为向下取整函数和模运算，c为通道数；

20、步骤2.1.2，将步骤2.1.1的输出送入像素跳跃融合的图卷积层，图卷积层中的像素洗刷算子将不同通道维度的像素在空间维度上均匀地展开在同一空间位置，使通道维度变为原通道维度的1/r2，引入像素跳跃融合来整合洗刷后的特征，其中图卷积层定义为：

21、

22、其中，fr×r，stride＝r表示stride设为r的r×r卷积层，stride为步长，ps为骨干网提取的每个尺度映射到s层的特征，为输入特征ps经过亚像素卷积层输出的特征像素。

23、步骤3具体按照以下步骤实施：

24、步骤3.1，构建像素向导模块，减少跨尺度特征之间的语义差异；

25、步骤3.2，构建通道权重模块，生成通道权重以指导特征融合。

26、步骤3.1具体为：将步骤1.3输出的两个相邻层送入像素向导模块，第s层和第s+1层分别表示它们输入特征为ps和ps+1，将ps和ps+1输入到1×1的卷积层中，将通道数统一，得到的特征记为cs和cs+1，构建根据cs+1的语义信息分布推断出cs中重要的语义信息的像素向导模块，尺度特征计算公式如式(3)所示：

27、

28、其中，表示通过像素向导模块更新的特征，ps表示第s层输入特征，f1×1()表示1×1的卷积层，cs表示第s层经过1×1卷积层提取的特征，表示通过cs+1表示的语义信息分布推断出cs中的语义信息。

29、步骤3.1.1中，从cs+1中提取cps，cps定义为：

30、

31、其中γs+1→s(·)可以得到软空间门控⊙指hadamard矩阵乘法，表示统一指定的信道数，us+1→s表示将s+1层特征cs+1映射到s层的上采样，当为负时，意味着将擦除中cs相应的语义信息；当为正时，意味着将增强相应的语义信息，其中软空间门控计算公式如式(5)所示：

32、

33、其中，g(·)是一个反映目标语义信息和背景信息在特征图中的像素分布的门函数，e(·)表示指数函数，在通道维度上使用平均池化和最大池化来构造g(·)，平均池化提取特征的背景信息，而最大池化提取目标本身的特征信息，通过7×7卷积层提取特征分布图，其中计算公式如式(6)所示：

34、

35、其中，cat[·]表示平均池化和最大池化的拼接，f7×7表示7×7的卷积层。

36、步骤3.2具体为：构建通道权重模块来生成通道权重以指导特征融合，通过特征提取一个通道权重，然后将乘以通道权重得到输出如式(7)所示：

37、

38、其中，表示从提取的通道权值；

39、通道权重使用多个全连接层生成，从平均池化和最大池化操作获得的空间信息特征中提取语义信息，通道权重计算公式如式(8)所示：

40、

41、其中，σ(·)表示sigmoid函数，和为多个全连接层的权重，表示平均池化，表示最大池化，表示实数域。

42、本发明的有益效果是：

43、本发明的基于像素自适应多尺度特征融合的隧道病害诊断方法，数据预处理和结果分析输出不参与模型训练过程，基于深度学习的像素自适应多尺度特征融合，通过以swintransformer为主干的网络提取多尺度特征，使初始特征更加多样化。此外，加入了基于亚像素卷积和图卷积混合的特征增强模块和基于图卷积与非线性激活混合的像素自适应模块，利用深层特征增强浅层特征，同时尽可能地消除语义信息和背景信息造成的混叠效应。解决了缺陷检测任务中经常存在复杂背景而导致的混叠效应，实现对隧道结构中潜在病害的高精度检测和分类，能补充丢失的信道信息，实现对隧道结构中潜在病害的高精度检测和分类。