基于高分辨率语义分割的PVC管尺寸检测方法及装置与流程

本发明涉及视觉检测，尤其涉及一种基于高分辨率语义分割的pvc（polyvinyl chloride，聚氯乙烯）管尺寸检测方法及装置。

背景技术：

1、pvc管道作为常见的管道材料，其具有优良的耐腐蚀性、耐热性、耐压性和耐磨性等特点，广泛应用于建筑、农业、工业、交通、环保等领域，可用于排水、通风、供水、灌溉、输送化肥、化学品、石油、天然气等。为了确保管道的安全性和可靠性，对其进行相关质检至关重要，pvc管尺寸检测即是pvc管质量检测中的重点。针对于pvc管尺寸检测，目前通常是依赖于人工采用量具（如千分尺）进行相关尺寸检测，且量具测量只能定点测量，因而每次测试都需进行多次定点测试然后取均值作为最终的检测值，该类人工定点多次测量的方式一方面无法覆盖检测对象所有检测点且检测精准度会受检测位置的影响，导致检测结果的精度、可靠性不高，另一方面人工检测的效率低，因而一般都是采用抽检的方式，难以做到全检，导致整体产品质量实际难以得到保障。

2、视觉检测是利用图像处理技术，通过采集目标物体的图像数据进行图像处理，实现目标物体的检测与分析。语义分割是视觉检测中的关键，其旨在将图像中的每个像素分配到一个或多个类别中，从而区分出图像中的不同物体和场景元素。传统深度学习语义分割通常是针对固定分辨率范围内的图像进行训练，为保持图像内容的清晰度以及细节，使用低分辨率（低于）分割以及双边上采样。但是pvc管道的管道直径较大，对检测精度以及图像分辨率要求较高，且由于管道制作工艺等问题，管道表面会存在毛刺、脏污等干扰，导致管道部分边缘区域特征不明显，同时由于管道本身体积较大，难以构建黑室环境，管道图像采集还容易受到环境光变化的干扰，而传统基于深度学习语义分割的视觉检测方法使用低分辨率分割的双边上采样，不能充分捕捉沿物体边界的高分辨率（不低于）细节，导致对于较高分辨率的图像的分割不准确且抗干扰性差，从而会使得检测的精度、可靠性不高。

技术实现思路

1、本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、检测精度以及可靠性高、鲁棒性强的基于高分辨率语义分割的pvc管尺寸检测方法及装置。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种基于高分辨率语义分割的pvc管尺寸检测方法，步骤包括：

4、步骤s01.获取原始pvc管道图像进行拉普拉斯金字塔变换，得到第0层的高频残差图像、第1层的高频残差图像及第2层下采样原始图像并作为待分割图像；

5、步骤s02.将待分割图像输入高分辨率语义分割模型中进行语义分割，得到高分辨率的语义分割结果输出；

6、所述高分辨率语义分割模型为基于isdnet（integrating shallow and deepnetworks，整合浅层和深层网络）模型，并在用于融合浅层特征与深层特征的raf（relation-aware feature fusion，关系感知特征融合）模块中，对浅层特征图、深层特征图均分别采用两条并行支路产生注意力层参数，并采用mlp（multilayer perceptron，多层感知器）层融合两条并行支路产生的注意力层参数形成对应的浅层通道注意力参数、深层通道注意力参数，将所述浅层通道注意力参数、深层通道注意力参数融合后生成注意力增强后的融合特征，再将所述注意力增强后的融合特征与空间注意力模块进行融合得到最终的空间注意力参数，两条所述并行支路中一条支路包括依次连接的gap（global averagepooling layer，全局平均池化）层以及mlp层、另一条支路包括依次连接的gap层以及卷积层；

7、步骤s03.从所述高分辨率的语义分割结果中提取出管道边缘区域；

8、步骤s04.从所述管道边缘区域中提取出pvc管道的尺寸信息。

9、进一步的，所述raf模块中依次设置有浅层通道子模块、深层通道子模块、融合模块以及所述空间注意力模块，所述浅层通道子模块、深层通道子模块分别用于对应提取出浅层特征、深层特征，由所述融合模块将提取出的浅层特征、深层特征进行融合得到注意力增强后的融合特征，所述浅层通道模块、所述深层通道子模块中均设置有依次连接的通道注意力单元、加法单元以及乘积单元，由所述通道注意力单元对浅层特征图/深层特征图经两条所述并行支路后，采用mlp层进行融合得到初始的浅层/深层通道注意力参数，所述加法单元分别接收融合注意力参数以及所述初始的浅层/深层通道注意力参数进行相加，所述乘积单元分别接收所述加法单元的输出结果以及原始浅层/深层输入特征图进行乘积计算，得到最终的浅层/深层通道注意力输出，所述融合注意力参数为将初始的浅层通道注意力参数与初始的深层通道注意力参数融合后经mlp层得到的参数。

10、进一步的，所述卷积层为1×1卷积层，所述深层通道子模块的乘积单元的输出端还设置有上采样单元，将所述乘积单元的输出结果进行上采样得到最终的深层注意力参数。

11、进一步的，所述空间注意力模块采用1×1卷积层、maxpool（最大池化）层以及avgpool（平均池化）层进行拼接所形成的特征提取拼接层对所述注意力增强后的融合特征进行特征提取以及特征拼接，所述1×1卷积层中采样空洞卷积进行卷积计算。

12、进一步的，所述高分辨率语义分割模型中基于isdnet（integrating shallow anddeep networks，集成浅层和深层网络）模型将所述第1层的高频残差图像进行上采样并与所述第0层的高频残差图像进行融合后，输入isdnet模型中shallow branch（浅层分支）模块以进行浅层特征图提取，将所述第2层下采样原始图像作为isdnet模型中deep branch（深层分支）模块的输入，所述deep branch模块的输出与所述shallow branch的输出通过上采样以及所述raf模块进行融合以形成高分辨语义分割预测，所述deep branch模块还用于生成低分辨语义分割预测，并与所述高分辨语义分割预测共同组成交叉损失，以及生成高分辨原始图像以形成高分辨率重建损失及结构蒸馏损失。

13、进一步的，步骤s01包括：

14、对原始高分辨图像进行高斯下采样，得到第一次下采样图像，并将所述第一次下采样图像进行高斯上采样得到图像，将原始高分辨图像与图像作差得到第0层的高频残差图像；

15、对所述第一次下采样图像进行高斯下采样，得到第2层下采样原始图像；

16、将所述第2层下采样原始图像进行高斯上采样得到图像，将所述第一次下采样图像与所述图像作差得到第1层的高频残差图像。

17、进一步的，所述步骤s03包括：

18、步骤s301.获取管道区域二值图像，并进行噪声干扰滤除操作，将噪声干扰滤除后二值图像的最大连通域区域作为最终的管道区域二值图像；

19、步骤s302.对所述管道区域二值图像进行边缘检测，得到二值化的边缘图像；

20、步骤s303.在所述二值化的边缘图像上，对每个边缘像素的局部邻域内进行亚像素级的插值，得到亚像素边缘点集；

21、步骤s304.对所述亚像素边缘点集进行细化，最终得到管道边缘的亚像素点集；

22、步骤s305.根据所述管道边缘的亚像素点集获取管道内外壁的亚像素边缘二值图并求取最小外接矩阵，以用于识别内外壁边缘点集；

23、步骤s306.根据外边缘点特征对内外边缘点集中内边缘点、外边缘点进行分类，最终得到分类后的内外边缘点集。

24、进一步的，所述pvc管道的尺寸信息包括内外径、壁厚及外壁不圆度中任意一种，所述内外径通过分别将内外壁亚像素边缘点集进行内外圆拟合，并求取内外圆直径得到，所述壁厚通过计算内圆边缘点集到外圆边缘点集之间间距的统计值得到，所述外壁不圆度为pvc管道的横断面上最大与最小直径的差值。

25、进一步的，所述外壁不圆度的提取步骤包括：

26、计算外边缘点到外圆圆心的间距，并与外圆半径作差得到外边缘点到外圆边缘的间距；

27、过滤外边缘点集中的噪声点，得到过滤噪声后的外边缘点集；

28、使用所述过滤噪声后的外边缘点集得到外边缘的拟合椭圆，并计算拟合椭圆的长短轴距离之差作为不圆度：

29、

30、其中，表示不圆度，表示椭圆长轴，表示椭圆短轴。

31、一种基于高分辨率语义分割的pvc管尺寸检测装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。

32、与现有技术相比，本发明的优点在于：本发明通过对pvc管图像进行分割过程中，基于isdnet模型由raf模块对浅层、深层特征图分别采用gap层+mlp层以及gap层+卷积层两条并行支路产生注意力层参数，形成并行的多模型融合策略，采用mlp层融合两条并行支路产生的注意力层参数形成通道注意力参数，可以将注意力特征参数的全局语义与局部语义进行充分有效的融合，提升通道注意力参数特征表征能力，同时通过将浅层、深层通道注意力参数融合后再与空间注意力模块进行融合得到最终的空间注意力参数，能够实现像素级的注意力增强，进一步增强前景与背景的区别能力，能够大大提升pvc管道边缘特征提取的精准性及鲁棒性，进而基于语义分割结果提取出管道边缘区域，再基于管道边缘区域可以快速、精准的实现pvc管道尺寸的检测。