一种基于图像信息和点云信息的螺栓缺陷检测方法

本发明属于计算机视觉领域，更具体地，涉及一种基于图像信息和点云信息的螺栓缺陷检测方法。

背景技术：

1、螺栓缺陷识别是保证被巡检对象正常运行的基础，如果发生松动的螺栓不能被检修人员及时发现并维修，可能会导致进一步的脱落。松动的螺栓可能会导致漏油、漏气等一系列问题，在螺栓发生松脱的情况下甚至可能导致更加严重的安全问题。因此，针对巡检对象的螺栓的缺陷识别任务显得尤为重要。

2、目前针对螺栓缺陷识别任务，主要方式是单独利用图像信息或者单独利用点云信息进行缺陷识别，其中，利用图像信息进行螺栓缺陷识别，对于垂直于螺栓表面视角拍摄的图像，由于图像特征不明显，识别精度不高；而单独利用点云信息进行螺栓的缺陷识别，在全局点云上进行处理，计算量大，运算耗时。

3、由此，现有的螺栓缺陷检测方法存在检测精度不高、难以适应多种拍摄角度以及实时性不高的诸多问题。

技术实现思路

1、针对现有技术的缺陷和改进需求，本发明提供了一种基于图像信息和点云信息的螺栓缺陷检测方法，其目的在于保证时效的同时避免当基于垂直于或近似垂直于螺栓表面视角拍摄的图像进行识别时精度不高的问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于图像信息和点云信息的螺栓缺陷检测方法，包括：

3、采集包含待检螺栓的巡检区域的巡检图像和点云数据，其中，巡检图像和点云数据像素对齐；

4、基于巡检图像，采用预先训练的目标识别模型，对待检螺栓进行目标框的回归和预测；

5、若所述预测的结果为不存在待检螺栓，则完成螺栓缺陷检测；若所述预测的结果存在待检螺栓，根据回归得到的目标框进行螺栓区域的点云映射，并采用ransac平面分割算法，在螺栓区域的点云中进行螺栓上表面和安装基准面的分割提取；计算两平面之间的距离并与设定的阈值进行比较，从而判断螺栓是否发生松动，完成螺栓缺陷检测。

6、进一步，采用深度相机采集所述巡检图像和点云数据。

7、进一步，所述目标识别模型为改进的yolov8，其中，所述改进的yolov8是通过以下改进方式得到：

8、在yolov8的主干特征提取网络中的c2f结构中添加坐标注意力机制ca，添加方式为在c2f中的bottleneck模块输出端添加ca，用于对bottleneck模块所输出的特征图的不同通道不同区域赋予不同的权重；

9、在yolov8的颈部结构中使用渐进特征金字塔的融合结构afpn，首先分别利用cbs模块对所述主干特征提取网络输出的p3、p4特征图进行卷积提取特征，然后使用两个asff2模块将卷积得到的特征图进行自适应融合，将融合后得到的两个特征图分别经c2f模块特征提取后得到中间层特征图c3、c4；采用三个asff3模块对中间层特征图c3、c4与所述主干特征提取网络所输出的p5特征图进行自适应融合并分别经过c2f进行特征提取，最后得到经过渐进融合的特征图p'3、p'4、p'5，后续利用融合后的特征层进行目标框的回归和预测。

10、进一步，所述改进的yolov8在训练时所采用的损失函数为focal-siou边界框损失函数。

11、进一步，所述focal-siou边界框损失函数具体为：

12、

13、

14、

15、

16、

17、

18、

19、式中，iou表示预测目标框和真实目标框的交并比；λ表示角度损失项；ω表示形状损失项；ρx、ρy、γ均为中间变量；和分别表示预测目标框中心点和真实目标框中心点的横坐标；和分别表示预测目标框中心点和真实目标框中心点的纵坐标；cw和ch分别表示预测目标框和真实目标框的最小包围框的高度和宽度；α表示预测目标框中心点和真实目标框中心点的连线与图像水平方向的夹角；β表示预测目标框中心点和真实目标框中心点的连线与图像竖直方向的夹角；bh表示预测目标框中心点和真实目标框中心点之间的高度差；bw表示预测目标框中心点和真实目标框中心点之间的宽度差；σ表示预测目标框中心点和真实目标框中心点之间的距离；w、h分别表示真实目标框的宽和高；wgt、hgt分别表示预测目标框的宽和高；ww、wh均为中间变量；θ表示所述focal-siou边界框损失函数对形状损失的关注程度。

20、进一步，在采用ransac平面分割算法之前，对映射所得到的螺栓区域的点云进行统计滤波，剔除离群点，并对滤波后的点云进行均匀4倍下采样，将由此得到的螺栓区域的点云，用于后续的拟合算法中。

21、进一步，采用ransac平面分割算法，在螺栓区域的点云中进行螺栓上表面和安装基准面的分割提取时，第一次分割提取采用ransac平面分割算法，第二次分割提取采用带法向量约束的ransac平面分割算法；

22、其中，所述带法向量约束的ransac平面分割算法为：在ransac平面分割算法中，在确定当前迭代平面之后，且遍历点云以计算各点到当前迭代平面的距离之前，添加如下判断步骤：

23、计算当前迭代平面的法向量与第一次分割提取的平面的法向量的余弦值，若余弦值小于预设值，则返回重新确定一个平面，作为下一次迭代平面，重新执行该判断步骤，否则，执行ransac平面分割算法后续的步骤。

24、进一步，所述预设值为0.995。

25、进一步，所述计算两平面之间的距离的实现方式为：

26、根据分割得到的螺栓上表面与安装基准面，利用其中一个平面的内点集合与另一个平面的四个参数进行距离计算；计算的距离结果是元素个数等于内点集合中数据点数量的数组；通过对该数组取平均值，来得到两平面间的距离。

27、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种基于图像信息和点云信息的螺栓缺陷检测方法。

28、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

29、(1)本发明提出基于图像信息和点云信息的螺栓缺陷检测方法，首先，采集rgb图像与点云数据，其中rgb图像与点云数据自动实现像素对齐；利用rgb图像进行螺栓区域的定位，然后进行点云映射，根据点云数据，进行平面分割和松动与否的的识别。本发明克服了现有只利用图像数据无法有效识别垂直于螺栓上表面一定角度范围内拍摄图像中螺栓松动缺陷，同时也克服了利用全局点云处理时计算量巨大的问题。提高了螺栓缺陷识别的准确性，以及时效性。

30、(2)本发明提出基于巡检图像，利用改进的yolov8进行螺栓区域的定位以及螺栓丢失缺陷的识别，减少复杂背景的干扰，提升了复杂环境下模型对螺栓目标的特征提取能力，在融合低级特征细节的同时，尽可能的保留高层特征的语义信息，提高检测精度。解决了螺栓螺母样本整体目标尺寸偏小，对目标框与预测目标框之间的角度偏移更加敏感，而且不同形状螺栓之间定位的难易程度不同的问题，提高了坐标框定位的准确性。

31、(3)本发明提出对根据定位到螺栓坐标框进行点云映射得到的螺栓区域点云，采用统计滤波和下采样的方式进行点云预处理，降低了噪声点云的干扰，提高了算法的运行效率。

32、(4)本发明提出在进行点云平面分割的时候，第二次平面分割采用带法向量约束的ransac算法进行平面分割，降低了无效的迭代运算，降低了计算复杂度。