一种基于双目孔探相机的工件表面缺陷面积测量方法及装置

本发明属于缺陷检测，尤其涉及一种基于双目孔探相机的工件表面缺陷面积测量方法及装置。

背景技术：

1、在发动机检修领域，对于其内部情况的检测任务具有重要意义，其内部结构和状况对于安全性、维护和运营管理至关重要。然而，传统的单目孔探相机由于本身硬件的局限性只能得到缺陷是否存在的信息，无法得到缺陷面积大小的信息，并且叶片的曲面结构使得不能通过单纯的缺陷掩膜的像素面积来计算缺陷的实际面积。

2、传统的检测方法主要依赖于单个相机或传感器进行成像和数据采集。这种单一视角的成像方式，无法获得相机和待检测物体表面之间的距离，可能会发生碰撞，造成相机镜头的损坏或者损坏待检测物体的表面，而且无法获得缺陷的面积大小和长度等信息，由于一般待检测物体的表面是三维曲面，单纯通过单目相机获得的图像无法准确反应缺陷的信息，限制了对零部件内部情况的全面观察，导致无法准确评估其结构完整性和运行状态。此外，由于待检测物体内部的特殊几何形状，表面上的缺陷或问题可能在传统成像中难以察觉。例如，某些缺陷可能只在特定角度或光线条件下可见，而传统方法无法提供多个角度或光源。因此，需要提供一种创新的检测方法，以克服现有技术的局限性，提供全面、准确的内部信息。

技术实现思路

1、本发明的目的在于提供一种基于双目孔探相机的工件表面缺陷面积测量方法及装置，通过双目孔探相机获得距离信息和缺陷的尺寸信息，以得到更精确的缺陷面积信息。

2、为实现上述目的，本发明提供了一种基于双目孔探相机的工件表面缺陷面积测量方法，包括以下步骤：

3、s1，通过双目孔探相机采集待检测工件的图像，得到深度图和rgb图像；

4、s2，对所述rgb图像进行缺陷识别，得到缺陷掩模图；对所述深度图进行滤波，得到预处理深度图；

5、s3，将所述缺陷掩模图的缺陷区域分割为若干个三角形，结合所述预处理深度图的深度值，得到每个三角形的面积，然后累加得到缺陷区域的总面积。

6、进一步的，步骤s2中，所述深度学习图像分割网络采用u-net或a-net网络。

7、进一步的，步骤s2中，所述滤波采用中值滤波、双边滤波或者加权最小二乘滤波。

8、进一步的，步骤s3中，根据所述缺陷掩模图和预处理深度图构建三维坐标系，得到每个三角形的三维坐标，根据三维坐标即可得到三角形的面积。

9、进一步的，所述缺陷区域的分割方法包括：对所述缺陷掩模图的边缘进行划分，得到位于边缘上的r1个点p1、p2、…、pr1；对所述缺陷掩模图的内部进行划分得到r2个点pr1+1、pr1+2、…、p r1+r2，依次将相邻的三个点连接得到r1+r2-2个三角形，记为pt1pt2pt3，相邻两个三角形共用一条边且互不重合；其中，pt1表示第t个三角形的第一个顶点，pt2表示第t个三角形的第二个顶点，pt3表示第t个三角形的第三个顶点。

10、进一步的，所述三角形pt1pt2pt3的面积计算方法包括：

11、将三角形pt1pt2pt3的三个顶点的坐标分别记为pt1(xt1,yt1,yt1)，pt2(xt2,yt2,yt2)，pt3(xt3,yt3,yt3)，通过计算得到：

12、pt1pt2＝pt2-pt1＝(xt2-xt1,yt2-yt1,zt2-zt1)

13、pt1pt3＝pt3-pt1＝(xt3-xt1,yt3-yt1,zt3-zt1)

14、通过向量叉积运算；

15、

16、然后进行换元得到：

17、m＝(yt2-yt1)(zt3-zt1)-(zt2-zr1)(yt3-yt1)

18、n＝(zt2-zt1)(xt3-xt1)-(xt2-xr1)(zt3-zt1)

19、k＝(xt2-xt1)(yt3-yt1)-(yt2-yr1)(xt3-xt1)

20、接着计算叉积运算的模长：

21、

22、则三角形面积通过下述公式得到：

23、

24、进一步的，所述缺陷区域的总面积通过下述公式得到：

25、

26、其中，st表示第t个三角形的面积，t为1至r1+r2-2的正整数。

27、本发明还提供一种基于双目孔探相机的工件表面缺陷面积测量装置，包括：

28、图像采集模块，用于通过双目孔探相机采集待检测工件图像，得到深度图和rgb图像；

29、图像处理模块，用于对所述深度图进行滤波，得到预处理深度图；

30、缺陷识别模块；用于通过深度学习图像分割网络对所述rgb图像进行缺陷识别，得到缺陷掩模图；

31、面积计算模块，用于将所述缺陷掩模图的缺陷区域分割为若干个三角形，结合所述预处理深度图的深度值，得到每个三角形的面积，然后累加得到缺陷区域的总面积。

32、进一步的，所述图像采集模块包括位移调控装置和双目孔探相机；所述双目孔探相机固定在所述位移调控装置上，通过位移调控装置控制所述双目孔探相机的位移，以采集待检测工件各个方位的图像。

33、进一步的，所述位移调控装置根据所述双目孔探相机采集到的深度图判断所述双目孔探相机与待检测工件之间的距离，再根据该距离对所述双目孔探相机的位移进行调控。

34、总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

35、1)本发明通过双目孔探相机进行成像和数据采集，能够全面、准确地检测待检测物体的内部情况，通过双目孔探相机得到的深度图和rgb图像，借助深度学习神经网络得到缺陷位置信息的掩膜图像；基于缺陷的掩膜信息和深度信息相关数据，采用有限元的分析方法能够较精确的计算得到缺陷面积。

36、2)本发明将缺陷区域进行三角形分割，基于三维坐标数据，通过向量叉积运算能够得到缺陷的实际面积，尤其适用于不规则曲面型工件表面的缺陷面积测量，例如可用于发动机内部、管道内部、腔体类工件内部的检测。

技术特征：

1.一种基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，步骤s2中，所述深度学习图像分割网络采用u-net或a-net网络。

3.根据权利要求1所述的基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，步骤s2中，所述滤波采用中值滤波、双边滤波或者加权最小二乘滤波。

4.根据权利要求1所述的基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，步骤s3中，根据所述缺陷掩模图和预处理深度图构建三维坐标系，得到每个三角形的三维坐标，根据三维坐标即可得到三角形的面积。

5.根据权利要求4所述的基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，所述缺陷区域的分割方法包括：对所述缺陷掩模图的边缘进行划分，得到位于边缘上的r1个点p1、p2、…、pr1；对所述缺陷掩模图的内部进行划分得到r2个点pr1+1、pr1+2、…、pr1+r2，依次将相邻的三个点连接得到r1+r2-2个三角形，记为pt1pt2pt3，相邻两个三角形共用一条边且互不重合；其中，pt1表示第t个三角形的第一个顶点，pt2表示第t个三角形的第二个顶点，pt3表示第t个三角形的第三个顶点。

6.根据权利要求5所述的基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，所述三角形pt1pt2pt3的面积计算方法包括：

7.根据权利要求6所述的基于双目孔探相机的工件表面缺陷面积测量方法，其特征在于，所述缺陷区域的总面积通过下述公式得到：

8.一种基于双目孔探相机的工件表面缺陷面积测量装置，其特征在于，包括：

9.根据权利要求8所述的基于双目孔探相机的工件表面缺陷面积测量装置，其特征在于，所述图像采集模块包括位移调控装置和双目孔探相机；所述双目孔探相机固定在所述位移调控装置上，通过位移调控装置控制所述双目孔探相机的位移，以采集待检测工件各个方位的图像。

10.根据权利要求9所述的基于双目孔探相机的工件表面缺陷面积测量装置，其特征在于，所述位移调控装置根据所述双目孔探相机采集到的深度图判断所述双目孔探相机与待检测工件之间的距离，再根据该距离对所述双目孔探相机的位移进行调控。

技术总结本发明提供一种基于双目孔探相机的工件表面缺陷面积测量方法及装置，属于缺陷检测技术领域。缺陷面积测量方法包括：S1，通过双目孔探相机采集待检测工件的图像，得到深度图和RGB图像；S2，通过深度学习图像分割网络对所述RGB图像进行缺陷识别，得到缺陷掩模图；S3，对所述深度图进行滤波，得到预处理深度图；S4，将所述缺陷掩模图的缺陷区域分割为若干个三角形，结合所述预处理深度图的深度值，得到每个三角形的面积，然后累加得到缺陷区域的总面积。本发明基于缺陷的掩膜信息和深度信息相关数据，通过有限元的分析方法能够计算得到缺陷的面积，适用于发动机内部、管道内部、腔体类工件内部的检测。技术研发人员：余文勇,秦海波,李逸航,王英杰受保护的技术使用者：华中科技大学技术研发日：技术公布日：2024/10/17