一种基于双目视觉的核反应堆内构件远程定位方法与流程

本发明涉及远程控制，特别是涉及一种基于双目视觉的核反应堆内构件远程定位方法。

背景技术：

1、反应堆下部堆内构件是直径6m的圆形物体，在对堆内构件进行定位安装时，传统的人工定位方式效率低，且辐射的存在对工人来说是很严重安全隐患。本发明实现了堆内构件维修更换快速定位安装，实现了无人化远程操作高精度引导定位测量，实现了被测物体局部涉水状态下高精度引导定位，并输出坐标位置，以便于实时定位下部堆内构件空间位置，并可协助吊装工具将下部堆内构件导入堆芯。目前，尚未有在基于双目视觉的工业超远距离三维空间定位检测方法相关技术出现。

技术实现思路

1、本发明的目的在于提供一种基于双目视觉的核反应堆内构件远程定位方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于双目视觉的核反应堆内构件远程定位方法，包括：

4、第一个方面，所述的一种核反应堆内构件在三维空间中远程定位方法，包括：

5、针对核反应堆内构件采集不同角度、不同场景、不同距离下的彩色图像信息制作目标检测数据集；

6、使用yolov5目标检测模型，设置符合图像信息处理器运算能力的网络结构参数后训练关于反应堆内构件的目标检测模型；

7、对目标检测的结果区域进行剪裁，将剪裁下来的区域作为后续算法的源图像进行处理；

8、根据彩色图的目标检测结果，对深度图像中对应区域进行剪裁并将其作为后续算法的源图像进行处理；

9、采用knn算法对深度图中深度信息缺失区域进行补全，在knn算法中首先标记深度信息缺失的像素点，再计算深度值缺失的点距离其它深度信息没有缺失点的距离，计算公式如下：

10、

11、其中表示点(x(i),y(i))到点(x(j),y(j))的距离。

12、对计算好的距离进行排序，选取距离最近的k个点，采用knn算法将邻近像素点的深度值以加权平均或投票等方式确定缺失像素点的深度值。

13、制定超分辨率放大图像的方案,当目标检测剪裁后的图像尺寸小于128×80时，放大倍数为10倍；当目标检测剪裁后的图像尺寸小于160*100，放大倍数为8倍；当目标检测剪裁后的图像尺寸小于256*160，放大倍数为5倍；当目标检测剪裁后的图像尺寸小于320*200，放大倍数为4倍；当目标检测剪裁后的图像尺寸小于1640*400，放大倍数为2倍；

14、采用相同的放大倍数对彩色图像和深度图像进行处理，对于彩色图来说可以丰富图像细节，提高定位检测精度；对于深度图来说，可以保证深度图中对应位置的深度信息能与彩色图相匹配；

15、进行hsv颜色阈值检测，设置阈值检测的上限和下限；

16、对图片进行hsv颜色空间转换；

17、对hsv颜色空间转换后的图片进行边缘检测与轮廓筛选；

18、根据筛选出的轮廓计算特征点坐标并进行图像显示与特征点像素坐标输出；

19、对特征点检测输出的像素坐标进行还原，对目标进行目标检测并剪裁后，反应堆内构件的像素坐标发生改变，但是反应堆内构件物体各部分的相对位置及尺寸比例保持不变，剪裁后特征点的像素坐标与剪裁前特征点的像素坐标有如下关系：

20、

21、其中，(x,y)表示剪裁后图片中心点坐标，(x1,y1)表示特征点检测输出的像素坐标，(x2,y2)表示特征点检测输出的像素坐标在目标检测剪裁之前的图片中的像素坐标，(x0,y0)表示目标检查测剪裁区域中心点像素坐标，weigh t和h eigh t表示目标检测剪裁后的图片的宽度和长度，weigh t1和h eigh t1表示超分辨率处理后的图片的宽度和长度；

22、根据双目相机成像原理可知，像素坐标系与世界坐标系有如下关系：

23、

24、其中，zc表示像素坐标系中的一点，坐标原点在图像左上角，向右为u，向下为v；表示双目的内参矩阵，fx，fy分别表示x轴和y轴上焦距的长度，u0和v0是图像的光学中心；[r3×3t3×1]表示双目的旋转矩阵和平移矩阵；(xw，yw，zw)为世界坐标系下的坐标；

25、读取特征点提取部分输出的像素坐标p(x,y)，再读取像素坐标在深度图中对应位置的深度信息，最后结合双目相机成像原理公式计算出像素坐标的三维空间坐标；

26、在制作目标检测数据集时采集到的图像信息的基础上增加采集新的图像信息，对扩充后的图像信息进行更加精细的图像标注操作，制作语义分割数据集；

27、对数据集中的原图、标签图进行左右镜像翻转、上下镜像翻转、顺时针旋转90°、180°、270°，最终数据集被扩充为原来的六倍；

28、使用deeplabv3+语义分割模型，设置符合图像信息处理器运算能力的网络结构参数后训练关于反应堆内构件的语义分割模型；

29、根据语义分割的像素级分类结果，将彩色图和深度图中的对应位置剪裁下来，根据双目相机成像原理计算出图中每个点对应的三维空间坐标，将其进行三维显示以生成关于核反应堆内构件的三维重建图。

30、与现有技术相比，本发明的有益效果是：

31、本发明利用了双目结构光相机对工业中超远距离的目标物体进行信息采集，并利用目标检测、knn补全、esrgan超分辨率算法、语义分割、hsv阈值化处理等图像处理技术定位目标物体的像素坐标位置，然后根据双目相机成像原理计算出目标物体的三维空间坐标，

32、填补了工业中超远距离双目视觉定位的空白，实现了核工业堆内构件无人化远程操作高精度引导定位，实现了被测物体局部涉水状态下高精度引导定位，大大降低了劳动强度，提高了定位安装效率，具有如下优点：

33、(1)利用双目结构光相机采集核工业中超远距离目标定位物体的图像信息，其信息准确程度优于传统双目相机采集到的信息。

34、(2)利用目标检测缩小图像处理区域，剔除采集到的无用信息，将计算机算力集中到目标定位物体所在区域，降低图像处理任务量，提高目标定位检测效率。

35、(3)使用以目标检测结果区域的尺寸为判断依据的自适应放大倍数的esrgan超分辨率放大算法防止信息丢失，并且丰富了图像细节，能够有效弥补双目相机分辨率不够高的缺陷。

36、(4)使用语义分割结合三维点云重建算法，三维点云配准算法生成目标定位物体的运动三维实时动画便于全方位观测目标定位物体的姿态，在大场景中所在位置。

37、(5)实现了核工业堆内构件无人化远程操作高精度引导定位，在核反应堆内构件安装的过程中有效地保护工作人员的安全。

38、(6)实现了被测物体局部涉水状态下高精度引导定位，自动化程度高和效率高，能极大地节约人力成本。

技术特征：

1.一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，使用目标检测算法剔除冗余图像信息，降低图像处理任务量，提高图像运行速度，包括：

3.根据权利要求1所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，使用knn算法对深度图中深度值缺失的区域进行补全，包括：

4.根据权利要求1所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，使用real-esrgan超分辨率算法提高图像分辨率、丰富图像细节。

5.根据权利要求4所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，根据输入图片尺寸自动设置超分辨率放大倍数，包括：

6.根据权利要求5所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，使用基于opencv的hsv阈值限检测方法对核反应堆内构件上的特征点进行检测，包括：

7.根据权利要求1所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，所述步骤4具体是：

8.根据权利要求7所述的一种基于双目视觉的核反应堆内构件远程定位方法，其特征在于，所述步骤4还包括对特征点检测的结果进行预处理，具体是：

技术总结本发明公开了一种基于双目视觉的核反应堆内构件远程定位方法，涉及核工业中被吊装目标在三维空间中的定位检测领域，该方法利用双目结构光相机对核电行业中反应堆内部构件进行扫描拍摄，得到反应堆内部构件的彩色图像信息和深度图像信息；使用目标检测、超分辨率放大算法、特征点检测算法等图像处理算法处理彩色图像信息和深度信息；根据双目相机成像原理反推堆内构件的像素坐标所对应的三维空间坐标，以实现核反应堆内构件的定位任务。该发明填补了核电工业中针对反应堆内部构件的超远距离双目视觉定位方法的空白，实现了堆内构件无人化远程操作和高精度引导定位(局部涉水状态下)，提高了定位安装效率。技术研发人员：孙国庆,王成林,王麟,朱志强,唐晓澜,张冬至受保护的技术使用者：中核检修有限公司技术研发日：技术公布日：2024/11/4