高精度三维点云测量系统及测量方法

本发明涉及计算机视觉技术应用领域，特别涉及一种高精度三维点云测量系统及测量方法。

背景技术：

1、伴随着工业生产中自动化的要求越来越高，计算机视觉技术已被广泛的机器人行业，配备视觉辅助系统的机器人可更准确快速地完成对目标抓取、组装、搬运等工作。视觉辅助系统识别各种目标工具，计算目标工具的位置与姿态，引导机器人抓取目标工具与其他操作。通常，视觉辅助系统以二维图像为研究对象，通过视觉模型将二维信息转化为三维信息，从而获取研究对象的位置和姿态。视觉测量技术最常用的方法包括：单目测量技术、双目测量技术和多目测量技术。其中，双目测量由于结构简单、精确度高和成本低的优势，更多地被用在非合作目标测量系统中。

2、国内外有很多关于双目视觉测量技术的优秀研究及应用成果。日本大阪大学利用自适应双目视觉伺服系统完成了对未知运动物体的视觉跟踪，该方法利用双目视觉的原理，通过计算运动目标图像的雅可比矩阵，来推测目标物体的运动方向，从而实现目标物体的运动预测及追踪。美国麻省理工学院研究了一套传感器系统和双目视觉系统融合的方法，这种技术能够被用在智能交通系统中。该方法先通过雷达传感器粗略地提供目标的深度信息范围，再利用双目视觉系统精确地计算目标的深度信息。但以上双目测量系统均存在抵抗复杂光照能力较弱，识别目标单一，测量精度较低的问题。

技术实现思路

1、本发明要解决现有技术中的技术问题，提供一种高精度三维点云测量系统及测量方法。

2、为了解决上述技术问题，本发明的技术方案具体如下：

3、一种高精度三维点云测量系统，包括依次相连的：前端图像检测设备、综合控制器和上位机；

4、其中，前端图像检测设备，包括：

5、散斑投影单元，设置于前端图像检测设备的中间位置，用于向目标投射散斑；

6、两台近红外相机，分别设置于前端图像检测设备的两端，用于对目标进行双目测量和结构光测量；

7、观测相机，设置于前端图像检测设备的中间位置，用来实现对目标的可见光范围内的成像；

8、前端图像检测设备用来向目标投射散斑，采集现场实时图像，接收、执行上位机发送的指令，并将图像数据传输至综合控制器上；

9、综合控制器用来接收前端图像检测设备的图像、点云的生成算法的预处理、相机同步、通信以及控制散斑投影；

10、上位机用来控制整个系统并显示系统的工作状态，并将目标姿态信息传递至前端图像检测设备。

11、在上述技术方案中，前端图像检测设备安装在机器人上。

12、适用上述高精度三维点云测量系统的测量方法，包括以下步骤：

13、步骤1：两台近红外相机采集图像信息后通过sgbm算法立体匹配，求解每个像素点视差，并将视差图像转换为点云图像；

14、步骤2：通过观测相机获取rgb图像并提取目标区域图像，采用mask r-cnn网络对彩色图像进行目标分割，通过像素对齐的方式确定每个三维点和每个像素之间的对齐关系，完成图像特征图与点云特征图的融合；

15、步骤3：分别采用pnp算法与icp算法实现点云图的粗配准与精配准，完成对目标工具的位姿计算，引导机器人进行工具的抓取和操作。

16、在上述技术方案中，步骤1具体包括：

17、采用张正友标定法对近红外相机和观测相机的内外参数以及畸变参数进行标定，以保证测量系统的测量精度；

18、散斑投影单元向目标区域投射散斑，两台近红外相机采集双目图像并传输至综合处理器；

19、综合控制器将采集的双目图像进行极线矫正，然后通过sgbm算法立体匹配，求解每个像素点视差，并将视差图像转换为点云图像。

20、在上述技术方案中，步骤2具体包括：

21、观测相机获取目标的rgb图像并传输至综合控制器，综合控制器提取目标区域图像，并采用mask r-cnn网络对彩色图像进行目标分割；

22、综合控制器通过像素对齐的方式确定每个三维点和每个像素之间的对齐关系，完成图像特征图与点云特征图的融合。

23、本发明具有以下有益效果：

24、本发明的高精度三维点云测量系统，采用双目与散斑结构光的方式实现三维点云的生成，散斑投影单元向目标区域投射散斑，双目相机成像后将成像数据经过综合控制器处理后生成点云数据，通过算法完成对目标工具的识别与位姿计算，是一种多目标、精度高、稳定快速且抗干扰能力强的三维点云测量系统，可应用于光照复杂的环境中。

技术特征：

1.一种高精度三维点云测量系统，其特征在于，包括依次相连的：前端图像检测设备、综合控制器和上位机；

2.根据权利要求1所述的高精度三维点云测量系统，其特征在于，前端图像检测设备安装在机器人上。

3.适用权利要求1或2所述的高精度三维点云测量系统的测量方法，其特征在于，包括以下步骤：

4.根据权利要求3所述的测量方法，其特征在于，步骤1具体包括：

5.根据权利要求3所述的测量方法，其特征在于，步骤2具体包括：

技术总结本发明涉及一种高精度三维点云测量系统，涉及计算机视觉技术应用技术领域，解决现有视觉测量设备抵抗复杂光照能力较弱，识别目标单一，测量精度较低的问题。该测量系统包括依次相连的：前端图像检测设备、综合控制器和上位机；前端图像检测设备，包括：散斑投影单元，两台近红外相机，观测相机。本发明的高精度三维点云测量系统，采用双目与散斑结构光的方式实现三维点云的生成，散斑投影单元向目标区域投射散斑，双目相机成像后将成像数据经过综合控制器处理后生成点云数据，通过算法完成对目标工具的识别与位姿计算，是一种多目标、精度高、稳定快速且抗干扰能力强的三维点云测量系统，可应用于光照复杂的环境中。技术研发人员：刘浩,孙海超,任宏,姜金辰,刘艳滢,田睿受保护的技术使用者：中国科学院长春光学精密机械与物理研究所技术研发日：技术公布日：2024/11/14