基于偏转式视觉系统的单目相机目标坐标测量方法及系统

本发明属于视觉测量及图像处理，尤其涉及基于偏转式视觉系统的单目相机目标坐标测量方法及系统。

背景技术：

1、视觉系统广泛应用于机器人系统，已经成为机器人系统的重要组成部分。传统立体视觉由两台固定相机构成，属于被动视觉。传统立体视觉的相机视场保持不变，两台相机的公共视场也保持不变。传统立体视觉只能对两台相机公共视场内的区域进行三维测量，测量区域固定，且范围较小。

2、偏转式视觉系统可以对相机进行旋转，改变组成双目视觉系统的两台相机的相对朝向，使其向外偏转，可以调整并扩大相机的视场范围。然而，相机向外偏转后形成了两个独立的单目视觉系统，仅靠单目视觉系统难以获得物体的深度信息，因此，如何使用单目视觉系统进行三维测量成为关键问题。

3、深度信息对目标的三维测量非常重要。微软公司开发的rgbd相机kinect被广泛用于提供深度图像。rgbd相机的深度范围小，精度低，限制了其应用。为了提高单目视觉系统的三维测量性能，有必要对深度估计进行研究。

4、单目视觉测量方法有多种形式，包括双光路测量、基于目标信息的测量、基于学习的测量和运动视觉测量等。双光路测量借助反射镜形成单台相机的两条光路构成立体视觉。基于目标信息的测量方法，比较常见的有pnp法和平面投影法等，但是需要已知测量目标的相对位置信息。基于学习的测量方法对模型进行训练后，可以从一幅图像中获得场景中物体的深度信息，但单幅图像深度估计方法的测量精度较低。运动视觉测量方法，包括基于运动测量目标三维位置和基于图像变化估计相机运动，常见的方法有多视角测量方法和双视角测量方法。

5、xu等人利用运动前后图像特征的变化估计移动机器人的位姿。描述相机运动与图像特征之间变化关系的矩阵称为交互矩阵，可用于基于运动的单目视觉系统目标测量。由于安装在机器人的视觉系统随机器人一起运动，可以使图像特征随着视觉系统的平移运动在图像中产生位置变化，有助于单目视觉系统对目标的三维位置进行估计。

6、由于运动过程中，通过机器人底盘读数难以获取精确的运动增量信息，会对基于运动的单目视觉测量结果产生较大误差。近年来，利用视觉里程计来估计相机运动轨迹已达到较高的精度，但单目视觉里程计估计的相机运动轨迹由于缺少尺度信息，难以用于基于运动的单目视觉系统目标测量。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了基于偏转式视觉系统的单目相机目标坐标测量方法及系统，实现视觉系统在双目视觉系统和单目视觉系统间的切换，可对两相机视场中任意点的三维坐标进行测量，扩大了视觉系统的测量范围。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、本发明第一方面提供了基于偏转式视觉系统的单目相机目标坐标测量方法。

4、基于偏转式视觉系统的单目相机目标坐标测量方法，包括以下步骤：

5、控制第一相机和第二相机形成具有公共视场的双目视觉系统，计算公共视场内点特征的三维坐标，控制双目视觉系统移动，建立原始点特征地图；

6、控制第二相机侧向旋转，直至第一相机与第二相机无公共视场，使第一相机和第二相机形成两个单目视觉系统，并计算第一相机和第二相机之间的相对位姿；

7、控制两个单目视觉系统移动，获取第一相机采集的图像并提取其中的特征点，与原始点特征地图中的点进行特征匹配，并求解第一相机的帧间位姿和帧间运动增量，利用第一相机的帧间位姿，求出第一相机视野内的特征点的三维坐标，加入原始点特征地图中；

8、基于第一相机的帧间运动增量，求解第二相机的帧间运动增量，并基于运动的方法对第二相机视野内特征点的三维坐标进行测量，将第二相机视野内特征点的三维坐标加入原始点特征地图中，得到最终的点特征地图。

9、本发明第二方面提供了基于偏转式视觉系统的单目相机目标坐标测量系统。

10、基于偏转式视觉系统的单目相机目标坐标测量系统，包括：

11、原始点特征地图获取模块，被配置为：控制第一相机和第二相机形成具有公共视场的双目视觉系统，计算公共视场内点特征的三维坐标，控制双目视觉系统移动，建立原始点特征地图；

12、偏转模块，被配置为：控制第二相机侧向旋转，直至第一相机与第二相机无公共视场，使第一相机和第二相机形成两个单目视觉系统，并计算第一相机和第二相机之间的相对位姿；

13、第一相机特征点坐标计算模块，被配置为：控制两个单目视觉系统移动，获取第一相机采集的图像并提取其中的特征点，与原始点特征地图中的点进行特征匹配，并求解第一相机的帧间位姿和帧间运动增量，利用第一相机的帧间位姿，求出第一相机视野内的特征点的三维坐标，加入原始点特征地图中；

14、第二相机特征点坐标计算模块，被配置为：基于第一相机的帧间运动增量，求解第二相机的帧间运动增量，并基于运动的方法对第二相机视野内特征点的三维坐标进行测量，将第二相机视野内特征点的三维坐标加入原始点特征地图中，得到最终的点特征地图。

15、本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于偏转式视觉系统的单目相机目标坐标测量方法中的步骤。

16、本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于偏转式视觉系统的单目相机目标坐标测量方法中的步骤。

17、以上一个或多个技术方案存在以下有益效果：

18、本发明提供了一种基于偏转式视觉系统的单目相机目标坐标测量方法及系统，简单易行、精度高，能够方便高效地实现视觉系统在双目视觉系统和单目视觉系统间的切换，可对两相机视场中任意点的三维坐标进行测量，扩大了视觉系统的测量范围，解决了单目视觉系统难以对点特征的深度进行测量的问题。随着机器人的快速发展，本发明具有可观的应用前景和社会经济效益。

19、本发明利用偏转式视觉系统的偏转角调整功能，使第一相机与第二相机形成双目视觉系统，采集第一图像和第二图像，利用双目视觉系统的内外参数，对公共视场内特征点的三维坐标进行测量，以确定测量过程中的尺度；再对第二相机的偏转角进行调整，使两个相机视场不相交，扩大测量范围，通过先前确定的尺度和视觉系统的平移运动增量，快速、准确地确定视觉系统视场内任意点的三维坐标，提高单目相机目标坐标测量的测量范围和精度。

20、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，计算公共视场内点特征的三维坐标，具体为：

3.如权利要求2所述的基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，点特征地图建立过程，具体为：

4.如权利要求1所述的基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，求出第一相机帧间位姿及视野内的特征点的三维坐标，并将新的点特征加入原始点特征地图中，具体为：

5.如权利要求4所述的基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，在使用epnp算法求解第一相机位姿之后，计算每个特征点在图像中的投影位置与实际观测到的位置之间的差距，使用迭代优化方法对第一相机位姿进行精细化调整。

6.如权利要求1所述的基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，第二相机利用基于运动的单目视觉系统目标点坐标测量方法计算视野内点特征三维坐标，并获取最终的点特征地图的过程，具体为：

7.如权利要求6所述的基于偏转式视觉系统的单目相机目标坐标测量方法，其特征在于，设置优化函数，通过迭代求解的方式对第一相机和第二相机所有帧的位姿、以及最终的点特征地图中点特征的三维坐标进行优化。

8.基于偏转式视觉系统的单目相机目标坐标测量系统，其特征在于，包括：

9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于偏转式视觉系统的单目相机目标坐标测量方法中的步骤。

10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于偏转式视觉系统的单目相机目标坐标测量方法中的步骤。

技术总结本发明提出基于偏转式视觉系统的单目相机目标坐标测量方法及系统，涉及视觉测量技术领域。包括控制双目视觉系统移动，建立原始点特征地图；控制第二相机旋转，使第一相机和第二相机形成两个单目视觉系统；获取第一相机采集的图像并提取其中的特征点，与原始点特征地图中的点进行特征匹配，并求解第一相机的帧间位姿和帧间运动增量，利用第一相机的帧间位姿，求出第一相机视野内的特征点的三维坐标，加入原始点特征地图中；基于运动的方法对第二相机视野内特征点的三维坐标进行测量，将第二相机视野内特征点的三维坐标加入原始点特征地图中，得到最终的点特征地图。本发明实现双目视觉系统和单目视觉系统间的切换，扩大了视觉系统的测量范围。技术研发人员：张迪,宋锐受保护的技术使用者：山东大学技术研发日：技术公布日：2024/8/1