一种光电扫描与相机集成的六自由度定位方法和系统

本发明涉及虚拟现实(virtual reality,vr)、增强现实(argument reality,ar)领域，具体涉及一种光电扫描与相机集成的vr/ar六自由度定位方法和系统。

背景技术：

1、目前头戴式vr/ar设备是虚拟现实与真实世界之间的交互桥梁，真实世界中的vr/ar设备姿态估计结果将直接传递给虚拟世界以进行三维实时渲染。为了给佩戴者提供良好的沉浸式交互，需要对vr/ar设备的动态位姿进行精确的六自由度姿态估计。光电扫描作为一种大尺寸的三维坐标精密测量设备能够实现外部跟踪和测量服务，测量精度高，常用于工业制造中的零件装配对接等生产制造过程。然而由于光电扫描属于激光测量技术，在较为复杂的使用环境中容易受到干扰，需要保持发射端和接收端之间的光路连通性。因此需要较多的发射站节点以保证目标的任意姿态可观性，导致部署成本较高。基于视觉同时定位与建图(slam)的定位方法通常被用于6dof实时姿态估计，同时能基于图像的丰富特征重建场景，具有感知信息丰富、成本低和测量实时性好等优点。但其存在精度低、使用范围有限等局限性，申请号为“cn201911111128.4”的发明专利公开了一种虚拟现实空间中行走重定向控制方法、设备及存储介质，基于同时定位与地图构建确定获取vr终端的位姿信息和所处环境对应的三维点云地图；对所述三维点云地图进行轮廓提取，确定所述vr终端的活动范围对应的边界；基于所述位姿信息确定所述vr终端的预测位姿，根据所述预测位姿和所述边界调整所述vr终端在vr空间中行走的速度。但是对于高精度位姿估计，该方法仍有一定的局限性：(1)测量稳定性与现场环境强相关：需要在纹理较为丰富的区域才能较好地运行，易受周围环境变化的影响，导致相机姿态估计错误，影响后续测量结果，抗干扰能力弱；(2)测量精度和测量范围与系统复杂度成正比：嵌入式计算机模块使得系统运算资源有限，只能使用滤波技术粗略预测更新实时的姿态估计，带来测量精度和范围与实时计算效率的矛盾，如期望扩大测量范围，则需要增加算法的复杂程度，引入了系统成本增加、体积增加和系统复杂度提高等问题；

2、针对上述问题，亟待开发一种测量范围大、精度高，且实时性好的用于大尺寸空间定位的vr/ar视觉定位装置，以克服vr/ar设备中视觉slam定位技术精度低、测量范围小的缺陷，以及外部测量设备光电扫描鲁棒性较差的问题。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提出一种光电扫描与相机集成的vr/ar六自由度定位方法和系统，本发明所述方法和系统利用将光电扫描测量精度高、测量范围大，与视觉slam感知能力强的优势效果结合于一体，提供了一种融合光电扫描的vr/ar测量装置及其测量方法，在保证了整套装置的稳定跟踪定位的同时也可保证较高的测量精度。

2、一种光电扫描与相机集成的六自由度定位方法，包括：

3、步骤一：在待测区域安装并调试光电扫描发射站以及穿戴vr/ar组合测量装置；所述vr/ar组合测量装置为在现有的vr/ar头戴式显示设备上设置至少一个光电扫描接收器和至少一个相机；

4、步骤二：连续采集光电扫描接收器信号获得光电扫描角度测量值，利用相机采集的图像和光电扫描角度测量值标定光电扫描接收器和相机之间的位姿关系；

5、步骤三：融合实时图像和光电扫描角度测量值解算vr/ar组合测量装置最优六自由度定位结果，用于虚拟场景定位定姿。

6、进一步的，步骤二具体包括：

7、s201：首先选取任意一个光电扫描接收器的坐标作为本体坐标系原点，任意建立右手坐标系or-xryrzr，并将所有光电扫描接收器的坐标表示在该坐标系中；

8、s202：在多个站位对相机采集的图像采用pnp(perspective-n-points)算法求解世界坐标系和相机位姿之间的变换关系，再利用svd算法计算每个光电扫描接收器的光电扫描角度测量值和本体坐标系之间的变换关系求解当前站位本体坐标系位姿，从而求解基于相机位姿和光电扫描接收器位姿的手眼标定方程

9、

10、其中，为相机到本体坐标系的变换关系，为世界坐标系到当前相机位姿的变换，为当前本体坐标系位姿到世界坐标系的变换关系；通过求解手眼标定关系，由此完成光电扫描接收器和相机之间的位姿关系标定。

11、进一步的，步骤三具体包括：

12、s301：使用vr/ar组合测量装置上的相机对周围环境自然特征进行连续拍摄，利用图像中提取的自然角点特征采用匀速运动模型或光流法跟踪得到像片空间姿态定向参数初值；

13、s302：根据得到的像片空间姿态定向参数初值和步骤二获得的光电扫描接收器的光电扫描角度测量值，采用图优化算法进行联合光束法平差，解算vr/ar的组合测量装置的精确位姿和当前环境的初始地图；

14、s303：根据得到的精确位姿和当前环境的初始地图实现佩戴者的六自由度定位，并对虚拟现实进行渲染或对真实环境叠加虚拟物体。

15、进一步的，步骤s301具体包括：

16、s3011：通过vr/ar组合测量装置上的多个相机对周围环境自然特征进行连续拍摄，提取图像中的图像角点特征；

17、s3012：根据获得的图像角点特征，使用极线约束对具有视差范围的两张连续图像进行两视图几何重建,得到相机的位姿和当前环境的初始地图；所述视差范围为预设的阈值范围；

18、s3013：根据得到的空间初始地图、相机运动模型和后续像片中的自然角点特征采用匀速运动模型或光流法进行鲁棒跟踪，并利用pnp算法得到后续像片初始位姿；

19、如果连续3-5张像片的自然角点特征少于预设的特征数量(过于单一纹理的环境会导致跟踪丢失)，返回步骤s301重新采集。

20、进一步的，步骤s302具体包括：

21、s3021：将光电扫描接收器的光电扫描角度测量值和s301获得的像片空间姿态定向参数初值与步骤二空间标定外参数建模为统一的系统状态估计问题，并在因子图优化框架下公式化；

22、s3022：通过最大化给定所有测量的后验概率减少异常值，最小化误差项的残差，获得与所有测量值最匹配的系统状态，进而获得最优的精确位姿。

23、进一步，所述定位方法在步骤一之前还包括：在待测区域规划一个或多个光电扫描发射站，使穿戴vr/ar装置的穿戴者在待测区域的所有可能的活动范围都能够被光电扫描发射站观测到；且所述光电扫描发射站的姿态与地面保持水平。

24、进一步的，所述自然角点特征为orb特征或shi-tomas特征。

25、一种光电扫描与相机集成的六自由度定位系统，其特征在于，包括：

26、采集模块，用于获取vr/ar组合测量装置的位姿信息；

27、地图构建和空间姿态初步定向模块，用于根据相机拍摄的图像采用两视图几何重建和光流法，获得相机像片的空间姿态定向参数初值和当前环境的初始地图；

28、精确位姿模块，用于基于图优化的最优化算法解算vr/ar的组合测量装置的精确位姿。

29、所述定位系统还包括：至少一个光电扫描发射站和vr/ar组合测量装置；所述vr/ar组合测量装置为在现有vr/ar头戴式显示设备(以下简称vr/ar眼镜)上设置至少一个光电扫描接收器和至少一个相机。

30、一种光电扫描与相机集成的六自由度定位设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器，用于运行计算机程序时，执行上述定位方法的步骤。

31、进一步的，所述vr/ar组合测量装置包括供电单元、显示单元、相机、光电扫描接收器和处理器；供电单元用于显示单元、相机和处理器供电；处理器用于接收相机的图像和和光电扫描接收器传输的光信号，在时间流上进行相机时间戳和光电扫描角度测量值时间戳的时序对齐，根据光电扫描发射站的参数解算光电扫描接收器的空间扫描角度，对所采集到的图像进行视觉导航；所述显示单元、光电扫描接收器和相机分别与处理器通过usb有线连接。

32、一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述所述方向方法的步骤。

33、本发明有益效果在于：

34、1.本发明中光电扫描发射站的工作模式为outside-in模式，vr/ar组合测量装置的工作模式为inside-out，本发明采用光电扫描定位outside-in和vr/ar组合测量装置inside-out结合的方式实现高精度、鲁棒六自由度定位；结合光电扫描设备的大空间高精度测量和仅视觉导航定位的优点，利用光电扫描技术为vr/ar设备提供了多个位姿测量约束，提高了测量精度的同时也增加了系统的稳定性。

35、2.本发明提出了基于图优化的光电扫描视觉导航方法以求解全局最优解；构建光电扫描接收器与相机之间的几何关系，为相机姿态估计提供有效先验信息，从而为实时高精度位姿提供高权重观测信息。

36、3.通过一种紧密耦合的传感器融合方法，将相机和光电扫描相结合，有效减少了视觉导航的累计误差，同时实现无漂的全局定位。