适用于地下工程装备工作状态的全景图像拼接方法及系统与流程

本发明涉及图像拼接，特别地，涉及一种适用于地下工程装备工作状态的全景图像拼接方法及系统、电子设备、计算机可读取的存储介质。

背景技术：

1、全景环视系统是一种展示搭载设备周围全景图像的视觉辅助技术，通常由4到6个广角摄像头组成，安装在车辆的前、后、左、右和顶部位置，这些广角摄像头负责捕获车辆周围的图像，每个摄像头覆盖一个特定的视野范围，从而实现对车辆周围环境的全方位监测。每个广角摄像头通过接口将捕获的图像传输到主控制单元，主控制单元使用图像处理算法对接收到的图像进行处理和拼接，图像处理算法通常包括畸变矫正、透视变换、图像拼接等，这些算法可将多个广角摄像头捕获的图像拼接成一个连续的全景图像。例如，专利cn115587935a公开了一种全景环视图像拼接方法、装置和电子设备、存储介质，其利用四路鱼眼相机采集车身四周图像信息，对共同观测区域内的像素点应用双重加权融合策略来确定最终像素值，并对共同观测区域和单独观测区域构建像素点对应关系映射表，最后基于像素点对应关系映射表利用cuda并行计算架构获得最终全景环视图像。

2、数字化、智能化、可视化是大型地下工程装备未来的发展趋势，地下工程装备对全景环视系统的需求也逐步显露。如图1所示，在行走状态下，地下工程装备与常规设备无差异，可以采用现有的全景环视系统拼接得到全景图像。但是，如图2所示，在工作状态下，为维持稳定的作业环境，地下工程装备通常通过支腿来稳固设备，在这种情况下，装备底盘被整体抬高，此时现有全景环视系统的拼接效果将会出现明显的拼接缝。因此，现有的全景环视系统没有充分考虑到地下工程装备在工作状态下的特殊性，导致全景图像存在明显的拼接缝，图像拼接效果较差。另外，目前的全景图像拼接方法在单应性矩阵求解步骤通常采用标定布进行标定，在标定时需要较长时间布置标定布，标定步骤繁琐。

技术实现思路

1、本发明提供了一种适用于地下工程装备工作状态的全景图像拼接方法及系统、电子设备、计算机可读取的存储介质，可以在地下工程装备切换至工作状态时提高了图像拼接精度，获得拼接效果良好的全景图像。

2、根据本发明的一个方面，提供一种适用于地下工程装备工作状态的全景图像拼接方法，包括以下内容：

3、在工程装备处于行走状态时对鱼眼相机进行标定，得到鱼眼相机的内参矩阵和畸变参数；

4、获取从矫正图到鸟瞰图的变换矩阵，并计算鱼眼相机在行走状态时的原始相机位姿信息和单应性矩阵；

5、获取工作状态下工程装备的前支腿和后支腿的升降距离以及前后支腿之间的距离，根据前支腿和后支腿的升降距离、前后支腿之间的距离、内参矩阵、原始相机位姿信息对单应性矩阵进行修正；

6、基于内参矩阵、畸变参数、变换矩阵和修正后的单应性矩阵对多个鱼眼相机采集的多幅图像进行图像处理，得到拼接好的全景鸟瞰图。

7、进一步地，所述根据前支腿和后支腿的升降距离、前后支腿之间的距离、内参矩阵、原始相机位姿信息对单应性矩阵进行修正的过程包括以下内容：

8、基于前支腿和后支腿的升降距离、前后支腿之间的距离计算得到相机绕后支腿处旋转的旋转角度；

9、获取鱼眼相机在行走状态时的原始坐标，并结合该旋转角度计算得到鱼眼相机旋转后的当前坐标；

10、假设相机位姿信息中的旋转矩阵在旋转前后保持不变，根据鱼眼相机的当前坐标和原始相机位姿信息计算得到鱼眼相机旋转后的当前相机位姿信息；

11、根据鱼眼相机的内参矩阵和当前相机位姿信息计算得到修正后的单应性矩阵。

12、进一步地，基于下式计算得到相机绕后支腿处旋转的旋转角度：

13、

14、其中，θ表示相机绕后支腿处旋转的旋转角度，d2表示两条后支腿的升降距离值，d1表示两条前支腿的升降距离值，l表示前后支腿之间的距离值。

15、进一步地，基于下式计算得到鱼眼相机旋转后的当前坐标：

16、

17、其中，p′(p′x,p′y,p′z)表示鱼眼相机旋转后的当前坐标，p(px,py,pz)表示鱼眼相机在行走状态时的原始坐标，nx＝1，k＝1-cos(θ)，t4×4表示三维空间中任意一点绕任意轴线旋转的旋转矩阵，(x0，y0，z0)表示p点绕轴线旋转的原点o的坐标，且op连线与旋转轴线垂直。

18、进一步地，基于下式计算得到鱼眼相机旋转后的当前相机位姿信息：

19、

20、其中，r′|t′表示当前相机位姿信息，r′和t′分别表示当前相机位姿信息中的旋转矩阵和平移矩阵，r|t表示原始相机位姿信息，r和t分别表示原始相机位姿信息中的旋转矩阵和平移矩阵，rij(i＝1、2、3，j＝1、2、3)表示旋转矩阵r中的第i行第j列的元素，tk(k＝1、2、3)表示平移矩阵t中第k行的元素。

21、进一步地，基于下式计算得到修正后的单应性矩阵：

22、

23、其中，h表示修正后的单应性矩阵，i表示鱼眼相机的内参矩阵，ipq(p＝1、2、3，q＝1、2、3)表示内参矩阵i中第p行第q列的元素。

24、进一步地，在对多个鱼眼相机采集的多幅图像进行图像处理的过程中，基于下式计算相邻两幅图像的重合区域内任一像素点的像素值：

25、

26、其中，α表示重合区域内的像素点到重合区域边界的距离的弧度值，da和db分别表示重合区域内的像素点到重合区域边界的距离值，ia(i,j)和ib(i,j)分别表示重合区域内的像素点在相邻两幅图像中的像素值，i(i,j)表示像素点融合后的像素值。

27、另外，本发明还提供一种适用于地下工程装备工作状态的全景图像拼接系统，包括：

28、鱼眼相机标定模块，用于在工程装备处于行走状态时对鱼眼相机进行标定，得到鱼眼相机的内参矩阵和畸变参数；

29、单应性矩阵求解模块，用于获取从矫正图到鸟瞰图的变换矩阵，并计算鱼眼相机在行走状态时的原始相机位姿信息和单应性矩阵；

30、单应性矩阵修正模块，用于获取工作状态下工程装备的前支腿和后支腿的升降距离以及前后支腿之间的距离，根据前支腿和后支腿的升降距离、前后支腿之间的距离、内参矩阵、原始相机位姿信息对单应性矩阵进行修正；

31、全景鸟瞰图拼接模块，用于基于内参矩阵、畸变参数、变换矩阵和修正后的单应性矩阵对多个鱼眼相机采集的多幅图像进行图像处理，得到拼接好的全景鸟瞰图。

32、另外，本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述的方法的步骤。

33、另外，本发明还提供一种计算机可读取的存储介质，用于存储在地下工程装备的工作状态下进行全景图像拼接的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。

34、本发明具有以下有益效果：

35、本发明的适用于地下工程装备工作状态的全景图像拼接方法，考虑了工程装备从行走状态切换到工作状态时的相机位姿变化，通过获取工作状态下工程装备的前支腿和后支腿的升降距离以及前后支腿之间的距离，并结合内参矩阵和原始相机位姿信息对单应性矩阵进行修正，不仅考虑了前、后支腿同步升降时相机位姿变化对单应性矩阵的影响，而且还考虑了前后支腿不同步升降时相机位姿变化对单应性矩阵的影响，提高了工程装备在工作状态下的图像拼接精度，可以获得拼接效果良好的全景鸟瞰图。并且，前、后支腿的升降距离值可以实时获取，修正算法可以实时运行，从而可以在支腿升降过程中对单应性矩阵进行实时修正，进一步提高了图像拼接精度。

36、另外，本发明的适用于地下工程装备工作状态的全景图像拼接系统同样具有上述优点。

37、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。