挖掘机的环境虚拟视角展示方法及装置与流程

本技术涉及计算机，特别涉及一种挖掘机的环境虚拟视角展示方法及装置。

背景技术：

1、在工程机械领域，挖掘机作为一种关键的作业设备，广泛应用于建筑、采矿和基础设施建设等行业。目前挖掘机远程遥控系统通过展示挖掘机周围环境，可使得操控者实时观察到挖掘机的周围环境。

2、相关技术中，远程遥控挖掘机系统通常包括多个固定视角的摄像头，用于捕捉挖掘机周围的环境图像。然而，现有技术存在以下技术缺陷：(1)相机视野和屏幕显示的限制，无法提供足够广阔的视野；(2)现有系统的摄像头视角固定，无法根据操作员的需求提供动态调整，导致操作员在复杂环境中难以获得全方位的周边视野；(3)现有挖掘机远程遥控系统的主画面缺乏深度信息，在展示环境时，无法准确地反映物体的远近关系，影响驾驶员对环境的判断。

技术实现思路

1、本技术实施例提供了一种挖掘机的环境虚拟视角展示方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

2、第一方面，本技术实施例提供了一种挖掘机的环境虚拟视角展示方法，方法包括：

3、在对挖掘机的操作过程中，实时读取预先设置于挖掘机上的各类传感器采集的传感器数据，传感器数据包括原始图像、原始点云、rtk数据和imu数据；

4、基于传感器数据和预先标定的传感器内外参，并结合建图定位算法slam计算挖掘机的目标位姿和构建挖掘机周围场景的实时rgb点云地图，并将所述实时rgb点云地图进行表面重建，转换为挖掘机周围场景实时的三维场景；

5、根据目标位姿和预先标定的传感器内外参，将原始图像投影到实时三维场景的相应位置处，得到挖掘机的全三维场景；

6、根据挖掘机的全三维场景，实时渲染出预设视角下的挖掘机作业场景。

7、可选的，基于传感器数据和预先标定的传感器内外参，并结合建图定位算法slam计算挖掘机的目标位姿之前，还包括：

8、根据传感器数据，对各类传感器进行内参标定和外参标定，得到将各类传感器数据统一到同一个坐标系下的内外参数据；其中，内参标定用于确定各类传感器的自身参数，外参标定用于确定传感器相对于其他传感器或世界坐标系的精确位置和方向；

9、将内外参数据作为预先标定的传感器内外参。

10、可选的，各类传感器包括相机和激光雷达，相机的内参标定可描述为：

11、

12、其中，u和v是相机采集的图像中的图像坐标，fx和fy分别是水平和垂直方向的焦距，cx和cy是光轴坐标，z是成像平面中水平方向x和垂直方向y到三维点的距离；

13、相机和激光雷达的标定过程如下：

14、

15、其中，r是3×3的旋转矩阵，t是一个3×1的平移向量，z是相机归一化平面对应的深度，[x，y，z，1]是齐次表示的点云点，当有多对点云和图像的匹配点对时，方程联立即可求解r，t。

16、可选的，传感器数据包括rtk数据和imu数据，rtk数据是基于实时运动测量技术来实现厘米级的定位数据，imu数据通过惯性测量单元采集的；

17、基于传感器数据和预先标定的传感器内外参，并结合建图定位算法slam计算挖掘机的目标位姿，包括：

18、根据预先标定的传感器内外参，以rtk数据为初值，通过slam算法，构建激光雷达图像imu里程计，以获取挖掘机的目标位姿；

19、其中，挖掘机的目标位姿计算公式为：

20、其中，

21、min j(x)为挖掘机的目标位姿，x是传感器数据，包含位置、姿态、速度、偏置信息，n是观测的数量，ri(x)是第i个观测的残差向量，反映了观测值和基于当前状态估计的预测值之间的差异，wi是第i个观测的权重矩阵，由slam算法中观测噪声的逆协方差矩阵来定义，t为传感器内外参。

22、可选的，基于所述传感器数据和预先标定的传感器内外参，并结合建图定位算法slam计算所述挖掘机的目标位姿和构建挖掘机周围场景的实时rgb点云地图，包括：

23、根据实时读取的所述原始图像和所述原始点云，提取关键帧；

24、采用slam算法以及所述关键帧，构建局部地图；

25、根据所述局部地图与当前帧进行匹配，以确定所述挖掘机的目标位姿；

26、获取所述挖掘机上设置的摄像头在历史作业过程中采集的历史帧及其观测；

27、基于所述历史帧及其观测，构建因子图，所述因子图用于表示传感器观测与挖掘机位姿之间的关系，所述因子图中的节点代表位姿，边代表观测；

28、将所述传感器数据中的原始图像、原始点云、imu数据进行预积分，得到积分结果；

29、将所述积分结果作为因子添加到所述因子图，得到目标因子图；

30、通过所述目标因子图对多个历史帧进行全局优化，以将所述目标位姿优化为全局位姿；

31、根据所述全局位姿调整局部地图并构建全局地图，得到构建挖掘机周围场景的实时rgb点云地图。

32、可选的，所述将所述实时rgb点云地图进行表面重建，转换为挖掘机周围场景实时的三维场景，包括：

33、通过tsdf算法对所述全局地图进行mesh化处理，生成能够实时反映所述挖掘机周边环境的三维场景；

34、将所述能够实时反映所述挖掘机周边环境的三维场景作为挖掘机周围场景实时的三维场景。

35、可选的，方法还包括：

36、tsdf算法的更新方程为：

37、tsdfnew(v)＝w·(d(v)-dobs)+(1-w)·tsdfold(v)；

38、其中，tsdfnew(v)为mesh化处理结果，v是全局地图中的每个体素，w是融合权重，d(v)是体素中心到最近表面的真实距离，dobs是观测到的距离，tsdfold(v)和tsdfnew(v)分别是体素的旧和新tsdf值，体素为三维空间中的一个像素的类似物。

39、可选的，根据目标位姿和预先标定的传感器内外参，将原始图像投影到实时的三维场景的相应位置处，得到挖掘机的全三维场景，包括：

40、通过预先标定的传感器内外参，将目标位姿转换到挖掘机的三维坐标系，得到挖掘机的最终位姿信息；

41、将原始图像与最终位姿信息进行关联，以确定出原始图像中每个像素点在挖掘机的三维坐标系中的空间位置；

42、根据原始图像中每个像素点在挖掘机的三维坐标系中的空间位置，将原始图像中每个像素点投影到实时的三维场景的同一空间位置上，得到挖掘机的全三维场景。

43、可选的，原始图像中每个像素点在挖掘机的三维坐标系中的空间位置计算公式为：

44、pworld＝r×pcamera+t；

45、其中，pworld是原始图像中每个像素点在挖掘机的三维坐标系中的空间位置，pcamera是原始图像中相机坐标系下的像素点的坐标，r和t是预先标定的传感器内外参中图像点云外参的旋转矩阵和平移向量。

46、第二方面，本技术实施例提供了一种挖掘机的环境虚拟视角展示装置，装置包括：

47、在对挖掘机的操作过程中，实时读取预先设置于挖掘机上的各类传感器采集的传感器数据，传感器数据包括原始图像、原始点云、rtk数据和imu数据；

48、基于传感器数据和预先标定的传感器内外参，并结合建图定位算法slam计算挖掘机的目标位姿；

49、根据目标位姿和预先标定的传感器内外参，将原始图像投影到实时的三维场景的相应位置处，得到挖掘机的全三维场景；

50、根据挖掘机的全三维场景，实时渲染出预设视角下的挖掘机作业场景。

51、本技术实施例提供的技术方案可以包括以下有益效果：

52、在本技术实施例中，一方面，本技术根据目标位姿和预先标定的传感器内外参，将原始图像投影到实时的三维场景的相应位置处，得到挖掘机的全三维场景，该全三维场景能够模拟挖掘机所处的周围实际环境，可实现对挖掘机周围环境的全方位展示；另一方面，根据挖掘机的全三维场景，可实时渲染出预设视角下的挖掘机作业场景，该预设视角可自由设置，提供了可随意调整的视角以及深度信息，从而提高了挖掘机远程作业的效率和安全性。

53、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。