车辆视觉信息处理方法、车辆以及三维感知系统与流程

本申请涉及图像处理，具体而言，涉及一种车辆视觉信息处理方法、车辆以及三维感知系统。

背景技术：

1、在装载机装料卸料场景，目前大多是每台装载机配备一名有经验的师傅进行人工作业，人力成本高。由于装载机的运行轨迹和装料卸料动作相对来说比较固定和单一，因此采用自动化作业流程相对来说可行性较大，并且能够有效降低人力成本。

2、目前，对于车辆的自动化驾驶的研究聚焦于常规车辆的自动化驾驶，常规车辆例如是轿车、货车等。常规车辆的自动化驾驶中涉及3d感知、状态预测以及决策规划等技术，其中，3d感知是自动化驾驶的核心技术。

3、但是，由于装载机的作业场景与常规车辆的作业场景存在较大差异，因此，如果将常规车辆的3d感知相关技术直接迁移到装载机作业场景中，会存在定位精度差、建图效果差以及部署成本高的问题。

技术实现思路

1、本申请的目的在于，针对上述现有技术中的不足，提供一种车辆视觉信息处理方法、车辆以及三维感知系统，以解决现有技术中常规车辆的3d感知相关技术直接迁移到装载机作业场景中，会存在定位精度差、建图效果差以及部署成本高的问题。

2、为实现上述目的，本申请采用的技术方案如下：

3、第一方面，本申请提供了一种车辆视觉信息处理方法，所述方法包括：

4、对车辆上的多个相机采集的待处理图像进行特征提取，得到各所述待处理图像的图像特征和深度特征，其中，所述车辆行驶在固定场景中，所述多个相机围绕所述车辆一周设置，且所述车辆上各相机的拍摄视角不同，所述待处理图像中包括所述固定场景中的至少一个对象；

5、根据所述深度特征进行建模，得到所述待处理图像中的对象的三维重建结果；

6、根据各所述图像特征和所述深度特征，确定所述车辆对应的三维感知结果；

7、根据预先构建的离线地图、各所述图像特征、所述待处理图像中的对象的三维重建结果以及所述车辆对应的三维感知结果，确定所述车辆的定位结果；

8、根据所述车辆的定位结果、所述三维感知结果以及所述车辆的业务指令，生成所述车辆的导航路线；

9、在所述车辆按照所述导航路线到达目标位置后，根据所述三维重建结果和所述业务指令控制所述车辆进行作业。

10、第二方面，本申请提供了一种车辆，所述车辆上行驶在固定场景中，所述车辆上安装多个相机，且各相机的拍摄视角不同。

11、第三方面，本申请提供了一种三维感知系统，所述系统包括如第二方面所述的车辆以及安装在所述车辆上的多个相机。

12、第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的车辆视觉信息处理方法的步骤。

13、第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面中任一项所述的车辆视觉信息处理方法的步骤。

14、本申请的有益效果是：本申请实施例中，基于简单的相机部署，针对三维感知、三维重建以及定位采用多任务融合的统一算法框架，相比于现有的视觉系统采用多种设备分别实现这三种功能，本申请的方法采用统一框架，使得感知结构更加紧凑，降低了部署成本和车载端的计算压力，还能够在车辆上同时实现三维感知、三维重建以及定位。通过三维感知结果可以提升车辆在行进过程中的避障能力，通过三维重建结果可以使得车辆能够准确执行作业任务，通过在固定场景中进行视觉定位，可以实现有效的路径规划和导航。在进行三维感知的基础上增加了更加精准的三维重建能力以及全局定位能力，尤其针对无人作业装载机，不仅可以实现装载机对特殊目标的精细化建模，还能够实现装载机作业的无人化和自动化。并且本申请将深度特征融合到三维感知的过程中，提升了三维感知的有效精度，将三维感知结果和三维重建结果作为定位的约束，也有效提升了车辆的定位精度。

15、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种车辆视觉信息处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的车辆视觉信息处理方法，其特征在于，所述对车辆上的多个相机采集的待处理图像进行特征提取，得到各所述待处理图像的图像特征和深度特征，包括：

3.根据权利要求1所述的车辆视觉信息处理方法，其特征在于，所述根据所述深度特征进行建模，得到所述待处理图像中的对象的三维重建结果，包括：

4.根据权利要求1所述的车辆视觉信息处理方法，其特征在于，所述根据各所述图像特征和所述深度特征，确定所述车辆对应的三维感知结果，包括：

5.根据权利要求4所述的车辆视觉信息处理方法，其特征在于，所述根据所述对应关系、各所述图像特征以及所述深度特征，得到所述三维感知结果，包括：

6.根据权利要求1所述的车辆视觉信息处理方法，其特征在于，所述根据预先构建的离线地图、各所述图像特征、所述待处理图像中的对象的三维重建结果以及所述车辆对应的三维感知结果，确定所述车辆的定位结果，包括：

7.根据权利要求6所述的车辆视觉信息处理方法，其特征在于，所述根据各所述图像特征和所述离线地图，确定所述车辆的初始定位结果，包括：

8.根据权利要求6所述的车辆视觉信息处理方法，其特征在于，所述根据所述车辆的三维感知结果以及所述三维重建结果，对所述初始定位结果进行修正，得到所述车辆的定位结果，包括：

9.根据权利要求8所述的车辆视觉信息处理方法，其特征在于，所述三维感知结果包括：识别对象、识别对象的类型，所述识别对象的类型包括：静态对象、动态对象；

10.根据权利要求8所述的车辆视觉信息处理方法，其特征在于，所述根据所述点云信息对所述初始定位结果进行修正处理，得到所述车辆的定位结果，包括：

11.根据权利要求1所述的车辆视觉信息处理方法，其特征在于，所述根据所述车辆的定位结果、所述三维感知结果以及所述车辆的业务指令，生成所述车辆的导航路线，包括：

12.根据权利要求1所述的车辆视觉信息处理方法，其特征在于，所述三维重建结果用于表征所述固定场景中料堆的三维形态；所述业务指令包括：铲料指令、卸料指令；

13.根据权利要求1所述的方法，其特征在于，所述车辆的正前方设置长焦相机和两个鱼眼相机，其中，两个鱼眼相机组成双目系统，用于对固定场景中的对象进行双目深度估计；

14.一种车辆，其特征在于，所述车辆上行驶在固定场景中，所述车辆上安装多个相机，且各相机的拍摄视角不同；所述车辆执行如权利要求1至13中任一项所述车辆视觉信息处理方法的步骤。

15.一种三维感知系统，其特征在于，所述系统包括如权利要求14所述的车辆以及安装在所述车辆上的多个相机。

16.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至13中任一项所述车辆视觉信息处理方法的步骤。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至13中任一项所述车辆视觉信息处理方法的步骤。

技术总结本申请提供了一种车辆视觉信息处理方法、车辆以及三维感知系统，其中，该方法包括：对车辆上的多个相机采集的待处理图像进行特征提取，得到各待处理图像的图像特征和深度特征；根据深度特征进行建模，得到待处理图像中的对象的三维重建结果；根据各图像特征和深度特征，确定车辆对应的三维感知结果；根据预先构建的离线地图、各图像特征、待处理图像中的对象的三维重建结果以及车辆对应的三维感知结果，确定车辆的定位结果，最后基于车辆的定位结果、三维感知结果以及车辆的业务指令，对车辆进行导航并执行业务指令。本申请在进行三维感知的基础上增加了更加精准的三维重建能力以及全局定位能力，并提升了三维感知的精确性。技术研发人员：金诚,陈赢峰,范长杰受保护的技术使用者：网易（杭州）网络有限公司技术研发日：技术公布日：2024/7/25