一种训练方法及系统、环境深度估计方法及系统

本发明属于计算机视觉和机器人领域，涉及一种训练方法及系统、环境深度估计方法及系统。

背景技术：

1、深度图可以直接提供环境的三维信息。获得的深度图可以用于进行三维环境的目标检测、距离测量。激光雷达是一种常见的深度信息获取设备，然而激光雷达在提供的深度信息往往过于稀疏。相机可以提供稠密的语义信息，但是不能提供深度信息。通过标准的双目深度相机模型计算左右图像之间的视差后折算成深度图是一种获取稠密深度信息的方法。然而由于视差和深度在数学上互为倒数，深度刻度在线性视差空间的分布不均匀导致视差误差在远距离被非线性放大。因此在一个深度均匀分布的空间直接对深度进行端到端的深度估计是有效的解决方案。

2、目前立体匹配方法大多是在大型虚拟数据集上进行预训练，再在专用数据集上进行微调。这在深度数据集上同样适用，目前双目数据集大多只提供视差标注，而不提供深度标注，这限制了端到端深度估计算法的训练。且对自采数据集进行准确的像素级视差或深度标注的需要耗费大量人力。激光雷达可以提供稀疏的深度标注，过于稀疏的深度标签容易对算法的收敛性造成较大影响，且在过分稀疏的标注上训练可能导致深度估计算法输出不连续和跳变。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供了一种训练方法及系统、环境深度估计方法及系统，该方法及系统能够避免双目数据集深度标注过于稀疏对算法收敛性的影响。

2、为达到上述目的，本发明采用如下技术方案：

3、本发明一方面，本发明提供了一种训练方法，包括：

4、构建合成数据集；

5、构建双目数据集；

6、构建双目深度估计深度学习神经网络；

7、利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练，得到预训练后的双目深度估计深度学习神经网络；

8、利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，得到训练后的双目深度估计深度学习神经网络。

9、本发明所述训练方法进一步的改进在于：

10、所述合成数据集包括双目彩色图像及双目视差图像。

11、所述双目数据集包括标定文件、左右目rgb图像以及激光雷达图像。

12、所述利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练，得到预训练后的双目深度估计深度学习神经网络的过程为：

13、采用监督的训练方法，使用合成数据集对双目深度估计深度学习神经网络中的主干模块、特征整合模块以及视差估计模块进行预训练，得到预训练后的双目深度估计深度学习神经网络。

14、所述利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，得到训练后的双目深度估计深度学习神经网络的过程为：

15、采用半监督方法，使用双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，得训练后的双目深度估计深度学习神经网络。

16、所述利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练过程中的损失函数为：

17、l＝ω1×lrr+ω2×ld,1r+ω3×ld,1f+ω4×lbe,1f

18、其中，ld,1r为视差分支粗估计的视差图，与视差真值进行smooth l1 loss，ld,1f为视差分支精估计的视差图，与视差真值进行smooth l1 loss，lbe,1f为视差分支精估计的遮挡图，与遮挡图真值进行交叉熵损失计算的结果，ω1、ω2、ω3及ω4为权值。

19、所述利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练过程中的损失函数为：

20、l＝ω1×lrr+ω2×ld,1r+ω3×ld,1f+ω4×lbe,1f+ω5×ldepth+ω6×lself,depth+ω7×ldisp,depth

21、

22、

23、其中，为匹配的点集，为因为遮挡而未匹配的点集，t*为匹配的概率，ti,φ为不匹配的概率，dgt,i为左图的第i个像素的真实视差值，τ为和的分配矩阵，ld,1r为视差分支粗估计的视差图，与视差真值进行smooth l1 loss，ld,1f为视差分支精估计的视差图，与视差真值进行smooth l1 loss，lbe,1f为视差分支精估计的遮挡图，与遮挡图真值进行交叉熵损失计算的结果，ldepth为深度分支精估计的深度图，与深度图真值进行交叉熵损失计算的结果，ldisp,depth为视差分支精估计输出的稠密视差图，经过计算后得到深度图伪监督，与深度真值的smooth l1 loss，ldisp,depth为视差分支精估计输出的稠密视差图，经过计算后得到深度图伪监督，与深度模块输出的深度图的smooth l1 loss。

24、本发明二方面，本发明提供了一种训练系统，包括：

25、第一构建模块，用于构建合成数据集；

26、第二构建模块，用于构建双目数据集；

27、第三构建模块，用于构建双目深度估计深度学习神经网络；

28、预训练模块，用于利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练，得到预训练后的双目深度估计深度学习神经网络；

29、训练模块，用于利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，得到训练后的双目深度估计深度学习神经网络。

30、本发明三方面，本发明提供了一种环境深度估计方法，包括：

31、获取待处理环境立体图像；

32、将所述待处理环境立体图像输入到训练后的双目深度估计深度学习神经网络中，得到所述待处理环境立体图像的深度图像。

33、本发明四方面，本发明提供了一种环境深度估计系统，包括：

34、获取模块，用于获取待处理环境立体图像；

35、估计模块，用于将所述待处理环境立体图像输入到训练后的双目深度估计深度学习神经网络中，得到所述待处理环境立体图像的深度图像。

36、本发明具有以下有益效果：

37、本发明所述的训练方法及系统、环境深度估计方法及系统在具体操作时，先利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练，然后利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，克服由于双目数据集的深度标注过于稀疏而对双目深度算法的收敛性和输出效果造成的影响；另外，利用所述训练后的双目深度估计深度学习神经网络进行环境深度的估计，可以在深度刻度均匀的深度空间估计深度，克服在视差空间转深度导致的误差非线性放大问题。

技术特征：

1.一种训练方法，其特征在于，包括：

2.根据权利要求1所述的训练方法，其特征在于，所述合成数据集包括双目彩色图像及双目视差图像。

3.根据权利要求1所述的训练方法，其特征在于，所述双目数据集包括标定文件、左右目rgb图像以及激光雷达图像。

4.根据权利要求1所述的训练方法，其特征在于，所述利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练，得到预训练后的双目深度估计深度学习神经网络的过程为：

5.根据权利要求1所述的训练方法，其特征在于，所述利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，得到训练后的双目深度估计深度学习神经网络的过程为：

6.根据权利要求1所述的训练方法，其特征在于，所述利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练过程中的损失函数为：

7.根据权利要求1所述的训练方法，其特征在于，所述利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练过程中的损失函数为：

8.一种训练系统，其特征在于，包括：

9.一种环境深度估计方法，其特征在于，包括：

10.一种环境深度估计系统，其特征在于，包括：

技术总结本发明公开了一种训练方法及系统、环境深度估计方法及系统，属于计算机视觉和机器人领域，所述训练方法包括：构建合成数据集；构建双目数据集；利用所述合成数据集对所述双目深度估计深度学习神经网络进行预训练，得到预训练后的双目深度估计深度学习神经网络；利用所述双目数据集对所述预训练后的双目深度估计深度学习神经网络进行训练，得到训练后的双目深度估计深度学习神经网络；所述环境深度估计方法，包括：获取待处理环境立体图像；将所述待处理环境立体图像输入到训练后的双目深度估计深度学习神经网络中，得到所述待处理环境立体图像的深度图像，该方法及系统能够避免双目数据集深度标注过于稀疏对算法收敛性的影响。技术研发人员：杨国栋,金晨,雷峥,张澳,李恩受保护的技术使用者：中国科学院自动化研究所技术研发日：技术公布日：2024/7/29