一种双目深度估计方法、系统、电子设备和可读存储介质与流程

本申请涉及计算机视觉，尤其涉及一种双目深度估计方法、系统、电子设备和可读存储介质。

背景技术：

1、现有的双目深度估计运用在众多领域，但是工业级双目深度估计系统往往需要高性能的硬件支持，包括强大的图形处理单元(gpu)和大容量内存。这使得在大规模生产中推广应用成为困难，尤其是对于中小型企业而言，可能难以承担高价成本。因此，传统方法中，在低成本设备中实现的双目深度估计，会降低最终的估计值的准确性。

2、在工业场景中，环境的复杂会导致在实际应用中，遇到各种复杂的光照条件、遮挡物图和不同材质表面等问题，从而降低深度估计的准确性和稳定性。另外，不同设备和摄像头之间的标定和校准工作十分繁琐的问题，限制了双目深度估计系统的灵活性和易用性，增加实际工业应用中部署的难度。

技术实现思路

1、鉴于上述问题，本申请提出一种双目深度估计方法、系统、电子设备和可读存储介质。

2、本申请实施例提出一种双目深度估计方法，包括：

3、获取双目图像，并利用训练好的双目模型对所述双目图像进行深度特征提取，得到对应的视差图；

4、根据所述视差图的尺寸信息和预设标定尺寸，计算得到尺寸比例投影系数；

5、基于所述视差图的视差信息、所述尺寸比例投影系数和预先标定得到的目标深度参数，对所述视差图进行三维重建，得到所述视差图对应的三维点云图。

6、进一步地，在上述的双目深度估计方法中，所述目标深度参数通过预先标定得到，包括：

7、构建一测试双目图并在所述测试双目图中设置若干参考点，每个所述参考点包括对应的参考点信息；

8、根据所述测试双目图，得到对应的测试视差图；

9、根据所述参考点信息和所述测试视差图，计算得到所述目标深度参数。

10、进一步地，在上述的双目深度估计方法中，所述参考点信息包括该参考点的真实深度值；所述根据所述参考点信息和所述测试视差图，计算得到所述目标深度参数，包括：

11、获取所述参考点在所述测试视差图中对应的测试视差值；

12、根据所述测试视差值和所述真实深度值，计算该参考点的深度参数；

13、根据每个所述参考点的深度参数，计算得到所述目标深度参数。

14、进一步地，在上述的双目深度估计方法中，所述预设标定尺寸包括标定图宽；所述根据所述视差图的尺寸信息和所述预设标定尺寸计算得到尺寸比例投影系数，包括：

15、将所述标定图宽与所述视差图的宽的比值作为所述尺寸比例投影系数。

16、进一步地，在上述的双目深度估计方法中，所述视差信息包括所述视差图中每个像素点的视差值和坐标；所述基于所述视差图的视差信息、所述尺寸比例投影系数和预先标定得到的目标深度参数，对所述视差图进行三维重建，包括：

17、利用所述视差图中像素点的深度值和所述目标深度参数，计算得到对应像素点的深度值；

18、基于所述像素点的深度值、坐标信息、所述尺寸比例投影系数和相机标定参数，计算得到对应像素点在三维坐标系中投影的横纵坐标；

19、根据所述像素点的深度值和横纵坐标，得到对应的点云。

20、进一步地，在上述的双目深度估计方法中，所述相机标定参数包括相机主点和相机焦距，对所述视差图进行三维重建的计算公式包括：

21、zj＝α/dj；

22、x＝(β*wi-cx)*zj/fx；

23、y＝(β*hi-cy)*zj/fy；

24、其中，cx为相机主点的x轴坐标，cy为相机主点的y轴坐标；wi为所述双目图像中第i个像素点的宽坐标，hi为所述双目图像中第i个像素点的高坐标；zj为所述视差图中第j个像素点的深度值，α为所述目标深度参数，dj为所述视差图中第j个像素点的视差值；x为第j个像素点在三维坐标系中投影的横坐标，y为第i个像素点在三维坐标系中投影的纵坐标；β为所述尺寸比例投影系数；fx为相机焦距在x轴方向上的像素数，fy为相机在y方向上的焦距；其中，所述双目图像中第i个像素点与所述视差图中第j个像素点存在对应关系。

25、进一步地，在上述的双目深度估计方法中，所述双目模型训练过程包括：

26、将双目训练图分别输入至待训练的学生模型和教师模型，以分别输出学生预测结果和教师软标签；

27、基于所述双目训练图的硬标签、所述学生预测结果和所述教师软标签，计算得到蒸馏损失；

28、通过所述蒸馏损失训练所述学生模型，得到训练好的初始学生模型；

29、根据所述蒸馏损失和所述学生模型中的学生权重参数，计算得到减枝损失，其中，所述学生权重参数与所述教师模型中的教师权重参数对应；

30、利用所述减枝损失训练所述初始学生模型，得到所述训练好的双目模型。

31、进一步地，在上述的双目深度估计方法中，所述三维点云图中每个点云对应有实际位置距离信息，所述方法还包括：

32、根据所述实际位置距离信息，将每个点云分成不同的区间段；

33、在每个所述区间段内，根据点云分布情况划分成多个子区域；

34、将同一个所述区间段中点云数量最多的子区域作为障碍物区域。

35、本申请的另一实施例还提出一种双目深度估计系统，包括：

36、获取单元，用于获取双目图像，并利用训练好的双目模型对所述双目图像进行深度特征提取，得到对应的视差图；

37、计算单元，用于根据所述视差图的尺寸信息和预设标定尺寸，计算得到尺寸比例投影系数；

38、三维重建单元，用于基于所述视差图的视差信息、所述尺寸比例投影系数和预先标定得到的目标深度参数，对所述视差图进行三维重建，得到所述视差图对应的三维点云图。

39、本申请的另一实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上述的双目深度估计方法的步骤。

40、本申请的实施例具有以下的有益效果：

41、本申请实施例提出一种双目深度估计方法，该方法首先获取双目图像，并利用训练好的双目模型对所述双目图像进行深度特征提取，得到对应的视差图；根据所述视差图的尺寸信息和预设标定尺寸，计算得到尺寸比例投影系数；基于所述视差图的视差信息、所述尺寸比例投影系数和预先标定得到的目标深度参数，对所述视差图进行三维重建，得到所述视差图对应的三维点云图。本申请通过新的点云生成方法，避免传统方法中视差图因上采样造成噪声引入的问题，从而提高深度估计的准确性和处理效率。

技术特征：

1.一种双目深度估计方法，其特征在于，包括：

2.根据权利要求1所述的双目深度估计方法，其特征在于，所述目标深度参数通过预先标定得到，包括：

3.根据权利要求2所述的双目深度估计方法，其特征在于，所述参考点信息包括该参考点的真实深度值；所述根据所述参考点信息和所述测试视差图，计算得到所述目标深度参数，包括：

4.根据权利要求1所述的双目深度估计方法，其特征在于，所述预设标定尺寸包括标定图宽；所述根据所述视差图的尺寸信息和所述预设标定尺寸计算得到尺寸比例投影系数，包括：

5.根据权利要求1所述的双目深度估计方法，其特征在于，所述视差信息包括所述视差图中每个像素点的视差值和坐标；所述基于所述视差图的视差信息、所述尺寸比例投影系数和预先标定得到的目标深度参数，对所述视差图进行三维重建，包括：

6.根据权利要求5所述的双目深度估计方法，其特征在于，所述相机标定参数包括相机主点和相机焦距，对所述视差图进行三维重建的计算公式包括：

7.根据权利要求1所述的双目深度估计方法，其特征在于，所述双目模型训练过程包括：

8.根据权利要求1所述的双目深度估计方法，其特征在于，所述三维点云图中每个点云对应有实际位置距离信息，所述方法还包括：

9.一种双目深度估计系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括存储单元和处理单元，所述存储单元中存储有计算机程序，所述处理单元通过调用所述存储单元中存储的所述计算机程序，执行如权利要求1至8任一项所述的双目深度估计方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1至8任一项所述的双目深度估计方法的步骤。

技术总结本申请涉及计算机视觉技术领域，尤其涉及一种双目深度估计方法、系统、电子设备和可读存储介质。该方法包括：获取双目图像，并利用训练好的双目模型对所述双目图像进行深度特征提取，得到对应的视差图；根据所述视差图的尺寸信息和预设标定尺寸，计算得到尺寸比例投影系数；基于所述视差图的视差信息、所述尺寸比例投影系数和预先标定得到的目标深度参数，对所述视差图进行三维重建，得到所述视差图对应的三维点云图。本申请能避免传统方法中视差图因上采样造成噪声引入的问题，从而提深度估计的准确性和处理效率。技术研发人员：余凯,潘柏宇受保护的技术使用者：深圳市优必选科技股份有限公司技术研发日：技术公布日：2024/9/29