基于单目相机的绝对深度确定方法、装置、介质及产品

本发明涉及深度估计，特别是涉及一种基于单目相机的绝对深度确定方法、装置、介质及产品。

背景技术：

1、景深估计在智能交通领域起着至关重要的作用，是准确理解和适应周围环境的前提。传统方法一般使用双目相机进行图像特征提取与匹配，依据图像之间的几何位置关系计算得到深度信息，但是存在计算量大、安装尺寸与搭载设备存在冲突等局限性。随着深度学习算法的发展，只依靠单目相机利用卷积网络强大的拟合能力实现单视图景深估计变成了可能。相比于传统方法，这类方法具有两个优势：其一，不需要复杂的匹配算法而直接生成与原始输入图片尺寸一致的像素级景深图；其二，安装尺寸大幅度减少，能够满足应用在小型智能设备上的要求。但是仍存在着不足，采用自监督框架时的监督信息是前后视图重建得到的，但是由于位姿估计网络中缺少相机坐标系下的尺度信息导致预测得到的深度图存在尺度模糊问题，即只能得到相对景深图。因此急需一种基于单目相机和自监督架构确定绝对深度估计的方法。

技术实现思路

1、本发明的目的是提供一种基于单目相机的绝对深度确定方法、装置、介质及产品，解决了通过单目视图无法得到绝对深度图的问题。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于单目相机的绝对深度确定方法，包括：

4、获取目标区域的可见光图像和激光雷达数据；所述可见光图像为单目相机采集的rgb图像，所述激光雷达数据为激光雷达采集的数据；

5、获取第一外参矩阵；所述第一外参矩阵为所述单目相机和所述激光雷达之间的外参矩阵；所述外参矩阵包括：转移矩阵和平移矩阵；

6、将所述目标区域的可见光图像输入至相对深度图生成模型中，得到所述目标区域的相对深度图；所述相对深度图生成模型是利用可见光图像时序序列对相对景深估计网络进行训练得到的，所述相对景深估计网络包括：深度估计网络和位姿估计网络，所述深度估计网络和所述位姿估计网络的架构均为编码器-解码器网络架构；

7、基于所述第一外参矩阵以及所述目标区域的激光雷达数据和相对深度图，确定尺度因子；

8、基于所述目标区域的相对深度图和所述尺度因子，确定所述目标区域的绝对深度图。

9、可选地，所述第一外参矩阵的确定过程，包括：

10、获取联合标定区域的可见光图像和激光雷达数据；

11、确定所述联合标定区域的多个位置点为特征点；

12、基于各所述特征点的像素坐标和雷达坐标，确定所述第一外参矩阵；所述像素坐标为在所述相机的相机坐标系下的坐标，所述雷达坐标为在所述激光雷达的激光雷达坐标系下的坐标。

13、可选地，所述相对深度图生成模型的确定过程，包括：

14、获取所述可见光图像时序序列；所述可见光图像时序序列包括：在多个连续的采样时刻采集的训练用区域的可见光图像；

15、基于所述深度估计网络和所述位姿估计网络构建所述相对景深估计网络；

16、初始化所述相对景深估计网络；

17、利用所述可见光图像时序序列中的各可见光图像对所述相对景深估计网络进行多次迭代训练，得到所述相对深度图生成模型。

18、可选地，利用所述可见光图像时序序列中的各可见光图像对所述相对景深估计网络进行多次迭代训练，得到所述相对深度图生成模型，包括：

19、将可见光图像时序序列对应的所有采样时刻中的任一采样时刻确定为当前时刻；

20、将当前时刻的可见光图像确定为第一可见光图像，将下一时刻的可见光图像确定为第二可见光图像；

21、将所述第一可见光图像和所述第二可见光图像确定为图像组；

22、利用各所述图像组对所述相对景深估计网络进行多次迭代训练，得到所述相对深度图生成模型；其中，任一当前训练次数下的训练过程，包括：

23、将任一图像组确定为当前图像组；

24、将所述当前图像组输入至当前训练次数下的位姿估计网络中，得到所述当前图像组在当前训练次数下的第二外参矩阵；所述第二外参矩阵为第一可见光图像和第二可见光图像之间的外参矩阵；

25、将所述当前图像组中的第二可见光图像输入至当前训练次数下的深度估计网络中，得到所述当前图像组在当前训练次数下的相对深度图；

26、基于当前训练次数下的第二外参矩阵和当前训练次数下的相对深度图，确定所述当前图像组在当前训练次数下的重构图像；

27、基于各所述图像组在当前训练次数下的重构图像和第一可见光图像，计算当前训练次数下的损失函数值；

28、判断是否满足训练停止条件；所述训练停止条件为当前训练次数下的损失函数值小于预设阈值或达到预设训练次数；

29、若是，则将当前训练次数下的深度估计网络确定为所述相对深度图生成模型；

30、若否，则利用反向传播方法更新所述当前训练次数下的位姿估计网络的参数和当前训练次数下的深度估计网络的参数，并返回“将所述当前图像组输入至当前训练次数下的位姿估计网络中，得到所述当前图像组在当前训练次数下的第二外参矩阵”，直到满足所述训练停止条件。

31、可选地，基于所述第一外参矩阵以及所述目标区域的激光雷达数据和相对深度图，确定尺度因子，包括：

32、根据所述第一外参矩阵将所述目标区域的激光雷达数据重投影到所述目标区域的相对深度图上；

33、确定所述目标区域的激光雷达数据中的设定像素点为第一尺度因子计算点；

34、根据所述第一外参矩阵确定所述目标区域的相对深度图中的与所述第一尺度因子计算点匹配的像素点为第二尺度因子计算点；

35、基于所述第一尺度因子计算点对应的深度值和所述第二尺度因子计算点对应的相对深度值，计算所述尺度因子。

36、可选地，基于所述第一尺度因子计算点对应的深度值和所述第二尺度因子计算点对应的相对深度值，计算所述尺度因子，包括：

37、将所述第一尺度因子计算点对应的深度值和所述第二尺度因子计算点对应的相对深度值的比值确定为所述尺度因子。

38、可选地，基于所述目标区域的相对深度图和所述尺度因子，确定所述目标区域的绝对深度图，包括：

39、将所述目标区域的相对深度图中的各像素点处的相对深度值和所述尺度因子的比值确定为对应像素点处的绝对深度值，从而得到所述目标区域的绝对深度图。

40、一种计算机装置，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述任一项所述的基于单目相机的绝对深度确定方法。

41、一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述的基于单目相机的绝对深度确定方法。

42、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项所述的基于单目相机的绝对深度确定方法。

43、根据本发明提供的具体实施例，本发明公开了以下技术效果：

44、本发明公开了一种基于单目相机的绝对深度确定方法、装置、介质及产品，利用单目视图即可确定绝对深度图的方法对之前的双目系统进行了精简，安装尺寸大幅度减少，能够满足应用在小型智能设备上的要求；同时提出通过激光雷达数据计算尺度因子把相对深度图转换成绝对深度图的方法，解决了当前通过单目视图无法得到绝对深度图的问题，提高了利用单目相机进行障碍物探测的能力。