深度补全方法、装置、电子设备及存储介质

本发明涉及数据处理，尤其涉及一种深度补全方法、装置、电子设备及存储介质。

背景技术：

1、深度传感器在自动驾驶、三维重建、增强现实以及位姿估计等技术中都有着广泛的应用。常见的深度传感器包括rgb-d相机和激光雷达。然而，由深度传感器直接获得的深度图通常过于稀疏且包含较多噪声，因此无法直接应用于后续任务。

2、现有技术中，一般是以稀疏深度图为输入、以密集的深度真值作为监督来训练深度补全网络。然而，由于密集的深度真值难以获取，且单模态输入只能提供较少的语义信息，因此，现有的深度补全网络的网络精度较低。

技术实现思路

1、本发明提供一种深度补全方法、装置、电子设备及存储介质，用以解决现有的深度补全网络的网络精度较低的问题。

2、本发明提供一种深度补全方法，包括：获取rgb图像、稀疏深度图以及相机内参矩阵；对所述稀疏深度图进行法相估计处理，得到稀疏法向图；通过深度补全网络对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码，并对所述深度编码进行解码处理，得到稠密深度图；其中，所述稠密深度图的图像稠密度高于所述稀疏深度图的图像稠密度。

3、根据本发明提供一种的深度补全方法，所述稀疏法向图包括所述稀疏深度图中所有有效像素的法向量；所述对所述稀疏深度图进行法相估计处理，得到稀疏法向图，包括：通过所述相机内参矩阵将所述稀疏深度图中的有效像素进行反投影处理，得到稀疏点云；确定所述稀疏点云中每个有效点的临近点集；确定所述临近点集的目标拟合平面，所述临近点集中的临近点与所述目标拟合平面的距离最小；将所述目标拟合平面的法向量确定为对应的有效像素的法向量。

4、根据本发明提供一种的深度补全方法，所述对所述稀疏深度图进行法相估计处理，得到稀疏法向图，包括：按照第一比例系数确定所述稀疏深度图的地面区域图像；将所述地面区域图像中法向量与垂直方向夹角小于第一角度的法向量的方向确定为垂直向上。

5、根据本发明提供一种的深度补全方法，所述对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码，并对所述深度编码进行解码处理，得到稠密深度图之前，所述方法还包括：采用不同尺寸的核对所述稀疏深度图进行类最大池化以及类最小池化操作，得到稠密化的稀疏深度图；基于法向第二分量对所述稀疏法向图进行类最大池化以及类最小池化操作，得到稠密化的稀疏法向图。

6、根据本发明提供一种的深度补全方法，所述对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码，包括：获取上一层输出的深度编码；根据所述稀疏深度图的深度编码和所述相机内参矩阵确定三维位置编码，并确定所述三维位置编码的三维法向编码；对所述稀疏法向图的法向编码和所述三维法向编码进行拼接融合处理，得到新的法向编码；将所述新的法向编码、所述rgb图像的图像编码、所述三维位置编码以及上一层输出的深度编码进行融合处理，得到所述深度编码。

7、根据本发明提供一种的深度补全方法，所述对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码之后，所述方法还包括：对所述深度编码进行解码处理，得到稠密法向图。

8、根据本发明提供一种的深度补全方法，所述深度补全网络的损失函数为：其中，表示光度一致性损失，表示法向-深度一致性损失，表示稀疏深度一致性损失，表示局部平滑损失；ωph，ωnd，ωsd和ωsm为对应的权重平衡系数。

9、本发明还提供一种深度补全装置，包括：获取模块和处理模块；所述获取模块，用于获取rgb图像、稀疏深度图以及相机内参矩阵；所述处理模块，用于对所述稀疏深度图进行法相估计处理，得到稀疏法向图；通过深度补全网络对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码，并对所述深度编码进行解码处理，得到稠密深度图；其中，所述稠密深度图的图像稠密度高于所述稀疏深度图的图像稠密度。

10、根据本发明提供一种的深度补全装置，所述稀疏法向图包括所述稀疏深度图中所有有效像素的法向量；所述处理模块用于：通过所述相机内参矩阵将所述稀疏深度图中的有效像素进行反投影处理，得到稀疏点云；确定所述稀疏点云中每个有效点的临近点集；确定所述临近点集的目标拟合平面，所述临近点集中的临近点与所述目标拟合平面的距离最小；将所述目标拟合平面的法向量确定为对应的有效像素的法向量。

11、根据本发明提供一种的深度补全装置，所述处理模块用于：按照第一比例系数确定所述稀疏深度图的地面区域图像；将所述地面区域图像中法向量与垂直方向夹角小于第一角度的法向量的方向确定为垂直向上。

12、根据本发明提供一种的深度补全装置，所述对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码，并对所述深度编码进行解码处理，得到稠密深度图之前，所述处理模块用于：采用不同尺寸的核对所述稀疏深度图进行类最大池化以及类最小池化操作，得到稠密化的稀疏深度图；基于法向第二分量对所述稀疏法向图进行类最大池化以及类最小池化操作，得到稠密化的稀疏法向图。

13、根据本发明提供一种的深度补全装置，所述处理模块用于：获取上一层输出的深度编码；根据所述稀疏深度图的深度编码和所述相机内参矩阵确定三维位置编码，并确定所述三维位置编码的三维法向编码；对所述稀疏法向图的法向编码和所述三维法向编码进行拼接融合处理，得到新的法向编码；将所述新的法向编码、所述rgb图像的图像编码、所述三维位置编码以及上一层输出的深度编码进行融合处理，得到所述深度编码。

14、根据本发明提供一种的深度补全装置，所述对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码之后，所述处理模块还用于：对所述深度编码进行解码处理，得到稠密法向图。

15、根据本发明提供一种的深度补全装置，所述深度补全网络的损失函数为：其中，表示光度一致性损失，表示法向-深度一致性损失，表示稀疏深度一致性损失，表示局部平滑损失；ωph，ωnd，ωsd和ωsm为对应的权重平衡系数。

16、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述深度补全方法的步骤。

17、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述深度补全方法的步骤。

18、本发明提供的深度补全方法、装置、电子设备及存储介质，可以获取rgb图像、稀疏深度图以及相机内参矩阵；对所述稀疏深度图进行法相估计处理，得到稀疏法向图；通过深度补全网络对所述rgb图像、所述稀疏深度图、所述相机内参矩阵以及所述稀疏法向图进行融合编码处理得到深度编码，并对所述深度编码进行解码处理，得到稠密深度图；其中，所述稠密深度图的图像稠密度高于所述稀疏深度图的图像稠密度。通过该方案，可以对稀疏深度图进行法相估计处理，得到稀疏法向图，并基于rgb图像、稀疏深度图、相机内参矩阵以及稀疏法向图进行融合编码和解码得到图像稠密度较高的稠密深度图。由于在进行图像深度补全的过程中加入了稀疏法向图，因此，不仅可以提供更多的空间几何信息，优化稀疏深度图在物体边界上的表现，并抑制噪声，而且多模态输入可以为深度补全网络提供更多的语义信息，从而提高深度补全网络的网络精度。