融合平面结构信息的单目深度估计方法及装置

本发明涉及计算机视觉，尤其涉及一种融合平面结构信息的单目深度估计方法及装置。

背景技术：

1、目前，单目深度估计是计算机视觉领域的热门技术，该技术在场景理解、三维重建等领域拥有广泛应用。

2、随着智能技术的发展，现有的单目深度估计方法通常分为传统方法和深度学习方法两类。其中，传统方法一般基于机器学习，使用马尔可夫随机场(markov random field，mrf)或条件随机场(conditional random field，crf)对图像特征与深度之间的映射关系进行建模，在最大后验概率框架下，通过能量函数最小化求解深度。但这些从单幅二维图像中提取出的特征并不能较好地表示场景三维结构信息，因此应用效果不够理想。深度学习方法则在数据处理、几何推断、结构推理、语义理解等多个层次为单目深度估计带来了深刻变革。该类方法一般要求搭建深度学习模型，通过有监督或无监督的训练实现对单幅场景图像的深度估计。单目深度估计的深度学习方法在普通场景中已经实现了良好的应用效果。

3、但是，由于存在着单幅图像输入信息匮乏的系统性问题，目前单目深度估计的深度学习方法的鲁棒性和准确性不足，尤其在有遮挡及视角变化的室内场景中应用时，其鲁棒性与准确性显著下降。

技术实现思路

1、针对现有技术存在的问题，本发明实施例提供一种融合平面结构信息的单目深度估计方法及装置。

2、本发明提供一种融合平面结构信息的单目深度估计方法，包括：

3、将目标图像输入训练好的深度估计模型，获取所述目标图像对应的相对深度图；

4、其中，所述深度估计模型由特征提取模块、平面结构实例分割模块和单目深度估计模块组成；所述深度估计模型根据基于对比学习的多任务损失函数和带有深度值标签和平面实例标签的样本场景图像集训练得到。

5、可选地，所述将目标图像输入训练好的深度估计模型，获取所述目标图像对应的相对深度图，具体包括：

6、将所述目标图像通过特征提取模块，得到所述目标图像的多尺度特征图；

7、基于所述多尺度特征图，分别编码得到上下文特征序列和平面边界位置序列，并根据所述上下文特征序列和所述平面边界位置序列解码得到平面实例序列；

8、基于所述多尺度特征图，通过深度解码器获取所述目标图像的初始单目深度估计结果；

9、将所述平面实例序列输入平面参数解码器，估计得到每个平面实例的平面法向量，以及通过每个平面示例中各像素的多维度坐标均值，估计所述每个平面实例的平面中心点三维坐标；

10、基于所述平面法向量和所述平面中心点三维坐标，对所述初始单目深度估计结果进行修正，获取所述目标图像对应的相对深度图。

11、可选地，基于所述多尺度特征图，编码得到平面边界位置序列，具体包括：

12、基于整体吸引线框解析(holistically-attracted wireframe parsing，hawp)算法检测所述目标图像的多条边界线段；

13、基于所述多尺度特征图中的浅层特征，提取每条平面边界线段的位置编码和每条平面边界线段的特征，并分别将全部平面边界线段位置编码和全部平面边界线段特征进行拼接；

14、基于所述全部平面边界线段拼接后的位置编码和所述全部平面边界线段拼接后的特征，编码得到所述平面边界位置序列。

15、可选地，所述根据所述上下文特征序列和所述平面边界位置序列解码得到平面实例序列，具体包括：

16、将所述上下文特征序列和所述平面边界位置序列并行输入平面实例解码器；其中，所述平面实例解码器包括两个并行的解码器分支，所述两个并行的解码器分支共用同一个平面查询；每个所述解码器分支由多个级联的transformer解码器层组成，每层解码器层中引入了多头自注意力机制和交叉注意力机制；

17、将所述两个并行的解码器分支的结果进行拼接，解码得到所述平面实例序列。

18、可选地，所述基于所述多尺度特征图，通过深度解码器获取所述目标图像的初始单目深度估计结果，具体包括：

19、将所述多尺度特征图并行输入深度解码器，通过包含跳跃连接、卷积神经网络和反卷积上采样的u型网络进行多尺度深度特征信息的融合，得到深度概率分布图；

20、基于预设的相对深度值先验，将所述深度概率分布图的每个像素映射至最大后验概率对应的相对深度值，得到所述目标图像的初始单目深度估计结果。

21、可选地，所述基于所述平面法向量和所述平面中心点三维坐标，对所述初始单目深度估计结果进行修正，获取所述目标图像对应的相对深度图，具体包括：

22、对于属于任意平面实例的任意像素点，将所述任意平面实例的平面法向量和所述任意平面实例的平面中心点三维坐标嵌入所述任意像素点中；

23、根据所述任意像素点嵌入的平面法向量和平面中心点三维坐标，以及向量垂直关系，确定所述任意像素点的理论深度值；并基于所述初始单目深度估计结果确定所述任意像素点的深度估计值；

24、在所述任意像素点的深度估计值和理论深度值的相对误差大于设定阈值的情况下，基于所述任意像素点的八邻域的深度估计值的均值对所述任意像素点进行修正，得到所述任意像素点的深度修正值；

25、基于所述任意像素点的深度估计值、理论深度值和深度修正值，确定所述目标图像对应的相对深度图。

26、可选地，所述基于对比学习的多任务损失函数根据单目深度估计损失、平面实例分割损失和交叉任务对比损失确定。

27、本发明还提供一种融合平面结构信息的单目深度估计装置，包括：

28、构建和训练单元，用于构建深度估计模型，并根据基于对比学习的多任务损失函数和带有相对深度值标签和平面实例标签的样本场景图像集对所述深度估计模型进行训练；所述深度估计模型由特征提取模块、平面结构实例分割模块和单目深度估计模块组成；

29、获取单元，用于将目标图像输入训练好的深度估计模型，得到所述目标图像对应的相对深度图。

30、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述融合平面结构信息的单目深度估计方法。

31、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融合平面结构信息的单目深度估计方法。

32、本发明提供的融合平面结构信息的单目深度估计方法及装置，通过特征提取模块、平面结构实例分割模块和单目深度估计模块组成深度估计模型，然后根据基于对比学习的多任务损失函数和带有相对深度值标签和平面实例标签的样本场景图像集训练得到训练好的深度估计模型，可以通过场景图像中平面结构信息对单目深度估计任务的辅助监督，从而提升单目深度估计的鲁棒性与准确性。

技术特征：

1.一种融合平面结构信息的单目深度估计方法，其特征在于，包括：

2.根据权利要求1所述的融合平面结构信息的单目深度估计方法，其特征在于，所述将目标图像输入训练好的深度估计模型，获取所述目标图像对应的相对深度图，具体包括：

3.根据权利要求2所述的融合平面结构信息的单目深度估计方法，其特征在于，基于所述多尺度特征图，编码得到平面边界位置序列，具体包括：

4.根据权利要求2或3所述的融合平面结构信息的单目深度估计方法，其特征在于，所述根据所述上下文特征序列和所述平面边界位置序列解码得到平面实例序列，具体包括：

5.根据权利要求2所述的融合平面结构信息的单目深度估计方法，其特征在于，所述基于所述多尺度特征图，通过深度解码器获取所述目标图像的初始单目深度估计结果，具体包括：

6.根据权利要求2所述的融合平面结构信息的单目深度估计方法，其特征在于，所述基于所述平面法向量和所述平面中心点三维坐标，对所述初始单目深度估计结果进行修正，获取所述目标图像对应的相对深度图，具体包括：

7.根据权利要求1所述的融合平面结构信息的单目深度估计方法，其特征在于，所述基于对比学习的多任务损失函数根据单目深度估计损失、平面实例分割损失和交叉任务对比损失确定。

8.一种融合平面结构信息的单目深度估计装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述融合平面结构信息的单目深度估计方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述融合平面结构信息的单目深度估计方法。

技术总结本发明提供一种融合平面结构信息的单目深度估计方法及装置，涉及计算机视觉技术领域，其中方法包括：构建深度估计模型，并根据基于对比学习的多任务损失函数和带有相对深度值标签和平面实例标签的样本场景图像集对所述深度估计模型进行训练；所述深度估计模型由特征提取模块、平面结构实例分割模块和单目深度估计模块组成；将目标图像输入训练好的深度估计模型，获取所述目标图像对应的相对深度图。该方法可以通过场景图像中平面结构信息对单目深度估计任务的辅助监督，从而提升单目深度估计的鲁棒性与准确性。技术研发人员：刘晓暄,朱恩泽,刘世雄,王磊,陈展,贾婕,张伊丹,侯英妍,师汉儒,董威宇受保护的技术使用者：中国科学院空天信息创新研究院技术研发日：技术公布日：2024/7/29