一种RGB-D图像的深度图重建方法、产品、介质及设备

本发明涉及图像重建，特别是涉及一种rgb-d图像的深度图重建方法、产品、介质及设备。

背景技术：

1、随着智能终端、集成电路以及深度信息传感器的发展，三维(3d)图像和视频已得到了越来越广泛的应用，在增强现实(ar)、虚拟现实(vr)、元宇宙、数字孪生、自动驾驶、三维遥感重建等领域都发挥着至关重要的作用。彩色纹理+深度(rgb-d)格式的图像/视频，因其能提供灵活的深度感和支持基于深度的虚拟视点重建(dibr)，被认为是目前支撑ar/vr、自由视点(fvv)、三维目标识别等应用需求的最为有效的3d格式。

2、微软kinect将消费级的rgb-d传感器带到家庭娱乐场景，苹果iphone x、华为mate20引领了将rgb-d传感器嵌入移动终端的趋势，摄像机+激光雷达(lightdetectionand ranging，lidar)已成为自动驾驶主要感知和识别方案，地表三维重建、三维地图、数字孪生等技术也使得lidar卫星等应用加速普及。rgb-d传感器也将是未来元宇宙建设的重要数据来源和承载模式。但无论是基于结构光还是基于飞行时间(time-of-flight，tof)原理进行的深度信息采集，由于都采用了主动红外距离传感，因此它们的深度图中都存在类似的固有降质。这一般是由于前景物体会因阴影效应使发射器发出主动红外无法到达其周围的区域，致使这些区域的初始深度测量值缺失，从而无法估计出稠密的深度图。此外，其他情况也可能导致深度信息的缺失或是不可靠，如发光的物体、镜面反射表面、透明的玻璃、光吸收材料及其超出深度传感范围的场景等。

3、rgb-d格式中深度图的质量对3d视频的立体感、重建虚拟视点的视频质量以及后续识别、交互等应用都有着至关重要的影响。尤其是深度图中前背景交界的轮廓区域，包含了揭示景物空间结构的重要高频景深信息。上述降质、以及深度图压缩传输过程中的退化会在渲染的虚拟视点中造成前景因平移不一致而破损、振铃效应等严重影响主观体验的现象，同时影响目标识别、运动追踪、体感交互等ai应用效果。因此，为了进一步提升3d视频的质量，利用深度图特点和其与纹理视频间的相关性，对深度信息进重建和质量提升，对推动3d视频应用发展具有重要意义。

技术实现思路

1、本发明的目的是提供一种rgb-d图像的深度图重建方法、产品、介质及设备，以提高深度图重建效率和图像质量。

2、为实现上述目的，本发明提供了如下方案。

3、一方面，本发明提供一种rgb-d图像的深度图重建方法，包括：

4、获取rgb-d图像，rgb-d图像由一组对应的红绿蓝彩色图像和深度图组成；

5、将深度图的空间位置和空间分辨率与彩色图像对齐，得到预处理后的深度图；

6、采用边缘检测算法对彩色图像进行边缘检测，得到彩色图像的边缘信息图；

7、基于彩色图像的边缘信息图获取深度图的置信图；置信图中值为0的区域对应深度图的非置信区域；

8、利用彩色图像的边缘信息图，对预处理后的深度图的非置信区域进行边缘约束的深度图填充，得到填充后的深度图；

9、利用深度图优化训练数据集对用于深度图优化的ai模型进行训练，生成训练好的深度图优化模型；所述深度图优化训练数据集由彩色图像、降质的深度图和质量完好的深度图构成；

10、将填充后的深度图和彩色图像输入深度图优化模型，得到优化的深度图；

11、利用深度图的置信图，对预处理后的深度图和优化的深度图进行图像融合，得到重建后的深度图。

12、可选地，所述将深度图的空间位置和空间分辨率与彩色图像对齐，得到预处理后的深度图，具体包括：

13、通过基于特征点提取和匹配的图像配准算法，将深度图的空间位置和空间分辨率与彩色图像对齐；或者

14、基于采集彩色图像和深度图的传感器参数，利用摄像机成像原理，匹配两图像的世界坐标系和摄像机坐标系，从而实现两图像空间位置对齐和空间分辨率对齐。

15、可选地，所述采用边缘检测算法对彩色图像进行边缘检测，得到彩色图像的边缘信息图，具体包括：

16、采用梯度算子滤波算法、模式识别算法、ai算法或机器学习方法对彩色图像进行边缘检测，得到彩色图像的边缘信息图；所述边缘信息图用二值矩阵表示，1表示边缘位置，0表示非边缘位置。

17、可选地，所述基于彩色图像的边缘信息图获取深度图的置信图，具体包括：

18、通过对边缘信息图进行数学形态图膨胀操作，获取物体边缘附近区域；

19、将边缘处和其相邻像素的置信度置为0，再对物体边缘附近区域进行高斯滤波平滑确定其置信度，从而得到深度图的置信图。

20、可选地，所述利用彩色图像的边缘信息图，对预处理后的深度图的非置信区域进行边缘约束的深度图填充，得到填充后的深度图，具体包括：

21、基于深度图的置信图，剔除预处理后的深度图中置信度置为0的非置信区域的信息；

22、再利用彩色图像的边缘信息图，使用自适应形态学算法或联合双边滤波方法对剔除信息后的非置信区域进行边缘约束的深度图填充，得到填充后的深度图。

23、可选地，所述利用深度图优化训练数据集对用于深度图优化的ai模型进行训练，生成训练好的深度图优化模型之前，还包括：

24、构建用于深度图优化的ai模型；所述ai模型包括卷积层、特征提取层、池化层、扩散模型以及反馈调节模块；其中卷积层的输入是质量完好的彩色图像和降质的深度图，输出卷积计算结果；特性提取层的输入是卷积计算结果，输出特征提取结果；池化层的输入是特征提取结果，输出池化结果；扩散模型的输入是池化结果，输出扩散传播结果；反馈调节模块的输入是扩散传播结果，输出质量完好的深度图，用作groundtruth训练，反馈调节之前各层神经网络节点的权重值。

25、可选地，所述利用深度图的置信图，对预处理后的深度图和优化的深度图进行图像融合，得到重建后的深度图，具体包括：

26、在空间域或变换域，利用归一化的加权方法对预处理后的深度图和优化的深度图进行图像融合，基于深度图的置信图确定预处理后的深度图和优化的深度图各自的归一化权重，经图像融合后得到重建后的深度图。

27、另一方面，本发明还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述rgb-d图像的深度图重建方法。

28、另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述rgb-d图像的深度图重建方法。

29、再一方面，本发明还提供一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现所述rgb-d图像的深度图重建方法。

30、根据本发明提供的具体实施例，本发明公开了以下技术效果：

31、本发明提出一种对于rgb-d图像的深度图重建方法，利用彩色图像与深度图间的空间相关性，对彩色图像和深度图进行预处理，将深度图的空间位置和空间分辨率与彩色图像对齐；对彩色图像进行边缘提取，利用其获取的边缘信息图生成深度图的置信图，对深度图中置信度低的区域进行基于边缘约束的深度填充，获得填充后的深度图，可以更好的保留深度图中的边缘信息并保障其与彩色图像的空间相关性；之后利用ai图像修复算法，对填充后的深度图进行优化，恢复填充后深度图的深度图平滑、漂移等降质影响，恢复其三维空间分布特征；最后利用前述深度图置信图，对预处理后的深度图和优化的深度图进行融合，获得最终重建的深度图，极大提高了图像质量。并且本发明方法对深度图非置信区域进行了基于边缘约束的填充，可以使ai修复所需的算力和迭代次数大大缩减，显著提升了重建效率。