稀疏深度图的深度补全方法及其系统与流程

本发明是关于一种深度补全(depth completion)方法，且特别是关于一种稀疏深度图(sparse depth map)的深度补全方法及其系统。

背景技术：

1、飞行时间测距(time-of-flight，tof)感测器是主动深度感测装置，有潜力通过真正的三维(3d)感知提供更可靠的场景理解。由于其低功耗和即时帧率的准确性，tof感测器最近被整合到移动消费性装置中。然而，tof感测器依赖主动照明，这占其功耗的相关部分。此外，tof感测器可以提供准确的3d讯息，但如果使用点数较少的投影机来确保眼睛安全和低功耗，其解析度可能会远低于彩色影像的解析度。为了更有效地利用移动装置有限的功率预算，可以使用点图案光源照亮场景，使其辐射强度集中在少量区域(点)上。用于室内3d感知的低功耗tof感测器通常每帧撷取500～1500个点。由于这种稀疏性，需要感测器融合技术来获得密集的深度图。

技术实现思路

1、本发明的目的在于提出一种稀疏深度图的深度补全方法包括：取得灰阶影像与相应于灰阶影像的稀疏深度图；基于稀疏深度图来获得最近相邻内插(nearest neighborinterpolation，nni)影像与欧几里德距离转换(euclidean distance transform，edt)影像；将灰阶影像、最近相邻内插影像与欧几里德距离转换影像输入神经网络模型，从而输出预测残差图；及根据预测残差图与最近相邻内插影像来产生预测密集深度图。

2、在一些实施例中，采用像素级相加方法根据预测残差图与最近相邻内插影像来产生预测密集深度图，预测残差图包括最近相邻内插影像的残差信息。

3、在一些实施例中，使用飞行时间测距感测器来取得灰阶影像与稀疏深度图。

4、在一些实施例中，上述稀疏深度图的深度补全方法还包括：在将灰阶影像、最近相邻内插影像与欧几里德距离转换影像输入神经网络模型之前，对灰阶影像、最近相邻内插影像与欧几里德距离转换影像执行向下取样处理；及对预测密集深度图执行向上取样处理。通过具有抗锯齿功能的双线性插值来执行向下取样处理与向上取样处理。

5、在一些实施例中，神经网络模型采用基于unet网络架构的编码器-解码器方式来撷取灰阶影像、最近相邻内插影像与欧几里德距离转换影像的多个特征。

6、在一些实施例中，上述稀疏深度图的深度补全方法还包括：对神经网络模型执行模型剪枝操作，以压缩神经网络模型。

7、在一些实施例中，仅对神经网络模型的多个目标层执行模型剪枝操作，其中所述多个目标层中每一者的权重大于阈值。

8、在一些实施例中，上述稀疏深度图的深度补全方法还包括：在执行模型剪枝操作之后，对神经网络模型执行模型分群操作，以进一步压缩神经网络模型。

9、在一些实施例中，仅对神经网络模型的多个目标层执行模型分群操作，其中所述多个目标层中每一者的权重大于阈值。

10、在一些实施例中，上述稀疏深度图的深度补全方法还包括：将神经网络模型从浮点数模型量化为整数模型。

11、本发明的目的在于另提出一种稀疏深度图的深度补全系统包括飞行时间测距感测器与处理器。飞行时间测距感测器用以取得灰阶影像与相应于灰阶影像的稀疏深度图。处理器用以：自飞行时间测距感测器接收灰阶影像与稀疏深度图；基于稀疏深度图来获得最近相邻内插影像与欧几里德距离转换影像；将灰阶影像、最近相邻内插影像与欧几里德距离转换影像输入神经网络模型，从而输出预测残差图；及根据预测残差图与最近相邻内插影像来产生预测密集深度图。

12、在一些实施例中，上述处理器采用像素级相加方法根据预测残差图与最近相邻内插影像来产生预测密集深度图，预测残差图包括最近相邻内插影像的残差信息。

13、在一些实施例中，上述处理器还用以：在将灰阶影像、最近相邻内插影像与欧几里德距离转换影像输入神经网络模型之前，对灰阶影像、最近相邻内插影像与欧几里德距离转换影像执行向下取样处理；及对预测密集深度图执行向上取样处理。通过具有抗锯齿功能的双线性插值来执行向下取样处理与向上取样处理。

14、在一些实施例中，神经网络模型采用基于unet网络架构的编码器-解码器方式来撷取灰阶影像、最近相邻内插影像与欧几里德距离转换影像的多个特征。

15、在一些实施例中，上述处理器还用以：对神经网络模型执行模型剪枝操作，以压缩神经网络模型。

16、在一些实施例中，仅对神经网络模型的多个目标层执行模型剪枝操作，其中所述多个目标层中每一者的权重大于阈值。

17、在一些实施例中，上述处理器还用以：在执行模型剪枝操作之后，对神经网络模型执行模型分群操作，以进一步压缩神经网络模型。

18、在一些实施例中，仅对神经网络模型的多个目标层执行模型分群操作，其中所述多个目标层中每一者的权重大于阈值。

19、在一些实施例中，上述处理器还用以：将神经网络模型从浮点数模型量化为整数模型。

20、为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

技术特征：

1.一种稀疏深度图的深度补全方法，其特征在于，包括：

2.如权利要求1所述的稀疏深度图的深度补全方法，其特征在于，其中采用一像素级相加方法根据该预测残差图与该最近相邻内插影像来产生该预测密集深度图，其中该预测残差图包括该最近相邻内插影像的残差信息。

3.如权利要求1所述的稀疏深度图的深度补全方法，其特征在于，其中使用一飞行时间测距感测器来取得该灰阶影像与该稀疏深度图。

4.如权利要求1所述的稀疏深度图的深度补全方法，其特征在于，还包括：

5.如权利要求1所述的稀疏深度图的深度补全方法，其特征在于，其中该神经网络模型采用基于一unet网络架构的一编码器-解码器方式来撷取该灰阶影像、该最近相邻内插影像与该欧几里德距离转换影像的多个特征。

6.如权利要求1所述的稀疏深度图的深度补全方法，其特征在于，还包括：

7.如权利要求6所述的稀疏深度图的深度补全方法，其特征在于，其中仅对该神经网络模型的多个目标层执行该模型剪枝操作，其中所述多个目标层中每一者的权重大于一阈值。

8.如权利要求6所述的稀疏深度图的深度补全方法，其特征在于，还包括：

9.如权利要求8所述的稀疏深度图的深度补全方法，其特征在于，其中仅对该神经网络模型的多个目标层执行该模型分群操作，其中所述多个目标层中每一者的权重大于一阈值。

10.如权利要求1所述的稀疏深度图的深度补全方法，其特征在于，还包括：

11.一种稀疏深度图的深度补全系统，其特征在于，包括：

12.如权利要求11所述的稀疏深度图的深度补全系统，其特征在于，其中该处理器采用一像素级相加方法根据该预测残差图与该最近相邻内插影像来产生该预测密集深度图，其中该预测残差图包括该最近相邻内插影像的残差信息。

13.如权利要求11所述的稀疏深度图的深度补全系统，其特征在于，其中该处理器还用以：

14.如权利要求11所述的稀疏深度图的深度补全系统，其特征在于，其中该神经网络模型采用基于一unet网络架构的一编码器-解码器方式来撷取该灰阶影像、该最近相邻内插影像与该欧几里德距离转换影像的多个特征。

15.如权利要求11所述的稀疏深度图的深度补全系统，其特征在于，其中该处理器还用以：

16.如权利要求15所述的稀疏深度图的深度补全系统，其特征在于，其中仅对该神经网络模型的多个目标层执行该模型剪枝操作，其中所述多个目标层中每一者的权重大于一阈值。

17.如权利要求15所述的稀疏深度图的深度补全系统，其特征在于，其中该处理器还用以：

18.如权利要求17所述的稀疏深度图的深度补全系统，其特征在于，其中仅对该神经网络模型的多个目标层执行该模型分群操作，其中所述多个目标层中每一者的权重大于一阈值。

19.如权利要求11所述的稀疏深度图的深度补全系统，其特征在于，其中该处理器还用以：

技术总结一种稀疏深度图的深度补全方法及其补全系统。稀疏深度图的深度补全方法包括：取得灰阶影像与相应于灰阶影像的稀疏深度图；基于稀疏深度图来获得最近相邻内插影像与欧几里德距离转换影像；将灰阶影像、最近相邻内插影像与欧几里德距离转换影像输入神经网络模型，从而输出预测残差图；及根据预测残差图与最近相邻内插影像来产生预测密集深度图。本发明采用灰阶影像馈入到后级的神经网络模型中，使得后级的神经网络模型可以在资源有限且低功耗的装置上实现。技术研发人员：邱泓谕,刘逸秾受保护的技术使用者：奇景光电股份有限公司技术研发日：技术公布日：2024/9/12