深度图像质量增强模型训练方法、系统、设备及介质与流程

本公开实施例涉及数据处理，尤其涉及一种深度图像质量增强模型训练方法、系统、设备及介质。

背景技术：

1、目前，对人体行为理解的技术主要集中在通过传统的可见光相机拍摄的视频来识别人类活动。随着成像技术的进步,最近出现的深度传感器为人体行为识别任务带来了巨大优势。与人类活动识别中的常规彩色帧相比，深度图对变化的光照条件具有更强的鲁棒性,这对于在黑暗环境下工作的系统带来了巨大帮助。更重要的是，深度传感器相比可见光相机来说保护人体隐私，使得系统可以部署在一些敏感场景比如卫生间，国家机构等。典型的深度图像质量增强模型使用卷积神经网络(cnn)作为基础架构。cnn能够有效地从图像中提取特征，并通过层叠卷积和池化操作来处理不同分辨率和噪声水平的输入，训练深度图像增强模型的关键在于设计合适的损失函数。常用的损失函数包括均方误差(mse)、感知损失(如vgg损失)、对抗损失等。这些损失函数帮助模型优化生成的深度图像，使其在视觉上更接近真实高质量图像。

2、尽管深度图像质量增强模型在提高深度图像质量方面取得了显著进展，但仍存在一些主要缺点：

3、数据需求：构建高质量的深度图像对数据集非常昂贵和耗时。获取真实世界场景下的大规模数据对是困难的，而且这些数据需要经过仔细的标定和处理，以确保其质量和准确性。

4、模型泛化能力：训练出的深度图像质量增强模型可能对于未见过的场景或噪声类型的泛化能力较差。模型在训练时可能过度依赖于特定的数据分布或噪声模式，导致在实际应用中效果不佳。

5、计算资源需求：训练深度图像质量增强模型通常需要大量的计算资源，尤其是gpu加速和大内存支持。这限制了模型在实际嵌入式设备或者边缘计算环境中的应用。

6、评估标准的复杂性：评估深度图像质量增强模型的性能不仅仅依赖于定量指标(如psnr、ssim)，还需要考虑其在具体应用场景中的实际效果。这增加了模型设计和优化的复杂性。

7、可见，亟需一种能提高模型训练效率、精准度和适应性的深度图像质量增强模型训练方法。

技术实现思路

1、有鉴于此，本公开实施例提供一种深度图像质量增强模型训练方法、系统、设备及介质，至少部分解决现有技术中存在训练模型的效率、精准度和适应性较差的问题。

2、第一方面，本公开实施例提供了一种深度图像质量增强模型训练方法，包括：

3、步骤1，构建预设模型对应的一个跨模态对比损失函数，据此通过对比学习对预设模型进行微调；

4、步骤2，将数据对集输入预设预设进行训练，得到目标模型。

5、根据本公开实施例的一种具体实现方式，所述步骤1具体包括：

6、构建预设模型对应的一个跨模态对比损失函数，并通过对比学习对预设模型进行微调,使得对齐后的深度-可见光样本在潜在特征空间中的距离尽可能小,而非配对样本的距离尽可能大。

7、根据本公开实施例的一种具体实现方式，所述跨模态对比损失函数的表达式为

8、contrast＝-logexp(sim(zdepth,zrgb)/τ)∑iexp(sim(zdepth,zrgbi)/τ)

9、其中，sim为相似性度量，τ为对比学习的温度超参数zdepth和zrgb分别为对齐后的低分辨率深度数据和可见光数据。

10、根据本公开实施例的一种具体实现方式，所述步骤2具体包括：

11、步骤2.1，将数据对集中的深度-可见光样本作为输入，开始训练预设模型的生成器网络，在训练过程中，生成器通过反向传播优化跨模态对比损失函数；

12、步骤2.2，在训练过程中按照预设周期评估生成器网络生成的预测图像与其对应的输入数据的真实标签的相似度，得到评估结果；

13、步骤2.3，根据评估结果对跨模态对比损失函数进行调整和优化直至符合预设要求，得到目标模型。

14、根据本公开实施例的一种具体实现方式，所述步骤1之前，所述方法还包括：

15、使用深度传感获取样本对象对应的高分辨率深度图像，同时使用可见光相机获取样本对象对应的可见光图像；

16、通过预设操作降低高分辨率深度图像的分辨率，得到低分辨率深度图像；

17、将低分辨率深度图像与对应的可见光图像进行时间和空间的对齐，并将其进行预处理，得到数据对集。

18、根据本公开实施例的一种具体实现方式，所述将其进行预处理，得到数据对集的步骤，包括：

19、将对齐后的低分辨率深度图像与可见光图像进行旋转、缩放和仿射变换，得到新的低分辨率深度图像与可见光图像，并结合对齐后的低分辨率深度图像与可见光图像形成数据对集。

20、根据本公开实施例的一种具体实现方式，所述预设操作为双线性插值或者高斯金字塔中的任一种。

21、第二方面，本公开实施例提供了一种深度图像质量增强模型训练系统，包括：

22、构建模块，用于构建预设模型对应的一个跨模态对比损失函数，据此通过对比学习对预设模型进行微调；

23、训练模块，用于将数据对集输入预设预设进行训练，得到目标模型。

24、第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

25、至少一个处理器；以及，

26、与该至少一个处理器通信连接的存储器；其中，

27、该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的深度图像质量增强模型训练方法。

28、第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的深度图像质量增强模型训练方法。

29、第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的深度图像质量增强模型训练方法。

30、本公开实施例中的深度图像质量增强模型训练方案，包括：步骤1，构建预设模型对应的一个跨模态对比损失函数，据此通过对比学习对预设模型进行微调；步骤2，将数据对集输入预设预设进行训练，得到目标模型。

31、本公开实施例的有益效果为：通过本公开的方案，在传统的损失函数基础上，引入跨模态对比损失函数可以帮助模型更好地学习深度信息和其它相关模态之间的关系，以提升深度信息的表征能力和准确性；通过对比学习对预设模型进行微调，可以使其在特定任务中更加专业化和适应性强，从而加快训练收敛速度和提高模型精度；数据对集由低质量深度图像和对应的高质量深度图像组成，这样的数据集有助于模型学习如何从低质量深度图像中恢复高质量深度信息，从而提高模型在实际应用中的适应性和泛化能力。

技术特征：

1.一种深度图像质量增强模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于,所述步骤1具体包括：

3.根据权利要求2所述的方法，其特征在于,所述跨模态对比损失函数的表达式为

4.根据权利要求3所述的方法，其特征在于,所述步骤2具体包括：

5.根据权利要求1所述的方法，其特征在于,所述步骤1之前，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于,所述将其进行预处理，得到数据对集的步骤，包括：

7.根据权利要求5所述的方法，其特征在于,所述预设操作为双线性插值或者高斯金字塔中的任一种。

8.一种深度图像质量增强模型训练系统，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-7中任一项所述的深度图像质量增强模型训练方法。

技术总结本公开实施例中提供了一种深度图像质量增强模型训练方法、系统、设备及介质，属于数据处理技术领域，具体包括：步骤1，构建预设模型对应的一个跨模态对比损失函数，据此通过对比学习对预设模型进行微调；步骤2，将数据对集输入预设预设进行训练，得到目标模型。通过本公开的方案，引入跨模态对比损失函数学习深度信息和其它相关模态之间的关系；通过对比学习对预设模型进行微调，可以使其在特定任务中精准度和适应性更强；数据对集由低质量深度图像和对应的高质量深度图像组成，从而提高模型在实际应用中的适应性和泛化能力。技术研发人员：周士兵受保护的技术使用者：湖南国科微电子股份有限公司技术研发日：技术公布日：2024/11/18