一种构建3D去噪训练数据集的方法与流程

本发明属于深度学习神经网络低层视觉任务中3d去噪，特别涉及一种构建3d去噪训练数据集的方法。

背景技术：

1、近些年来随着图像任务的迅速发展，人们对高质量图像和视频的需求日益突出。但在很多较极端条件下很难保证获得高质量的成像，目前各种方案在低光照条件下往往会设置很高的iso，目的是为了提高图像亮度，但这样会直接导致生成的图像视频具有很大的噪声，成像的质量将会变差，远远不能满足各种任务的使用需求，所以去噪任务很重要。在摄像头直接采集的raw域视频上，噪声一般近似遵循接近简单的泊松高斯分布，但在经过设备isp进行处理后产生的rgb图像上，噪声分布变得非常复杂因为经过转换其分布已经改变，这样对于去噪任务产生了很大难度，因此raw域去噪比rgb域去噪更有优势。所以去除raw域噪声对于生成更高质量的图像，具有重要意义。

2、目前，基于卷积神经网络的深度学习算法已经广泛应用于各种isp任务中，但这类算法往往需要大量的成对数据，目前常见的公共数据集基本是基于srgb域的图片数据对，对于少量raw域数据集也基本是通过逆向网络，从srgb域数据集生成的raw域数据集。

3、然而，目前的数据集构建方式，远远无法满足较高的去噪任务需求，一是对于合成噪声的方式对于一些较为精细的去噪需求并不能很好的完成，真实噪声的分布对于合成的高斯泊松分布而言要复杂的多，所以真实噪声分布的数据集仍然是必要的；二是通过逆向任务将srgb域转换到raw域的方式，对于真实的raw域仍然有区别，由raw转到srgb域的量化损失不可避免。

4、现有技术常用的技术术语：

5、图像信号处理isp：主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图像传感器。

6、短曝光与长曝光：通过改变曝光时间长短获取质量不同的数据，曝光时间短，进光量少图像暗，曝光时间长，进光量多图像更亮。

技术实现思路

1、为了解决上述问题，本申请的目的在于：通过本方法，采集到的数据集在3d去噪任务中，可以很好地填补真实噪声分布的数据集空白，通过本方案的操作，可以最大限度的提升视频去噪效果，与现有技术相比，本发明的方法可用于真实raw域噪声，可用于构建大量的“干净-噪声”成对raw域视频数据，支持raw域视频去噪工作。

2、具体地，本发明提供一种构建3d去噪训练数据集的方法，所述方法包括以下步骤：

3、s1.图像收集，采集多个感光度iso下的数据；

4、s2.图像去噪处理，多张加权平均，模拟3d去噪；

5、s3.进一步去噪，使用2d去噪网络进一步去除噪声：

6、采用已训练好的可控去噪强度的2d去噪深度学习神经网络对经过步骤s2获得的预处理标签图像进行进一步去噪，去噪程度控制在不损失细节的前提下，去除残留噪声使得光滑区域能足够光滑，以此作为最终的标签图像ground truth；

7、其中，所述进一步进行去噪是使用神经网络模型完成

8、c＝f-k*noise

9、c为进一步去噪后的图像，f为进一步去噪前的图像，k为权重，noise为噪声图，其中：

10、noise＝net(f)

11、net为所述2d去噪深度学习神经网络；

12、s4.输入数据集获取，多对一的方式筛选输入数据：

13、对于一个场景一个iso下的标签数据经过s2、s3步骤的合成最终获得的只有m张标签图像，每一张标签图像对应多张含同一iso等级的随机噪声图像，步骤s2中多张加权平均的图像是在同一设置、同一场景下拍摄的，其图像中的有效信息相同但噪声随机，这些图像即所述多张含同一iso等级的随机噪声图像，在作为训练集训练时，同一设置、同一场景下的所有图像共同对应同一标签图像；

14、s5.对图像进行剪切，扩增数据集：

15、选择以相同的窗口，相同的步长，同时在ground truth和与之对应的噪声图像上截取，这样便进一步扩增数据集的规模。

16、所述步骤s1进一步包括：

17、数据集覆盖到合适的区间，不同场景包含不同的场景亮度，因此采集0.1-2lux下的不同场景，通过调节曝光时间来调节图像亮度，拍摄为近景拍摄，使用定格动画方式拍摄，以定格动画的方式控制背景不变，前景移动，每个场景为不同iso，同一个背景，前景移动获得m个连续位移帧，对于每一帧，在前景背景不动，拍摄参数相同的条件下采集n张，对于iso不同，n值也不同。

18、所述步骤s1采集16，32，64，128，256，512这6个感光度iso下的数据以保证数据集覆盖到合适的区间。

19、所述步骤s1中所述iso不同，n值也不同进一步包括：

20、对于16-128的iso下，实际拍摄中n为200，对于256-512的iso下，n为500。

21、所述步骤s2进一步包括：

22、假设令步骤s1中不同曝光时间的m张图像命名为(t1，t2，...，tm)，对于每一个图都有n张相同相机参数拍摄的图像，表示为(t11，t12，...t1n)，使用相加再取平均的方式合成，如下公式

23、

24、这样模拟3d去噪的作用，从而获得噪声低的图像即为经过步骤s2获得的预处理标签图像。

25、所述步骤s4中，所述多张原则上越多越好，在应用过程中使用所述多张包括10张。

26、所述步骤s4中，假设拍摄图像大小为512*512，训练时截成256*256大小的图像，以256为步长即将原图分割成4张图像，从而扩增数据集。

27、由此，本申请的优势在于：

28、1、3d去噪数据集一直以来都面临难以收集的问题，一些合成的数据集面临无法很好拟合真实噪声数据的问题，真实数据集则面临标签数据难以获得，rgb数据逆向又容易导致数据分布改变的问题，本方法使用一系列简单固定的步骤，可以轻松获取大批量符合训练要求的数据，减少成本，且能很好的填补真实噪声分布的空白；

29、2、多对一的数据，不同亮度场景，不同iso等级可以使模型训练能够更好的适应不同条件下的3d去噪任务，使得模型泛化能力得到提升。

技术特征：

1.一种构建3d去噪训练数据集的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种构建3d去噪训练数据集的方法，其特征在于，所述步骤s1进一步包括：

3.根据权利要求2所述的一种构建3d去噪训练数据集的方法，其特征在于，所述步骤s1采集16，32，64，128，256，512这6个感光度iso下的数据以保证数据集覆盖到合适的区间。

4.根据权利要求2所述的一种构建3d去噪训练数据集的方法，其特征在于，所述步骤s1中所述iso不同，n值也不同进一步包括：

5.根据权利要求1所述的一种构建3d去噪训练数据集的方法，其特征在于，所述步骤s2进一步包括：

6.根据权利要求1所述的一种构建3d去噪训练数据集的方法，其特征在于，所述步骤s4中，所述多张原则上越多越好，在应用过程中使用所述多张包括10张。

7.根据权利要求1所述的一种构建3d去噪训练数据集的方法，其特征在于，所述步骤s4中，假设拍摄图像大小为512*512，训练时截成256*256大小的图像，以256为步长即将原图分割成4张图像，从而扩增数据集。

技术总结本发明提供一种构建3D去噪训练数据集的方法，包括：S1.图像收集，采集多个感光度ISO下的数据；S2.图像去噪处理，多张加权平均，模拟3D去噪；S3.进一步去噪，使用2D去噪网络进一步去除噪声；S4.输入数据集获取，多对一的方式筛选输入数据；S5.对图像进行剪切，扩增数据集。技术研发人员：魏友奇受保护的技术使用者：合肥君正科技有限公司技术研发日：技术公布日：2024/9/12