一种RAW域图像噪声建模方法与流程

本发明属于raw域2d图像去噪，特别涉及一种raw域图像噪声建模方法。

背景技术：

1、近年来，随着科技的飞速发展，图像处理技术愈发成熟。由于大量摄像设备在光照不足或遮挡等条件下，抓拍到的图像往往包含着不同程度的噪声，特别在晚上，抓拍到的图像噪声特别大，以导致图像的质量较差，无法被拍摄者使用。目前大量的去噪研究基于rgb图像域，这样因感光元器件所得的图像经isp处理后，噪声成未知分布。因此，一些噪声建模方法导致图像去噪效果较差。为了生成更接近真实噪声并去噪，目前一些去噪研究在raw域进行。

2、目前，大多数噪声建模方式分为三类，1.估计噪声的噪声分布，例如，通过在特定的iso下采集平场帧和黑帧，然后估计相应的参数，最后通过分布生成噪声。2.采集配对数据进行去噪，通过采集短曝光帧和对应的长曝光数据进行去噪。3.模型生成噪声，即通过gan网络技术生成逼真的噪声数据，通过估计的参数和真实的噪声，进行对抗学习，从而得到较好的生成网络进行噪声生成。

3、然而，由于光的不确定性和电子元器件材质不同，导致图像中产生的噪声很复杂，无法通过简单的物理建模方式进行拟合，因为有些噪声是无规则的不服从于特定的分布。采集配对的真实噪声和干净的数据是最贴近去噪任务的方式，但是由于配对数据的有限性，无法模拟所有的噪声数据，这些方法均限制了去噪性能。

4、现有技术常用的技术术语：

5、iso：感光度是衡量底片对于光的灵敏程度，一般通过改变摄像机的模拟增益进行调节。

6、raw图：图像的一种排布方式，包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。

7、平场帧：在光照均匀的条件下，对着白纸进行拍摄得到的数据。

8、暗帧：盖住摄像头且不进光条件下得到的数据。

9、tukeylambda:是统计学中的一种概率分布。

技术实现思路

1、为了解决上述问题，本技术的目的在于：为了改善物理建模噪声无法模拟所有的噪声分布且暗光下去噪效果不佳的问题，本方法将噪声建模方法和数据配对方法进行结合，生成泛化性更好的噪声数据，基于物理方法估计出一些参数，得到相应的服从特定分布的噪声模型，然后利用采集配对数据的方法进行一批数据混合训练。

2、具体地，本发明提供一种raw域图像噪声建模方法，所述方法包括以下步骤：

3、s1：准备工具：标定的摄像头、灯箱或者可调节亮度的摄影棚、无皱的白纸；首先将摄像头放置于d65灯源灯箱中，另外将白纸放置在平坦的背景墙上；

4、s2：为了防止拍摄时，因摄像头遮蔽shading的影响，移动摄像头使得白纸处于镜头中1/2位置；

5、s3：打开采集设备采集亮帧，设置相机的感光度iso为2n，n＝0,1,2，......，然后，最暗亮度开始，改变曝光时间，从[1,1123]以间隔5进行选择，1123是sensor内置的与时间相关的参数；在每个曝光时间下，以最快的速度连续采集两张图像并保存；按照该步骤，每次改变iso即每隔改变曝光时间为10进行采集，依次采集不同曝光时间下的图像；在改变iso后，再次进行步骤s4采集相应的图像求和做差处理，继续进行步骤s5，每改变一次iso，就能够得到(ymean，std)，因为拟合一条直线，如公式(5)所示，需要很多的(ymean，std)；

6、s4：对亮帧进行两帧求和和两帧求差处理，如式(1)、(2)，式中y1、y2分别表示采集的两张图像，ysum表示两图像均值，y’表示两图像之差：

7、ysum＝(y1+y2)/2   (1)

8、y′＝y1-y2   (2)

9、s5：对求得的ysum、y’分别求均值ymean和方差std，如公式(3)、(4)所示，然后按照公式(5)使用最小线性拟合得到斜率值k，k值的一半即为估计的泊松分布的参数，k/2表示与sensor的iso相关的增益参数，用于生成与信号相关的泊松分布噪声；

10、

11、

12、std＝k/2*ymean+b   (5)；

13、s6：采集暗帧：关闭灯箱光源，使用黑胶带将摄像头感光部位遮住且将摄像头置于黑暗的房间中，在拍摄时，以最短的曝光时间，设置曝光时间为1,其中1为sensor内部给出的调试曝光时间的参数值，连续拍摄10帧或以上；

14、s7：对于采集的10张暗帧图像，对于每一张暗帧求出每行的均值，然后进行高斯估计，得到高斯分布方差的最大似然估计值，如式(6)：

15、

16、s8：估计出上述高斯参数后，原图减去高斯分布，根据tukeylambda分布继续估计形状参数α，位置参数loc，尺度参数scale，则生成的噪声如式(7)所示，其中xp为干净的图像，q表示量化噪声，gausssion(·)表示高斯噪声分布，poisson(·)表示泊松分布，为生成的噪声图像：

17、

18、s9：采集配对数据，固定iso，范围为2n，n取0，1，2，3，4，改变曝光时间，在每个曝光时间下采集图像数量越多越好，假设采集200张图像，然后进行求均值操作，具体求法如公式(8)，得到一张干净的图，而噪声图像需要从200张中随机选取进行配对,如式(8)和式(9)所示，xclean、xnoise分别表示干净和带有噪声的图像，xnoise表示采集的200张图像集合，x′noise表示随机选取配：

19、

20、x′noise＝random(xnoise)   (9)

21、s10：如式(10)和式(11)所示，x1和xpair分别表示物理建模和采集的配对数据集合，其中表示通过物理建模得到的干净和对应噪声图像，而表示使用sensor采集到的配对图像：

22、

23、

24、s11：假设数据集集合为data,则总的噪声数据，采集得到的配对数据xpair和物理建模得到的数据x1融合进行混合训练，其具体流程为：每次训练从混合的数据集中随机抽取m张，m＝1、8、16、......，m是输入网络的一个批次，进行模型训练，如式(12)所示：

25、data＝{x1，xpair}   (12)。

26、所述步骤s9中将曝光时间控制在[10，60]之间，每经过时间间隔20，改变一次曝光时间，连续采集200张图像。

27、所述步骤s9的配对数据采集过程，进一步包括：

28、s9.1，准备特定型号的sensor及补光板；

29、s9.2，打开补光板，设定正常光照满足范围内前景均能看见；

30、s9.3，规定sensor的位置，设定特定的iso值，然后改变曝光时间，每次从[20,80]中以20间隔进行采集图片，连续采集200张；

31、s9.4，将采集的200张图片求均值，将均值图像作为干净的图像，噪声图像从200张中随机选择；

32、s9.5，得到干净和对应的噪声图像。

33、由此，本技术的优势在于：本技术方法简单，通过本方法，使用配对数据补充物理建模未正确建模部分的噪声，可以较好地改善光照正常且曝光行非常短时的噪声问题。