一种基于通道相关性的自适应Bayer图像插值方法与流程

本发明属于图像处理，特别涉及一种基于通道相关性的自适应bayer图像插值方法。

背景技术：

1、bayer图像插值的目的是把bayer图像插值成完整的彩色图像。原始的双线性插值算法存在拉链效应、清晰度低、伪彩色严重等问题。因此学者发明了更加先进的插值算法，目前最主流的bayer图像插值算法主要有色差法和残差法2类。

2、色差法。一个基本的假设是，在一个局部范围内rgb图像的色调值和亮度是缓慢变化的，表现为局部色差的恒定性，利用色差的恒定性可以插值得到完整的g通道信息，然后根据完整的g通道信息和色差信息插值出完整的r通道和b通道信息，得到完整的rgb图像。色差法通常需要分为6步完成：

3、第1步：采用线性插值分别得到r、g、b通道的水平插值结果和竖直插值结果；

4、第2步：利用上一步的插值结果计算水平方向插值色差r-g和b-g，同时计算竖直方向插值色差r-g和b-g；

5、第3步：计算水平和垂直方向的色差权重；

6、第4步：利用两个方向的色差权重和色差值加权计算出最终的色差估计值r-g和b-g；

7、第5步：将最终的色差估计值叠加在原始bayer图像上的r通道和b通道上，恢复出完整的g通道信息；

8、第6步：利用色差恒定原理恢复r和b通道信息。

9、残差法。残差法的综合效果优于色差法，假定图像在局部范围内三个通道之间满足线性相关性，利用引导上采样的方法完成图像的插值。残差法的基本步骤与色差法相同，区别在于：第1步采用引导上采样完成水平方向和竖直方向插值；第6步采用引导上采样完成r和b通道的插值。

10、现有技术的主要缺陷在于：

11、1.插值算法的鲁棒性不足，算法依赖于参数控制，同一套算法在某些场景下效果非常好，但是在某些场景下失效；

12、2.成像效果不足，现存的算法没有充分利用通道间的相关性，导致某些局部区域产生马赛克或者伪彩色现象，很难保证成像效果达到最优。

13、此外，现有技术中的常用术语包括：

14、1.bayer图像：绝大部分彩色相机都采用维光电传感器获取图像信息，在传感器表面覆盖了一个色彩滤波阵列(color filter array，cfa)，最常见的cfa形式为bayer格式，将bayer格式的传感器采集到的原始数据称为bayer图像。如图1所示是一种常见的bayer图像示意图。

15、2.bayer图像插值：将bayer图像恢复成完整rgb图像的过程。

16、3.解析力：分辨被拍摄物体细节的能力，解析力越高，则图像细节越丰富、清晰度越高。

17、4.伪彩色：bayer图像插值时，如果颜色信息插值错误就容易出现异常颜色(falsecolor)，称为伪彩色。

18、5.马赛克现象：bayer图像插值时，如果亮度信息插值错误就容易出现异常纹理，图像中的直观表现就是棋盘格现象或者拉链效应，可以统称为马赛克现象。

技术实现思路

1、为了解决上述问题，本技术的目的在于：对现有技术进行研究后，提出了基于通道相关性的自适应bayer图像插值方法，方法不依赖参数调节，能够适应各种复杂的实际应用场景；利用精确的局部回归模型拟合通道间的相关性，完成bayer数据的局部自适应插值。

2、具体地，本发明提供一种基于通道相关性的自适应bayer图像插值方法，所述方法包括：

3、s1,计算图像中的线性插值；

4、s2,计算各个通道的梯度；

5、s3,估计不同通道之间的梯度相关性：

6、s3.1，估计r位置处g与r的梯度相关性

7、在bayer图像的局部范围内，假设r与g在水平方向上的梯度具有线性关系，则：

8、

9、其中，(i,j)表示像素坐标，△gh(i,j)和△rh(i,j)分别表示该点在水平方向上g通道梯度值和r通道梯度值，和分别表示一次项系数和常数项系数；对于边缘很强的区域，需要更大的窗口拟合不同通道之间的相关性，避免物体边缘出现马赛克现象，而对于弱纹理区域，只需要小的拟合窗口，避免相关性计算误差太大产生伪彩色，因此利用加权最小二乘法来控制有效拟合窗口，计算出未知系数和

10、

11、其中r表示局部最大拟合窗口，(i+k,j+l)表示样本点坐标，ω(i,j,k,l)表示该坐标对应样本点的权重，计算公式为：

12、

13、

14、其中t表示全局控制参数，用于调整拟合窗口的整体大小；用于标记有效样本的位置，当r的水平插值结果存在或者当前点为r时，取1否则取0；表示在最大拟合窗口内三个通道的方差之和，分别表示rgb三个通道水平插值后的均值；rh(·)、gh(·)、bh(·)分别表示步骤s1得到的水平方向插值结果；

15、利用加权最小二乘法得到垂直方向上r和g通道的梯度关系：

16、

17、其中，(i,j)表示像素坐标，△gv(i,j)和△rv(i,j)分别表示该点在垂直方向上g通道梯度值和r通道梯度值，和表示垂直方向上梯度拟合系数；s3.2，估计b位置处g与b的梯度相关性

18、根据轮换对称性，将s3.1中的r更换为b，即得到g与b之间的梯度关系

19、

20、

21、s3.3，估计gr位置处g与r以及g与b的梯度相关性

22、

23、

24、s3.4，估计gb位置处g与r以及g与b的梯度相关性

25、

26、

27、s4,计算综合梯度：

28、利用步骤s2计算的梯度值和步骤s3计算的梯度关系系数，估计出各个位置的综合梯度dh和dv，每个像素位置的计算方法如下：

29、s4.1，r位置处的综合梯度

30、

31、

32、s4.2，b位置处的综合梯度

33、

34、

35、s4.3，gr位置处的综合梯度

36、

37、

38、s4.4，gb位置处的综合梯度

39、

40、

41、s5,计算插值权重；

42、s6,计算g通道插值，方法如下：

43、s6.1，对于bayer图像中的r位置，使用下式完成g通道的插值：

44、

45、其中，wh和wv分别是步骤s5计算的权重值，且

46、

47、

48、

49、

50、其中，分别是当前点(i,j)在东西南北四个方向上的g通道估计值；

51、s6.2，对于bayer图像中的b位置，利用轮换对称性，将r位置插值公式中的r换为b即完成g通道的插值；

52、s7,计算r通道和b通道插值，即gr和gb位置处的插值方法如下：

53、s7.1，估计r像素位置的b通道插值结果

54、对于bayer图像中的r位置，使用双线性插值：

55、

56、s7.2，估计b像素位置的r通道插值结果

57、

58、s7.3，估计gr像素位置的插值结果

59、使用下式完成r通道的插值：

60、

61、

62、

63、其中，是r通道在坐标位置(i,j)的插值结果，表示步骤s1中计算的水平方向线性插值结果，wh(·)是步骤s5计算的权重值，和表示步骤s3得到的拟合系数，r(·)和g(·)表示原始bayer图像中对应位置的r通道像素值和g通道像素值；

64、b通道的插值方法与之类似，如下：

65、

66、

67、

68、s7.4，估计gb像素位置的插值结果

69、利用轮换对称性，将步骤s7.3中的r更换为b且b更换为r，即得到gb位置的r和b通道插值结果；

70、b通道：

71、

72、

73、

74、r通道：

75、

76、

77、

78、所述步骤s1线性插值进一步包括：

79、对于bayer图像中的r或者b像素处，分别利用下式计算水平方向和垂直方向的线性插值结果：

80、

81、

82、其中，和分别表示g通道在水平和垂直方向的线性插值结果；g(i,j-1)、g(i,j+1)、g(i-1,j)、g(i+1,j)分别表示对应位置的实际g通道像素值；在bayer图像的g像素处，计算公式与上式相似但每个像素位置只能计算出水平或者垂直方向中的一个方向的插值结果，如果g像素左右相邻位置为r像素，则：

83、

84、其中，r(i,j-1)、r(i,j+1)、r(i-1,j)、r(i+1,j)分别表示bayer图像上对应位置的实际r通道像素值；反之，若g像素左右相邻位置为b像素，则：

85、

86、其中，b(i,j-1)、b(i,j+1)、b(i-1,j)、b(i+1,j)分别表示bayer图像上对应位置的实际b通道像素值。

87、所述步骤s2计算梯度进一步包括：

88、根据步骤s1的结果，计算各个通道的水平方向梯度和垂直方向梯度：

89、△xh(i,j)＝xh(i,j)-xh(i,j-1)

90、△xv(i,j)＝xv(i,j)-xv(i-1,j)

91、其中，x表示r/g/b中的一个通道，△xh和△xv分别表示该通道在水平和垂直方向的梯度值。

92、所述计算梯度中，

93、g通道梯度计算结果为：

94、△gh(i,j)＝gh(i,j)-gh(i,j-1)

95、△gv(i,j)＝gv(i,j)-gv(i-1,j)

96、△gh(i,j)和△gv(i,j)分别表示坐标(i,j)处的g通道水平方向和垂直方向梯度值，gh(·)和gv(·)分别表示步骤s1计算出的g通道在水平方向和垂直方向插值结果；

97、r通道梯度计算结果为：

98、△rh(i,j)＝rh(i,j)-rh(i,j-1)

99、△rv(i,j)＝rv(i,j)-rv(i-1,j)

100、△rh(i,j)和△rv(i,j)分别表示坐标(i,j)处的r通道水平方向和垂直方向梯度值，rh(·)和rv(·)分别表示步骤s1计算出的r通道在水平方向和垂直方向插值结果；

101、b通道梯度计算结果为：

102、△bh(i,j)＝bh(i,j)-bh(i,j-1)

103、△bv(i,j)＝bv(i,j)-bv(i-1,j)

104、△bh(i,j)和△bv(i,j)分别表示坐标(i,j)处的b通道水平方向和垂直方向梯度值，bh(·)和bv(·)分别表示步骤s1计算出的b通道在水平方向和垂直方向插值结果。

105、所述步骤s5计算插值权重进一步包括：

106、通过以下计算公式得到每个像素位置处水平方向权重值和竖直方向权重值：

107、

108、

109、由此，本技术的优势在于：

110、1.方法不依赖参数调节，能够适应各种复杂的实际应用场景，有效提升了插值算法的鲁棒性；

111、2.利用精确的局部回归模型拟合通道间的相关性，完成bayer数据的局部自适应插值，有效消除图像的马赛克现象和伪彩色现象，提升成像效果。