一种自动生成图像的方法及装置与流程

本发明涉及图像处理，尤其涉及一种自动生成图像的方法及装置。

背景技术：

1、人们对图像质量的要求越来越高，而为了得到高彩色质量的图像，其中一点是要去除图像中的非可见光成分(大部分为红外光)的干扰。

2、目前，在没有红外截止滤光片装置的情况下一般通过以下方式去除图像的r、g、b通道中的不可见光成分，1)在各种光照条件下，分别使用红外截止滤光片和不使用红外截止滤光片拍摄同一标准色卡，通过标定计算得到对应的一组校正系数，实际使用时候则通过光照强度来查询使用对应的一组校正系数，并通过查询到的校正系数对图像进行颜色校正，再对颜色校正后的图像的r、g、b通道中的不可见光成分进行去除；2)使用r、g、b通道数据分别减去乘以校正因子后的ir通道数据，实现不可见光成分的去除；3)基于方式1)，使用机器学习/深度学习方法，在颜色校正的过程中，直接去除图像的r、g、b通道中的不可见光成分。

3、然而，实践发现，通过上述现有方法在去除r通道图像、g通道图像、b通道图像中的不可见光成分时，需要很高的运算量，导致硬件开销比较大。因此，如何提出一种在保证图像的保真度的同时降低硬件开销的技术方案显得尤为重要。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种自动生成图像的方法及装置，能够在保证图像的保真度的同时降低硬件开销。

2、为了解决上述技术问题，本发明实施例第一方面公开了一种自动生成图像方法，所述方法包括：

3、根据图像中每个像素点所属的颜色通道，确定所述图像的全分辨率的绿色图像，所述图像对应多个所述颜色通道，所有所述颜色通道包括绿色通道、红色通道、蓝色通道及不可见光通道，每个所述颜色通道仅对应一种颜色分量，且所述图像中每个所述像素点仅为所有所述颜色分量中的其中一种，所有所述颜色分量的采样率之和等于1；

4、对所述图像中颜色通道为所述红色通道的像素点进行蓝色像素值插值运算以及对所述图像中颜色通道为所述蓝色通道的像素点进行红色像素值插值运算，得到第一图像；

5、基于所述第一图像，对颜色通道为所述不可见光通道的像素点分别执行蓝色像素值和红色像素值插值运算，得到红色图像和蓝色图像；

6、根据所述绿色图像、所述红色图像及所述蓝色图像，确定所述图像的全分辨率的不可见光图像；

7、根据所述图像的采样周期，确定第一分辨率的所述绿色图像、第二分辨率的所述红色图像以及第三分辨率的所述蓝色图像；

8、基于所述不可见光图像，对第一分辨率的所述绿色图像、第二分辨率的所述红色图像及第三分辨率的所述蓝色图像，执行不可见光去除操作，得到第二图像。

9、本发明实施例第二方面公开了一种自动生成图像装置，所述装置包括：

10、确定模块，用于根据图像中每个像素点所属的颜色通道，确定所述图像的全分辨率的绿色图像，所述图像对应多个所述颜色通道，所有所述颜色通道包括绿色通道、红色通道、蓝色通道及不可见光通道，每个所述颜色通道仅对应一种颜色分量，且所述图像中每个所述像素点仅为所有所述颜色分量中的其中一种，所有所述颜色分量的采样率之和等于1；

11、插值模块，用于对所述绿色图像中颜色通道为所述红色通道的像素点进行蓝色像素值插值运算以及对所述图像中颜色通道为所述蓝色通道的像素点进行红色像素值插值运算，得到第一图像；

12、所述插值模块，还用于基于所述第一图像，对颜色通道为所述不可见光通道的像素点分别执行蓝色像素值和红色像素值插值运算，得到红色图像和蓝色图像；

13、所述确定模块，还用于根据所述绿色图像、所述红色图像及所述蓝色图像，确定所述图像的全分辨率的不可见光图像；

14、所述确定模块，还用于根据所述图像的采样周期，确定第一分辨率的所述绿色图像、第二分辨率的所述红色图像以及第三分辨率的所述蓝色图像；

15、生成模块，用于基于所述不可见光图像，对第一分辨率的所述绿色图像、第二分辨率的所述红色图像及第三分辨率的所述蓝色图像，执行不可见光去除操作，得到第二图像。

16、作为一种可选的实施方式，所述确定模块根据图像中每个像素点所属的颜色通道，确定所述图像的全分辨率的绿色图像的具体方式包括：

17、对于图像的所述像素点，根据所述像素点所属的颜色通道，计算所述像素点在多个方向上的梯度，并根据所述像素点在所有所述方向上的梯度，确定所述像素点的插值方向，所有所述方向包括水平方向、竖直方向、对角方向及反对角方向中的两种或多种，所述像素点的插值方向包括无方向、水平方向、竖直方向、对角方向及反对角方向中的其中一种；

18、对于所述图像中颜色通道不是所述绿色通道的所述像素点，根据所述像素点的插值方向，确定所述像素点的绿色通道像素值；

19、根据所有所述像素点的绿色通道像素值及所述图像中颜色通道为所述绿色通道的所有像素点的像素值，确定所述图像的绿色图像。

20、作为一种可选的实施方式，在本发明第二方面中，所述确定模块对于所述图像中颜色通道为所述红色通道或者所述蓝色通道的像素点，根据所述像素点的插值方向，确定所述像素点的绿色通道像素值的具体方式包括：

21、对于所述图像中颜色通道为所述红色通道或者所述蓝色通道的像素点：

22、当判断出所述像素点的插值方向为第一类型方向时，根据所述像素点所在位置，获取与所述像素点所在位置匹配的且与所述第一类型方向匹配的方向上颜色通道为所述绿色通道的多个第一像素点的像素值，并计算所有所述第一像素点的像素值的加权均值，作为所述像素点的绿色通道像素值，其中，当所述第一类型方向为无方向时，与所述第一类型方向匹配的方向为上下左右方向，当所述第一类型方向为水平方向时，与所述第一类型方向匹配的方向为左右方向，当所述第一类型方向为竖直方向时，与所述第一类型方向匹配的方向为左右方向；

23、当判断出所述像素点的插值方向为第二类型方向时，根据所述像素点所在位置，获取与所述插值方向的第一对角方向上两个与所述像素点的颜色通道属性相同的颜色通道的第二像素点的像素值，并计算所述像素点的像素值与每个所述第二像素点的像素值之间的像素差绝对值，作为每个所述第二像素点对应的梯度；当两个所述第二像素点对应的梯度相等时，获取像素点所在位置的上下左右方向上颜色通道为所述绿色通道的第三像素点的像素值，并计算所有所述第三像素点的像素值的加权均值，作为所述像素点的绿色通道像素值；当两个所述第二像素点对应的梯度不相等时，根据两个所述第二像素点对应的梯度大小情况，筛选与该梯度大小情况匹配的且颜色通道为所述绿色通道的第四像素点的像素值，并计算所有所述第四像素点的像素值的加权均值，作为所述像素点的绿色通道像素值，其中，当所述第二类型方向为对角方向时，所述第一对角方向为斜对角方向；当所述第二类型方向为反对角方向时，所述第一对角方向为反斜对角方向。

24、作为一种可选的实施方式，在本发明第二方面中，所述插值模块对所述图像中颜色通道为所述红色通道的像素点进行蓝色像素值插值运算以及对所述图像中颜色通道为所述蓝色通道的像素点进行红色像素值插值运算，得到第一图像的具体方式包括：

25、对于所述图像中颜色通道为所述红色通道或者所述蓝色通道的所述像素点：

26、当所述像素点的插值方向为第三类型方向时，根据像素点所在位置，获取与所述像素点所在位置匹配的且与所述第三类型方向匹配的方向上颜色通道为第一颜色通道的第五像素点的像素值，并计算所有所述第五像素点的像素值的加权均值，作为所述像素点的第一颜色通道像素值，其中，当所述第三类型方向为无方向时，与所述第三类型方向匹配的方向为上下左右方向，当所述第三类型方向为水平方向时，与所述第三类型方向匹配的方向为左右方向，当所述第三类型方向为竖直方向时，与所述第三类型方向匹配的方向为左右方向；

27、当所述像素点的插值方向为第四类型方向时，根据像素点所在位置，获取与所述插值方向的第二对角方向上两个与所述像素点的颜色通道属性相同的颜色通道的第六像素点的像素值，并计算所述像素点的像素值与每个所述第六像素点的像素值之间的像素差绝对值，作为每个所述第六像素点对应的梯度；当两个所述第六像素点对应的梯度相等时，获取所述像素点所在位置的上下左右方向上颜色通道为第二颜色通道的第七像素点的像素值，并计算所有所述第七像素点的像素值的加权均值，作为所述像素点的第一颜色通道像素值；当两个所述第六像素点对应的梯度不相等时，根据两个所述第六像素点对应的梯度大小情况，筛选与该梯度大小情况匹配的且颜色通道为第二颜色通道的第八像素点的像素值，并计算所有所述第八像素点的像素值的加权均值，作为所述像素点的第一颜色通道像素值，其中，当所述第四类型方向为对角方向时，所述第二对角方向为斜对角方向；当所述第四类型方向为反对角方向时，所述第四对角方向为反斜对角方向；

28、将所述像素点的第一颜色通道像素值插值到对应的像素点上及所述像素点的第二颜色通道像素值插值到对应的像素点上，得到第一图像；

29、其中，当所述像素点的颜色通道为所述蓝色通道时，所述第一颜色通道或所述第二颜色通道为所述红色通道，当所述像素点的颜色通道为所述红色通道时，所述第一颜色通道或所述第二颜色通道为所述蓝色通道。

30、作为一种可选的实施方式，在本发明第二方面中，所述生成模块基于所述不可见光图像，对第一分辨率的所述绿色图像、第二分辨率的所述红色图像及第三分辨率的所述蓝色图像，执行不可见光去除操作，得到第二图像的具体方式包括：

31、对于某一分辨率的第三颜色通道图像中的像素点，获取在所述不可见光图像上与该像素点的位置相同的匹配像素点的不可见光通道像素值及该像素点的第三颜色通道去除系数，并计算该匹配像素点的不可见光通道像素值与该像素点的第三颜色通道去除系数的像素值乘积，当所述像素值乘积小于该像素点的第三颜色通道像素值时，使用该像素点的第三颜色通道像素值减去该匹配像素点的不可见光通道像素值，得到去除不可见光后的第三颜色通道图像；

32、根据预设排布方式，对所有所述第三颜色通道图像执行排布操作，得到第二图像；

33、其中，当所述某一分辨率为所述第一分辨率时，所述某一分辨率的第三颜色通道图像为所述第一分辨率的绿色图像，所述第三颜色通道去除系数为绿色通道去除系数；

34、当所述某一分辨率为所述第二分辨率时，所述某一分辨率的第三颜色通道图像为所述第二分辨率的红色图像，所述第三颜色通道去除系数为红色通道去除系数；

35、当所述某一分辨率为所述第三分辨率时，所述某一分辨率的第三颜色通道图像为所述第三分辨率的蓝色图像，所述第三颜色通道去除系数为蓝色通道去除系数。

36、作为一种可选的实施方式，在本发明第二方面中，所述红色通道去除系数、所述绿色通道去除系数、所述蓝色通道去除系数的计算公式如下：

37、

38、

39、

40、式中，ratior(i,j)、ratiog(i,j)、ratiob(i,j)分别为所述红色通道去除系数、所述绿色通道去除系数、所述蓝色通道去除系数，ri,j为所述红色图像中的像素点的像素值，gi,j为所述绿色图像中的像素点的像素值，bi,j为所述蓝色图像中的像素点的像素值。

41、与现有技术相比，本发明实施例具有以下有益效果：

42、本发明实施例中，公开了一种自动生成图像的方法及装置，该方法包括：根据图像中每个像素点所属的颜色通道，确定图像的全分辨率的绿色图像，该图像对应多个所述颜色通道，所有颜色通道包括绿色通道、红色通道、蓝色通道及不可见光通道，每个颜色通道仅对应一种颜色分量，且该图像中每个像素点仅为所有颜色分量中的其中一种，所有颜色分量的采样率之和等于1；对图像中颜色通道为红色通道的像素点进行蓝色像素值插值运算以及对图像中颜色通道为蓝色通道的像素点进行红色像素值插值运算，得到第一图像；基于第一图像，对颜色通道为不可见光通道的像素点分别执行蓝色像素值和红色像素值插值运算，得到红色图像和蓝色图像；根据绿色图像、红色图像及蓝色图像，确定图像的全分辨率的不可见光图像；根据图像的采样周期，确定第一分辨率的绿色图像、第二分辨率的红色图像以及第三分辨率的蓝色图像；基于不可见光图像，对第一分辨率的绿色图像、第二分辨率的红色图像及第三分辨率的蓝色图像，执行不可见光去除操作，得到第二图像。可见，本发明实施例能够基于部分分辨率的r通道图像、g通道图像、b通道图像、不可见光图像来确定全分辨率图像，提高了最后输出图像的分辨率及信噪比。其中，本发明不需要配置双滤光片切换装置，且能够以低运算量方式，通过不可见光图像，有选择性的去除r通道图像、g通道图像、b通道图像中的不可见光成分，在不影响图像颜色效果的情况下，保证最后输出图像的保真度，降低了硬件开销，节省了硬件成本；同时兼容多种格式(bayer cfa格式、rgbir cfa格式)和/或多种采样周期(如2*2、4*4)的图像，适用性广。