一种图像处理方法、图像处理芯片及图像采集设备与流程

本发明涉及图像，特别是涉及一种图像处理方法、图像处理芯片及图像采集设备。

背景技术：

1、随着人们对图像信息的使用越来越广泛，对图像采集设备采集的图像质量要求也逐渐提高。然而，在夜晚微光等场景下，由于光照条件较差，图像采集设备采集到图像中往往噪声较多，使得所采集的图像的图像质量较差。

2、因此，如何提高图像采集设备所采集的图像的图像质量，是亟待解决的问题。

技术实现思路

1、本发明实施例的目的在于提供一种图像处理方法、图像处理芯片及图像采集设备，以实现提高图像采集设备所采集图像的图像质量的技术效果。具体技术方案如下：

2、在本发明实施例的一个方面，提供了一种图像处理方法，所述方法包括：

3、获取图像采集设备针对相同场景连续采集的多帧采集图像；

4、获取对各采集图像进行运动估计所得到的运动补偿数据；

5、基于各采集图像和所获取的运动补偿数据，确定每一采集图像的融合权重；

6、基于各采集图像的融合权重，对各采集图像进行图像融合，得到处理后图像。

7、可选地，所述获取图像采集设备针对相同场景连续采集的多帧采集图像，包括：

8、获取所述采集图像设备当前采集的图像，作为当前的待处理图像，并获取当前的待处理图像对应的历史图像；其中，每一待处理图像对应的历史图像为：在该待处理图像之前采集且与该待处理图像相邻的图像；

9、所述获取对各采集图像进行运动估计所得到的运动补偿数据，包括：

10、获取对当前的待处理图像及对应的历史图像进行运动估计所得到的运动补偿数据；所得到的运动补偿数据为基于上一待处理图像和上一待处理图像对应的历史图像确定的。

11、可选地，所述基于各采集图像和所获取的运动补偿数据，确定每一采集图像的融合权重，包括：

12、利用预先训练完成的图像融合网络中的权重输出子网络，基于当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据，确定当前的待处理图像及对应的历史图像的融合权重；其中，所述图像融合网络还包括：运动补偿子网络和融合子网络；所述图像融合网络为基于多帧样本图像，以及多帧样本图像对应的融合图像的真值训练得到的；

13、所述基于各采集图像的融合权重，对各采集图像进行图像融合，得到处理后图像，包括：

14、利用所述融合子网络，基于所得到的各图像的融合权重，对当前的待处理图像及对应的待处理图像进行图像融合，得到处理后图像；

15、所述方法还包括：

16、利用所述运动补偿子网络，基于当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据，对下一待处理图像及对应的历史图像进行运动估计，得到下一待处理图像的运动补偿数据。

17、可选地，所述融合图像的真值为低噪声图像；所述多帧样本图像包括：样本当前帧和样本历史帧；所述样本历史帧为：对所述融合图像的真值进行加噪声处理得到的；所述样本当前帧为：对所述融合图像的真值进行仿射变换，以及加噪声处理得到的。

18、可选地，所述融合子网络包括：变换单元和融合单元；

19、所述利用所述融合子网络，基于所得到的各图像的融合权重，对当前的待处理图像及对应的待处理图像进行图像融合，得到处理后图像，包括：

20、利用所述变换单元，基于所获取的运动补偿数据对当前的待处理图像进行仿射变换，得到变换后的图像；

21、将当前的待处理图像的融合权重作为所述变换后的图像的融合权重，并利用所述融合单元，基于变换后的图像的融合权重、当前的待处理图像对应的历史图像的融合权重，对变换后的图像和当前的待处理图像对应的历史图像进行图像融合，得到处理后图像。

22、可选地，所述权重输出子网络包括：特征提取单元和权重输出单元；所述利用预先训练完成的图像融合网络中的权重输出子网络，基于当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据，确定当前的待处理图像及对应的历史图像的融合权重，包括：

23、利用所述特征提取单元，对当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据进行特征提取，得到待利用特征；

24、利用所述权重输出单元，基于所述待利用特征确定当前的待处理图像及对应的历史图像的融合权重；

25、所述利用所述运动补偿子网络，基于当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据，对下一待处理图像及对应的历史图像进行运动估计，得到下一待处理图像的运动补偿数据，包括：

26、利用所述运动补偿子网络，基于所述待利用特征对下一待处理图像及对应的历史图像进行运动估计，得到下一待处理图像的运动补偿数据。

27、可选地，所述特征提取单元包括：第一特征提取子单元、第一合并子单元、第二特征提取子单元、第二合并子单元和第三特征提取子单元；

28、所述利用所述特征提取单元，对当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据进行特征提取，得到待利用特征，包括：

29、利用所述第一特征提取子单元对所获取的运动补偿数据进行特征提取，得到第一中间特征；

30、利用所述第一合并子单元对当前的待处理图像即对应的历史图像进行合并，得到合并后的图像；

31、利用所述第二特征提取子单元对所述合并后的图像进行特征提取，得到第二中间特征；

32、利用所述第二合并子单元对所述第一中间特征和所述第二中间特征进行合并，得到合并特征；

33、利用所述第三特征提取子单元对所述合并特征进行进一步特征提取，得到待利用特征。

34、可选地，所述获取图像采集设备针对相同场景连续采集的多帧采集图像，包括：

35、获取所述图像采集设备针对相同场景连续采集的原始图像数据；

36、利用预先确定的待利用黑帧图像，对所述原始图像数据进行预处理，得到采集图像；其中，所述待利用黑帧图像为所述图像采集设备在无光条件下采集得到的。

37、可选地，各采集图像和所得到的处理后图像均为原始raw图像；

38、所述方法还包括：

39、利用预先训练完成的色彩重建网络对所得到的处理后图像进行色彩重建，得到对应的红绿蓝rgb图像；其中，所述色彩重建网络为基于样本raw图像和样本raw图像对应的rgb图像的真值，训练得到的。

40、可选地，所述色彩重建网络包括：去噪子网络和色彩重建子网络；所述利用预先训练完成的色彩重建网络对所得到的处理后图像进行色彩重建，得到对应的红绿蓝rgb图像，包括：

41、利用所述去噪子网络对所得到的处理后图像进行去噪处理，得到去噪后的图像；

42、利用所述色彩重建子网络对所得到的去噪后的图像进行色彩重建，得到对应的rgb图像。

43、可选地，所述去噪子网络包含：多层第一编码单元，以及每一层第一编码单元所对应的第一解码单元，每一层第一编码单元和对应的第一解码单元之间设置有空间注意力单元；每一层空间注意力单元，用于基于空间注意力机制对该层的第一编码单元的输出，和下一层第一解码单元的输出进行融合，得到融合特征；每一层空间注意力单元得到的融合特征用于和下一层第一解码单元的输出进行合并，作为该层第一解码单元的输入。

44、可选地，所述色彩重建子网络包含：多层第二编码单元，以及每一第二编码单元所对应的第二解码单元；

45、每两个第二编码单元之间设置有第一通道注意力单元；每一第一通道注意力单元，用于基于通道注意力机制，确定上一层第二编码单元输出的多通道数据中各个通道的通道权重；下一层第二编码单元的输入为：上一层第二编码单元输出的各个通道的数据与对应的通道权重相乘之后所得到的结果；

46、每两个第二解码单元之间设置有第二通道注意力单元；每一第二通道注意力单元，用于基于通道注意力机制，确定下一层第二解码单元输出的多通道数据中各个通道的通道权重；上一层第二解码单元的输入为：下一层第二编码单元输出的各个通道的数据与对应的通道权重相乘之后所得到的结果。

47、在本发明实施例的另一方面，还提供了一种图像处理芯片，所述图像处理芯片，用于获取图像采集设备针对相同场景连续采集的多帧采集图像；获取对各采集图像进行运动估计所得到的运动补偿数据；基于各采集图像和所获取的运动补偿数据，确定每一采集图像的融合权重；基于各采集图像的融合权重，对各采集图像进行图像融合，得到处理后图像。

48、可选地，所述图像处理芯片，具体用于获取所述采集图像设备当前采集的图像，作为当前的待处理图像，并获取当前的待处理图像对应的历史图像；其中，每一待处理图像对应的历史图像为：在该待处理图像之前采集且与该待处理图像相邻的图像；获取对当前的待处理图像及对应的历史图像进行运动估计所得到的运动补偿数据；所得到的运动补偿数据为基于上一待处理图像和上一待处理图像对应的历史图像确定的。

49、可选地，所述图像处理芯片包括：预处理模块和算法模块；其中：

50、所述预处理模块，用于从所述图像采集设备的非易失性存储器中获取第一网络参数，并将所述第一网络参数加载至所述算法模块中的图像融合网络；其中，所述图像融合网络包括：权重输出子网络、运动补偿子网络和融合子网络；所述图像融合网络为基于多帧样本图像，以及多帧样本图像对应的融合图像的真值训练得到的；

51、所述算法模块，用于获取所述采集图像设备当前采集的图像，作为当前的待处理图像，并获取当前的待处理图像对应的历史图像；获取对当前的待处理图像及对应的历史图像进行运动估计所得到的运动补偿数据；利用所述权重输出子网络，基于当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据，确定当前的待处理图像及对应的历史图像的融合权重；利用所述融合子网络，基于所得到的各图像的融合权重，对当前的待处理图像及对应的待处理图像进行图像融合，得到处理后图像；基于当前的待处理图像、当前的待处理图像对应的历史图像，以及所获取的运动补偿数据，对下一待处理图像及对应的历史图像进行运动估计，得到下一待处理图像的运动补偿数据。

52、可选地，所述预处理模块，还用于从所述非易失性存储器中获取待利用黑帧图像，并将所述待利用黑帧图像写入所述图像采集设备的随机存取存储器；其中，所述待利用黑帧图像为所述图像采集设备在无光条件下采集得到的；获取所述图像采集设备所采集的原始图像数据；利用所述待利用黑帧图像，对所述原始图像数据进行预处理，得到采集图像，并将所得到的采集图像缓存至所述随机存取存储器中；

53、所述算法模块，具体用于从所述随机存取存储器中获取当前的待处理图像及对应的历史图像。

54、可选地，所述采集图像和所述图像融合网络输出的处理后图像均为原始raw图像；

55、所述预处理模块，还用于从所述图像采集设备的非易失性存储器中获取第二网络参数，并将所述第二网络参数加载至所述算法模块；其中，所述第二网络参数为基于样本raw图像和样本raw图像对应的rgb图像的真值对所述算法模块中的色彩重建网络进行训练得到的；

56、所述算法模块，还用于利用所述色彩重建网络，基于所述第二网络参数对所得到的处理后图像进行色彩重建，得到红绿蓝rgb图像。

57、可选地，所述色彩重建网络包括：去噪子网络和色彩重建子网络；所述算法模块，具体用于利用所述去噪子网络对所得到的处理后图像进行去噪处理，得到去噪后的图像；利用所述色彩重建子网络对所得到的去噪后的图像进行色彩重建，得到对应的rgb图像。

58、可选地，所述图像处理芯片包括：第一接口，用于接收所述图像采集设备所采集的图像。

59、可选地，所述图像处理芯片还包括：第二接口，用于将所得到的rgb图像输出至显示器进行显示。

60、本发明实施例还提供了一种图像采集设备，所述图像采集设备包括：图像传感器、非易失性存储器、随机存取存储器、显示器，以及上述任一所述的图像处理芯片；

61、所述图像传感器，用于对当前场景进行图像采集，并向所述图像处理芯片发送所采集的图像。

62、本发明实施例有益效果：

63、本发明实施例提供的图像处理方法，通过获取图像采集设备针对相同场景连续采集的多帧采集图像；获取对各采集图像进行运动估计所得到的运动补偿数据；基于各采集图像和所获取的运动补偿数据，确定每一采集图像的融合权重；基于各采集图像的融合权重，对各采集图像进行图像融合，得到处理后图像。

64、本实施例中，通过对多帧采集图像进行运动估计得到运动补偿数据，进而基于各采集图像和所获取的运动补偿数据，确定每一采集图像的融合权重，能够综合考虑各采集图像和所获取的运动补偿数据能够更加准确地确定各采集图像的融合权重，进而对图像采集设备所采集多帧图像进行图像融合，可以提高融合得到的处理后图像的图像质量。因此，通过本方案能够提高图像采集设备所采集的图像的图像质量。

65、当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。