一种图像处理方法和电子设备与流程

本技术涉及图像处理，并且具体地，涉及一种图像处理方法和电子设备。

背景技术：

1、随着智能终端日益发展，拍摄功能成为智能终端的必备功能。用户对智能终端的拍摄(拍照和/或摄像)需求以及体验也不断增强。智能终端可采用数字变焦(digitalzoom)的方式拍摄图像。数字变焦，是指通过软件算法对图像进行裁剪和/或放大。

2、目前，在高动态范围的拍摄场景下，通常采用多曝光合成的技术进行拍摄，很容易出现鬼影问题，导致图像质量不佳，影响用户的拍摄体验。

技术实现思路

1、有鉴于此，本技术提供了一种图像处理方法、电子设备、计算机可读存储介质和计算机程序产品，能够提升高动态拍摄场景下的图像质量，避免出现鬼影的问题，有助于提升用户的拍摄体验。

2、第一方面，提供了一种图像处理方法，所述方法应用于电子设备，所述电子设备包括摄像头，所述方法包括：

3、启动摄像头；

4、获取当前拍摄场景的变焦倍率以及动态范围；

5、根据所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式；

6、在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围(具体可以是动态范围值)满足第一动态范围dr约束条件时，所述摄像头采用第一模式出图；

7、基于所述摄像头输出的图像数据进行图像处理。

8、第一模式是双增益转换dcg模式。在dcg模式下，所述摄像头输出的图像是长曝光帧和短曝光帧进行融合后的图像帧，二者融合后没有鬼影问题，且动态范围得到了提升。

9、所述动态范围满足第一动态范围dr约束条件定义为高动态范围。所述动态范围不满足第一动态范围dr约束条件定义为低动态范围。

10、可选地，可以基于拍摄场景的raw图像的直方图来确定第一dr约束条件。第一dr约束条件根据第一比例、第二比例和第三比例确定。第一比例是指在图像像素分布中大于第一像素值所占的比例，第二比例是指在图像像素分布中小于第二像素值所占的比例。如果第一比例和第二比例均大于第三比例时，则认为满足第一dr约束条件，此时将动态范围定义为高动态范围。如果第一比例和第二比例不是均大于第三比例(或者说第一比例和第二比例中至少有一个不满足大于第三比例)时，则认为不满足第一dr约束条件，此时将动态范围定义为低动态范围。

11、另外，在确定摄像头的出图方式时，还可以考虑环境照度的因素。可选地，所述方法还包括：获取拍摄场景的环境照度；根据变焦倍率、动态范围以及环境照度，确定摄像头的出图方式。

12、可选地，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围满足第一动态范围dr约束条件时，无论环境照度是高照度还是低照度，所述摄像头均采用第一模式出图。

13、作为一种可能的实现方式，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图。第二模式是合并模式(binning)。这里，当动态范围是低动态范围时，采用合并模式即可。

14、可选地，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一dr约束条件时，无论环境照度是高照度还是低照度，所述摄像头均采用第二模式出图。

15、在上述实现方式中，当变焦倍率等于第一倍率(比如1x)时，不论sensor采用哪种出图方式，后通路的处理都是一致的。以下分别介绍预览流、拍照流和缩略图流的处理流程。

16、作为一种可能的实现方式，对于在所述变焦倍率等于第一倍率，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率等于第一倍率，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图的情况，所述摄像头输出第一图像数据，所述第一图像数据采用第一图像格式；

17、所述第一图像数据存储于第一缓存中，所述方法还包括：

18、接收用户的第一操作，所述第一操作用于触发拍照；

19、其中，所述基于所述摄像头输出的图像数据进行图像处理，包括：

20、响应于所述第一操作，从所述第一缓存中获取所述第一图像数据；

21、通过后处理算法模块或图像信号处理器isp第二模块对所述第一图像数据进行图像处理，得到第二图像数据；

22、通过isp第三模块对所述第二图像数据进行rgb处理或yuv处理，得到yuv格式的数据，输出拍照图像。

23、因此，对于变焦倍率等于第一倍率的情形，基于上述步骤，可以提高拍照图像的质量。

24、可选地，所述方法还包括：

25、在缩略图流中，通过isp第二模块对所述第一图像数据进行去马赛克处理，得到rgb格式的数据；

26、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出缩略图。

27、因此，对于变焦倍率等于第一倍率的情形，基于上述步骤，可以提高缩略图的质量。

28、可选地，所述方法还包括：

29、在预览通路中，通过isp第二模块对所述第一图像数据进行去马赛克处理，得到rgb格式的数据；

30、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出预览图像。

31、因此，对于变焦倍率等于第一倍率的情形，基于上述步骤，可以提高预览图像的质量。

32、本技术实施例还可以将拍摄环境的环境照度，作为决策sensor出图方式的一个因素。

33、作为一种可能的实现方式，所述方法还包括：

34、获取当前拍摄场景的环境照度；

35、根据所述环境照度、所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式。

36、作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图。

37、作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图。

38、因此，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度的场景下，当高动态范围时，采用dcg模式出图，有助于提升拍摄图像的动态范围；当低动态范围时，采用合并模式即可。

39、在上述实现方式中，部分情况的后通路处理可以是一致的。具体地，对于以下各种情况：在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图的情况；后通路处理可以是一致的。

40、在上述各种情况中，所述摄像头输出第三图像数据，所述第三图像数据采用第一图像格式；

41、所述第三图像数据存储于第一缓存中，所述方法还包括：

42、接收用户的第二操作，所述第二操作用于触发拍照；

43、响应于所述第二操作，从第一缓存中获取第三图像数据；

44、通过后处理算法模块或isp第二模块对所述第三图像数据进行图像处理，得到第四图像数据；

45、通过后处理算法模块或isp第三模块对所述第四图像数据进行裁剪和上采样处理，输出拍照图像。

46、因此，对于前面提到的情况，基于上述步骤，可以提升拍照图像的质量。

47、在上述各种情况中，可选地，所述方法还包括：

48、在缩略图流中，通过isp第二模块对所述第三图像数据进行去马赛克处理，得到rgb格式的数据；

49、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，并对所述yuv格式的数据进行裁剪和上采样，输出缩略图。

50、因此，基于上述步骤，可以提升缩略图像的质量。

51、在上述各种情况中，可选地，所述方法还包括：

52、在预览通路中，通过isp第二模块对所述第三图像数据进行去马赛克处理，得到rgb格式的数据；

53、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，并对所述yuv格式的数据进行裁剪和上采样处理，输出预览图像。

54、因此，基于上述步骤，可以提升预览图像的质量。

55、作为一种可能的实现方式，所述方法还包括：

56、在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围满足第一dr约束条件时，所述摄像头采用第三模式出图。第三模式是非合并+裁剪模式。

57、因此，在变焦倍率大于或等于第二倍率且是高照度场景下，当动态范围是高动态范围时，采用非合并+剪裁模式出图能保证更好的图像清晰度，并且，拍照场景的动态范围可以通过另出长短曝光帧通过多帧后处理算法来提升。也就是说，这里采用第三模式是考虑了拍照场景对图像质量的清晰度需求。

58、作为一种可能的实现方式，所述方法还包括：

59、在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第三模式出图。

60、因此，在变焦倍率大于或等于第二倍率且是高照度场景下，当动态范围是低动态范围时，清晰度为优先考虑的因素，因此sensor采用非合并+裁剪模式出图，可以提高图像的清晰度。

61、对于所述摄像头采用第三模式出图的情形，后通路的处理可以保持一致。可选地，所述摄像头输出的数据为第五图像数据，所述第五图像数据采用第二图像格式；

62、其中，所述基于所述摄像头输出的图像数据进行图像处理，包括：

63、在预览通路中，通过isp第一模块对第五图像数据进行拜耳图像再生成处理，得到第六图像数据，所述第六图像数据采用第一图像格式；

64、通过isp第二模块对所述第六图像数据进行去马赛克处理，得到rgb格式的数据；

65、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出预览图像。

66、因此，基于上述步骤，可以提升高倍率高照度下预览图像的质量。

67、可选地，所述第五图像数据存储于第一缓存中，所述方法还包括：

68、接收用户的第三操作，所述第三操作用于触发拍照；

69、响应于所述第三操作，从所述第一缓存中获取所述第五图像数据；

70、其中，所述基于所述摄像头输出的图像数据进行图像处理，包括：

71、通过后处理算法模块对所述第五图像数据进行拜耳图像再生成处理，得到第七图像数据，所述第七图像数据采用第一图像格式；

72、通过isp第二模块对所述第七图像数据进行去马赛克处理，得到rgb格式的数据；

73、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出拍照图像。

74、可选地，后处理算法模块还可以进行多帧融合处理，以提升拍照图像的动态范围。

75、因此，基于上述步骤，可以提升高倍率高照度下拍照图像的质量。

76、可选地，所述方法还包括：

77、在缩略图流中，通过isp第一模块对所述第五图像数据进行拜耳图像再生成处理，得到拜耳格式的数据。

78、通过isp第二模块对所述拜耳格式的数据进行去马赛克处理，得到rgb格式的数据；

79、通过isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出缩略图。

80、因此，基于上述步骤，可以提升高倍率高照度下缩略图的质量。

81、第二方面，提供了一种电子设备，包括用于执行第一方面中任一种方法的单元。该电子设备可以是终端，也可以是终端内的芯片。该电子设备包括输入单元、显示单元和处理单元。

82、当该电子设备是终端时，该处理单元可以是处理器，该输入单元可以是通信接口，该显示单元可以是图形处理模块和屏幕；该终端还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端执行第一方面中的任一种方法。

83、当该电子设备是终端内的芯片时，该处理单元可以是芯片内部的逻辑处理单元，该输入单元可以是输出接口、管脚或电路等，该显示单元可以是芯片内部的图形处理单元；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面的任一种方法。

84、在一种实现方式中，所述处理单元用于启动摄像头；

85、获取当前拍摄场景的变焦倍率以及动态范围；

86、根据所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式；

87、在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围满足第一动态范围dr约束条件时，调用所述摄像头采用第一模式出图；

88、基于所述摄像头输出的图像数据进行图像处理。

89、作为一种可能的实现方式，所述处理单元还用于：在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一dr约束条件时，调用所述摄像头采用第二模式出图。

90、作为一种可能的实现方式，对于在所述变焦倍率等于第一倍率，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率等于第一倍率，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图的情况，所述摄像头输出第一图像数据，所述第一图像数据采用第一图像格式；所述第一图像数据存储于第一缓存中。

91、所述输入单元用于接收用户的第一操作，所述第一操作用于触发拍照；其中，所述处理单元用于基于所述摄像头输出的图像数据进行图像处理，具体包括：响应于所述第一操作，从所述第一缓存中获取所述第一图像数据；调用后处理算法模块或图像信号处理器isp第二模块对所述第一图像数据进行图像处理，得到第二图像数据；调用isp第三模块对所述第二图像数据进行rgb处理或yuv处理，得到yuv格式的数据，输出拍照图像。

92、作为一种可能的实现方式，在缩略图流中，所述处理单元还用于调用isp第二模块对所述第一图像数据进行去马赛克处理，得到rgb格式的数据；

93、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出缩略图。

94、作为一种可能的实现方式，在预览通路中，所述处理单元还用于调用isp第二模块对所述第一图像数据进行去马赛克处理，得到rgb格式的数据；

95、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出预览图像。

96、作为一种可能的实现方式，所述处理单元还用于获取当前拍摄场景的环境照度；根据所述环境照度、所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式。

97、作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围满足第一dr约束条件时，所述处理单元还用于调用所述摄像头采用第一模式出图。

98、作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围不满足第一dr约束条件时，所述处理单元还用于调用所述摄像头采用第二模式出图。

99、作为一种可能的实现方式，对于以下各种情况：在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围满足第一dr约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围不满足第一dr约束条件时，所述摄像头采用第二模式出图的情况；后通路的处理是一致的。

100、可选地，所述摄像头输出第三图像数据，所述第三图像数据采用第一图像格式；

101、所述第三图像数据存储于第一缓存中，所述处理单元还用于：

102、接收用户的第二操作，所述第二操作用于触发拍照；

103、其中，所述处理单元用于基于所述摄像头输出的图像数据进行图像处理，具体包括：

104、响应于所述第二操作，从第一缓存中获取第三图像数据；

105、所述处理单元还用于调用后处理算法模块或isp第二模块对所述第三图像数据进行图像处理，得到第四图像数据；

106、所述处理单元还用于调用后处理算法模块或isp第三模块对所述第四图像数据进行裁剪和上采样处理，输出拍照图像。

107、作为一种可能的实现方式，在缩略图流中，所述处理单元还用于调用isp第二模块对所述第三图像数据进行去马赛克处理，得到rgb格式的数据；

108、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，并对所述yuv格式的数据进行裁剪和上采样，输出缩略图。

109、作为一种可能的实现方式，在预览通路中，所述处理单元还用于调用isp第二模块对所述第三图像数据进行去马赛克处理，得到rgb格式的数据；

110、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，并对所述yuv格式的数据进行裁剪和上采样处理，输出预览图像。

111、作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围满足第一dr约束条件时，所述处理单元还用于调用所述摄像头采用第三模式出图。

112、作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围不满足第一dr约束条件时，所述处理单元还用于调用所述摄像头采用第三模式出图。

113、作为一种可能的实现方式，所述摄像头输出的数据为第五图像数据，所述第五图像数据采用第二图像格式；

114、其中，所述处理单元用于基于所述摄像头输出的图像数据进行图像处理，具体包括：

115、在预览通路中，调用isp第一模块对第五图像数据进行拜耳图像再生成处理，得到第六图像数据，所述第六图像数据采用第一图像格式；

116、调用isp第二模块对所述第六图像数据进行去马赛克处理，得到rgb格式的数据；

117、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出预览图像。

118、作为一种可能的实现方式，所述第五图像数据存储于第一缓存中，所述输入单元还用于：接收用户的第三操作，所述第三操作用于触发拍照；

119、所述处理单元还用于响应于所述第三操作，从所述第一缓存中获取所述第五图像数据；

120、其中，所述处理单元用于基于所述摄像头输出的图像数据进行图像处理，具体包括：

121、调用后处理算法模块对所述第五图像数据进行拜耳图像再生成处理，得到第七图像数据，所述第七图像数据采用第一图像格式；

122、调用isp第二模块对所述第七图像数据进行去马赛克处理，得到rgb格式的数据；

123、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出拍照图像。

124、所述处理单元还用于调用isp第一模块对所述第五图像数据进行拜耳图像再生成处理，得到拜耳格式的数据；

125、调用isp第二模块对所述拜耳格式的数据进行去马赛克处理，得到rgb格式的数据；

126、调用isp第三模块对所述rgb格式的数据进行rgb处理或yuv处理，得到yuv格式的数据，输出缩略图。

127、第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

128、第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。