一种高动态范围图像处理方法及装置与流程

本发明涉及图像处理，特别涉及一种高动态范围图像处理方法及装置。

背景技术：

1、发光二极管（light-emitting diode，led）作为一种光源，已在交通信号灯、指示牌、汽车车灯等多个领域得到广泛应用。led的驱动方式通常涉及快速的亮灭切换，但由于人眼的视觉暂留效应，这种切换频率往往超出了人眼的感知范围。在传感器进行成像时，如果曝光时间设置得比led的亮灭周期短，传感器可能仅捕捉到led的熄灭状态，这可能导致对led状态的错位识别，进而误导高阶驾驶辅助系统（advanced driver assistancesystem，adas）的判断，降低其准确性。

2、高动态范围（high dynamic range，hdr）成像技术在车载图像传感器中扮演着至关重要的角色。在某些动态场景，如车辆进出隧道时，场景中同时存在明显的亮区和暗区，单一曝光时间难以同时清晰呈现这两种区域。hdr技术通过结合多个不同曝光参数的图像帧，能够覆盖更广阔的亮度范围。它利用短曝光时间捕捉亮区的细节，同时利用长曝光时间捕捉暗区的细节，最终合成一副动态范围更广、细节更丰富的图像。

3、传统的抑制闪烁的方法通常需要将图像传感器的采集帧率设置为可以整除led闪烁频率的值或者将曝光时间设置为led闪烁周期的整数倍。但现实中车灯、道路和交通标志中应用到的led光源频率并不固定，在同一场景中可能会存在不同频率的led光源，无法通过设置合适的频率和曝光时间来避免闪烁。当场景中存在多个不同闪烁频率的led光源时，也无法同时避免闪烁。

4、另外，为了避免捕捉到led熄灭的状态，需要增加曝光时间，但会导致图像亮区的过曝；而较短的曝光时间则会增加捕捉到led熄灭状态的可能性；长帧过曝，同时短帧捕捉到led熄灭状态时，会导致动态范围减少。因此，在hdr成像中避免闪烁是一项具有挑战的任务，也是车载图像传感器的重要性能指标。

技术实现思路

1、本发明的目的在于提供一种高动态范围图像处理方法及装置，通过引入led闪烁检测装置，完成闪烁区域的检测并去除存在闪烁的区域，从而有效减轻led闪烁对图像质量的负面影响，提高高动态范围图像的质量。

2、为解决上述技术问题，根据本发明的第一个方面，提供了一种高动态范围图像处理方法，包括以下步骤：

3、调整图像采集模组的曝光时间与增益参数，使得长帧捕捉暗区的细节，短帧捕捉亮区的细节，而中帧位于所述长帧与所述短帧之间以取得平衡；

4、采用所述图像采集模组获取长帧、中帧与短帧的拜耳图像数据；

5、将所述图像数据输入led闪烁检测装置，所述led闪烁检测装置完成闪烁检测并去除存在闪烁的区域；以及

6、将不存在闪烁的区域输入hdr融合模块，所述hdr融合模块对不同的帧进行合成生成高动态范围图像。

7、可选的，采用所述图像采集模组获取长帧、中帧与短帧的三帧图像数据的方法包括：采集四拜耳图像，根据所述四拜耳图像获取同一时刻的长帧、中帧与短帧的拜耳图像数据。

8、可选的，调整图像采集模组的曝光时间与增益参数之后，完成闪烁区域的检测之前，所述处理方法还包括：

9、计算所述长帧、所述中帧与所述短帧的曝光值；

10、计算不同帧之间的曝光值差异度，并设定曝光值差异度阈值；以及

11、设定所述长帧与所述中帧像素饱和的饱和阈值。

12、可选的，将所述图像数据输入led闪烁检测装置，所述led闪烁检测装置完成闪烁检测并去除存在闪烁的区域的方法包括：

13、判断所述长帧与所述短帧的第一曝光值差异度是否大于曝光值差异度阈值；

14、若所述第一曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，并判断所述长帧与所述中帧的第二曝光值差异度是否大于所述曝光值差异度阈值；

15、若所述第二曝光值差异度大于所述曝光值差异度阈值，则确定所述中帧的像素数据存在闪烁，舍弃所述中帧的像素数据，采用所述长帧的像素数据进行后续操作；

16、若所述第二曝光值差异度小于等于所述曝光值差异度阈值，则确定所述中帧的像素数据不存在闪烁，采用所述中帧的像素数据进行后续操作；

17、若所述第一曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，并判断所述长帧的像素数据是否饱和；

18、若所述长帧的像素数据未饱和，则采用所述长帧的像素数据进行后续操作；

19、若所述长帧的像素数据饱和，则判断所述中帧与所述短帧的第三曝光值差异度是否大于所述曝光值差异度阈值；

20、若所述第三曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，采用所述中帧的像素数据进行后续操作；

21、若所述第三曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，并判断所述中帧的像素数据是否达到饱和；

22、若所述中帧的像素数据未饱和，则采用所述中帧的像素数据进行后续操作；

23、若所述中帧的像素数据饱和，则采用所述中帧与所述短帧的融合像素进行后续操作。

24、可选的，将所述图像数据输入led闪烁检测装置，所述led闪烁检测装置完成闪烁检测并去除存在闪烁的区域的方法包括：

25、判断所述长帧与所述短帧的第一曝光值差异度是否大于曝光值差异度阈值；

26、若所述第一曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，并判断所述长帧与所述中帧的第二曝光值差异度是否大于所述曝光值差异度阈值；

27、若所述第二曝光值差异度大于所述曝光值差异度阈值，则确定所述中帧的像素数据存在闪烁，舍弃所述中帧的像素数据，采用所述长帧的像素数据进行后续操作；

28、若所述第二曝光值差异度小于等于所述曝光值差异度阈值，则确定所述中帧的像素数据不存在闪烁，采用所述中帧的像素数据进行后续操作；

29、若所述第一曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，并判断所述长帧的像素数据是否饱和；

30、若所述长帧的像素数据未饱和，则采用所述长帧的像素数据进行后续操作；

31、若所述长帧的像素数据饱和，则判断所述中帧的像素数据是否达到饱和；

32、若所述中帧的像素数据未饱和，则采用所述中帧的像素数据进行后续操作；

33、若所述中帧的像素数据饱和，则判断所述中帧与所述短帧的第三曝光值差异度是否大于所述曝光值差异度阈值；

34、若所述第三曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，采用所述中帧的像素数据进行后续操作；

35、若所述第三曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，采用所述中帧与所述短帧的融合像素进行后续操作。

36、可选的，将所述图像数据输入led闪烁检测装置，所述led闪烁检测装置完成闪烁检测并去除存在闪烁的区域的方法包括：

37、判断所述长帧的像素数据是否饱和；

38、若所述长帧的像素数据未饱和，则采用所述长帧的像素数据进行后续操作；

39、若所述长帧的像素数据饱和，则判断所述长帧与所述短帧的第一曝光值差异度是否大于所述曝光值差异度阈值；

40、若所述第一曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，并判断所述长帧与所述中帧的第二曝光值差异度是否大于所述曝光值差异度阈值；

41、若所述第二曝光值差异度大于所述曝光值差异度阈值，则确定所述中帧的像素数据存在闪烁，舍弃所述中帧的像素数据，采用所述长帧的像素数据进行后续操作；

42、若所述第二曝光值差异度小于等于所述曝光值差异度阈值，则确定所述中帧的像素数据不存在闪烁，采用所述中帧的像素数据进行后续操作；

43、若所述第一曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，并判断所述中帧与所述短帧的第三曝光值差异度是否大于所述曝光值差异度阈值；

44、若所述第三曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，采用所述中帧的像素数据进行后续操作；

45、若所述第三曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，并判断所述中帧的像素数据是否达到饱和；

46、若所述中帧的像素数据未饱和，则采用所述中帧的像素数据进行后续操作；

47、若所述中帧的像素数据饱和，则采用所述中帧与所述短帧的融合像素进行后续操作。

48、可选的，将所述图像数据输入led闪烁检测装置，所述led闪烁检测装置完成闪烁检测并去除存在闪烁的区域的方法包括：

49、判断所述长帧的像素数据是否饱和；

50、若所述长帧的像素数据未饱和，则采用所述长帧的像素数据进行后续操作；

51、若所述长帧的像素数据饱和，则判断所述长帧与所述短帧的第一曝光值差异度是否大于所述曝光值差异度阈值；

52、若所述第一曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，并判断所述长帧与所述中帧的第二曝光值差异度是否大于所述曝光值差异度阈值；

53、若所述第二曝光值差异度大于所述曝光值差异度阈值，则确定所述中帧的像素数据存在闪烁，舍弃所述中帧的像素数据，采用所述长帧的像素数据进行后续操作；

54、若所述第二曝光值差异度小于等于所述曝光值差异度阈值，则确定所述中帧的像素数据不存在闪烁，采用所述中帧的像素数据进行后续操作；

55、若所述第一曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，并判断所述中帧的像素数据是否达到饱和；

56、若所述中帧的像素数据未饱和，则采用所述中帧的像素数据进行后续操作；

57、若所述中帧的像素数据饱和，则判断所述中帧与所述短帧的第三曝光值差异度是否大于所述曝光值差异度阈值；

58、若所述第三曝光值差异度大于所述曝光值差异度阈值，则确定所述短帧的像素数据存在闪烁，舍弃所述短帧的像素数据，采用所述中帧的像素数据进行后续操作；

59、若所述第三曝光值差异度小于等于所述曝光值差异度阈值，则确定所述短帧的像素数据不存在闪烁，保留所述短帧的像素数据，采用所述中帧与所述短帧的融合像素进行后续操作。

60、可选的，判断像素是否饱和的方法为：当像素亮度值大于饱和阈值时则判定所述像素达到饱和；其中，所述饱和阈值为图像传感器满阱容量的90%。

61、可选的，将不存在闪烁的区域输入至hdr融合模块，所述hdr融合模块对不同的帧进行合成生成高动态范围图像的方法包括：

62、计算帧间的融合权重；

63、对所述图像数据进行宽动态范围图像合并，将图像从低比特位宽变换到高比特位宽；以及

64、将高比特位宽图像进行色调映射变换到原始比特位宽。

65、可选的，计算帧间的融合权重的方法包括：计算图像的梯度信息、计算图像的饱和度以及计算图像的亮度。

66、可选的，生成所述高动态范围图像之后，还包括：对所述高动态范围图像进行图像处理管线的处理。

67、可选的，所述图像处理管线的处理方法包括：去马赛克、色彩校正矩阵、伽玛校正与色彩空间转换。

68、可选的，所述长帧的曝光时间大于等于led闪烁频率的倒数。

69、为解决上述技术问题，根据本发明的第二个方面，提供了一种高动态范围图像处理装置，用于实现如上所述的高动态范围图像处理方法，所述高动态范围图像处理装置包括：

70、调整装置，用于调整图像采集模组的曝光时间与增益参数，使得长帧捕捉暗区的细节，短帧捕捉亮区的细节，而中帧位于所述长帧与所述短帧之间以取得平衡；

71、图像采集模组，用于获取长帧、中帧与短帧的拜耳图像数据；

72、led闪烁检测装置，接收所述图像数据，用于完成闪烁检测并去除存在闪烁的区域；以及

73、hdr融合模块，接收不存在闪烁的区域，用于对不同的帧进行合成生成高动态范围图像。

74、综上所述，在本发明提供的高动态范围图像处理方法及装置中，首先调整图像采集模组的曝光时间与增益参数，使得长帧捕捉暗区的细节，短帧捕捉亮区的细节，而中帧位于所述长帧与所述短帧之间以取得平衡；然后采用所述图像采集模组获取长帧、中帧与短帧的拜耳图像数据；接着将所述图像数据输入led闪烁检测装置，所述led闪烁检测装置完成闪烁检测并去除存在闪烁的区域；之后将不存在闪烁的区域输入hdr融合模块，所述hdr融合模块对不同的帧进行合成生成高动态范围图像。本发明通过引入led闪烁检测，完成图像数据的闪烁检测并去除存在闪烁的区域，从而有效减轻led闪烁对图像质量的负面影响，提高了高动态范围图像的质量。另外，本发明的led闪烁检测，能够直接对拜耳图像数据进行处理，一旦获取到长帧、中帧与短帧的拜耳图像数据，即可立即启动闪烁区域的检测流程，无需存储先前的图像数据，显著减少了对缓存区空间的需求，从而优化了存储效率。

75、进一步的，本发明提供的方法不依赖于预先已知的待恢复led光源的闪烁频率，通过设定长帧的最低曝光时间下限，可以灵活地设定最低检测频率，使得该方法能够适应并处理同一场景中可能存在的不同频率的led光源。

76、进一步的，本发明的闪烁检测方法主要设计基本的加法和乘法操作，因此计算量较小，这一特性不仅简化了算法的复杂度，而且降低了硬件实现的成本，使得本发明在资源受限的系统中尤为适用。