定向增强的自动白平衡（AWB）收敛的制作方法

本公开的各方面整体涉及图像处理，并且更具体地涉及自动白平衡。一些特征可实现并提供改进的图像处理，包括当捕获图像时减少非预期颜色的显示。

背景技术：

1、图像捕获设备是可以捕获一个或多个数字图像(无论是用于照片的静止图像还是用于视频的图像序列)的设备。捕获设备可以被结合到各种各样的设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手机(诸如移动电话、蜂窝或卫星无线电电话)、个人数字助理(pda)、面板或平板设备、游戏设备、计算机设备(诸如网络摄像机、视频监控相机)或具有数字成像或视频能力的其他设备。

2、人眼以与电子图像传感器不同的方式感知颜色。一种配置记录表示场景的单独的红色值、绿色值和蓝色值。场景的外观，特别是场景中对象的颜色，取决于照明源。不同的照明源具有不同的光颜色，这可以通过将输出黄色调白光的白炽灯泡与输出蓝色调白光的发光二极管(led)进行比较来观察。人眼适应不同的光源，而电子图像传感器通常在不同的场景中相同地捕获光信息。因此，来自电子图像传感器的所记录的颜色可能与人类感知到的场景颜色不匹配，诸如当人眼补偿黄色色调以使得白色对象即使在被白炽灯泡照亮时也呈现为白色，而电子图像传感器在被白炽灯泡照亮时将白色对象记录为黄色时。白平衡算法可应用于电子图像传感器的输出以补偿不同的照明源，从而改进场景的电子表示与场景的人类感知外观之间的匹配。

技术实现思路

1、下文概括了本公开的一些方面，以提供对所论述的技术的基本理解。该概括不是对本公开的全部预期特征的详尽概述，并且既不旨在标识本公开的全部方面的关键或重要元素，也不旨在描绘本公开的任何或全部方面的范围。其唯一目的是以概括的形式给出本公开的一个或多个方面的一些概念，作为稍后给出的更具体实施方式的前序。

2、图像捕获设备中的自动白平衡(awb)分析从图像传感器接收到的图像数据，并且通过调整所接收的图像数据以调整图像数据中的白平衡(以补偿光源)来生成经校正的图像数据。例如，可以调整所接收的图像数据，使得由于例如阳光或白炽灯泡而呈现黄色的白色衬衫通过添加一些蓝色而正确地呈现为白色。可基于用于将白色外观校正为白色的调整来以类似方式调整场景中的其他颜色。在图像捕获的操作期间，awb可确定从第一白平衡点改变到第二白平衡点。例如，用户从室内走到室外可使awb改变到不同的白平衡点以针对从室内照明到室外照明的改变进行调整。又如，用户接通房间中的灯可使awb改变到不同的白平衡点以针对从顶部照明到灯照明的改变进行调整。awb改变可随时间改变以减少突然改变。在一些方面，白平衡点从第一白平衡点到第二白平衡点的改变可基于白平衡基准线来执行。

3、在本公开的一个方面，一种用于图像处理的方法包括：从图像传感器接收第一图像数据；确定将白平衡操作从第一白平衡点调整到第二白平衡点；基于该第一白平衡点、该第二白平衡点和白平衡基准线来确定第一中间白平衡点；从该图像传感器接收第二图像数据；以及/或者基于该第一中间白平衡点来对该第二图像数据应用白平衡。

4、在本公开的附加方面，一种装置包括至少一个处理器和耦合到至少一个处理器的存储器。该至少一个处理器被配置为执行以下操作：从图像传感器接收第一图像数据；确定将白平衡操作从第一白平衡点调整到第二白平衡点；基于该第一白平衡点、该第二白平衡点和白平衡基准线来确定第一中间白平衡点；从该图像传感器接收第二图像数据；以及/或者基于该第一中间白平衡点来对该第二图像数据应用白平衡。

5、在本公开的附加方面，一种装置包括用于执行以下操作的构件：从图像传感器接收第一图像数据；确定将白平衡操作从第一白平衡点调整到第二白平衡点；基于该第一白平衡点、该第二白平衡点和白平衡基准线来确定第一中间白平衡点；从该图像传感器接收第二图像数据；以及/或者基于该第一中间白平衡点来对该第二图像数据应用白平衡。

6、在本公开的附加方面，一种非暂态计算机可读介质存储指令，该指令在由处理器执行时使处理器执行操作。该操作包括从图像传感器接收第一图像数据；确定将白平衡操作从第一白平衡点调整到第二白平衡点；基于该第一白平衡点、该第二白平衡点和白平衡基准线来确定第一中间白平衡点；从该图像传感器接收第二图像数据；以及/或者基于该第一中间白平衡点来对该第二图像数据应用白平衡。

7、图像捕获设备(可捕获一个或多个数字图像无论是静止图像照片还是视频的图像序列的设备)可以被结合到各种各样的设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手机(诸如移动电话、蜂窝或卫星无线电电话)、个人数字助理(pda)、面板或平板设备、游戏设备、计算机设备(诸如网络摄像机、视频监控相机)或具有数字成像或视频能力的其他设备。

8、一般来讲，本公开描述涉及具有图像传感器和图像信号处理器(isp)的数字相机的图像处理技术。isp可被配置为控制对来自一个或多个图像传感器的图像帧的捕获并且处理来自该一个或多个图像传感器的一个或多个图像帧以生成校正的图像帧中的场景的视图。校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可包括从图像传感器或其他图像传感器接收的其他图像帧和/或基于来自图像传感器或另一图像传感器的输入的其他校正的图像帧。在一些实施方案中，可在图像传感器内诸如在合并读出模块(binning module)中执行对一个或多个图像帧的处理。本文所公开的实施方案中所描述的图像处理技术可以由图像传感器中、图像信号处理器(isp)中、应用处理器(ap)中或者这些组件中的两个或全部的组合中的电路诸如合并读出模块来执行。

9、在示例中，图像信号处理器可响应于软件(诸如相机应用)的加载而接收用于捕获图像帧序列的指令，以从图像捕获设备产生预览显示。图像信号处理器可被配置为基于从一个或多个图像传感器接收的图像帧产生单个输出帧流。单个输出帧流可包括来自图像传感器的原始图像数据、来自图像传感器的合并读出的图像数据，或由图像信号处理器内的一个或多个算法(诸如在合并读出模块中)处理的校正的图像帧。例如，从图像传感器获得的图像帧(其在输出到图像信号处理器之前可能已对数据执行一些处理)可在图像信号处理器中通过图像后处理引擎(ipe)和/或用于执行色调映射、肖像照明、对比度增强、伽玛校正等中的一者或多者的其他图像处理电路处理图像帧来处理。

10、在图像信号处理器使用图像校正(诸如本文的各种实施方案中所描述的合并读出)确定表示场景的输出帧之后，输出帧可作为单个静止图像和/或作为视频序列的一部分显示在设备显示器上，作为图片或视频序列保存到存储设备，通过网络传输，以及/或者打印到输出介质。例如，图像信号处理器可被配置为从不同图像传感器获得图像数据(例如，像素值)的输入帧，并且继而产生图像数据的对应输出帧(例如，预览显示帧、静止图像捕获、用于视频的帧、用于对象跟踪的帧等)。在其他示例中，图像信号处理器可将图像数据的帧输出到各种输出设备和/或相机模块以用于进一步处理，诸如用于3a参数同步(例如，自动对焦(af)、自动白平衡(awb)和自动曝光控制(aec))、经由输出帧产生视频文件、配置帧以供显示、配置帧以供存储、通过网络连接传输帧等。也就是说，图像信号处理器可从一个或多个图像传感器获得传入帧，该一个或多个图像传感器各自耦合到一个或多个相机镜头，并且继而可产生输出帧流并且将输出帧流输出到各种输出目的地。

11、在一些方面，可通过将本公开的图像校正的各方面与诸如高动态范围(hdr)摄影或多帧噪声减少(mfnr)的其他计算摄影技术组合来产生校正的图像帧。在hdr摄影的情况下，使用不同曝光时间、不同光圈、不同镜头和/或在组合两个图像帧时可导致融合图像的改进的动态范围的其他特性来捕获第一图像帧和第二图像帧。在一些方面，可针对mfnr摄影执行该方法，其中使用相同或不同的曝光时间捕获第一图像帧和第二图像帧，并且将第一图像帧和第二图像帧融合以生成校正的第一图像帧，该校正的第一图像帧与捕获的第一图像帧相比具有减少的噪声。

12、在一些方面，设备可包括图像信号处理器或处理器(例如，应用处理器)，该图像信号处理器或处理器包括用于相机控制和/或处理的特定功能性，诸如启用或禁用合并读出模块或以其他方式控制图像校正的各方面。本文中所描述的方法和技术可完全由图像信号处理器或处理器执行，或者各种操作可在图像信号处理器和处理器之间分割，并且在一些方面在附加处理器上分割。

13、该装置可包括一个、两个或更多个图像传感器，诸如包括第一图像传感器。当存在多个图像传感器时，第一图像传感器可具有比第二图像传感器大的视场(fov)，或第一图像传感器可具有与第二图像传感器不同的灵敏度或不同的动态范围。在一个示例中，第一图像传感器可以是广角图像传感器，并且第二图像传感器可以是远程图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。附加地或另选地，第一镜头可以具有第一放大率，并且第二镜头可以具有不同于第一放大率的第二放大率。该配置可发生在移动设备上的镜头群集中，诸如其中多个图像传感器和相关联的镜头位于移动设备的前侧或后侧上的偏移位置。可包括具有更大、更小或相同视场的附加图像传感器。本文中所描述的图像校正技术可应用于从多传感器设备中的图像传感器中的任一者捕获的图像帧。

14、在本公开的附加方面，公开了一种被配置用于图像处理和/或图像捕获的设备。该装置包括用于捕获图像帧的构件。该装置还包括用于捕获表示场景的数据的一个或多个构件，诸如图像传感器(包括电荷耦合器件(ccd)、拜耳滤波器传感器、红外(ir)检测器、紫外(uv)检测器、互补金属氧化物半导体(cmos)传感器)、飞行时间检测器。该装置还可以包括用于将光线聚集和/或聚焦到一个或多个图像传感器(包括简单镜头、复合镜头、球面镜头和非球面镜头)中的一个或多个构件。可以控制这些组件以捕获输入到本文中所描述的图像处理技术的第一图像帧和/或第二图像帧。

15、对于本领域普通技术人员来说，在结合附图回顾特定示例性方面的以下描述时，其他方面、特征和具体实施将变得显而易见。尽管各特征在以下可能是针对某些方面和附图来讨论的，但各个方面可包括本文所讨论的有利特征中的一个或多个有利特征。换言之，虽然一个或多个方面可能被讨论具有某些有利的特征，但是根据各个方面，也可以使用此类特征中的一个或多个特征。以类似方式，尽管示例性方面在下文可能是作为设备、系统或方法方面进行讨论的，但是示例性方面可以在各种设备、系统、和方法中实现。

16、该方法可以作为计算机程序代码嵌入在计算机可读介质中，该计算机程序代码包括使处理器执行该方法的步骤的指令。在一些实施方案中，该处理器可以是移动设备的一部分，该移动设备包括：第一网络适配器，该第一网络适配器被配置为通过多个网络连接中的第一网络连接来传输数据，诸如作为记录数据或作为流数据的图像或视频；和处理器，该处理器耦合到第一网络适配器和存储器。处理器可使本文中所描述的校正的图像帧通过无线通信网络(诸如5g nr通信网络)传输。

17、上文已经相当广泛地概述了根据本公开的示例的特征和技术优点，以便可以更好地理解下面的具体实施方式。下文将描述附加的特征和优点。所公开的概念和特定示例可以容易地被用作用于修改或设计用于实现本公开的相同目的的其他结构的基础。此类等效的构造不脱离所附权利要求书的保护范围。当结合附图考虑时，根据下文的描述将更好地理解本文中所公开的概念的特性(其组织和操作方法二者)以及相关联的优点。提供附图中的每个附图是出于例示和描述的目的，而不是作为权利要求的限制的定义。

18、虽然在本技术中通过一些示例的例示来描述方面和具体实施，但是本领域技术人员将理解的是，在许多其他布置和情景中可能产生附加的具体实施和用例。本文中所描述的创新可以跨越许多不同的平台类型、设备、系统、形状、尺寸、封装布置来实现。例如，各方面和/或用途可以经由集成芯片具体实施和其他基于非模块组件的设备(例如，终端用户设备、交通工具、通信设备、计算设备、工业装备、零售/购买设备、医疗设备、启用人工智能(ai)的设备等)来产生。虽然一些示例可能专门或可能不专门指向用例或应用，但是可以出现所描述的创新的各类的适用性。具体实施的范围可从芯片级或模块组件至非模块、非芯片级具体实施，并进一步至结合所描述创新的一个或多个方面的聚集的、分布式或原始装备制造商(oem)设备或系统。在一些实践环境中，结合所描述的各方面和特征的设备还可以必要地包括用于实现和实践所要求保护并描述的各方面的附加组件和特征。例如，无线信号的传输和接收必须包括用于模拟和数字目的的数个组件(例如，硬件组件，包括天线、射频(rf)链、功率放大器、调制器、缓冲器、处理器、交织器、加法器/求和器等等)。本文中所描述的创新旨在可以在具有不同大小、形状和构造的各种设备、芯片级组件、系统、分布式布置、终端用户设备等中实践。