多传感器成像颜色校正的制作方法

本技术涉及图像处理。更具体地，本技术的各方面涉及基于来自多个图像传感器的颜色信息来校正图像中的颜色的系统和技术。

背景技术：

1、许多设备和系统允许通过生成场景的图像(或帧)和/或视频数据(包括多个帧)来捕获该场景。例如，相机或包括相机(或多个相机)的设备可以捕获场景的帧序列(例如，场景的视频)。在一些情况下，帧序列可以被处理以用于执行一个或多个功能、可以被输出以用于显示、可以被输出以用于由其他设备处理和/或消耗、以及其他用途。

2、一些设备被配置为通过检测彩色(例如，可见光谱)光来捕获彩色图像。在一些情况下，彩色图像可以包括红色、绿色和蓝色(rgb)颜色分量。在一些情况下，ir截止滤波器可被定位在例如图像传感器与彩色图像捕获设备的镜头之间以阻挡红外(ir)光被包括在彩色(例如，rgb)图像捕获设备中的图像传感器检测到。在一些情况下，rgb图像传感器可以包括r光电二极管、g光电二极管和b光电二极管。

3、一些设备可以被配置为检测彩色光和ir光两者，并且在本文中称为rgb加ir图像捕获设备或rgbir图像捕获设备。例如，包括在rgbir图像捕获设备中的图像传感器可以检测rgb和ir光分量，并且由rgbir图像捕获设备产生的图像可以包括rgb和ir信号值。在一些情况下，可以省略在rgb图像捕获设备中使用的ir截止滤波器，从而允许ir光到达rgbir图像传感器。在一些情况下，rgbir图像捕获设备可以包括r光电二极管、g光电二极管、b光电二极管和ir光电二极管。在一些情况下，rgbir图像捕获设备的rgb光电二极管可能对ir光敏感，并且因此由rgbir图像捕获设备的rgb光电二极管产生的颜色信号值可能不准确。在一些示例中，rgb图像捕获设备还可以省略ir截止滤波器，从而允许ir光到达rgb图像传感器，导致由rgb图像捕获设备产生的图像的颜色不准确。

技术实现思路

1、在一些示例中，描述了用于处理图像以基于来自多个图像传感器的数据来校正颜色的系统和技术。

2、根据至少一个示例，提供了一种用于处理图像的方法。该方法包括：从第一图像传感器获得包括第一一个或多个像素的第一彩色图像；从第二图像传感器获得包括第二一个或多个像素的第二彩色图像，该第二彩色图像包括来自第二图像传感器的红外(ir)信息；基于与第一一个或多个像素和第二一个或多个像素相关联的比较来确定与第一一个或多个像素相关联的颜色和与第二一个或多个像素相关联的颜色之间的变换；以及至少部分地通过基于确定的变换来将包括ir信息的第二彩色图像变换为颜色校正的图像，从而生成颜色校正的图像。

3、在另一个示例中，提供了一种用于处理图像的装置，该装置包括存储器(例如，其被配置为存储数据，诸如虚拟内容数据、一个或多个图像等)和耦合到该存储器的一个或多个处理器(例如，其被实现在电路中)。一个或多个处理器被配置为并且可以：从第一图像传感器获得包括第一一个或多个像素的第一彩色图像；从第二图像传感器获得包括第二一个或多个像素的第二彩色图像，该第二彩色图像包括来自第二图像传感器的ir信息；基于与第一一个或多个像素和第二一个或多个像素相关联的比较来确定与第一一个或多个像素相关联的颜色和与第二一个或多个像素相关联的颜色之间的变换；以及至少部分地通过基于确定的变换来将包括ir信息的第二彩色图像变换为颜色校正的图像，从而生成颜色校正的图像。

4、在另一个示例中，提供了一种其上存储有指令的非暂态计算机可读介质，该指令在由一个或多个处理器执行时使该一个或多个处理器：从第一图像传感器获得包括第一一个或多个像素的第一彩色图像；从第二图像传感器获得包括第二一个或多个像素的第二彩色图像，该第二彩色图像包括来自第二图像传感器的ir信息；基于与第一一个或多个像素和第二一个或多个像素相关联的比较来确定与第一一个或多个像素相关联的颜色和与第二一个或多个像素相关联的颜色之间的变换；以及至少部分地通过基于确定的变换来将包括ir信息的第二彩色图像变换为颜色校正的图像，从而生成颜色校正的图像。

5、在另一个示例中，提供了一种用于处理图像的装置。该装置包括：用于从第一图像传感器获得包括第一一个或多个像素的第一彩色图像的构件；用于从第二图像传感器获得包括第二一个或多个像素的第二彩色图像的构件，该第二彩色图像包括来自第二图像传感器的ir信息；用于基于与第一一个或多个像素和第二一个或多个像素相关联的比较来确定与第一一个或多个像素相关联的颜色和与第二一个或多个像素相关联的颜色之间的变换的构件；用于以下操作的构件：至少部分地通过基于确定的变换来将包括ir信息的第二彩色图像变换为颜色校正的图像，从而生成颜色校正的图像。

6、在一些方面，与第一一个或多个像素相关联的视场至少部分地和与第二一个或多个像素相关联的视场重叠。

7、在一些方面，第一图像传感器与第一光轴相关联，并且第二图像传感器与不同于第一光轴的第二光轴相关联。

8、在一些方面，第一图像传感器具有第一分辨率，并且第二图像传感器具有不同于第一分辨率的第二分辨率。

9、在一些方面，第一图像传感器包括单个像素。

10、在一些方面，第一图像传感器包括多个像素。

11、在一些方面，ir截止滤波器设置在第一图像传感器的镜头与第一图像传感器之间。

12、在一些方面，上文描述的方法、装置和计算机可读介质还包括：确定第一一个或多个像素的绿色分量的第一绿色统计量度和第二一个或多个像素的绿色分量的第二绿色统计量度；确定第一一个或多个像素的红色分量的第一红色统计量度和第二一个或多个像素的红色分量的第二红色统计量度；确定第一一个或多个像素的蓝色分量的第一蓝色统计量度和第二一个或多个像素的蓝色分量的第二蓝色统计量度；基于第一绿色统计量度和第二绿色统计量度的数值对应关系来确定绿色颜色校正；基于第一红色统计量度和第二红色统计量度的数值对应关系来确定红色颜色校正；基于第一蓝色统计量度和第二蓝色统计量度的数值对应关系来确定蓝色颜色校正。

13、在一些方面，上文描述的方法、装置和计算机可读介质还包括：生成颜色校正的图像包括将红色颜色校正应用于第二一个或多个像素中的每个像素的红色分量，将绿色颜色校正应用于第二一个或多个像素中的每个像素的绿色分量，以及将蓝色颜色校正应用于第二一个或多个像素中的每个像素的蓝色分量。

14、在一些方面，第一一个或多个像素的颜色与第二一个或多个像素的颜色之间的变换包括颜色校正矩阵。

15、在一些方面，上文描述的方法、装置和计算机可读介质还包括：生成颜色校正的图像包括将确定的变换应用于第二一个或多个像素以产生第一颜色校正的像素。

16、在一些方面，上文描述的方法、装置和计算机可读介质还包括：将第一彩色图像和第二彩色图像中的一者或多者分成多个区段；确定与所关联的第二一个或多个像素的第一子集相关联的第一区段变换；确定与第二一个或多个像素的第二子集相关联的第二区段变换，其中第二一个或多个像素的第二子集与第一子集相差至少一个像素。

17、在一些方面，上文描述的方法、装置和计算机可读介质还包括：基于第一区段变换和第二区段变换来确定用于生成颜色校正的图像的全局变换。

18、在一些方面，上文描述的方法、装置和计算机可读介质还包括：至少部分地通过以下方式生成颜色校正的图像：由第一区段变换来变换第二一个或多个像素的第一子集并由第二区段变换来变换第二一个或多个像素的第二子集。

19、在一些方面，第一一个或多个像素不包括ir信息。

20、在一些方面，上文描述的装置中的一个或多个装置是以下各者或以下各者的一部分或包括以下各者：移动设备(例如，移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、个人计算机、膝上型计算机、服务器计算机、交通工具(例如，交通工具的计算设备)或其他设备。在一些方面，一种装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面，该装置包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面，该装置可以包括一个或多个传感器。在一些情况下，一个或多个传感器可以用于确定装置的位置和/或姿态、装置的状态和/或用于其他目的。

21、该技术实现要素：不旨在标识所要求保护的主题的关键或必要特征，其也不旨在孤立地用于确定所要求保护的主题的范围。本主题应当参考本专利的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。

22、前述内容以及其他特征和实施方案将在参考以下说明书、权利要求书和附图时变得更明显。