原始图像处理系统及方法与流程

本发明涉及相机中的图像处理方法。示意性实施例将集中在使用rgb拜耳(bayer)颜色滤波阵列所捕获的图像上，但是其他实施例可以使用不同的图像捕获布置来实现，这些图像捕获布置包括包括白色或未过滤像素的cfa。

背景技术：

1、数码彩色相机使用图像传感器(通常为电荷耦合装置(ccd)或互补金属氧化物半导体传感器(cmos))来电子地捕获真实场景的彩色图像。由于图像传感器的单色性，数码相机制造商会实施各种解决方案来捕获场景的色彩特性。这些解决方案包括使用每个颜色通道使用一个传感器的三传感器装置；使用垂直颜色敏感的感光点；或者最常见地，使用具有颜色滤波阵列的单传感器装置。单传感器装置表示目前用于彩色成像的最具有成本效益的方法之一，并且被广泛地应用于数码相机。

2、在单传感器相机中，基本上是颜色滤波器的空间阵列的颜色滤波阵列(cfa)被放置在单图像传感器的前面，以同时捕获不同的光谱成分(颜色)。cfa的滤波器与单图像传感器的感光点在空间上相关联，使得每个感光点都具有相对应的光谱选择性滤波器。由单传感器相机捕获的原始图像通常构成在每个感光点处仅有一个色素的像马赛克的灰度图像。然后对原始图像进行一系列图像处理步骤，以生成真实地表示所捕获的真正的视觉场景的图像。

3、所使用的最常见类型的cfa是如图2所示的具有交替的红色、绿色和蓝色颜色滤波器的拜耳cfa。由于在每个感光点处仅捕获一种颜色类型，所捕获的原始图像是在不同的感光点处的每一处具有红色值、绿色值和蓝色值的“马赛克”。

4、使用被称为“去马赛克”的过程以为每个感光点生成全色信息。在这个过程中，感光点的缺失的颜色信息是通过插值过程来根据相邻的感光点确定的。当对具有拜耳cfa的传感器使用三色图像采集时，通过该去马赛克过程，原始图像数据量会增加三倍。也可能需要诸如白平衡、颜色变换、减少噪声、色调映射的进一步处理。这些处理步骤可以执行如下：

5、(1)在相机存储图像之前进行，使得用户可以在任何时候在显示器上观看准备好的已存储的图像。由于所捕获的图像或视频的即时观看通常是非常需要的，大多数消费类相机应用选择在原始图像数据被存储之前对原始图像数据进行处理。

6、(2)相机可能会延迟上述一些这样的图像处理步骤，直到后处理前。这种方法在专业相机应用中更为普遍。两种选择各自具有优点和缺点。

7、如上所述，第一种选择涉及将各种图像处理算法应用于图像传感器的原始数据，例如去马赛克然后对去马赛克的图像数据进行压缩。该选择的主要缺点是后处理的限制以及压缩效率低下。后处理的限制是由于某些颜色处理已经应用于去马赛克数据以及在压缩过程中潜在的某些图像信息丢失。压缩效率低下是由于去马赛克算法导致产生与原始图像数据相比的三倍的数据量。然后，这些附加的数据需要在图像被存储之前进行更大程度的压缩从而达到更小的尺寸或比特率。

8、第二种选择涉及对图像传感器的原始图像数据进行编码和压缩，然后对经压缩的带马赛克的原始图像数据进行存储，而不进行去马赛克、白平衡等。该选择在后处理中提供了更多的灵活性，因为图像传感器所捕获的所有视觉信息都被保留。与对原始数据进行完全去马赛克之后对图像编码相比，该选择还需要更少的压缩，因为通过去马赛克没有生成额外的图像数据。然而，这需要在解码阶段进行大量的处理，例如完全去马赛克以及可能需要的任何进一步的图像处理。

9、本发明提供一种相机原始图像数据处理方法和/或系统，其旨在解决上述问题中的至少一些问题，或者至少提供有用的替代方案。

10、参考说明书中的任何现有技术并非承认或暗示：该现有技术形成任何辖区的公知常识的部分，或者该现有技术可被合理预期被理解，并且被认为是与本领域技术人员所知的其他现有技术有关，和/或与本领域技术人员所知的其他现有技术组合。

技术实现思路

1、在宽泛的概念中，本发明提供了一种相机中的处理原始图像数据的方法。该方法广泛地包括：从原始图像数据计算亮度图像；以及从原始图像数据计算对应于传感器的图像颜色中的至少一种的至少一个色度图像。亮度图像和一个或多个色度图像与能够在原始图像数据中表示的颜色范围可以表示相同颜色范围。在本说明书中，如果图像或图像数据被描述为表示来自图像传感器的原始图像数据，那么应该理解为意味着图像或图像数据没有经历处理，该处理会减小能够由图像或图像数据表示的颜色值的范围。即，该图像的数据范围或图像数据与图像传感器能够输出的图像的数据数据范围或图像数据相比没有受到限制或剪除。当然，应该理解的是，任何给定图像类型(例如，亮度图像、色度图像、颜色平面)的图像或图像数据自身可能无法表示能够包含在原始图像数据中的整个颜色范围。

2、本发明的实施例还提供了一种方法，该方法广泛地包括：对传感器原始图像数据去马赛克，以在每个捕获的颜色处生成相应的去马赛克图像，从去马赛克的图像数据计算亮度图像；以及计算与传感器的图像颜色中的至少一个相对应的色度图像，其中，所述色度图像的分辨率小于所述亮度图像的分辨率。有利地，去马赛克可以以针对相机的图像传感器优化的方式来执行。

3、在下面的描述中，“颜色滤波器阵列”应理解为除了常规的颜色滤波器阵列之外，还包括在颜色滤波器阵列中具有如下特征的位置的颜色滤波器阵列：

4、没有颜色过滤，例如根本不存在滤波器，中性密度滤波器，清晰、透光的滤波器元件；

5、使用与给定颜色不相关联的通带滤波(例如，高通滤波器、低通滤波器、宽通带滤波器等)。

6、因此，颜色滤波器阵列中的“颜色”或图像的颜色(以及字颜色的相关用途)的概念用作颜色滤波器阵列中对应的滤波器元件的通带的标志符。

7、一方面，本发明提供了一种相机中的处理图像数据的方法，所述相机包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值。该方法可以包括：生成表示从图像传感器输出的原始图像数据的具有第一分辨率的亮度图像；以及生成表示从图像传感器输出的原始图像数据的至少一个色度图像，所述色度图像具有小于第一分辨率的第二分辨率。

8、另一方面，本发明提供了一种相机中的处理图像数据的方法，所述相机被配置成使用具有颜色滤波器阵列的图像传感器来捕获原始图像数据，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值；所述方法包括：

9、对所捕获的原始图像数据去马赛克，以生成与颜色滤波器阵列的多种颜色相对应的多个颜色图像；

10、生成具有第一分辨率的亮度图像；以及

11、生成对应于颜色滤波器阵列颜色中的相应的一个颜色的至少一个色度图像，所述至少一个色度图像具有小于第一分辨率的第二分辨率。

12、去马赛克可以包括生成对应于颜色滤波器阵列的每种颜色的颜色图像。优选地，每种颜色的颜色图像具有第一分辨率。

13、本发明上述各方面的实施例可以包括各种可选特征。

14、在优选情况下，生成两个或更多个色度图像。

15、在以上方面中的任意一个方面，生成(具有给定颜色的)颜色图像可以包括：针对颜色图像中的每个像素，基于围绕该像素的多个像素执行边缘检测和线检测中的至少一个，并且基于所述边缘检测或所述线检测来确定所述像素值。

16、确定像素值可以包括：选择围绕另一像素的像素的子集，以确定所述像素值。它可替代地或附加地包括在确定所述像素值时将加权应用于子集中的像素。所述子集中的像素的加权可以基于适用于所述子集的被加权的像素或者所述像素的子集的噪声水平来确定。

17、去马赛克过程优选地基于相邻像素值估计用于每个感光点或者缺失的每个像素的缺失的颜色信息。在优选实施例中所采用的方法优选地保留与由相应颜色类型的像素所捕获的细小的图像细节一样多的细小的图像细节，并且可区分所述细小的图像细节与随机噪声。此外，在每个图像平面中随机噪声水平减少，同时保留细小的细节的边缘。

18、优选地，所捕获的原始图像数据的分辨率为n×m像素。亮度图像的分辨率也可以为n×m像素。

19、可以通过组合来自多个去马赛克的颜色图像中的、对应于相同像素位置的多个像素值来生成亮度图像。在一种形式中，组合像素值的步骤包括对每个像素位置的多个像素值进行加权。在一种形式中，在采用具有与常规拜耳rgb cfa相同的红色像素、蓝色像素和绿色像素比值的常规的拜耳rgb颜色滤波器阵列时，通过以下公式来计算位置(i，j)处的亮度值y：

20、y(i,j)＝(r(i,j)+2g(i,j)+b(i,j))/4{i＝1,…,n；j＝1,…,m},

21、其中，y(i，j)指示给定像素位置(i，j)的亮度值，并且r、g、b指示像素位置处的红色图像、绿色图像和蓝色图像中的像素值。优选地，亮度图像的第一分辨率是n×m像素的全分辨率。

22、生成色度图像的步骤包括计算原始图像像素值和在亮度图像中的像素的子集处的亮度图像值之间的差值。优选地，在与cfa中的给定颜色的像素对应的像素处计算色度图像。例如，对于使用单个传感器和标准rgb拜耳滤波器cfa的相机而言，可以生成蓝色色度图像和红色色度图像。蓝色色度图像仅包括与cfa的蓝色像素相对应的像素值，这将细节上的必要修改应用于红色色度图像。因此，色度图像的分辨率是低于亮度图像的第二分辨率。在rgb拜耳滤波器示例中，色度图像的像素数量是亮度图像的像素数量的四分之一。在这种情况下，计算色度图像的每个像素(在位置i、j处)的差值的步骤可以使用以下公式：

23、cb(i,j)＝(b(i,j)-y(i,j))/kb{i＝1,…,n/2；j＝1,…,m/2},

24、cr(i,j)＝(r(i,j)-y(i,j))/kr{i＝1,…,n/2；j＝1,…,m/2},

25、其中：kb和kr是比例因子；

26、cb(i，j)和cr(i，j)指示给定像素位置(i，j)的蓝色差值和红色差值；

27、r(i，j)，b(i，j)指示像素位置(i，j)处的红色图像、绿色图像和蓝色图像中的像素值；以及

28、y(i，j)指示像素位置(i，j)处的亮度值。

29、优选地，选择kr和kb，以最大化cb(i,j)和cr(i,j)在数据范围内的精度,但是并不对值进行固定，从而保留整个范围的颜色反应。在一个示例中，kr＝kb＝2。

30、该方法还可以包括：

31、对所计算的亮度值和差值进行编码和/或压缩。

32、亮度图像和色度图像可以被压缩为单独的图像，或者被一起压缩为有关的一组图像。优选地，压缩使用变换编码，例如使用小波变换或离散余弦变换等。

33、更优选地，使用jpeg或jpeg 2000压缩来执行压缩。因为在压缩过程中可以直接使用所计算出的亮度图像和色度图像，这样的压缩算法的使用可以是方便的。在一种情况下，该方法可以包括：

34、对亮度值和差值编码，以生成可与ycbcr 420格式兼容的图像数据。

35、另一方面，本发明提供了一种相机中的处理图像数据的方法。该相机可以包括具有颜色滤波器阵列的图像传感器，其中，所述图像传感器包括感光点阵列，每个感光点被配置成接收所述颜色滤波器阵列中的多个颜色中的相应的一个颜色的光并且输出说明在对应的感光点处所捕获的光的强度的像素值。该方法可以包括：对所捕获的原始图像数据去马赛克，以生成多个颜色图像，所述多个颜色图像表示从图像传感器输出的所述原始图像数据，并且与所述颜色滤波器阵列的多个颜色相对应，其中，所述去马赛克包括：

36、生成对应于所述颜色滤波器阵列的每种颜色的颜色图像，其中，对于颜色图像中的每个像素，基于在所捕获的带马赛克的原始图像数据中的围绕所述像素的多个像素执行边缘检测和线检测中的至少一种，并且基于所述边缘检测或所述线检测通过选择围绕给定像素的像素的子集来确定像素值，所述像素的子集与计算子集中的像素的加权平均值的像素具有相同的颜色。

37、所述子集中的像素的加权优选地基于适合于所述子集内被加权的像素或所述像素的子集的噪声水平来确定。

38、优选地，每个颜色图像表示从所述图像传感器输出的原始图像数据。该方法还可以包括：生成表示从图像传感器输出的原始图像数据的亮度图像；以及生成表示从图像传感器输出的原始图像数据的至少一个色度图像。优选地，生成至少两个色度图像。另一方面，本发明包括相机，该相机被配置成实施上述方法中任一方法的实施例。该相机可以包括：

39、图像捕获系统，该图像捕获系统被配置成将所接收到的光转换为原始图像数据；

40、图像处理系统，该图像处理系统被配置成根据上述方法处理原始图像数据。

41、如本文所用，除上下文另有要求，否则术语“包括(comprise)”和该术语的变化例如“包括(comprising)”、“包括(comprises)”和“包括(comprised)”并非意在排除其他附加物、成分、整件或步骤。

42、从下面的通过示例并参照附图所给出的描述，本发明的其他方面以及在前面段落中所描述的方面的其他实施例将变得明显。