图像处理方法、装置、设备、可读存储介质及程序产品与流程

1.本技术涉及计算机技术领域，具体而言，本技术涉及一种图像处理方法、装置、设备、可读存储介质及程序产品。


背景技术：

2.在成像系统中，不同波长的光在同一介质中折射率不同导致光线无法汇聚到一点，是光学成像系统的一种固有属性。在逆光、大光圈等条件下拍摄时，所得图像的局部区域特别是高反差区域(亮暗对比反差很大的图像区域，例如天空、灯管与物体相接的边缘)会比较容易观察到紫边，严重影响到视觉观感。紫边较宽时，根据紫边所在区域可以分为两部分：高反差区域紫边和非高反差区域紫边。由于镜头固有属性，画面高反差的区域容易出现紫边现象，严重影响整体观感；若待矫正像素属于紫边区域且位于较平坦区域(非高反差区域)，则现有技术不会对待矫正像素进行紫边矫正，因此矫正后的图像会出现紫边残留；从而导致紫边矫正效率较低。


技术实现要素：

3.本技术针对现有的方式的缺点，提出一种图像处理方法、装置、设备、计算机可读存储介质及计算机程序产品，用于解决如何提高紫边矫正效率的问题。
4.第一方面，本技术提供了一种图像处理方法，包括：
5.获取目标图像中待矫正像素；
6.确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度；
7.基于窗口中心rgb值和所述窗口中心梯度，确定待矫正像素的参考rgb值、待矫正像素的第一矫正强度和待矫正像素的第二矫正强度；第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正；
8.基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定待矫正像素的矫正强度；
9.基于窗口中心rgb值、参考rgb值和矫正强度，对待矫正像素进行紫边矫正，确定矫正后的像素。
10.第二方面，本技术提供了一种图像处理装置，包括：
11.第一处理模块，用于获取目标图像中待矫正像素；
12.第二处理模块，用于确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度；
13.第三处理模块，用于基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值、待矫正像素的第一矫正强度和待矫正像素的第二矫正强度；第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正；
14.第四处理模块，用于基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定所述待矫正像素的矫正强度；
15.第五处理模块，用于基于所述窗口中心rgb值、所述参考rgb值和所述矫正强度，对所述待矫正像素进行紫边矫正，确定矫正后的像素。
16.第三方面，本技术还提供一种成像设备，包括图像采集装置和本技术第一方面所提供的图像处理装置，图像采集装置用于采集目标图像。
17.第四方面，本技术提供了一种电子设备，包括：处理器、存储器和总线；
18.总线，用于连接处理器和存储器；
19.存储器，用于存储操作指令；
20.处理器，用于通过调用操作指令，执行本技术第一方面的图像处理方法。
21.第五方面，本技术提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被用于执行本技术第一方面的图像处理方法。
22.第六方面，本技术提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本技术第一方面中图像处理方法的步骤。
23.本技术实施例提供的技术方案，至少具有如下有益效果：
24.获取目标图像中待矫正像素；确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度；基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值、待矫正像素的第一矫正强度和待矫正像素的第二矫正强度；第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正；基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定待矫正像素的矫正强度；基于窗口中心rgb值、参考rgb值和矫正强度，对待矫正像素进行紫边矫正，确定矫正后的像素；如此，通过窗口中心rgb值、参考rgb值和矫正强度，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正，其中，矫正强度用于对高反差区域紫边与非高反差区域紫边残留进行矫正，从而提高了紫边矫正效率。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
26.图1为本技术实施例提供的图像处理系统的架构示意图；
27.图2为本技术实施例提供的一种图像处理方法的流程示意图；
28.图3为本技术实施例提供的窗口的示意图；
29.图4为本技术实施例提供的中心梯度方向及四个候选区域的示意图；
30.图5为本技术实施例提供的四个候选区域与中心区域的示意图；
31.图6为本技术实施例提供的0候选区域作为参考区域的示意图；
32.图7为本技术实施例提供的第一矫正强度曲线的示意图；
33.图8为本技术实施例提供的第二矫正强度曲线的示意图；
34.图9为本技术实施例提供的红色限制曲线的示意图；
35.图10为本技术实施例提供的蓝色限制曲线的示意图；
36.图11为本技术实施例提供的另一种图像处理方法的流程示意图；
37.图12为本技术实施例提供的一种图像处理装置的结构示意图；
38.图13为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
39.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
40.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”指示实现为“a”，或者实现为“b”，或者实现为“a和b”。
41.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
42.本技术实施例是图像处理系统提供的一种图像处理方法，该图像处理方法涉及图像紫边矫正等领域。
43.为了更好的理解及说明本技术实施例的方案，下面对本技术实施例中所涉及到的一些技术用语进行简单说明。
44.rgb:rgb色彩模式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色。
45.数字成像系统中，g通道能够准确对焦r、b相对于焦平面发生偏移，导致r、b通道数值不准确；在紫边中会导致同一位置的r、b通道相对于g通道之间存在不同程度的增幅。
46.紫边种类可以根据颜色大致可以分为偏蓝紫边和偏红紫边两类。在偏蓝的紫边中会有b》g关系(r不一定大于g通道)；偏红的紫边中会有b》g和r》g的关系。因此，无论偏蓝的紫边还是偏红的紫边都会有b》g，且b-g的通道差值越大紫边越严重。在紫边的非高反差区域同样存在b》g的规律，利用这一特点可对非高反差紫边进行矫正。紫边区域向正常区域过渡时，b-g的差值逐渐减小，紫边程度也逐渐减小，因此，可以根据紫边区域b-g通道差值的变换特性进行矫正控制。
47.下面以具体的实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
48.为了更好的理解本技术实施例提供的方案，下面结合具体的一个应用场景对该方案进行说明。
49.在一个实施例中，图1中示出了本技术实施例所适用的一种图像处理系统的架构
示意图，可以理解的是，本技术实施例所提供的图像处理方法可以适用于但不限于应用于如图1所示的应用场景中。
50.本示例中，如图1所示，该示例中的图像处理系统的架构可以包括但不限于图像采集装置10和图像处理装置20。图像处理系统可以是一种数字成像系统，例如成像设备，成像设备包括图像采集装置10和本技术所提供的图像处理装置20；其中，图像采集装置10用于采集目标图像，图像采集装置10可以为任意类型的图像采集器件，例如cmos图像传感器、ccd图像传感器等，本技术实施例对图像采集装置10的类型不作具体限定；成像设备可以为智能手机、相机、摄影机、平板电脑、笔记本电脑、监控设备等。
51.可理解，上述仅为一种示例，本实施例在此不作限定。
52.参见图2，图2示出了本技术实施例提供的一种图像处理方法的流程示意图，其中，该方法可以由任一电子设备执行，作为一可选实施方式，该方法可以由成像设备执行，具体的，由成像设备中的图像处理装置执行，为了描述方便，在下文的一些可选实施例的描述中，将以图像处理装置作为该方法执行主体为例进行说明。如图2所示，本技术实施例提供的图像处理方法包括如下步骤：
53.s201，获取目标图像中待矫正像素。
54.具体地，目标图像可以为raw域图像。raw域图像一般为bayer格式，bayer格式根据像素(像素点)排列顺序分为四种：rggb、bggr、grgb和gbrg。
55.在获取待矫正像素时，获取目标图像中第一预设尺寸的窗口，窗口的中心像素即为待矫正像素。例如，如图3所示，bayer格式为rggb，待矫正像素为r44，第一预设尺寸为9
×
9，以r44为中心截取9
×
9窗口，9
×
9窗口从第0行到第8行，从第0列到第8列。r44处于9
×
9窗口的中心点位置，即r44处于9
×
9窗口的第4行第4列，在9
×
9窗口内对r44进行紫边矫正。在第一预设尺寸的窗口中划分出第二预设尺寸的中心区域，例如，如图3所示，第二预设尺寸为3
×
3，即从9
×
9窗口中划分出的中心区域为3
×
3中心区域，3
×
3中心区域中像素包括b33、g34、b35、g43、r44、g45、b53、g54和b55；其中，各像素的数字代表该像素在窗口中的位置，例如g34中的34表示g34处于9
×
9窗口的第3行第4列。
56.对于图像边界的像素，取窗口区域时会超出图像区域，需要进行填充处理，例如采用镜像方式进行填充处理。
57.s202，确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度。
58.具体地，基于窗口的中心区域中全部像素的rgb值，通过线性插值算法，得到待矫正像素的窗口中心rgb值；全部像素包括待矫正像素；例如，基于9
×
9窗口的3
×
3中心区域中全部9个像素(b33、g34、b35、g43、r44、g45、b53、g54和b55)的rgb值，通过线性插值算法，得到待矫正像素r44的窗口中心rgb值。
59.s203，基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值、待矫正像素的第一矫正强度和待矫正像素的第二矫正强度；第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正。
60.具体地，第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正；第一矫正强度在高反差区域具有较高的可靠性，但由于第一矫正强度本身在非高反差区域的局限性导致非高反
差区域容易产生紫边残留；可以对第二矫正强度进行修正，修正后的第二矫正强度由于避开了第一矫正强度所依赖的梯度信息，对非高反差区域仍然保持较好的矫正能力；因此待矫正像素的矫正强度兼顾了第一矫正强度和修正后的第二矫正强度的优势。
61.s204，基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定待矫正像素的矫正强度。
62.具体地，基于窗口中心rgb值和预设的第二矫正强度修正曲线，确定第二矫正强度的限制幅度；基于第二矫正强度和第二矫正强度的限制幅度，确定修正后的第二矫正强度；将第一矫正强度和修正后的第二矫正强度中的最大矫正强度，确定为待矫正像素的矫正强度；因此待矫正像素的矫正强度兼顾了第一矫正强度和修正后的第二矫正强度的优势。
63.s205，基于窗口中心rgb值、参考rgb值和矫正强度，对待矫正像素进行紫边矫正，确定矫正后的像素。
64.具体地，待矫正像素的g通道值不发生改变，仍为窗口中心rgb值中的g通道值。分别对窗口中心rgb值中的r通道值和b通道值进行紫边矫正，得到矫正后的像素，即得到待矫正像素的正确颜色。
65.本技术实施例中，获取目标图像中待矫正像素；确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度；基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值、待矫正像素的第一矫正强度和待矫正像素的第二矫正强度；第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正；基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定待矫正像素的矫正强度；基于窗口中心rgb值、参考rgb值和矫正强度，对待矫正像素进行紫边矫正，确定矫正后的像素；如此，通过窗口中心rgb值、参考rgb值和矫正强度，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正，其中，矫正强度用于对高反差区域紫边与非高反差区域紫边残留进行矫正，从而提高了紫边矫正效率。
66.在一个实施例中，确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度，包括步骤a1-a4：
67.步骤a1，确定待矫正像素对应的窗口，待矫正像素处于窗口的中心点位置。
68.具体地，例如，如图3所示，bayer格式为rggb，待矫正像素为r44，以r44为中心截取9
×
9窗口，9
×
9窗口从第0行到第8行，从第0列到第8列；即确定待矫正像素r44对应的窗口，该窗口为9
×
9窗口。r44处于9
×
9窗口的中心点位置，即r44处于9
×
9窗口的第4行第4列。
69.步骤a2，基于窗口的中心区域中全部像素的rgb值，通过线性插值算法，得到待矫正像素的窗口中心rgb值；全部像素包括待矫正像素。
70.具体地，例如，基于9
×
9窗口的3
×
3中心区域中全部9个像素(b33、g34、b35、g43、r44、g45、b53、g54和b55)的rgb值，通过线性插值算法，得到待矫正像素r44的窗口中心rgb值；其中，待矫正像素r44的窗口中心rgb值中的r通道值、g通道值和b通道值分别通过公式(1)、公式(2)和公式(3)计算，公式(1)、公式(2)和公式(3)如下所示：
71.centerr＝r44公式(1)
72.centerg＝(g34 g54 g43 g45)/4公式(2)
73.centerb＝(b33 b35 b53 b55)/4公式(3)
74.其中，公式(1)计算r通道值centerr，即计算3
×
3中心区域内所有r像素的均值；公
式(2)计算g通道值centerg，即计算3
×
3中心区域内所有g像素的均值；公式(3)计算b通道值centerb，即计算3
×
3中心区域内所有b像素的均值。
75.步骤a3，确定与窗口对应的多个候选区域。
76.具体地，例如，如图4所示，窗口的边缘区域可以选择6个像素作为一个候选区域；例如将g30、b31、r40、g41、g50和b51作为一个候选区域，并将该候选区域称为0候选区域。将每个候选区域的g通道均值与中心区域的g通道均值之间求差，作为每个候选区域的窗口中心梯度(中心点梯度)。每个候选区域的窗口中心梯度(窗口中心梯度的梯度值)表示中心点(例如r44)在该候选区域方向的梯度。图4中各像素的数字代表该像素在窗口中的位置，例如g30中的30表示g30处于9
×
9窗口的第3行第0列。
77.步骤a4，基于窗口中心rgb值中的g通道值和多个候选区域中每个候选区域的全部像素的g通道值，确定每个候选区域的窗口中心梯度，待矫正像素的窗口中心梯度包括每个候选区域的窗口中心梯度。
78.具体地，如图5所示，将候选区域沿顺时针方向分别记为：0候选区域、1候选区域、2候选区域和3候选区域，0候选区域的窗口中心梯度grad0计算公式(4)、1候选区域的窗口中心梯度grad1计算公式(5)、2候选区域的窗口中心梯度grad2计算公式(6)和3候选区域的窗口中心梯度grad3计算公式(7)分别如下所示：
79.grad0＝abs(center
g-(g30 g41 g50)/3)公式(4)
80.grad1＝abs(center
g-(g03 g05 g14)/3)公式(5)
81.grad2＝abs(center
g-(g38 g58 g47)/3)公式(6)
82.grad3＝abs(center
g-(g74 g83 g85)/3)公式(7)
83.其中，abs为取绝对值操作；centerg为公式(2)所示的r44的窗口中心rgb值中g通道值。
84.需要说明的是，数字成像系统对红蓝等短波光线未能准确对焦，导致紫边区域r通道值和b通道值不准确，因此梯度信息计算可以只利用准确对焦的g通道值，而且在raw图像中g通道包含信息量最多(即g像素的数量最多)，从而能够保证窗口中心梯度计算的准确性。
85.在一个实施例中，基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值，包括步骤b1-b4：
86.步骤b1，将多个候选区域中一个候选区域确定为参考区域，参考区域为各候选区域的窗口中心梯度中最大窗口中心梯度的反方向所在区域。
87.具体地，数字图像中两个像素的梯度变化越大说明两个像素的像素值之间的差距越大，即纹理、颜色等特点的差距。为了保证紫边矫正后颜色与周围物体相近，矫正时需要有一个可供参考的区域。参考区域选择的一般原则为：参考区域与中心点的差距小，且参考区域不属于紫边范围内。基于上述参考区域的说明，参考区域选择为最大梯度(各候选区域的窗口中心梯度中最大窗口中心梯度)的反方向所在区域，该参考区域包含六个像素。
88.需要说明的是，选择最小梯度方向所在的区域作为参考区域不合理。因为梯度最小区域虽然与中心点差距较小，但是最小梯度区域在窗口中一般仍为紫边，因为，紫边一般有一定长度和宽度，紫边可能穿过截取的窗口，此时计算的最小梯度区域有可能仍为紫边。
89.例如，将图6中所示的0候选区域作为参考区域，即参考区域选择为最大梯度(候选
区域2)的反方向所在区域(候选区域0)。
90.步骤b2，确定参考区域的rgb值。
91.具体地，例如，将图6中所示的0候选区域作为参考区域，将参考区域中所有像素的某个通道均值作为该参考区域的该通道值。参考区域的rgb值中的r通道值refr、g通道值refg和b通道值refb分别通过公式(8)、公式(9)和公式(10)计算，公式(8)、公式(9)和公式(10)如下所示：
92.refr＝r40公式(8)
93.refg＝(g30 g50 g41)/3公式(9)
94.refb＝(b31 b51)/2公式(10)
95.步骤b3，基于窗口中心rgb值、参考区域的rgb值和预设的颜色弱化系数，确定待矫正像素的参考rgb值。
96.具体地，通过公式(11)和公式(12)计算参考区域的r通道色差ref
cr
与b通道色差ref
cb
，公式(11)和公式(12)如下所示：
97.ref
cr
＝ref
r-refg公式(11)
98.ref
cb
＝ref
b-refg公式(12)
99.通过公式(13)和公式(14)计算窗口中心点(例如待矫正像素r44)的r通道色差center
cr
和b通道色差center
cb
，公式(13)和公式(14)如下所示：
100.center
cr
＝center
r-centerg公式(13)
101.center
cb
＝center
b-centerg公式(14)
102.其中，centerr、centerg和centerb分别通过公式(1)、公式(2)和公式(3)计算。
103.需要说明的是，g通道值能准确对焦，因此以g通道值为基准，分别计算r通道值、b通道值相对于g通道值的差值，即r通道色差和b通道色差)。中心点紫边区域的r通道色差和b通道色差分别与参考区域的r通道色差和b通道色差不一致，中心点紫边区域的色差大于参考区域的色差。紫边矫正可以基于参考区域颜色，削弱紫边区域色差。
104.由于r通道色差和b通道色差的色差程度不同，导致紫边的表现形式也不同，因此在紫边矫正时，需要对r通道色差和b通道色差分别进行矫正。偏蓝的紫边中会有b通道值》g通道值(r通道值不一定大于g通道值)；偏红的紫边中会有b通道值》g通道值和r通道值》g通道值，色差越大紫边越严重，因此第二矫正强度可以基于b通道值-g通道值的差值来计算。
105.通过窗口中心点色差(r通道色差center
cr
和b通道色差center
cb
)和参考区域色差(r通道色差ref
cr
与b通道色差ref
cb
)作比较，可计算参考色差。当窗口中心点色差大于参考区域色差，认为中心紫边比参考区域严重，需要削弱中心色差，可直接用参考区域色差替换中心色差；考虑到计算成本(单个像素利用9
×
9窗口处理)，参考区域与中心区域往往都处于紫边范围，直接替换会导致矫正结果仍然为紫边。为解决此问题可将中心色差与削减后的参考区域色差作比较，确定参考颜色。
106.由上述分析，引入r通道色差的颜色弱化系数cr_shrink和b通道色差的颜色弱化系数cb_shrink，cr_shrink和cb_shrink的取值范围都为从0到1，通过cr_shrink和cb_shrink对参考区域色差(r通道色差ref
cr
和b通道色差ref
cb
)进行削减，分别得到削弱参考区域r色差和削弱参考区域b色差。紫边区域中r通道色差值和b通道色差值的大小对紫边的影响不同，通常情况下b通道色差值越大，紫边越严重。为平衡r通道和b通道的最终色差，弱
化系数应分别给定；b通道色差的弱化系数cb_shrink小于r通道色差的弱化系数cr_shrink。通过公式(15)和公式(16)分别计算削弱参考区域r色差ref
cr_shrink
和削弱参考区域b色差ref
cb_shrink
，公式(15)和公式(16)如下所示：
107.ref
cr_shrink
＝ref
cr
×
cr_shrink公式(15)
108.ref
cb_shrink
＝ref
cb
×
cb_shrink公式(16)
109.待矫正像素的参考rgb值中r通道值r
val
的计算方式如下：
110.若abs(ref
cr_shrink
)》abs(center
ct
)，则确定窗口中心点的r色差不满足紫边条件，窗口中心点的r通道值不矫正，r
val
不改变，即r
val
＝centerr；否则ref
cr_shrink
替换为当前r通道色差，r_val的计算公式(17)如下所示：
111.r
val
＝ref
cr_shrink
centerg公式(17)
112.待矫正像素的参考rgb值中b通道值b
val
的计算方式如下：
113.若abs(ref
cb_shrink
)》abs(center
cb
)，则确定中心点b色差不满足紫边条件，中心点b不矫正，b
val
不改变，即b
val
＝centerb；否则ref
cb_shrink
替换为当前b通道色差，b
val
的计算公式(18)如下所示：
114.b
val
＝ref
cb_shrink
centerg公式(18)
115.在一个实施例中，基于所述窗口中心rgb值和窗口中心梯度，确定待矫正像素的第一矫正强度和待矫正像素的第二矫正强度，包括步骤c1-c2：
116.步骤c1，基于窗口中心梯度和预设的第一矫正强度曲线，确定待矫正像素的第一矫正强度。
117.具体地，紫边绝大部分出现在物体的高反差边缘，一般来说梯度越大紫边越严重，基于此，通过梯度信息(例如窗口中心梯度)计算的矫正强度为第一矫正强度。
118.例如，以g通道为基准计算窗口四个方向的窗口中心梯度，即公式(4)所示的grad0、公式(5)所示的grad1、公式(6)所示的grad2和公式(7)所示的grad3，从grad0、grad1、grad2和grad3中筛选出最大窗口中心梯度作为待矫正像素的梯度grad。梯度grad越大，则第一矫正强度越大；通过经验值预先设定两个梯度的高低阈值(thr1和thr2)进行矫正强度计算，记作stren。第一矫正强度(strength)与梯度值(gradient，即grad)的曲线(第一矫正强度曲线)如图7所示。
119.如图7所示，当grad≤thr1，则stren＝0，不做矫正；当grad≥thr2，则stren＝1，完全矫正；当thr1《grad《thr2，则stren在0
–
1之间线性变换。其中，thr1和thr2是由经验值预先设定梯度的两个高低阈值。通过查找最大窗口中心梯度在第一矫正强度曲线上所处位置，确定待矫正像素的第一矫正强度edge_srength。
120.步骤c2，基于窗口中心rgb值和预设的第二矫正强度曲线，确定待矫正像素的第二矫正强度。
121.具体地，若紫边现象出现在非高反差区域，且梯度较小不满足第一矫正强度条件，则出现紫边残留；紫边种类可以根据颜色大致可以分为偏蓝紫边和偏红紫边两类。偏蓝的紫边中会有b通道值》g通道值(r通道值不一定大于g通道值)；偏红的紫边中会有b通道值》g通道值和r通道值》g通道值，色差(b通道值和g通道值之间的差值)越大，紫边越严重，因此第二矫正强度可以基于b通道值和g通道值之间的差值来计算。
122.为避免紫边处于非高反差区域时因第一矫正强度失效导致紫边残留，通过窗口中
心点(例如待矫正像素r44)的b通道色差(例如center
cb
)，计算第二矫正强度。在紫边中，b通道色差大小对紫边强弱的贡献度大于r通道色差，且b通道色差越大紫边越明显。第二矫正强度(strength)与b通道色差(bg_offset)的曲线(第二矫正强度曲线)如图8所示。
123.如图8所示，thr1和thr2是通过预先设定的b-g差值(b通道色差)的两个高低阈值，表示b通道色差的正整数值。当b-g≤thr1，则stren＝0，不做矫正；当b-g≥thr2，则stren＝1，完全矫正；当thr1《b-g《thr2，则stren在0
–
1之间线性变换。通过待矫正像素的b通道色差，查找待矫正像素在第二矫正强度曲线上的位置，确定第二矫正强度color_stren。
124.在一个实施例中，基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定待矫正像素的矫正强度，包括步骤c3-c5：步骤c3，基于窗口中心rgb值和预设的第二矫正强度修正曲线，确定第二矫正强度的限制幅度。
125.具体地，第二矫正强度能弥补第一矫正强度在非高反差区域紫边的矫正残留。为了避免紫边矫正中出现正确颜色误矫正的现象，需要根据中心点正确颜色rgb关系修正第二矫正强度大小；因此增加了修正第二矫正强度的限制曲线(第二矫正强度修正曲线)，使非紫边区域矫正后能维持正常颜色。
126.针对红色限制，正常红色物体的r通道色差较大，避免正常红色被错误矫正，矫正紫边的同时需要对正常红色进行限制。根据紫边表现，b通道偏移数值相对较大且r-b差值在一定范围内，正常红色b通道数值较小；因此可以通过r-b差值修正第二矫正强度，红色限制曲线(第二矫正强度修正曲线，即r通道修正曲线)如图9所示。如图9所示，thr1和thr2是预先设定的两个高低阈值，限制强度(limit-strength)为rb_ratio，r-b差值为rb
offset
。当r-b≤thr1，则rb_ratio＝1，不做限制；当r-b≥thr2，则rb_ratio＝0，完全限制；当thr1《r-b《thr2，则rb_ratio在0
–
1之间线性变换，如公式(19)所示：
[0127][0128]
其中，rb
offset
为窗口中心点的r-b的通道差值，例如center
r-centerb。
[0129]
针对蓝色限制，第二矫正强度主要是根据b-g的正整数差值来确定，正常蓝色同样会引起错误矫正。正常蓝色中，r《g且r通道数值越小，蓝色程度越深，因此用g-r的正整数差值限制蓝色。蓝色限制曲线(第二矫正强度修正曲线，即b通道修正曲线)如图10所示。如图10所示，thr1和thr2是预先设定的两个高低阈值，限制强度(limit-strength)为gr_ratio，g-r差值为gr
offset
。当g-r≤thr1，则gr_ratio＝1，不做限制；当g-r≥thr2，则gr_ratio＝0，完全限制；当thr1《g-r《thr2，则gr_ratio在0
–
1之间线性变换，如公式(20)所示：
[0130][0131]
其中，gr
offset
为窗口中心点的g-r的通道差值，例如center
g-centerr。
[0132]
上述两种正常颜色限制曲线(红色限制曲线和蓝色限制曲线)均属于保护正常颜色，是根据紫边颜色特点从两种不同角度计算。当任意一种颜色限制曲线结果为0时，第二矫正强度为0；因此第二矫正强度的限制幅度可以通过公式(21)得到，公式(21)如下所示：
[0133]
limit_color＝min(rb_ratio,gr_ratio)公式(21)
[0134]
其中，将rb_ratio和gr_ratio中的最小值，确定为第二矫正强度的限制幅度。
[0135]
步骤c4，基于第二矫正强度和第二矫正强度的限制幅度，确定修正后的第二矫正
强度。
[0136]
具体地，基于第二矫正强度color_stren和第二矫正强度的限制幅度limit_color，确定修正后的第二矫正强度color_stren_fixed；计算第二矫正强度color_stren_fixed的公式(22)如下所示：
[0137]
color_stren_fixed＝color_stren*limit_color公式(22)
[0138]
需要说明的是，修正后的第二矫正强度在考虑紫边颜色特性时同时也关注到了正常颜色的保护，保证了矫正结果的准确性。
[0139]
步骤c5，将第一矫正强度和修正后的第二矫正强度中的最大矫正强度，确定为待矫正像素的矫正强度。
[0140]
具体地，将第一矫正强度和修正后的第二矫正强度中的最大矫正强度，确定为待矫正像素的矫正强度d_strength，如此，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正。计算待矫正像素的矫正强度d_strength的公式(23)如下所示：
[0141]
d_strength＝max(edge_srength,color_stren_fixed)公式(23)
[0142]
需要说明的是，第一矫正强度在高反差区域具有较高的可靠性，但由于第一矫正强度本身在非高反差区域的局限性导致非高反差区域容易产生紫边残留；修正后的第二矫正强度由于避开了第一矫正强度所依赖的梯度信息，对非高反差区域仍然保持较好的矫正能力；因此待矫正像素的矫正强度兼顾了两种矫正强度(第一矫正强度和修正后的第二矫正强度)的优势。
[0143]
在一个实施例中，预设的第二矫正强度修正曲线包括r通道修正曲线和b通道修正曲线，基于窗口中心rgb值和预设的第二矫正强度修正曲线，确定第二矫正强度的限制幅度，包括：
[0144]
确定窗口中心rgb值中r通道值和b通道值之间的第一差值；
[0145]
基于第一差值和r通道修正曲线，确定待矫正像素中红色为正常红色的第一概率；
[0146]
确定窗口中心rgb值中g通道值和r通道值之间的第二差值；
[0147]
基于第二差值和b通道修正曲线，确定待矫正像素中蓝色为正常蓝色的第二概率；
[0148]
将第一概率和第二概率中的最小概率，确定为第二矫正强度的限制幅度。
[0149]
具体地，针对红色限制，正常红色物体的r通道色差较大，避免正常红色被错误矫正，矫正紫边的同时需要对正常红色进行限制。根据紫边表现，b通道偏移数值相对较大，且r-b差值在一定范围内，正常红色b通道数值较小；因此可以通过r-b差值修正第二矫正强度，红色限制曲线(第二矫正强度修正曲线，即r通道修正曲线)如图9所示。如图9所示，thr1和thr2是预先设定的两个高低阈值，限制强度(limit-strength)为rb_ratio(第一概率)，r-b(第一差值)差值为rb
offset
。当r-b≤thr1，则rb_ratio＝1，不做限制；当r-b≥thr2，则rb_ratio＝0，完全限制；当thr1《r-b《thr2，则rb_ratio在0
–
1之间线性变换，如公式(19)所示：
[0150][0151]
其中，rb
offset
为窗口中心点的r-b的通道差值，例如center
r-centerb。
[0152]
针对蓝色限制，第二矫正强度主要是根据b-g的正整数差值来确定，正常蓝色同样会引起错误矫正。正常蓝色中，r《g且r通道数值越小，蓝色程度越深，因此用g-r的正整数差
值限制蓝色。蓝色限制曲线(第二矫正强度修正曲线，即b通道修正曲线)如图10所示。如图10所示，thr1和thr2是预先设定的两个高低阈值，限制强度(limit-strength)为gr_ratio(第二概率)，g-r差值(第二差值)为gr
offset
。当g-r≤thr1，则gr_ratio＝1，不做限制；当g-r≥thr2，则gr_ratio＝0，完全限制；当thr1《g-r《thr2，则gr_ratio在0
–
1之间线性变换，如公式(20)所示：
[0153][0154]
其中，gr
offset
为窗口中心点的g-r的通道差值，例如center
g-centerr。
[0155]
上述两种正常颜色限制曲线(红色限制曲线和蓝色限制曲线)均属于保护正常颜色，是根据紫边颜色特点从两种不同角度计算。当任意一种颜色限制曲线结果为0时，第二矫正强度为0；因此第二矫正强度的限制幅度可以通过公式(21)得到，公式(21)如下所示：
[0156]
limit_color＝min(rb_ratio,gr_ratio)公式(21)
[0157]
其中，将rb_ratio和gr_ratio中的最小值，确定为第二矫正强度的限制幅度。
[0158]
在一个实施例中，基于窗口中心rgb值、参考rgb值和矫正强度，对待矫正像素进行紫边矫正，确定矫正后的像素，包括：
[0159]
基于窗口中心rgb值中的r通道值、参考rgb值中的r通道值和矫正强度，对窗口中心rgb值中的r通道值进行紫边矫正，确定矫正后的像素的r通道值；
[0160]
基于窗口中心rgb值中的b通道值、参考rgb值中的b通道值和矫正强度，对窗口中心rgb值中的b通道值进行紫边矫正，确定矫正后的像素的b通道值。
[0161]
具体地，基于窗口中心rgb值中的r通道值centerr、参考rgb值中的r通道值r
val
和矫正强度d_strength，对窗口中心rgb值中的r通道值进行紫边矫正，确定矫正后的像素的r通道值r
out
。计算矫正后的像素的r通道值的公式(24)如下所示：
[0162]rout
＝centerr*(1-d_strength) r
val
*d_strength公式(24)
[0163]
基于窗口中心rgb值中的b通道值centerb、参考rgb值中的b通道值b
val
和矫正强度d_strength，对窗口中心rgb值中的b通道值进行紫边矫正，确定矫正后的像素的b通道值b
out
。计算矫正后的像素的r通道值的公式(25)如下所示：
[0164]bout
＝centerb*(1-d_strength) b
val
*d_strength公式(25)
[0165]
需要说明的是，待矫正像素的g通道值不发生改变，仍为窗口中心rgb值中的g通道值。通过公式(24)和公式(25)分别对窗口中心rgb值中的r通道值和b通道值进行紫边矫正，得到矫正后的像素，即得到待矫正像素的正确颜色。
[0166]
在一个实施例中，目标图像可以为raw域图像，将raw域图像转换为rgb图像(反马赛克)，通过s201-s204对rgb图像中像素的r通道值和b通道值进行紫边矫正，像素的g通道值不发生改变。
[0167]
在一个实施例中，计算第二矫正强度时，可以在其它颜色空间中计算(例如cie颜色空间)或者增加限制颜色(例如紫边发生在一定灰度范围内)。
[0168]
在一个实施例中，如图7所示的第一矫正强度曲线、如图8所示的第二矫正强度曲线、如图9所示的r通道修正曲线、如图10所示的b通道修正曲线等线性形式均可替换为非线性形式。
[0169]
应用本技术实施例，至少具有如下有益效果：
[0170]
通过窗口中心rgb值、参考rgb值和矫正强度，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正，其中，矫正强度用于对高反差区域紫边与非高反差区域紫边残留进行矫正，从而提高了紫边矫正效率。
[0171]
为了更好的理解本技术实施例所提供的方法，下面结合具体应用场景的示例对本技术实施例的方案进行进一步说明。
[0172]
在一个具体应用场景实施例中，例如成像设备的紫边矫正场景，参见图11，示出了另一种图像处理方法的处理流程，如图11所示，本技术实施例提供的图像处理方法的处理流程包括如下步骤：
[0173]
s301，相机确定目标图像中待矫正像素对应的窗口。
[0174]
s302，相机基于窗口的中心区域中全部像素的rgb值，通过线性插值算法，得到待矫正像素的窗口中心rgb值。
[0175]
s303，相机确定与窗口对应的多个候选区域，并基于窗口中心rgb值中的g通道值和多个候选区域中每个候选区域的全部像素的g通道值，确定每个候选区域的窗口中心梯度。
[0176]
s304，相机基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值。
[0177]
具体地，将多个候选区域中一个候选区域确定为参考区域，参考区域为各候选区域的窗口中心梯度中最大窗口中心梯度的反方向所在区域；确定参考区域的rgb值；基于窗口中心rgb值、参考区域的rgb值和预设的颜色弱化系数，确定待矫正像素的参考rgb值。
[0178]
s305，相机基于窗口中心梯度和第一矫正强度曲线，确定待矫正像素的第一矫正强度。
[0179]
s306，相机基于窗口中心rgb值和第二矫正强度曲线，确定待矫正像素的第二矫正强度。
[0180]
s307，相机基于窗口中心rgb值和第二矫正强度修正曲线，确定第二矫正强度的限制幅度；并基于第二矫正强度和第二矫正强度的限制幅度，确定修正后的第二矫正强度。
[0181]
具体地，第二矫正强度修正曲线包括r通道修正曲线(红色限制曲线)和b通道修正曲线(蓝色限制曲线)。
[0182]
s308，相机将第一矫正强度和修正后的第二矫正强度中的最大矫正强度，确定为待矫正像素的矫正强度。
[0183]
s309，相机基于窗口中心rgb值、参考rgb值和矫正强度，对待矫正像素的窗口中心rgb值中r通道值和b通道值进行紫边矫正，确定矫正后的像素。
[0184]
具体地，待矫正像素的g通道值不发生改变，仍为窗口中心rgb值中的g通道值。
[0185]
应用本技术实施例，至少具有如下有益效果：
[0186]
相机通过窗口中心rgb值、参考rgb值和矫正强度，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正，其中，矫正强度用于对高反差区域紫边与非高反差区域紫边残留进行矫正，从而提高了紫边矫正效率。
[0187]
基于与本技术实施例提供的方法相同的原理，本技术实施例还提供了一种图像处理装置，该图像处理装置的结构示意图如图12所示，图像处理装置40，包括第一处理模块401、第二处理模块402、第三处理模块403、第四处理模块404和第五处理模块405。
[0188]
第一处理模块401，用于获取目标图像中待矫正像素；
[0189]
第二处理模块402，用于确定待矫正像素的窗口中心rgb值和待矫正像素的窗口中心梯度；
[0190]
第三处理模块403，用于基于窗口中心rgb值和窗口中心梯度，确定待矫正像素的参考rgb值、待矫正像素的第一矫正强度和待矫正像素的第二矫正强度；第一矫正强度用于对待矫正像素对应的高反差区域紫边进行矫正；第二矫正强度用于对待矫正像素对应的非高反差区域紫边残留进行矫正；
[0191]
第四处理模块404，用于基于窗口中心rgb值、第一矫正强度和第二矫正强度，确定所述待矫正像素的矫正强度；
[0192]
第五处理模块405，用于基于所述窗口中心rgb值、所述参考rgb值和所述矫正强度，对所述待矫正像素进行紫边矫正，确定矫正后的像素。
[0193]
在一个实施例中，第二处理模块402，具体用于：
[0194]
确定待矫正像素对应的窗口，待矫正像素处于窗口的中心点位置；
[0195]
基于窗口的中心区域中全部像素的rgb值，通过线性插值算法，得到待矫正像素的窗口中心rgb值；全部像素包括待矫正像素；
[0196]
确定与窗口对应的多个候选区域；
[0197]
基于窗口中心rgb值中的g通道值和多个候选区域中每个候选区域的全部像素的g通道值，确定每个候选区域的窗口中心梯度，待矫正像素的窗口中心梯度包括每个候选区域的窗口中心梯度。
[0198]
在一个实施例中，第三处理模块403，具体用于：
[0199]
将多个候选区域中一个候选区域确定为参考区域，参考区域为各候选区域的窗口中心梯度中最大窗口中心梯度的反方向所在区域；
[0200]
确定参考区域的rgb值；
[0201]
基于窗口中心rgb值、参考区域的rgb值和预设的颜色弱化系数，确定待矫正像素的参考rgb值。
[0202]
在一个实施例中，第三处理模块403，具体用于：
[0203]
基于窗口中心梯度和预设的第一矫正强度曲线，确定待矫正像素的第一矫正强度；
[0204]
基于窗口中心rgb值和预设的第二矫正强度曲线，确定待矫正像素的第二矫正强度。
[0205]
在一个实施例中，第四处理模块404，具体用于：
[0206]
基于窗口中心rgb值和预设的第二矫正强度修正曲线，确定第二矫正强度的限制幅度；
[0207]
基于第二矫正强度和第二矫正强度的限制幅度，确定修正后的第二矫正强度；
[0208]
将第一矫正强度和修正后的第二矫正强度中的最大矫正强度，确定为待矫正像素的矫正强度。
[0209]
在一个实施例中，预设的第二矫正强度修正曲线包括r通道修正曲线和b通道修正曲线，第四处理模块404，具体用于：
[0210]
基于窗口中心梯度和预设的第一矫正强度曲线，确定窗口中心rgb值中r通道值和b通道值之间的第一差值；
[0211]
基于第一差值和r通道修正曲线，确定待矫正像素中红色为正常红色的第一概率；
[0212]
确定窗口中心rgb值中g通道值和r通道值之间的第二差值；
[0213]
基于第二差值和b通道修正曲线，确定待矫正像素中蓝色为正常蓝色的第二概率；
[0214]
将第一概率和第二概率中的最小概率，确定为第二矫正强度的限制幅度。
[0215]
在一个实施例中，第五处理模块405，具体用于：
[0216]
基于窗口中心rgb值中的r通道值、参考rgb值中的r通道值和矫正强度，对窗口中心rgb值中的r通道值进行紫边矫正，确定矫正后的像素的r通道值；
[0217]
基于窗口中心rgb值中的b通道值、参考rgb值中的b通道值和矫正强度，对窗口中心rgb值中的b通道值进行紫边矫正，确定矫正后的像素的b通道值。
[0218]
应用本技术实施例，至少具有如下有益效果：
[0219]
通过窗口中心rgb值、参考rgb值和矫正强度，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正，其中，矫正强度用于对高反差区域紫边与非高反差区域紫边残留进行矫正，从而提高了紫边矫正效率。
[0220]
本技术实施例还提供一种成像设备，该成像设备包括图像采集装置和本技术所提供的图像处理装置，该图像采集装置用于采集目标图像，图像采集装置可以为任意类型的图像采集器件，例如cmos图像传感器、ccd图像传感器等，本技术实施例对图像采集装置的类型不作具体限定。
[0221]
在一些实施例中，成像设备可以为智能手机、相机、摄影机、平板电脑、笔记本电脑、监控设备等。
[0222]
本技术实施例还提供了一种电子设备，该电子设备的结构示意图如图13所示，图13所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
[0223]
处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0224]
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0225]
存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储
信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
[0226]
存储器4003用于存储执行本技术实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
[0227]
其中，电子设备包括但不限于：成像设备等。
[0228]
应用本技术实施例，至少具有如下有益效果：
[0229]
通过窗口中心rgb值、参考rgb值和矫正强度，实现了高反差区域紫边与非高反差区域紫边残留都能较好矫正，其中，矫正强度用于对高反差区域紫边与非高反差区域紫边残留进行矫正，从而提高了紫边矫正效率。
[0230]
本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
[0231]
本技术实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
[0232]
基于与本技术实施例提供的方法相同的原理，本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述本技术任一可选实施例中提供的方法。
[0233]
应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
[0234]
以上所述仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。