图像处理装置和图像处理方法与流程

1.本公开内容涉及图像处理装置和图像处理方法。


背景技术：

2.已知存在根据立体图像或图像平面相位差像素来计算深度值的技术。例如，深度值是从成像装置到被摄体的距离。在使用立体图像来计算深度值的情况下，例如，图像处理装置计算作为立体图像输入的标准图像与参考图像之间的视差量，并且然后基于计算的视差量，使用三角测量的原理来计算到被摄体的距离。
3.引用列表
4.专利文献
5.专利文献1：jp 2004
‑
139219 a
6.专利文献2：jp 2017
‑
27101 a
7.专利文献3：wo 2013/145554 a
8.非专利文献
9.非专利文献1：jonathan t barron和ben poole，“the fast bilateral solver”，欧洲计算机视觉会议(eccv)第617
‑
632页，施普林格国际出版社，2016年
10.非专利文献2：e.s.l.gastal和m.m.oliveira，“domain transform for edge
‑
aware image and video processing”，美国计算机学会图形汇刊，第30卷，第4期，2011年
11.非专利文献3：j.sun,n.zheng和h.y.shum，“stereo matching using belief propagation”，ieee模式分析与机器智能汇刊，第25卷，第7期，第787
‑
800页，2003年


技术实现要素：

12.技术问题
13.然而，利用传统方法，有时难以获得高度准确的深度值或深度图像。例如，在使用立体图像或图像平面相位差像素计算深度值的方法的情况下，一个像素的深度值的计算使用作为深度值的计算的目标的像素周围的多个像素的值。然而，该方法是在假设多个像素位于相同的距离下来计算深度值，并且因此，在多个像素中包括不同距离的像素的情况下，可能不会发生计算高度准确的深度值。
14.鉴于这个问题，本公开内容提出了一种能够获取高度准确的深度值或深度图像的图像处理装置和图像处理方法。
15.问题的解决方案
16.为了解决以上问题，一种根据本公开内容的图像处理装置包括：贡献率计算单元，其计算预定像素或预定区域在输入图像中包括的多个像素或多个区域中的每一个的深度计算中的贡献率；以及校正单元，其基于贡献率校正预定像素或预定区域的深度值。
附图说明
17.图1是示出立体图像的示例的图。
18.图2是图1所示的标准图像的部分放大图。
19.图3是示出出现伪深度的状态的图。
20.图4a是长
×
宽为3
×
3的模板图像。
21.图4b是长
×
宽为7
×
7的模板图像。
22.图5是其中以14
×
14像素布置图像平面相位差像素对的示例。
23.图6是示出通过本实施方式中描述的方法进行校正获得的经校正深度图像的图。
24.图7是示出根据第一实施方式的图像处理装置的配置示例的图。
25.图8是示出视差计算单元的配置示例的图。
26.图9是示出深度校正单元的配置示例的图。
27.图10是示出输入到深度校正单元的输入信号和从深度校正单元输出的经校正深度图像的示例的图。
28.图11是示出根据第一实施方式的深度校正处理的流程图。
29.图12是示出深度重定位的图。
30.图13a是示出贡献率的图。
31.图13b是示出贡献率的图。
32.图13c是示出贡献率的图。
33.图13d是示出贡献率的图。
34.图13e是示出贡献率的图。
35.图13f是示出贡献率的图。
36.图13g是示出贡献率的图。
37.图13h是示出贡献率的图。
38.图13i是示出贡献率的图。
39.图14是示出深度图像和通过对深度图像进行校正获得的经校正深度图像的视图。
40.图15是示出深度校正单元的配置示例的图。
41.图16是示出根据第二实施方式的深度校正处理的流程图。
42.图17是示出校正单元更新经校正深度图像的状态的图。
43.图18是示出在经校正深度图像中出现的问题的图。
44.图19是示出根据第三实施方式的深度校正处理的流程图。
45.图20是示出校正单元生成相位校正图像的状态的图。
46.图21a是示出贡献率的图。
47.图21b是示出贡献率的图。
48.图21c是示出贡献率的图。
49.图21d是示出贡献率的图。
50.图21e是示出贡献率的图。
51.图21f是示出贡献率的图。
52.图21g是示出贡献率的图。
53.图21h是示出贡献率的图。
54.图21i是示出贡献率的图。
55.图22是示出深度图像和通过对深度图像进行校正获得的相位校正图像的视图。
56.图23是示出深度重定位图像的一部分和与该部分相对应的相位校正图像的一部分的图。
具体实施方式
57.下面将参照附图详细描述本公开内容的实施方式。在以下各实施方式中，相同部分用相同的附图标记表示，并且将省略对其的重复描述。
58.将按以下顺序描述本公开内容。
59.1.介绍
60.2.第一实施方式
[0061]2‑
1.图像处理装置的配置
[0062]2‑
2.图像处理装置的操作
[0063]
3.第二实施方式(基于校正强度的校正)
[0064]3‑
1.图像处理装置的配置
[0065]3‑
2.图像处理装置的操作
[0066]
4.第三实施方式(基于不均匀性的校正强度的计算)
[0067]4‑
1.图像处理装置的配置
[0068]4‑
2.图像处理装置的操作
[0069]
5.修改
[0070]
6.结论
[0071]
《1.介绍》
[0072]
根据本实施方式的图像处理装置10是基于立体图像处理中的立体图像或图像平面相位检测自动聚焦(af)中的相位差检测信号(图像平面相位差像素)生成深度图像(或计算深度值)的装置。根据本实施方式的图像处理装置10通过使用每个像素在深度值的计算(下文中称为深度计算)中的贡献率，来校正基于立体图像或相位差检测信号而生成的深度图像或深度值(图像平面相位差像素)，从而校正深度计算时生成的伪深度。这使得可以使用深度图像实现诸如前景/背景提取和重新聚焦处理的高度准确的应用。
[0073]
本实施方式中描述的技术(在下文中称为本技术)是基于由模板匹配等表示的图像信号的比较来校正计算的输出结果的技术。更具体地，本技术是当用于计算输出结果的图像信号的输出值不均匀时校正由装置错误估计的输出结果的技术。这使得本技术的优点在于，它广泛适用于计算机视觉领域中的根据图像信号的比较来计算输出的各种任务。除了深度估计之外，本技术还可以应用于光流估计和诸如对象检测/跟踪的各种任务的输出结果的校正。
[0074]
在下文中，在给出本实施方式的图像处理装置10的细节之前，将描述本实施方式的概要。
[0075]
由于不需要将捕获图像与深度图像对准作为距离估计结果并且不需要除摄像机以外的附加硬件，因此在计算机视觉领域中广泛使用用于获得距由立体图像处理表示的捕获图像的距离的方法。
[0076]
图1是示出立体图像的示例的图。在立体图像处理的情况下，图像处理装置计算作为立体图像输入的标准图像与参考图像之间的视差量，并且根据三角测量的原理基于所计算的视差量来计算到对象的距离。
[0077]
对于视差量的计算，由于能够执行紧密关联的优点，早就已经使用模板匹配(块匹配)。例如，图像处理装置将深度值计算目标像素(下文中称为目标像素)的周围的图像限定为模板图像(图1所示的标准图像的模板图像)，并且从该标准图像中搜索与模板图像(图1所示的参考图像的模板图像)相对应的图像区域。
[0078]
然而，由于在模板匹配中作为关联索引的估计值计算是在假设模板图像中的像素处于相同距离的情况下执行的，因此当模板图像的目标像素和除目标像素以外的区域(周边像素)处于不同距离时，深度计算将失败。
[0079]
图2是图1所示的标准图像的部分放大图，具体地，图2是图1所示的标准图像的范围a1的放大图。例如，如图2所示，此处是图像的特征量大的纹理区域和图像的特征量小的平坦区域在深度方向上的距离不同的情况。在图2的示例中，所填充的熊的左手对应于纹理区域，而所填充的熊后面的墙对应于平坦区域。这两者在深度方向上彼此分离。
[0080]
此处，假设目标像素在平坦区域中，并且其周边像素的一部分在纹理区域中。在这种情况下，由于在估计值计算处理中周边像素的图像特征会影响深度确定，因此平坦区域中的目标像素位置的深度会被错误地估计为纹理区域的深度。这导致出现如下的现象：将与实际深度不同的伪深度分配为目标像素位置的深度。
[0081]
图3是示出出现伪深度的状态的图。在图3的示例中，可以看出，应位于已填充的熊后面的墙上的目标像素的深度被错误地估计为所填充的熊的左手的深度。在图3的示例中，其尖端应当在线l1上的左手延伸至线l2。
[0082]
如上所述已经简要描述了伪深度的出现原理。在下文中，将描述在模板匹配中伪深度的出现范围与模板图像尺寸之间的关系。
[0083]
图4a是长
×
宽为3
×
3的模板图像。图4b是长
×
宽为7
×
7的模板图像。图中的单个单元对应于单个像素。图4a所示的模板图像例如由被布置成拜耳(bayer)阵列的3
×
3个r、g和b像素组形成。此外，图4b所示的模板图像例如由被布置成拜耳阵列的7
×
7个r、g和b像素组形成。
[0084]
此处，假设通过模板匹配将模板图像的各像素位置处的深度分配为模板图像中心的目标像素处的深度的情况。在这种情况下，当模板图像的周围像素的深度被错误地分配给目标像素时，相移被最大化。当将可能发生的相移的最大值限定为伪深度的发生范围时，可以使用floor函数将伪深度的发生范围描述为下面的公式(1)。
[0085]
[数学式1]
[0086][0087]
此处，r是模板图像的一边的长度。在图4a和图4b的示例中，一个像素的移位和三个像素的移位分别是伪深度发生范围。
[0088]
伪深度不仅在基于立体图像的距离估计(深度计算)中类似地出现，而且在基于图像平面相位差像素的距离估计(深度计算)中也类似地出现。在下文中，将描述在基于图像平面相位差像素的距离估计中出现的伪深度的出现范围。
[0089]
近年来，广泛采用使用图像平面相位差像素的距离估计作为在摄像机等的对焦中
使用的距离估计。使用图像平面相位差像素的距离估计的广泛应用的原因是能够进行消除了镜结构的紧凑设计。在该距离估计中，例如，将从图像传感器上的像素的左右两侧被遮蔽的图像平面相位差像素对的阵列获得的信号视为立体匹配中的标准图像和参考图像的模板图像，来确定距离。当聚焦在不同距离时信号对的关联对应于立体匹配中的视差搜索，并且将从图像平面相位差像素中的对信号的阵列组实现最高匹配的距离确定为被摄体的距离。顺便提及，图像平面相位差像素对不限于在左侧和右侧被遮蔽的像素对，而可以是具有设置在左右对称位置处的狭缝的像素对。
[0090]
图像平面相位差像素离散地布置在图像传感器上，从而导致在使用图像平面相位差像素的距离估计中伪深度大于立体匹配中距离估计时的伪深度的特性。图5是一组图像平面相位差像素对布置在14
×
14个像素中的示例。图中的单个单元对应于单个像素。在图5的示例中，图中的一个单元是例如被布置成拜耳阵列的r、g或b像素之一。为了便于理解，将图像平面相位差像素对的中心像素位置限定为信号检测位置。在这种情况下，在使用图像平面相位差像素的距离检测中，图像处理装置可能错误地将在图5中的粗框的范围中的像素的深度分配给目标像素。即，在使用t
×
t的范围内布置的r
×
r组图像平面相位差像素对来计算深度的情况下，能够将伪深度的发生范围描述为以下公式(2)。
[0091]
[数学式2]
[0092][0093]
用于解决该问题的方法的示例包括以下方法(m1)和(m2)。
[0094]
(m1)在将捕获图像限定为参考图像的情况下使用平滑和优化的深度校正方法
[0095]
例如，存在通过使用利用所捕获的图像的信号的相似性的滤波器的方法或使用采用马尔可夫随机场的优化方法的方法来执行深度图像的校正的假设情况。使用滤波器的上述方法的示例包括：使用联合双边滤波器的方法(例如，专利文献1)、使用速度更高的联合双边滤波器的方法(例如，非专利文献1)和使用域变换滤波器的方法(非专利文献2)。另外，使用马尔可夫随机场的方法的示例包括：使用图形切割的方法(专利文献2)和使用置信传播的方法(非专利文献3)。
[0096]
然而，不幸的是，即使上述方法具有沿着用于参考的捕获图像的结构重新定位深度边界的效果，由于基于错误估计的深度执行平滑和优化，因此不期望能够获得正确的深度。特别地，在高噪声环境下的深度估计或使用具有宽的相位差像素间隔的相位差像素信息的深度估计倾向于将模板图像设置为大尺寸，增加了错误估计区域，这可能会使当前问题变得值得注意。
[0097]
(m2)使用深度可靠性的深度校正方法
[0098]
例如，存在另一可假设的方法(例如，专利文献3)，其中，当通过使用上述捕获图像的信号的相似性的滤波或加权平均来校正深度时，尝试通过除了根据捕获图像计算的特征量之外还使用输出深度的可靠性作为权重来提高校正精度。通过使用在确定深度时的模板匹配的估计值和诸如所捕获图像的边缘梯度的图像的特征量作为深度的可靠性，来实现使用高度可靠和稳定的深度的高度准确的校正。然而，不幸的是，即使当使用估计值作为可靠性时，在作为校正目标的模板图像中混合有平坦区域和纹理区域的错误估计区域中的可靠性也被认为比在模板图像形成有平坦区域的情况下更高。因此，将认为难以校正在作为本
实施方式的目标的模板匹配中发生的错误估计深度。
[0099]
鉴于这些，根据本实施方式的图像处理装置10执行以下处理。
[0100]
例如，图像处理装置10针对通过比较由模板匹配等表示的图像信号而获得的计算的输出结果，对当模板图像中混合了期望不同输出值的区域时出现的错误估计结果进行校正。例如，在立体图像处理中，图像处理装置10对在模板图像中混合了处于不同距离的像素的情况下出现的伪深度进行校正。例如，在模板图像中存在处于距离不同的纹理区域和平坦区域的情况下，图像处理装置10对在平坦区域中错误估计出的伪深度进行校正。
[0101]
具体地，图像处理装置10执行以下处理。
[0102]
例如，为了校正在模板匹配中出现的伪深度，图像处理装置10计算贡献率，贡献率指示在计算目标像素的深度时模板图像内的每个像素的影响程度。然后，图像处理装置10基于计算出的贡献率，将目标像素的深度分配给模板图像中的每个像素。
[0103]
利用该操作，将深度重新定位到模板图像中的像素中的有助于深度计算的像素，从而导致伪深度的减小。图6是示出通过利用本实施方式中描述的方法进行校正而获得的经校正深度图像的图。在图6的示例中，可以看出，上述图3的示例中的所填充熊的左手延伸至线l2的深度已经退回至线l1，这是正确位置。比较图3和图6，明显的是，使用本实施方式中所示的方法实现了伪深度的减小。
[0104]
《2.第一实施方式》
[0105]
以上已经描述了本实施方式的概要。在下文中，将详细描述根据第一实施方式的图像处理装置10。
[0106]
在以下描述中，图像处理装置10基于立体图像计算深度值。然而，替选地，图像处理装置10可以基于图像平面相位差像素来计算深度值。
[0107]
在以下描述中，为便于理解，假设图像处理装置10计算输入图像(例如，捕获图像)的每个像素的深度值。此时，作为深度值的计算对象的目标像素可以是所捕获的亮度图像的每个像素，也可以是离散地布置在图像传感器上的图像平面相位差像素。
[0108]
顺便提及，图像处理装置10可以计算输入图像的预定区域的深度值而不是每个像素的深度值。例如，图像处理装置10可以将由一个图像平面相位差像素对表示的区域(例如，在图5的示例中为14
×
14像素的区域)确定为深度值的计算目标。该修改不仅可以应用于基于图像平面相位差像素计算深度值的情况，而且可以应用于基于立体图像计算深度值的情况。在深度值的计算目标不是像素而是区域的情况下，以下描述中的“像素”的描述可以适当地替换为“区域”。
[0109]
<2
‑
1.图像处理装置的配置>
[0110]
首先，将描述根据第一实施方式的图像处理装置10的配置。
[0111]
图7是示出根据第一实施方式的图像处理装置10的配置示例的图。图像处理装置10是具有图像处理功能的装置。图像处理装置10的具体示例包括移动电话、智能装置(智能电话或平板电脑)、摄像机(例如，数码相机或数码摄像机)、个人数字助理(pda)和个人计算机。图像处理装置10可以是汽车导航器、平视显示器、导航显示器、机器对机器(m2m)装置或物联网(iot)装置。图像处理装置10可以是安装在这些装置上的装置(例如，图像处理处理器)。
[0112]
此外，图像处理装置10可以是安装在移动体上的装置。此时，图像处理装置10可以
是构成移动体操作(驾驶)支持系统(例如，自动制动系统(也称为防撞系统、碰撞减损系统或自动停止系统)、危险检测系统、跟踪系统、汽车导航系统等)的一部分的装置，也可以是构成移动体自主行驶控制系统(例如，自主驾驶系统)的一部分的装置。当然，图像处理装置10也可以简单地是构成移动体行驶控制系统的一部分的装置。注意，图像处理装置10可以是直接支持移动对象的操作(驾驶)的系统，也可以是直接控制移动对象的自主行驶的系统。当然，图像处理装置10可以是直接控制移动体行驶的装置。此外，图像处理装置10可以是移动体本身。
[0113]
移动体可以是在地面(严格来说，陆地)上移动的移动体(例如车辆，如汽车、摩托车、公共汽车、卡车、摩托车、火车或直线电机)，或在地下移动(例如通过隧道)的移动体(例如地铁)。移动体可以是在水上移动的移动体(例如船舶，如客船、货船或气垫船)，也可以是水下移动的移动体(例如潜水艇、潜艇、无人潜艇等)。此外，移动体可以是在大气层中移动的移动体(例如飞行器，如飞机、飞艇或无人机)，也可以是在大气层外移动的移动体(例如人造天文物体，如人造卫星、宇宙飞船、空间站或航天器)。
[0114]
飞机的概念不仅包括诸如飞机和滑翔机的重型飞行器，还包括诸如热气球和飞艇的轻型飞行器。另外，飞行器的概念不仅包括重型飞行器和轻型飞行器，还包括诸如直升机和自动陀螺的旋翼机。注意，飞行器站装置(或其上安装有飞行器站装置的飞行器)可以是诸如无人机的无人驾驶飞行器。
[0115]
例如，图像处理装置10不限于对构成支持移动体的行驶的系统的一部分或全部的装置移动体的自主行驶进行控制的系统，也可以是构成旨在用于测量或监视的系统的一部分或全部的装置。
[0116]
如图7所示，图像处理装置10包括输入/输出单元11、成像单元12、存储单元13和控制单元14。注意，图7所示的配置是功能配置，并且硬件配置可能与此不同。此外，图像处理装置10的功能可以分布并实现在多个物理上分离的装置中。
[0117]
输入/输出单元11是用于与用户交换信息的用户接口。例如，输入/输出单元11是用户用于执行各种操作的诸如键盘、鼠标、操作键和触摸板的操作装置。替选地，输入/输出单元11是诸如液晶显示器或有机电致发光(el)显示器的显示装置。输入/输出单元11可以是诸如扬声器或蜂鸣器的声学装置。此外，输入/输出单元11可以是诸如发光二极管(led)灯的照明装置。输入/输出单元11用作设置在图像处理装置10上的输入/输出装置(输入装置、输出装置、操作装置或通知装置)。
[0118]
输入/输出单元11可以是用于与其他装置通信的通信接口。此时，输入/输出单元11可以是网络接口或装置连接接口。例如，输入/输出单元11可以是局域网(lan)接口例如网络接口卡(nic)，也可以是包括usb主机控制器、usb端口等的通用串行总线(usb)接口。此外，输入/输出单元11可以是有线接口或无线接口。输入/输出单元11用作图像处理装置10中的通信装置。输入/输出单元11在控制单元14的控制下与其他装置进行通信。
[0119]
成像单元12是包括对对象成像的图像传感器的摄像机。成像单元12可以是能够捕获静止图像的摄像机或能够捕获运动图像的摄像机。例如，成像单元12是立体摄像机。成像单元12可以是单目摄像机。成像单元12可以包括其中离散地嵌入图像平面相位差像素的图像传感器。成像单元12用作图像处理装置10中的成像装置。
[0120]
存储单元13是数据可读/可写存储装置，例如动态随机存取存储器(dram)、静态随
机存取存储器(sram)、闪存驱动器或硬盘。存储单元13用作图像处理装置10中的存储装置。例如，存储单元13存储由成像单元12捕获的图像(例如，亮度图像)和由下面描述的视差计算单元142等生成的深度图像。
[0121]
控制单元14是控制图像处理装置10的各个部件的控制器。控制单元14由诸如中央处理单元(cpu)或微处理单元(mpu)的处理器实现。控制单元14可以被配置成控制在控制单元14外部并且执行下面将描述的深度校正处理的图像处理器，或者可以被配置成能够直接执行深度校正处理。控制单元14的功能通过由使用随机存取存储器(ram)等作为工作区的处理器执行存储在图像处理装置10内部的存储装置中的各种程序来实现。注意，控制单元14可以由诸如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路来实现。cpu、mpu、asic、fpga都可以视为控制器。
[0122]
控制单元14包括获取单元141、视差计算单元142、深度校正单元143和输出控制单元144。构成控制单元14的各个块(获取单元141到输出控制单元144)是单独指示控制单元14的功能的功能块。这些功能块可以是软件块或硬件块。例如，上述各功能块可以是由软件(包括微程序)实现的一个软件模块，也可以是半导体芯片(管芯)上的一个电路块。不用说，每个功能块可以形成为一个处理器或一个集成电路。可以使用任何方法来配置功能块。注意，控制单元14可以配置在与上述功能块不同的功能单元中。
[0123]
深度图像由视差计算单元142生成，而深度图像由深度校正单元143校正。在下文中，将使用功能块图描述视差计算单元142和深度校正单元143的功能。注意，视差计算单元142和深度校正单元143中包括的功能块可以是由软件实现的一个软件模块，也可以是半导体芯片上的一个电路块。不用说，每个功能块可以形成为一个处理器或一个集成电路。可以使用任何方法来配置功能块。注意，视差计算单元142和深度校正单元143可以由与以下功能块不同的功能单元进行配置。
[0124]
[视差计算单元]
[0125]
视差计算单元142计算捕获图像的每个像素(或每个区域)的深度值(在下文中，称为深度计算)并且基于深度值生成深度图像。图8是示出视差计算单元142的配置示例的图。视差计算单元142包括模板图像确定单元142a、估计值计算单元142b和视差确定单元142c。模板图像确定单元142b从存储单元13中获取捕获图像。捕获图像可以是获取单元141从成像单元12获取的图像，也可以是获取单元141经由输入/输出单元11从外部装置获取的图像。然后，模板图像确定单元142a确定估计值的计算范围。随后，估计值计算单元142b计算估计值。接下来，视差确定单元142c基于估计值生成深度图像。注意，视差计算单元142可以通过传统方法生成深度图像或者可以通过与传统方法不同的方法生成深度图像。
[0126]
[深度校正单元]
[0127]
深度校正单元143校正由视差计算单元142生成的深度图像以生成经校正深度图像。此时，深度校正单元143校正由视差计算单元142计算的深度值，从而计算校正深度值。然后，深度校正单元143基于校正深度值生成经校正深度图像。
[0128]
图9是示出深度校正单元143的配置示例的图。深度校正单元143包括贡献率计算单元143a和校正单元143b。贡献率计算单元143a从存储单元13获取捕获图像并且获取与捕获图像相对应的深度图像。深度图像可以是由视差计算单元142生成的图像，也可以是获取单元141经由输入/输出单元11从外部装置获取的图像。然后，贡献率计算单元143a计算目
标像素(或目标区域)在输入图像(捕获图像)中包括的多个像素(或多个区域)的每一个的深度计算中的贡献率。随后，校正单元143b基于贡献率计算单元143a计算的贡献率校正目标像素(或目标区域)的深度值。然后，校正单元143b基于经校正深度值生成经校正深度图像。
[0129]
<2
‑
2.图像处理装置的操作>
[0130]
接下来，将描述根据第一实施方式的图像处理装置10的操作。
[0131]
图像处理装置10执行对深度图像进行校正的深度校正处理。深度校正处理由图像处理装置10的深度校正单元143执行。图10是示出输入到深度校正单元143的输入信号和从深度校正单元143输出的经校正深度图像的示例的图。在图10的示例中，将捕获图像和与捕获图像相对应的深度图像输入到深度校正单元143作为输入信号。深度图像可以是视差计算单元142通过深度计算生成的图像。随后，深度校正单元143输出深度重定位图像作为经校正深度图像。
[0132]
在下文中，将详细描述第一实施方式的深度校正处理。图11是示出根据第一实施方式的深度校正处理的流程图。如上所述，深度校正处理由深度校正单元143执行。例如，在已经输入深度图像和捕获图像之后，深度校正单元143开始深度校正处理。注意，以下描述的部分或全部处理可以通过软件(程序)或硬件电路来实现。在以下描述中，示出了立体图像处理的示例性情况，本实施方式的应用不限于立体图像处理。
[0133]
首先，深度校正单元143的贡献率计算单元143a获取深度图像和捕获图像(步骤s101)。捕获图像可以包括标准图像和参考图像。代替视差计算单元142，贡献率计算单元143a可以在该步骤中通过模板匹配来确定目标像素i的深度。此外，视差计算单元142可以确定目标像素i的深度。目标像素i是作为深度值计算目标的像素，并且例如是标准图像中包括的多个像素中的第i个像素。贡献率计算单元143a基于标准图像和参考图像中的至少一个图像来计算贡献率。
[0134]
接下来，贡献率计算单元143a计算目标像素在捕获图像中包括的多个像素的每一个的深度计算中的贡献率(步骤s102)。贡献率计算单元基于捕获图像包括的多个像素的每一个的特征量，计算目标像素的贡献率。贡献率计算单元143a可以基于标准图像和参考图像中的至少一个图像来计算贡献率。
[0135]
特征量表示图像的特征。在图2的图像中，作为示例，平坦区域中的像素的特征量是小的值，并且纹理区域中的像素的特征量是大的值。不用说，特征量的特征不限于该示例。例如，可以限定特征量，使得像素越靠近图像的边缘，特征量越大。贡献率计算单元143a也可以基于标准图像和参考图像中的至少一个图像来计算特征量。
[0136]
特征量的示例是边缘强度。此时，贡献率计算单元143a也可以基于包括目标像素i的预定范围的多个像素(例如目标像素和与该目标像素相邻的八个像素)中的每一个的边缘强度，计算目标像素的贡献率。例如，贡献率计算单元143a计算在确定目标像素i的深度值时使用的模板图像的每个像素j(例如，包括目标像素i的标准图像的预定范围)的边缘的强度，并且根据该边缘的强度计算贡献率r
i,j
。此处，贡献率r
i,j
指示在确定目标像素i中的深度值时像素j的贡献率。例如，贡献率计算单元143a通过以下公式(3)计算贡献率r
i,j
。
[0137]
[数学式3]
[0138][0139]
在公式(3)中，i
j
是像素j的边缘强度。例如，边缘强度可以是使用sobel滤波器、prewitt滤波器、一阶微分滤波器、laplacian滤波器或canny方法计算的强度，或者可以是通过在垂直于立体极线的方向上计算这些而获得的强度。计算边缘强度的方法不限于此，并且可以采用各种已知的方法。不用说，贡献率计算单元143a也可以使用独特边缘计算方法来计算边缘强度。
[0140]
贡献率计算单元143a针对所有的目标像素i，计算确定目标像素i本身所包含的像素(下文中称为像素j)的深度值时的贡献率。注意，目标像素i在确定像素j的深度值时的贡献率变为r
j,i
，其中，公式(3)所示的r
j,i
的i和j已经被切换。顺便提及，用于计算贡献率的预定范围的尺寸和形状并不限于长
×
宽为3
×
3的尺寸和形状。预定范围的尺寸和形状可以根据下面描述的步骤s103中的处理而适当地改变。
[0141]
接下来，校正单元143b基于贡献率和深度图像，针对所有目标像素i计算经校正深度值。然后，校正单元143b基于经校正深度值生成经校正深度图像(深度重定位图像)(步骤s103)。
[0142]
此处，校正单元143b可以使用以下公式(4)计算通过校正目标像素i的深度值y
i
而获得的经校正深度值y
i
'。由经校正深度值y
i
'形成的图像成为经校正深度图像(深度重定位图像)。
[0143]
[数学式4]
[0144][0145]
图12是示出深度重定位的图。在公式(4)中，n表示模板图像t1的像素中的、在计算目标像素i的深度值时涉及的像素j(包括目标像素i)的数目。此外，y
j
表示像素j的深度值(j∈n)。在图12的示例中，通过以目标像素i为中心的、3
×
3范围(图12所示的模板图像t2)中的像素计算目标像素i的深度值。因此，在图12的示例中，n为9。
[0146]
注意，图12所示的模板图像t2是在比模板图像t1更小的范围中的图像，并且位于模板图像t1中。模板图像t2的像素数为m。模板图像t2对应于上述贡献率计算中的预定范围。在图12的示例中，模板图像t2是具有尺寸和形状为3
×
3的图像，并且因此m是9。模板图像t2的尺寸和形状不限于图12所示的尺寸和形状。m不一定必须是9。不仅模板图像t2的尺寸和形状，而且模板图像t1的尺寸和形状都可以任意改变。以相同的方式，n不一定必须是9。
[0147]
在公式(4)中，贡献率r
j,i
指示像素i在确定像素j的深度值y
j
时的贡献率。为了便于理解，将参照图13a至图13i描述贡献率r
j,i
。图13a至图13i是示出贡献率r
j,i
的图。j的值和像素j的位置之间的对应关系不一定是图13a至图13i所示的关系。
[0148]
图13a是示出当j是1时的贡献率r
j,i
的图。当j是1时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
1,i
。
[0149]
图13b是示出当j是2时的贡献率r
j,i
的图。当j是2时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为
r
2,i
。
[0150]
图13c是示出当j是3时的贡献率r
j,i
的图。当j是3时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
3,i
。
[0151]
图13d是示出当j是4时的贡献率r
j,i
的图。当j是4时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
4,i
。
[0152]
图13e是示出当j是5时的贡献率r
j,i
的图。当j是5时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
5,i
。
[0153]
图13f是示出当j是6时的贡献率r
j,i
的图。当j是6时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
6,i
。
[0154]
图13g是示出当j是7时的贡献率r
j,i
的图。当j是7时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
7,i
。
[0155]
图13h是示出当j是8时的贡献率r
j,i
的图。当j是8时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
8,i
。
[0156]
图13i是示出当j是9时的贡献率r
j,i
的图。当j是9时，像素j的深度值y
j
由图中以灰色示出的模板图像t2的九个像素确定。在该示例中，像素i在确定深度值y
j
时的贡献率为r
9,i
。
[0157]
校正单元143b基于贡献率r
j,i
计算目标像素i的经校正深度值y
i
'。更具体地，如上述公式(4)所示，校正单元143b基于以贡献率r
j,i
为权重的n个像素j(包括目标像素i)的加权平均值，计算目标像素i的经校正深度值y
i
'。
[0158]
注意，计算目标像素i的经校正深度值y
i
'的方法不限于以上方法。例如，如以下公式(5)所示，校正单元143b可以基于以贡献率r
j,i
为权重的n个像素j(包括目标像素i)的加权中值来计算目标像素i的经校正深度值y
i
'。
[0159]
[数学式5]
[0160][0161]
在完成所有目标像素i的经校正深度值y
i
'的计算之后，校正单元143b基于经校正深度值y
i
'生成经校正深度图像(深度重定位图像)。图14是示出深度图像和通过校正深度图像获得的经校正深度图像的图。图像处理装置10的输出控制单元144控制输入/输出单元11以输出经校正深度图像。在完成经校正深度图像的输出的情况下，校正单元143b完成深度校正处理。
[0162]
根据本实施方式，图像处理装置10基于目标像素i在捕获图像中包括的多个像素j中的每一个的深度计算中的贡献率来校正目标像素i的深度值。通过该操作，当在计算目标像素i的深度值的情况下目标像素i本身的贡献率高时(例如，当目标像素i在纹理区域中
时)，将保持目标像素i的深度值。相比之下，当在计算目标像素i的深度值的情况下目标像素i的贡献率低时(例如，当目标像素i在纹理区域附近的平坦区域中时)，将在接管其中在计算深度值时目标像素i的贡献率高的另一周边像素的深度值的方向上校正该值。因此，图像处理装置10可以生成伪深度少且精度高的深度图像(经校正深度图像)。
[0163]
《3.第二实施方式(基于校正强度的校正)》
[0164]
接下来，将描述根据第二实施方式的图像处理装置。
[0165]
为了根据应用控制相位校正图像的平滑度，提出了一种通过根据图像结构的重新定位来执行校正强度的基于区域的控制的方法。虽然所提出的重新定位技术除了在被摄体边界区域中的相位校正效果之外，还由于在非被摄体边界区域中的重新定位而具有去噪效果，但是存在深度图像由于该平滑效果而模糊的不利效果。例如，虽然通过使用第一实施方式所示的方法可以减小伪深度，但是如从图14中可以看出，要输出的经校正深度图像整体上将是模糊图像。为了处理该问题，提出了通过将处理限制到被认为具有相位恢复效果的被摄体区域来抑制上述深度模糊的方法。
[0166]
例如，在第二实施方式中，图像处理装置10计算校正强度(校正强度图像)，并且使用计算的校正强度(校正强度图像)来控制经校正深度值的校正，以减少输出模糊。此处，校正强度图像是每个像素的校正强度的图像。校正强度是例如指示当组合深度图像和经校正深度图像(深度重新定位图像)时每个像素的合成权重的值。在原始深度图像更优选的部分(像素)处校正强度高，而在经校正深度图像更优选的部分(像素)处校正强度低。根据第二实施方式的图像处理装置10通过使用校正强度来控制深度图像和经校正深度图像的合成，减少输出模糊。以下将详细描述校正强度。
[0167]
<3
‑
1.图像处理装置的配置>
[0168]
首先，将描述根据第二实施方式的图像处理装置10的配置。第二实施方式的图像处理装置10的配置类似于图7和图8所示的第一实施方式的图像处理装置10的配置，其中深度校正单元143的配置与第一实施方式的深度校正单元143的配置部分不同。
[0169]
与第一实施方式的深度校正单元143类似，第二实施方式的深度校正单元143校正由视差计算单元142生成的深度图像并且生成经校正深度图像。此时，深度校正单元143校正由视差计算单元142计算的深度值，从而计算经校正深度值。然后，深度校正单元143基于经校正深度值生成经校正深度图像(深度重定位图像)。此外，深度校正单元143基于校正强度来更新经校正深度图像(深度重定位图像)，以获取更新的经校正深度图像。“更新的经校正深度图像”是一种经校正深度图像。
[0170]
图15是示出深度校正单元143的配置示例的图。深度校正单元143包括贡献率计算单元143a、校正单元143b和校正强度计算单元143c。校正强度计算单元143c从存储单元13获取捕获图像并且获取与该捕获图像相对应的深度图像。深度图像可以是由视差计算单元142生成的图像，或者可以是由获取单元141经由输入/输出单元11从外部装置获取的图像。校正强度计算单元143c基于捕获图像来计算校正强度。以下将详细描述计算校正强度的方法。
[0171]
然后，贡献率计算单元143a计算目标像素(或目标区域)在输入图像(捕获图像)中包括的多个像素(或多个区域)的每一个的深度计算中的贡献率。随后，校正单元143b基于由贡献率计算单元143a计算的贡献率来校正目标像素(或目标区域)的深度值。然后，校正
单元143b基于经校正深度值生成经校正深度图像(深度重定位图像)。此外，校正单元143b基于校正强度更新经校正深度图像(深度重定位图像)以获取更新的经校正深度图像。
[0172]
除深度校正单元143之外的配置与第一实施方式的图像处理装置10的配置类似。
[0173]
<3
‑
2.图像处理装置的操作>
[0174]
接下来，将描述根据第二实施方式的图像处理装置10的操作。
[0175]
图像处理装置10执行对深度图像进行校正的深度校正处理。图16是示出根据第二实施方式的深度校正处理的流程图。图16所示的深度校正处理由图像处理装置10的深度校正单元143执行。
[0176]
如上所述，深度校正单元143包括计算校正强度的校正强度计算单元143c。深度校正单元143的校正单元143b基于由校正强度计算单元143c计算的校正强度来更新经校正深度图像(深度重定位图像)，从而获取更新的经校正深度图像。图17是示出校正单元143b更新经校正深度图像的状态的图。在图17的示例中，校正单元143b通过使用校正强度对深度图像和深度重定位图像应用alpha混和(α
‑
混和)，从而获取更新的经校正深度图像(相位校正图像)。在本实施方式中，校正强度是在深度图像和深度重定位图像的α混合中使用的系数。
[0177]
在下文中，将参照图16的流程图描述第二实施方式的深度校正处理。例如，在已经输入深度图像和捕获图像之后，深度校正单元143开始深度校正处理。注意，以下描述的部分或全部处理可以由软件(程序)或硬件电路来实现。在以下描述中，示出了立体图像处理的示例性情况，本实施方式的应用不限于立体图像处理。
[0178]
首先，深度校正单元143的校正强度计算单元143c获取深度图像和捕获图像(步骤s201)。捕获图像可以包括标准图像和参考图像。
[0179]
然后，校正强度计算单元143c基于捕获图像计算目标像素i的校正强度w
i
(步骤s202)。例如，校正强度计算单元143c基于目标像素i的特征量计算校正强度w
i
。特征量的示例是边缘强度。例如，基于目标像素i的边缘强度计算校正强度w
i
。例如，校正强度计算单元143c通过以下公式(6)计算校正强度w
i
。
[0180]
[数学式6]
[0181]
w
i
＝1.0
‑
i
′
i
…
(6)
[0182]
此处i
i
′
是通过将目标像素i的边缘强度i
i
归一化到0至1的范围而获得的边缘强度。作为边缘强度i
i
′
的计算源的边缘强度i
i
可以是例如使用sobel滤波器、prewitt滤波器、一阶微分滤波器、laplacian滤波器或canny方法计算的强度，或者可以是在垂直于立体极线的方向上计算的强度。计算边缘强度i
i
的方法不限于此，并且可以采用各种已知方法。不用说，校正强度计算单元143c可以使用独特的边缘计算方法来计算边缘强度i
i
。
[0183]
在公式(6)中示出的校正强度w
i
在目标像素i处于边缘时为小的值，在目标像素i处于远离边缘的位置时为大的值。通过使用校正强度w
i
组合深度图像和经校正深度图像(深度重定位图像)，图像处理装置10可以获得经校正深度图像作为更清晰的图像。校正强度计算单元143c针对所有目标像素i计算校正强度w
i
。此时，可以基于计算的校正强度生成校正强度图像。校正强度图像是每个像素的校正强度的图像。
[0184]
随后，贡献率计算部143a计算目标像素在捕获图像中包括的多个像素的每一个的深度计算中的贡献率(步骤s203)。接下来，校正单元143b基于贡献率和深度图像，针对所有
目标像素i计算经校正深度值。然后，校正单元143b基于经校正深度值生成经校正深度图像(深度重定位图像)(步骤s204)。步骤s203和步骤s204的处理可以分别与第一实施方式中的步骤s102和步骤s103的处理相同。
[0185]
接下来，校正单元143b使用校正强度图像和深度图像更新经校正深度图像(步骤s205)。例如，校正单元143b通过使用校正强度图像对深度图像和经校正深度图像应用α混合来更新经校正深度图像。此处，在经校正深度图像中的目标像素i的经校正深度值为y
i
′
的情况下，例如能够通过以下公式(7)来计算作为经校正深度值y
i
′
的更新结果的经校正深度值y
i
″
。
[0186]
[数学式7]
[0187]
y
″
i
＝w
i
y
′
i
(1.0
‑
w
i
)y
i
…
(7)
[0188]
在完成所有目标像素i的经校正深度值y
i
″
的计算之后，校正单元143b基于经校正深度值y
i
″
来更新经校正深度图像。图像处理装置10的输出控制单元144控制输入/输出单元11，以输出更新的经校正深度图像。在完成更新的经校正深度图像的输出之后，校正单元143b完成深度校正处理。
[0189]
注意，校正单元143b可以将在步骤s204中生成的经校正深度图像(深度重定位图像)一次扩展到缓冲器，并且然后将经校正深度图像与深度图像混合，或者可以在不将经校正深度图像(深度重定位图像)扩展到缓冲器的情况下直接将经校正深度值y
i
″
应用到深度图像。
[0190]
根据本实施方式，图像处理装置10基于校正强度来更新经校正深度图像(深度重定位图像)，因此可以生成清楚的经校正深度图像。
[0191]
《4.第三实施方式(基于不均匀性的校正强度的计算)》
[0192]
接下来，将描述根据第三实施方式的图像处理装置10。
[0193]
通过使用第一实施方式中描述的方法，可以减小伪深度。然而，如图14可以看出，应用第一实施方式中描述的方法可以产生作为整体模糊图像的输出经校正深度图像。另外，可能存在前景深度的一部分被刮掉的现象。
[0194]
图18是示出在经校正深度图像中出现的问题的图。如图18所示，可以看出，所填充熊的头部的一部分已被刮掉。这被认为是由于在双边缘处的紧张的前景深度(真)而导致的背景深度(假)的侵入而引起的。例如，双边缘指的是不同边缘已经侵入模板图像t2的状态。这样的示例是两个边缘——即上边缘和下边缘或者左边缘和右边缘——在模板图像t2上延伸的状态。
[0195]
因此，在第三实施方式中，图像处理装置10基于模板图像t2中的特征量的偏差(不均匀性)来计算校正强度w
i
。此时，图像处理装置10在模板图像t2的特征量存在偏差的情况下(例如，在模板图像t2中仅存在一个边缘的情况下)，提高校正强度w
i
，并且在模板图像t2的特征量不存在偏差的情况下(例如，在模板图像t2中存在多个边缘的情况下，或者在模板图像t2中不存在边缘的情况下)，降低校正强度w
i
。第三实施方式的图像处理装置10通过使用以这种方式计算的校正强度来控制深度图像和经校正深度图像的合成，从而减少双边缘处的误差。
[0196]
《4
‑
1.图像处理装置的配置》
[0197]
首先，将描述根据第三实施方式的图像处理装置10的配置。第三实施方式的图像
处理装置10的配置类似于第二实施方式的图像处理装置10的配置，其中深度校正单元143的功能与第二实施方式的深度校正单元143的功能部分不同。
[0198]
与图15所示的第二实施方式的深度校正单元143类似，第三实施方式的深度校正单元143包括贡献率计算单元143a、校正单元143b和校正强度计算单元143c。校正强度计算单元143c从存储单元13获取捕获图像，并且获取与该捕获图像相对应的深度图像。深度图像可以是由视差计算单元142生成的图像，或者可以是由获取单元141经由输入/输出单元11从外部装置获取的图像。校正强度计算单元143c基于捕获图像来计算校正强度。以下将详细描述计算校正强度的方法。
[0199]
然后，贡献率计算单元143a计算目标像素(或目标区域)在输入图像(捕获图像)中包括的多个像素(或多个区域)的每一个的深度计算中的贡献率。随后，校正单元143b基于由贡献率计算单元143a计算的贡献率来校正目标像素(或目标区域)的深度值。然后，校正单元143b基于经校正深度值生成深度重定位图像(经校正深度图像)。此外，校正单元143b基于校正强度来更新深度重定位图像(经校正深度图像)，从而生成相位校正图像(更新的经校正深度图像)。相位校正图像是一种经校正深度图像。
[0200]
除深度校正单元143之外的配置与第二实施方式的图像处理装置10的配置类似。
[0201]
<4
‑
2.图像处理装置的操作>
[0202]
接下来，将描述根据第三实施方式的图像处理装置10的操作。
[0203]
图像处理装置10执行对深度图像进行校正的深度校正处理。图19是示出根据第三实施方式的深度校正处理的流程图。图19所示的深度校正处理由图像处理装置10的深度校正单元143执行。
[0204]
如上所述，深度校正单元143包括计算校正强度的校正强度计算单元143c。深度校正单元143的校正单元143b基于由校正强度计算单元143c计算的校正强度来更新深度重定位图像(经校正深度图像)，从而生成相位校正图像(更新的经校正深度图像)。
[0205]
图20是示出校正单元143b生成相位校正图像的状态的图。在图20的示例中，校正单元143b基于捕获图像的梯度图(边缘图像)生成相位校正图。在第三实施方式中，相位校正图对应于校正强度图像。校正单元143b通过使用校正强度(校正强度图像)对深度图像和深度重定位图像应用α混合，来生成相位校正图像。在本实施方式中，校正强度是在深度图像和深度重定位图像的α混合中使用的系数。
[0206]
在下文中，将参照图19的流程图描述第三实施方式的深度校正处理。例如，在已经输入深度图像和捕获图像之后，深度校正单元143开始深度校正处理。注意，以下描述的部分或全部处理可以由软件(程序)或硬件电路来实现。在以下描述中，示出了立体图像处理的示例性情况，本实施方式的应用不限于立体图像处理。
[0207]
首先，深度校正单元143的校正强度计算单元143c获取深度图像和捕获图像(步骤s301)。捕获图像可以包括标准图像和参考图像。
[0208]
然后，校正强度计算单元143c基于捕获图像计算目标像素i的校正强度w
i
(步骤s302)。例如，校正强度计算单元143c基于“目标像素i的特征量”和“在目标像素i的深度计算中使用的模板图像t2中的特征量的偏差(不均匀性)”计算校正强度w
i
。“目标像素i的特征量”的示例是目标像素i的边缘强度i
i
。另外，“在目标像素i的深度计算中使用的模板图像t2中的特征量的偏差(不均匀性)”是目标像素i的深度计算中使用的模板图像t2中的边
缘偏差d
i
。例如可以通过以下公式(8)来计算边缘偏差d
i
。
[0209]
[数学式8]
[0210][0211]
此处，m与第一实施方式中描述的m类似。即，m是模板图像t2的像素的数目。在图12的示例中，m是9。
[0212]
另外，(x
j
,y
j
)指示目标像素i的模板图像t2中的像素j以目标像素i为中心的相对位置。此外，贡献率r
i,j
指示像素j在确定像素i的深度值y
i
时的贡献率。为了便于理解，将参照图21a至图21i描述贡献率r
i,j
。图21a至图21i是示出贡献率r
i,j
的图。注意，j的值与像素j的位置之间的对应关系不必是图21a至图21i中所示的关系。
[0213]
图21a是示出当j为1时的贡献率r
i,j
的图。在图21a的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
,y
j
)为(
‑
1,1)，并且像素j在确定深度值y
i
时的贡献率为r
i,1
。
[0214]
图21b是示出当j为2时的贡献率r
i,j
的图。在图21b的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
,y
j
)为(0,1)，并且像素j在确定深度值y
i
时的贡献率为r
i,2
。
[0215]
图21c是示出当j为3时的贡献率r
i,j
的图。在图21c的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
,y
j
)为(1,1)，并且像素j在确定深度值y
i
时的贡献率为r
i,3
。
[0216]
图21d是示出当j为4时的贡献率r
i,j
的图。在图21d的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
,y
j
)为(
‑
1,1)，并且像素j在确定深度值y
i
时的贡献率为r
i,4
。
[0217]
图21e是示出当j为5时的贡献率r
i,j
的图。在图21e的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
,y
j
)为(0,0)，并且像素j在确定深度值y
i
时的贡献率为r
i，5
。
[0218]
图21f是示出当j为6时的贡献率r
i，j
的图。在图21f的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
，y
j
)为(1，0)，并且像素j在确定深度值y
i
时的贡献率为r
i，6
。
[0219]
图21g是示出当j为7时的贡献率r
i，j
的图。在图21g的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
，y
j
)为(
‑
1，
‑
1)，并且像素j在确定深度值y
i
时的贡献率为r
i，7
。
[0220]
图21h是示出当j为8时的贡献率r
i，j
的图。在图21h的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
，y
j
)为(0，
‑
1)，并且像素j在确定深度值y
i
时的贡献率为r
i，8
。
[0221]
图21i是示出当j为9时的贡献率r
i，j
的图。在图21i的示例中，像素i的深度值y
i
由图中以灰色表示的模板图像t2的九个像素决定。在该示例中，像素j的相对位置(x
j
，y
j
)为(1，
‑
1)，并且像素j在确定深度值y
i
时的贡献率为r
i，9
。
[0222]
校正强度计算单元143c基于目标像素i的边缘强度和边缘偏差d
i
计算校正强度w
i
。例如，校正强度计算单元143c通过以下公式(9)计算校正强度w
i
。
[0223]
[数学式9]
[0224]
w
i
＝(1.0
‑
i
′
i
)d
i
…
(9)
[0225]
此处，i
i
′
是通过将目标像素i的边缘强度i
i
归一化到0至1的范围而获得的边缘强度。作为边缘强度i
i
′
的计算源的边缘强度i
i
可以是例如使用sobel滤波器、prewitt滤波器、一阶微分滤波器、laplacian滤波器或canny方法计算的强度，或者可以是在垂直于立体极线的方向上计算的强度。计算边缘强度i
i
的方法不限于此，并且可以采用各种已知方法。不用说，校正强度计算单元143c可以使用独特的边缘计算方法来计算边缘强度i
i
。
[0226]
由公式(9)表达的校正强度w
i
在模板图像t2的特征量在确定目标像素i的深度值y
i
时具有偏差的情况下为大的值，并且模板图像t2的特征量不具有偏差的情况下(例如，在双边缘或无边缘的情况下)为小的值。通过使用校正强度w
i
组合深度图像和经校正深度图像(深度重定位图像)，图像处理装置10可以获得误差较少且高度准确的经校正深度图像。校正强度计算单元143c针对所有目标像素i计算校正强度w
i
。此时，可以基于计算的校正强度生成校正强度图像。
[0227]
随后，贡献率计算部143a计算目标像素在捕获图像中包括的多个像素的每一个的深度计算中的贡献率(步骤s303)。接下来，校正单元143b基于贡献率和深度图像，针对所有目标像素i计算经校正深度值。然后，校正单元143b基于经校正深度值生成经校正深度图像(深度重定位图像)(步骤s304)。步骤s303和步骤s304的处理可以分别与第一实施方式中的步骤s102和步骤s103的处理相同。
[0228]
接下来，校正单元143b使用校正强度图像和深度图像更新经校正深度图像(步骤s305)。例如，校正单元143b通过使用校正强度图像对深度图像和经校正深度图像应用α混合来更新经校正深度图像。此处，在经校正深度图像中的目标像素i的经校正深度值为y
i
'的情况下，例如能够通过下述公式(7)来计算作为经校正深度值y
i
'的更新结果的经校正深度值y
i”。
[0229]
在完成所有目标像素i的经校正深度值y
i”的计算之后，校正单元143b基于经校正深度值y
i”来更新经校正深度图像。图22是示出深度图像和通过校正深度图像获得的相位校正图像的图。图像处理装置10的输出控制单元144控制输入/输出单元11，以输出相位校正图像。在完成相位校正图像的输出之后，校正单元143b完成深度校正处理。
[0230]
注意，校正单元143b可以将在步骤s304中生成的经校正深度图像(深度重定位图像)一次扩展到缓冲器，并且然后将经校正深度图像与深度图像混合，或者可以在不将经校正深度图像(深度重定位图像)扩展到缓冲器的情况下直接将经校正深度值y
i”应用到深度图像。
[0231]
根据本实施方式，图像处理装置10可以由于双边缘等生成误差较少的经校正深度图像。图23是示出深度重定位图像的一部分和与该部分相对应的相位校正图像的一部分的图。从图23可以看出，在深度重定位图像中被刮掉的头部的一部分现在在相位校正图像中得到了改进。此外，明显的是，左侧部分没有出现伪深度，指示保持了伪深度减少效果。另外，观察到图像更清楚并且输出模糊减少。
[0232]
《5.修改》
[0233]
上述实施方式中的每一个都是示例，并且可以进行各种修改和应用。
[0234]
例如，在上述每个实施方式中，图像处理装置10使用静止图像作为输入来生成深度图像(经校正深度图像)。替选地，图像处理装置10可以使用运动图像作为输入来生成深度图像(经校正深度图像)。
[0235]
在这种情况下，图像处理装置10还可以使用利用目标图像及其前后帧图像计算出的深度边缘图e来计算第二实施方式和第三实施方式所描述的目标像素i的校正强度w
i
。深度边缘图e的计算可以通过使用例如下述的方法来完成：aleksander holynski和johannes kopf,fast depth densification for occlusion
‑
aware augmented reality，美国计算机学会图形汇刊(tog)，第37卷，2018年。在这种情况下，图像处理装置10可以通过计算目标图像与前后帧之间的光流并将计算出的光流的梯度强度相加来计算深度边缘图e。深度边缘图e的附加使用使得能够从图像的边缘中仅有效地选择具有深度差的边缘，使得可以将该技术选择性地应用于以本实施方式的效果为目标的图像区域，从而使得改进校正精度。
[0236]
在上述各实施方式中，贡献率计算单元143a基于诸如边缘强度的特征量来计算贡献率。替选地，贡献率计算单元143a可以基于包括目标像素i的模板图像t2的多个像素的特征量的总和来计算贡献率。
[0237]
在上述各实施方式中，尽管贡献率计算单元143a基于边缘强度来计算贡献率，但计算贡献率的方法不限于使用边缘强度的方法。例如，此处是捕获图像是包括标准图像和参考图像的立体图像的假设情况。此时，贡献率计算单元143a可以使用匹配估计值作为特征量来计算贡献率，该匹配估计值指示包括目标像素i的标准图像的模板图像(预定范围)与模板图像所对应的参考图像的模板图像(对应范围)之间的匹配程度。
[0238]
控制本实施方式的图像处理装置10的控制装置可以由专用计算机系统或通用计算机系统来实现。
[0239]
例如，用于执行上述操作(例如，深度校正处理)的程序存储在诸如光盘、半导体存储器、磁带或软盘的计算机可读记录介质中并且被分发。例如，将程序安装在计算机上并且执行上述处理以实现控制装置的配置。此时，控制装置可以是图像处理装置10外部的装置(例如个人计算机)或图像处理装置10内部的装置(例如控制单元14)。
[0240]
此外，例如，通信程序可以存储在包括在诸如因特网的网络上的服务器装置中的磁盘装置中，以便能够下载到计算机。此外，上述功能可以通过操作系统(os)和应用软件协同来实现。在这种情况下，例如，除os以外的部分可以存储在用于分发的介质中，或者除os以外的部分可以存储在服务器装置中以便下载到计算机。
[0241]
此外，在以上实施方式中描述的各个处理中，被描述为自动执行的全部或部分处理可以手动执行，或者别描述为手动执行的处理可以通过已知方法自动执行。另外，除非另有说明，否则上述文件或附图中所示的处理程序、具体名称以及包括各种数据和参数的信息可以任意更改。例如，在每幅图中示出的各种类型的信息不限于示出的信息。
[0242]
另外，每个装置的每个部件都是作为功能和概念说明提供的，因此不一定必须如图所示进行物理配置。即，各装置的具体分布/集成形式不限于图中所示的这些形式，并且全部或部分装置可以根据各种负载和使用条件在功能上或物理上分布或集成到任意单元中。
[0243]
此外，上述实施方式可以在不与处理矛盾的情况下在可实现范围内适当地组合。
此外，可以适当地改变本实施方式的流程图中所示的各个步骤的顺序。
[0244]
此外，本实施方式可以实现为构成装置或系统的任何配置，例如，作为片上系统(soc；也称为系统大规模集成(lsi)等)的处理器、使用多个处理器等的模块、使用多个模块的单元等、通过进一步向该单元添加其他功能而获得的集合等(即，装置的一部分的配置)。
[0245]
在本实施方式中，系统表示多个组成(装置、模块(部件)等)的集合，并且所有部件是否在同一壳体中不是大问题。因此，容纳在不同壳体中并经由网络连接的多个装置以及多个模块容纳在一个壳体中的一个装置两者都是系统。
[0246]
此外，例如，本实施方式可以采用云计算的配置，其中一个功能由多个装置经由网络协作共享和处理。
[0247]
《6.结论》
[0248]
如上所述，根据本公开内容的一个实施方式，可以将当期望不同输出值的区域混合在模板图像中时出现的错误估计结果校正到通过比较图像信号获得的、由模板匹配等表示的计算的输出结果。例如，在立体图像处理中，可以校正在模板图像中混合处于不同距离处的像素的情况下出现的伪深度。具体地，当模板图像中存在处于不同距离的纹理区域和平坦区域时，可以校正平坦区域中错误估计的伪深度。
[0249]
本实施方式可以应用于诸如使用深度图像的前景/背景提取和重新聚焦处理的应用。此外，本实施方式可以广泛应用于通过图像信号的比较计算出的输出结果的校正，从而可以校正诸如光流估计或对象检测的输出结果。
[0250]
以上已经描述了本公开内容的实施方式。然而，本公开内容的技术范围不限于上述实施方式，并且可以在不脱离本公开内容的范围的情况下进行各种修改。此外，允许将跨不同实施方式的部件和适当的修改组合。
[0251]
本说明书的各个实施方式中描述的效果仅是示例，并且因此，可以存在其他效果，不限于例示的效果。
[0252]
注意，本技术还可以具有以下配置。
[0253]
(1)
[0254]
一种图像处理装置，包括：
[0255]
贡献率计算单元，其计算预定像素或预定区域在输入图像中包括的多个像素或多个区域中的每一个的深度计算中的贡献率；以及
[0256]
校正单元，其基于所述贡献率校正所述预定像素或所述预定区域的深度值。
[0257]
(2)
[0258]
根据(1)所述的图像处理装置，
[0259]
其中，所述贡献率计算单元计算所述预定像素在包括所述预定像素的所述输入图像的预定范围内的多个像素中的每一个的深度计算中的贡献率，以及
[0260]
所述校正单元基于所述预定像素在所述预定范围内的多个像素中的每一个的深度计算中的贡献率来计算所述预定像素的经校正深度值。
[0261]
(3)
[0262]
根据(2)所述的图像处理装置，
[0263]
其中，所述校正单元使用所述预定像素在所述预定范围内的多个像素中的每一个的深度计算中的贡献率作为权重，基于所述多个像素的深度值的加权平均值，计算所述预
定像素的深度值的经校正深度值。
[0264]
(4)
[0265]
根据(2)所述的图像处理装置，
[0266]
其中，所述校正单元使用所述预定像素在所述预定范围内的多个像素中的每一个的深度计算中的贡献率作为权重，基于所述多个像素的深度值的加权中值，计算所述预定像素的深度值的经校正深度值。
[0267]
(5)
[0268]
根据(1)所述的图像处理装置，
[0269]
其中，所述贡献率计算单元计算所述预定区域在包括所述预定区域的所述输入图像的预定范围内的多个区域中的每一个的深度计算中的贡献率，并且
[0270]
所述校正单元基于所述预定区域在所述预定范围内的多个区域中的每一个的深度计算中的贡献率来计算所述预定区域的经校正深度值。
[0271]
(6)
[0272]
根据(5)所述的图像处理装置，
[0273]
其中，所述校正单元使用所述预定区域在所述预定范围内的多个区域中的每一个的深度计算中的贡献率作为权重，基于所述多个区域的深度值的加权平均值，计算所述预定区域的深度值的经校正深度值。
[0274]
(7)根据(5)所述的图像处理装置，
[0275]
其中，所述校正单元使用所述预定区域在所述预定范围内的多个区域中的每一个的深度计算中的贡献率作为权重，基于所述多个区域的深度值的加权中值，计算所述预定区域的深度值的经校正深度值。
[0276]
(8)
[0277]
根据(1)至(7)中任一项所述的图像处理装置，还包括：
[0278]
校正强度计算单元，其基于通过所述深度计算获得的深度图像和通过所述校正单元对所述深度值的校正而获得的经校正深度图像中的一个图像，计算用于对所述深度图像和所述经校正深度图像中的另一图像进行校正的校正强度。
[0279]
(9)
[0280]
根据(8)所述的图像处理装置，
[0281]
其中，所述校正强度是用于对所述深度图像和所述经校正深度图像应用α混合的系数。
[0282]
(10)
[0283]
根据(8)或(9)所述的图像处理装置，
[0284]
其中，所述校正强度计算单元基于所述输入图像中包括的多个像素中的每一个的特征量来计算所述校正强度。
[0285]
(11)
[0286]
根据(10)所述的图像处理装置，
[0287]
其中，所述校正强度计算单元基于所述特征量在包括所述预定像素的所述输入图像的预定范围内的偏差来计算所述校正强度。
[0288]
(12)
[0289]
根据(8)或(9)所述的图像处理装置，
[0290]
其中，所述校正强度计算单元基于所述输入图像中包括的多个区域中的每一个的特征量来计算所述校正强度。
[0291]
(13)
[0292]
根据(12)所述的图像处理装置，
[0293]
其中，所述校正强度计算单元基于所述特征量在包括所述预定区域的所述输入图像的预定范围内的偏差来计算所述校正强度。
[0294]
(14)
[0295]
根据(1)至(13)中任一项所述的图像处理装置，
[0296]
其中，所述贡献率计算单元基于所述输入图像中包括的所述多个像素或所述多个区域中的每一个的特征量来计算所述预定像素或所述预定区域的贡献率。
[0297]
(15)
[0298]
根据(14)所述的图像处理装置，
[0299]
其中，所述特征量是边缘强度，以及
[0300]
所述贡献率计算单元基于包括所述预定像素的所述输入图像的预定范围内的多个像素中的每一个的边缘强度来计算所述预定像素的贡献率。
[0301]
(16)
[0302]
根据(14)所述的图像处理装置，
[0303]
其中，所述输入图像是包括被限定为标准图像的第一图像和被限定为参考图像的第二图像的立体图像，以及
[0304]
所述贡献率计算单元基于所述第一图像和所述第二图像中的至少一个图像来计算所述特征量。
[0305]
(17)
[0306]
根据(14)所述的图像处理装置，
[0307]
其中，所述贡献率计算单元基于包括所述预定像素的所述输入图像的预定范围内的多个像素中的每一个的特征量的总和来计算所述贡献率。
[0308]
(18)
[0309]
根据(14)所述的图像处理装置，
[0310]
其中，所述输入图像是包括被限定为标准图像的第一图像和被限定为参考图像的第二图像的立体图像，以及
[0311]
所述贡献率计算单元使用匹配估计值作为所述特征量来计算所述贡献率，所述匹配估计值指示包括所述预定像素的所述第一图像的预定范围与所述第二图像的对应于所述预定范围的对应范围之间的匹配程度。
[0312]
(19)
[0313]
一种图像处理方法，包括：
[0314]
计算预定像素或预定区域在输入图像中包括的多个像素或多个区域中的每一个的深度计算中的贡献率；以及
[0315]
基于所述贡献率校正所述预定像素或所述预定区域的深度值。
[0316]
(20)
[0317]
一种估计程序，所述估计程序用于使计算机用作：
[0318]
贡献率计算单元，其计算预定像素或预定区域在输入图像中包括的多个像素或多个区域中的每一个的深度计算中的贡献率；以及
[0319]
校正单元，其基于所述贡献率校正所述预定像素或所述预定区域的深度值。
[0320]
附图标记列表
[0321]
10 图像处理装置
[0322]
11 输入/输出单元
[0323]
12 成像单元
[0324]
13 存储单元
[0325]
14 控制单元
[0326]
141 获取单元
[0327]
142 视差计算单元
[0328]
142a 模板图像确定单元
[0329]
142b 估计值计算单元
[0330]
142c 视差确定单元
[0331]
143 深度校正单元
[0332]
143a 贡献率计算单元
[0333]
143b 校正单元
[0334]
143c 校正强度计算单元
[0335]
144 输出控制单元