3维认证装置、3维认证系统、便携型信息终端以及3维认证方法与流程

1.本发明涉及认证技术，特别涉及使用了无镜头相机的生物体认证技术。


背景技术：

2.由于安全意识的提高、个人拥有的信息设备针对结算功能的应对等，要求精度高的个人认证技术。例如，在专利文献1中公开了一种个人认证装置，该个人认证装置使用“在具备得到至少3维的形状信息的测定设备、相机以及图像判定器且进行个人认证的装置中由所述测定设备检测人体的头部，由所述相机获取面部的2维信息，与已经登记的信息进行比较，从而进行被测定者的判定(摘要)”这样的3维测量来提高精度。
3.另外，存在能够不使用透镜地进行3维测量的技术。例如，在专利文献2中公开了“一种摄像装置，其特征在于，具备：图像传感器，将被取入到以阵列状排列于摄像面的多个像素的光学像变换为图像信号而输出；调制器，设置于所述图像传感器的受光面，调制光的强度；图像存储部，临时地保存从所述图像传感器输出的图像信号；以及信号处理部，进行从所述图像存储部输出的图像信号的图像处理，所述调制器具有由多个同心圆构成的第1格子图案，所述信号处理部通过按照由多个同心圆构成的虚拟的第2格子图案调制从所述图像存储部输出的图像信号，从而生成莫尔条纹图像，根据聚焦位置来变更所述第2格子图案的同心圆的大小(摘要)”。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2004-126738号公报
7.专利文献2：国际公开第2017/149687号


技术实现要素：

8.专利文献1所记载的认证装置为了提高认证精度而使用测定3维形状的测定设备。但是，为了进行3维的测定，额外需要相机以外的设备。因此，在认证装置的大小、费用方面存在课题，难以应用于智能手机、平板等便携型信息设备。另外，在出入室管理等中，特别是在后安装时等，由于空间的问题也要求认证装置的小型化、薄型化。
9.本发明是鉴于上述缘由而完成的，其课题在于提供小型且薄型且高精度的个人认证技术。
10.本发明提供一种3维认证装置，具备：摄像装置，将认证对象作为被拍摄物进行摄像；以及认证控制装置，对所述摄像装置摄像到的所述认证对象进行认证，所述摄像装置具备：调制器，具备第一图案，根据该第一图案来调制光的强度；图像传感器，将透射所述调制器的光变换为摄像数据而输出；图像处理部，对所述摄像数据进行根据该摄像数据与具有第二图案的图案数据的互相关运算使所述被拍摄物的像复原的复原处理来获取图像；以及距离测量部，获取预先决定的测量区域的从该摄像装置至所述被拍摄物为止的距离，所述
距离测量部一边改变聚焦距离，一边重复针对所述摄像数据的所述复原处理，将所述测量区域内的对比度最高的所述聚焦距离设为所述距离，所述认证控制装置具备：登记信息存储部，存储预先获取到的认证对象的图像即登记图像数据和预先获取到的认证对象的距离信息即登记距离数据；图像认证部，将由所述摄像装置获取到的所述认证对象的图像即认证图像数据与所述登记图像数据进行比对，将比对结果作为图像认证结果；以及距离认证部，将由所述摄像装置获取到的所述认证对象的距离即认证距离数据与所述登记距离数据进行比对，将比对结果作为距离认证结果。
11.另外，本发明提供一种3维认证系统，其特征在于，具备：前述3维认证装置；以及管理服务器，根据基于所述3维认证装置的认证结果来进行安全管理。
12.另外，本发明提供一种3维认证装置中的3维认证方法，所述3维认证装置具备：摄像装置，将认证对象作为被拍摄物进行摄像；以及认证控制装置，对所述摄像装置摄像到的所述认证对象进行认证，所述3维认证方法的特征在于，具备第一图案，根据该第一图案来调制光的强度，将所述调制后的光变换为摄像数据，对所述摄像数据进行根据该摄像数据与具有第二图案的图案数据的互相关运算使所述被拍摄物的像复原的复原处理来获取图像，并且一边改变聚焦距离，一边重复该复原处理，获取在预先决定的测量区域内对比度最高的所述聚焦距离作为该测量区域中的从该摄像装置至所述被拍摄物为止的距离，将获取到的所述认证对象的图像即认证图像数据与预先存储的登记图像数据进行比对，将比对结果作为图像认证结果，将获取到的所述认证对象的距离即认证距离数据与预先存储的登记距离数据进行比对，将比对结果作为距离认证结果。
13.根据本发明，能够提供小型且薄型且高精度的个人认证技术。上述以外的课题、结构以及效果将通过以下的实施方式的说明变清楚。
附图说明
14.图1是本发明的实施方式的基本的无光学透镜的摄像装置的结构图。
15.图2的(a)以及(b)分别是用于说明本发明的实施方式的无光学透镜的摄像装置的调制器的说明图。
16.图3是示出由本发明的实施方式的无光学透镜的摄像装置对外界的物体进行摄影的情形的图。
17.图4是由本发明的实施方式的无光学透镜的摄像装置的图像处理部进行的图像处理的流程图。
18.图5的(a)是用于说明倾斜入射平行光从格子基板正面向背面的照射像产生面内偏离的说明图，(b)～(d)分别是用于说明本发明的实施方式的格子基板两面的格子的轴一致的情况下的莫尔条纹的生成和频谱的说明图。
19.图6的(a)是使本发明的实施方式的正面格子和背面格子的轴偏移地配置的情况下的示意图，(b)～(d)分别是用于说明使本发明的实施方式的格子基板两面的格子偏移地配置的情况下的莫尔条纹的生成和频谱的说明图。
20.图7的(a)以及(b)分别是用于说明本发明的实施方式的格子图案的一个例子的说明图。
21.图8的(a)是用于说明来自构成物体的各点的光相对于传感器所成的角的说明图，
(b)是用于说明对物体进行摄影的情况下的空间频谱的说明图。
22.图9的(a)是用于说明物体处于无限远距离的情况下投影正侧格子图案的说明图，(b)是用于说明在物体处于无限远距离的情况下生成的莫尔条纹的例子的说明图。
23.图10的(a)是用于说明在物体处于有限距离的情况下正侧格子图案被放大的说明图，(b)是用于说明在物体处于有限距离的情况下生成的莫尔条纹的例子的说明图，(c)是用于说明在物体处于有限距离的情况下校正了背侧格子图案后的莫尔条纹的例子的说明图。
24.图11的(a)是本发明的实施方式的通过图像处理来实现背侧格子图案的摄像装置的结构图，(b)是用于说明通过图像处理来实现背侧格子图案的摄像装置的调制器的说明图。
25.图12是本发明的实施方式的通过图像处理来实现背侧格子图案的摄像装置的图像处理部所进行的图像处理的流程图。
26.图13是本发明的实施方式的能够进行重新聚焦的摄像装置的结构图。
27.图14是本发明的实施方式的能够进行重新聚焦的摄像装置的图像处理部所进行的图像处理的流程图。
28.图15是本发明的实施方式的能够进行自动聚焦的摄像装置的结构图。
29.图16是本发明的实施方式的能够进行自动聚焦的摄像装置的图像处理部所进行的图像处理的流程图。
30.图17的(a)是用于说明本发明的实施方式的能够进行自动聚焦的摄像装置的对比度计算区域的说明图，(b)是用于说明本发明的实施方式的能够进行自动聚焦的摄像装置的最佳聚焦距离的决定手法的说明图。
31.图18是本发明的实施方式的能够测距的摄像装置的结构图。
32.图19是本发明的实施方式的能够测距的摄像装置的距离测量部所进行的距离测量处理的流程图。
33.图20的(a)是用于说明本发明的实施方式的能够测距的摄像装置的对比度计算区域的说明图，(b)是用于说明本发明的实施方式的能够测距的摄像装置的最佳聚焦距离的决定手法的说明图，(c)是用于说明从本发明的实施方式的能够测距的摄像装置输出的2维地图的一个例子的说明图。
34.图21是用于说明第一实施方式的3维认证装置的使用环境的说明图。
35.图22的(a)是第一实施方式的3维认证装置的结构图，(b)是第一实施方式的3维认证装置的硬件结构图。
36.图23的(a)是用于说明第一实施方式的3维认证装置的测距时的对比度计算区域的说明图，(b)是用于说明第一实施方式的3维认证装置生成的2维地图的一个例子的说明图，(c)是用于说明用第一实施方式的3维认证装置对面部进行摄像的情形的说明图。
37.图24是第一实施方式的面部区域决定处理的流程图。
38.图25是第一实施方式的登记数据登记处理的流程图。
39.图26的(a)以及(b)是第一实施方式的面部认证处理的流程图。
40.图27的(a)以及(b)是用于说明第一实施方式的变形例的认证对象的说明图。
41.图28是第一实施方式的变形例的3维认证装置的结构图。
42.图29是第一实施方式的变形例的面部认证处理的流程图。
43.图30是第一实施方式的其它变形例的面部认证处理的流程图。
44.图31的(a)是第二实施方式的3维认证装置的结构图，(b)以及(c)是用于说明将第二实施方式的3维认证装置用于静脉认证的情况下的使用方法的说明图。
45.图32是用于说明第二实施方式的3维认证装置的摄像装置的对比度计算区域的说明图。
46.图33的(a)是用于说明第二实施方式的3维认证装置的使用环境，(b)是用于说明第二实施方式的3维认证装置的摄像装置的使用方案，(c)是用于说明第二实施方式的3维认证装置的变形例的说明图。
47.图34的(a)是用于说明包括第三实施方式的3维认证装置的认证系统的说明图，(b)是搭载第三实施方式的3维认证装置的便携终端的外观图。
48.图35是搭载第三实施方式的3维认证装置的便携终端的硬件结构图。
49.图36是用于说明第三实施方式的变形例的由各构成要素进行的处理分担的说明图。
50.图37的(a)是用于说明第三实施方式的变形例的使用环境的说明图，(b)是用于说明第三实施方式的其它变形例的使用方案的说明图。
51.(符号说明)
52.101：摄像装置；101a：摄像装置；101b：摄像装置；101c：摄像装置；101d：摄像装置；101e：摄像装置；102：调制器；102b：调制器；103：图像传感器；103a：像素；104：第1格子图案；104a：格子图案；104b：格子图案；106：图像处理部；106b：图像处理部；106c：强度调制部；107：图像显示装置；107a：显示装置；107e：距离信息显示装置；108：声音输出装置；109：操作装置；112a：格子基板；112b：支承构件；113：格子传感器一体基板；117：引导图案；121：图像存储部；122：图像处理部；123：聚焦设定部；124：聚焦距离计算部；125：距离测量部；200：3维认证装置；200a：3维认证装置；200b：3维认证装置；200c：3维认证装置；201c：盖部；203：指示受理部；210：认证控制装置；211：图像信息获取部；212：图像认证处理部；221：距离信息获取部；222：距离认证处理部；231：登记信息存储部；241：指示受理部；243：摄像控制部；251：认证处理部；261：间隔控制部；262：照射装置；263：检测传感器；291：cpu；292：存储器；293：存储装置；294：用户接口；295：摄像数据获取部；300：便携终端；301：cpu；302：系统总线；310：存储装置；311：rom；312：ram；313：存储装置；320：通信装置；321：lan通信器；322：电话网通信器；323：有线通信器；324：接近无线通信器；325：无线通信器；327：扩展i/f；329：加密解码处理部；330：操作器；340：视频处理器；341：显示器；342：图像信号处理器；343：相机；350：音频处理器；351：扬声器；352：声音信号处理器；353：麦克风；360：传感器；361：gps接收器；362：陀螺仪传感器；363：地磁传感器；364：加速度传感器；365：照度传感器；366：接近传感器；367：生物体信息传感器；368：检测传感器；370：照射装置；400：被拍摄物；402：投影图像；411：加密解码处理部；412：投影图像；610：摄像范围；611：区域；611a：区域；621：区域；621a：单位区域；621b：单位区域；621u：单位区域；631：预定区域；631d：区域；631e：区域；631u：单位区域；641：区域；641a：单位区域；641b：单位区域；641u：单位区域；711：距离信息地图；711a：区域；711b：区域；711c：区域；711u：单位区域；721：2维地图；721a：存储器；721b：存储器；721u：存储器位置；741u：单位区域；900：3维认证系统；910：进
入退出管理服务器；920：出入门
具体实施方式
53.以下，使用附图，说明本发明的实施方式。
54.在以下叙述的实施方式中，在提及构成要素等的形状、位置关系等时，除了特别明示的情况以及在原理上被认为明显不是这样的情况等之外，包括实质上与该形状等近似或者类似的结构等。这关于数值以及范围也示出同样的。
55.另外，在用于说明实施方式的全部图中，原则上对相同的构件附加相同的符号，省略其重复的说明。
56.在本发明的各实施方式的说明之前，说明在各实施方式中共同使用的无光学透镜(无透镜)摄像装置(以下，简称为摄像装置。)。首先，说明该摄像装置中的摄像以及测距的基本的原理。
57.《无限远物体的摄影原理》
58.图1是示出本实施方式1的摄像装置101a中的结构的一个例子的说明图。摄像装置101a是不使用成像的透镜地获取外界的物体的图像的装置。如图1所示，摄像装置101a具备调制器102、图像传感器103以及图像处理部106。
59.图2(a)示出调制器102的一个例子。调制器102紧贴于图像传感器103的受光面而固定。调制器102具备形成于格子基板112a的第1格子图案104和第2格子图案105。格子基板112a例如由玻璃、塑料等透明的材料形成。以后，将格子基板112a的图像传感器103侧称为背面，将对置的面即摄影对象侧称为正面。
60.格子图案104、105具备越靠外侧则与距中心的半径成反比例地格子图案的间隔即间距越窄的同心圆状的格子图案。格子图案104、105例如通过利用用于半导体工艺的溅射法等对铝等进行蒸镀而形成。根据铝被蒸镀的图案和未被蒸镀的图案使颜色有深有浅。此外，格子图案104、105的形成并不限定于此，例如也可以通过由喷墨打印机等进行的印刷等施加使颜色有深有浅而形成。
61.此外，在此，叙述为了实现调制器102而使格子图案104、105形成于格子基板112a的方法，但也能够通过如图2(b)所示使格子图案104、105形成为薄膜并由支承构件112b保持的结构等来实现。
62.关于透射格子图案104、105的光，根据该格子图案来调制光的强度。透射的光由图像传感器103接收。图像传感器103例如具备ccd(charge coupled device，电荷耦合元件)图像传感器或者cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)图像传感器等。
63.在图像传感器103的正面，作为受光元件的像素103a规则地配置成格子状。图像传感器103将像素103a接收到的光图像变换为作为电信号的图像信号。从图像传感器103输出的图像信号由图像处理部106进行图像处理，被输出到图像显示装置107等。
64.图3是示出由图1的摄像装置101a进行的摄影的一个例子的说明图。在本图中示出由摄像装置101a对被拍摄物400进行摄影而显示于图像显示装置107的例子。如图所示，在对被拍摄物400进行摄影时，以使调制器102中的正面具体而言形成有第1格子图案104的格子基板112a的面正对被拍摄物400的方式配置。
65.接着，说明由图像处理部106进行的图像处理的概略。图4是示出由图1的摄像装置101a所具有的图像处理部106进行的图像处理的概略的流程图。
66.首先，针对从图像传感器103输出的莫尔条纹图像，针对每个彩色的rgb(red green blue)分量而进行2维傅里叶变换(fft：fast fourier transform)运算，求出频谱(步骤s501)。
67.接着，在截取基于步骤s501的处理的频谱的单侧频率的数据之后(步骤s502)，进行该频谱的强度计算(步骤s503)，从而获取图像。
68.然后，对得到的图像进行噪声去除处理(步骤s504)，接着，进行对比度强调处理(步骤s505)等。
69.之后，调整图像的彩色平衡(步骤s506)，作为输出信号而生成摄影图像(图像数据)(步骤s507)，并进行输出。基于以上，由图像处理部106进行的图像处理结束。
70.接着，说明由摄像装置101a进行的摄影原理。
71.首先，与距中心的半径成反比例地间距变细的同心圆状的格子图案104、105以如下方式定义。设想在激光干涉仪等中，使与平面波接近的球面波与用作参照光的平面波发生干涉的情况。在将距作为同心圆的中心的基准坐标的半径设为r、将此处的球面波的相位设为(r)时，针对该情况而使用决定波面的弯曲的大小的系数β，相位(r)通过以下的式(1)表示。
72.[式1]
[0073]
φ(r)＝βr2···
(1)
[0074]
这是因为虽然是球面波，但用半径r的平方表示的是与平面波接近的球面波，所以能够仅通过展开的最低次来进行近似。当使平面波与具有该相位分布的光发生干涉时，能够得到通过以下的式(2)表示的干涉条纹的强度分布。
[0075]
[式2]
[0076][0077]
该干涉条纹成为在满足以下的式(3)的半径位置处具有明亮的线的同心圆的条纹。
[0078]
[式3]
[0079]
(r)＝βr2＝2nπ(n＝0，1，2，
…
)
···
(3)
[0080]
当将条纹的间距设为p时，能够得到以下的式(4)。
[0081]
[式4]
[0082][0083]
从式(4)可知，间距相对于半径成反比例地变窄。具有这样的条纹的板被称为菲涅尔波带板、伽伯波带板。将具有与这样定义的强度分布成比例的透射率分布的格子图案用作图1所示的格子图案104、105。
[0084]
如图5(a)所示，平行光以角度θ0入射到两面形成有这样的格子图案的厚度为t的调制器102。当将调制器102中的折射角设为θ，在几何光学上，乘以正面的格子的透射率的光偏离δ＝t
·
tanθ而入射到背面，假设形成为两个同心圆格子的中心一致时，会偏离δ而乘
以背面的格子的透射率。此时，能够得到通过以下的式(5)表示的强度分布。
[0085]
[式5]
[0086][0087]
可知该展开式的第4项产生于使在两个格子的偏离的方向上直的等间隔的条纹图样交叠的区域一面。通过这样的条纹与条纹的交叠而在相对低的空间频率下产生的条纹被称为莫尔条纹。
[0088]
这样直的等间隔的条纹在通过检测图像的2维傅里叶变换得到的空间频率分布中产生尖锐的波峰。能够根据该频率的值来求出δ的值即光线的入射角θ。
[0089]
显然，这样的在整个面均匀地以等间隔得到的莫尔条纹由于同心圆状的格子配置的对称性而不论偏离的方向如何都以相同的间距产生。这样的条纹是通过用菲涅尔波带板或者伽伯波带板形成格子图案而得到的，被认为难以利用除此以外的格子图案得到在整个面均匀的条纹。但是，在整个面均匀地得到等间隔的莫尔条纹是目的，并不将格子图案限定于菲涅尔波带板、伽伯波带板。
[0090]
可知在式(5)的展开式的第2项中，也产生按照莫尔条纹调制菲涅尔波带板的强度而成的条纹。然而，两个条纹之积的频谱是各自的傅里叶光谱的卷积，所以无法得到尖锐的波峰。如以下的式(6)那样从式(5)仅取出具有尖锐的波峰的分量。
[0091]
[式6]
[0092][0093]
该傅里叶光谱通过以下的式(7)表示。
[0094]
[式7]
[0095][0096]
在此，f表示傅里叶变换的运算，u、v是x方向以及y方向的空间频率坐标，带括弧的δ是德尔塔函数。根据其结果可知，在检测图像的空间频谱中，莫尔条纹的空间频率的波峰在u＝
±
δβ/π的位置处产生。
[0097]
图5(b)～图5(d)示出该情形。在这些图中，从左到右，分别示出光线和调制器102的配置图、莫尔条纹以及空间频谱的示意图。图5(b)示出垂直入射的情况，图5(c)示出光线从左侧以角度θ入射的情况，图5(d)示出光线从右侧以角度θ入射的情况。
[0098]
形成于调制器102的正面侧的第1格子图案104与形成于背面侧的第2格子图案105的轴一致。在图5(b)中，第1格子图案104与第2格子图案105的映影一致，所以不产生莫尔条纹。
[0099]
在图5(c)以及图5(d)中，第1格子图案104与第2格子图案105的偏离相同，所以产生相同的莫尔，空间频谱的波峰位置也一致，无法根据空间频谱来判别光线的入射角是图5(c)的情况还是图5(d)的情况。
[0100]
为了避免该情况，例如需要如图6(a)所示，以使两个格子图案的映影相对于垂直地入射到调制器102的光线也偏离地重叠的方式预先使两个格子图案104、105相对于光轴相对地偏移。
[0101]
在相对于轴上的垂直入射平面波而将两个格子的映影的相对的偏离设为δ0时，因入射角θ的平面波而产生的偏离δ通过以下的式(8)表示。
[0102]
[式8]
[0103]
δ＝δ0 t tanθ
···
(8)
[0104]
此时，入射角θ的光线的莫尔条纹的空间频谱的波峰在频率的正侧成为通过以下的式(9)表示的u的位置。
[0105]
[式9]
[0106][0107]
当将图像传感器103的大小设为s、将图像传感器的x方向以及y方向的像素数都设为n时，在-n/(2s)至 n/(2s)的范围能够得到基于快速傅里叶变换(fft：fast fourier transform)的离散图像的空间频谱。
[0108]
因此，如果考虑对正侧的入射角和负侧的入射角均等地进行受光，则将基于垂直入射平面波(θ＝0)的莫尔条纹的光谱波峰位置设为原点(dc：直流分量)位置与例如 侧端的频率位置的中央位置、即通过以下的式(10)表示的空间频率位置是合适的。
[0109]
[式10]
[0110][0111]
因而，两个格子的相对的中心位置偏离设为通过以下的式(11)表示的δ0是合适的。
[0112]
[式11]
[0113][0114]
图6(b)～图6(d)是说明使第1格子图案104和第2格子图案105偏移地配置的情况下的莫尔条纹的生成以及频谱的示意图。与图5(b)～图5(d)同样地，左侧表示光线和调制器102的配置图，中央列表示莫尔条纹，然后，右侧表示空间频谱。另外，图6(b)是光线垂直入射的情况，图6(c)是光线从左侧以角度θ入射的情况，图6(d)是光线从右侧以角度θ入射的情况。
[0115]
第1格子图案104和第2格子图案105预先偏移δ0地配置。因此，在图6(b)中也产生莫尔条纹，在空间频谱中出现波峰。其偏移量δ0如上述那样以使波峰位置出现在从原点起单侧的光谱范围的中央的方式设定。此时，在图6(c)中，成为偏离δ进一步变大的方向，在图6(d)中成为变小的方向。因此，与图5(c)、图5(d)不同，能够根据光谱的波峰位置来判别图6(c)与图6(d)的不同。该波峰的光谱像即是表示无限远的光束的亮点，正是基于图1的摄像装置101a的摄影图像。
[0116]
当将能够接收的平行光的入射角的最大角度设为θmax时，根据通过以下的式(12)表示的u
max
，
[0117]
[式12]
[0118][0119]
摄像装置101a能够受光的最大视场角tanθ
max
通过以下的式(13)来给出。
[0120]
[式13]
[0121][0122]
根据与使用了普通的透镜的成像的类推，当考虑在图像传感器这端将焦点进行连结而接收视场角θ
max
的平行光时，不使用透镜的摄像装置101a的有效的焦点距离f
eff
能够认为相当于以下的式(14)。
[0123]
[式14]
[0124][0125]
在此，从式(13)判明，视场角能够根据调制器102的厚度t、格子图案104、105的系数β来变更。因而，例如如果调制器102是图2(b)的结构，具有能够变更支承构件112b的长度的功能，则还能够在摄影时变更视场角而摄影。
[0126]
此外，如式(2)所示，设想格子图案的透射率分布基本上具有正弦波的特性，但作为格子图案的基本频率分量，具有这样的分量即可，例如还能够如图7(a)所示的格子图案104a那样，对格子图案的透射率进行2值化。进而，还考虑如图7(b)所示的格子图案104b那样，改变透射率高的格子区域和低的区域的占空(duty)，使透射率高的区域的宽度变宽，提高透射率。由此，还能够得到抑制来自格子图案的衍射等效果，能够降低摄影图像的劣化。
[0127]
在以上的说明中，入射光线都同时只有1个入射角度，但为了实际地将摄像装置101a用作相机，必须设想多个入射角度的光同时入射的情况。这样的多个入射角的光在入射到背面侧的格子图案的时间点已经使多个正侧格子的像交叠。
[0128]
如果它们相互产生莫尔条纹，则有可能会成为阻碍与作为信号分量的第2格子图案105的莫尔条纹的检测的噪声。但是，实际上，第1格子图案104的像彼此的重叠不产生莫尔像的波峰，产生波峰的仅是与背面侧的第2格子图案105的重叠。以下说明其理由。
[0129]
首先，大的不同在于，基于多个入射角的光线的正面侧的第1格子图案104的映影彼此的重叠不是积，而是和。在基于1个入射角的光的第1格子图案104的映影与第2格子图案105的重叠中，将第2格子图案105的透射率与作为第1格子图案104的映影的光的强度分布相乘，从而能够得到透射背面侧的第2格子图案105之后的光强度分布。
[0130]
相对于此，基于入射到正面侧的第1格子图案104的角度不同的多个光的映影彼此的重叠是光的交叠，所以不是积，而是和。在是和的情况下，如以下的式(15)所示，成为将莫尔条纹的分布与原来的菲涅尔波带板的格子的分布相乘而得到的分布。
[0131]
[式15]
[0132]
[0133]
因而，其频谱用各个频谱的重叠积分表示。因此，即便莫尔的光谱单独地具有尖锐的波峰，实际上也只是在其位置处产生菲涅尔波带板的频谱的叠影。也就是说，在光谱中不产生尖锐的波峰。
[0134]
因而，即使使多个入射角的光进入，检测的莫尔像的光谱也始终只是正面侧的第1格子图案104与背面侧的第2格子图案105之积的莫尔，既然第2格子图案105单一，那么检测的光谱的波峰相对于1个入射角仅为1个。
[0135]
在此，使用图8(a)，示意地说明此前说明了检测的平行光与来自实际的物体的光的对应。图8(a)是说明来自构成物体的各点的光相对于图像传感器103所成的角的说明图。
[0136]
来自构成被拍摄物400的各点的光严格而言作为来自点光源的球面波而入射到图1的摄像装置101a的调制器102以及图像传感器103(以下，在图8(a)中称为格子传感器一体基板113)。此时，在相对于被拍摄物400而格子传感器一体基板113足够小的情况、足够远的情况下，从各点对格子传感器一体基板113进行照明的光的入射角能够视为相同。
[0137]
根据基于式(9)求出的莫尔相对于微小角度变位δθ的空间频率变位δu为图像传感器的空间频率的最小分辨率即1/s以下的关系，δθ能够视为平行光的条件通过以下的式(16)表示。
[0138]
[式16]
[0139][0140]
只要在该条件下，摄像装置101a就能够对无限远的物体进行摄像，根据此前的讨论，能够通过快速傅里叶变换(fft)来得到如图8(b)所示的像。
[0141]
《有限距离物体的摄影原理》
[0142]
在此，图9(a)示出此前叙述的无限远的情况下的向正面侧的第1格子图案104的背面的射影的情形。
[0143]
来自无限远的构成物体的点401的球面波在传播足够长的距离的期间成为平面波，对正面侧的第1格子图案104进行照射，在其投影图像402被投影到下方的面的情况下，投影图像是与第1格子图案104大致相同的形状。其结果，通过将背面侧的格子图案(相当于图1的第2格子图案105)的透射率分布与投影图像402相乘，从而能够得到如图9(b)所示的等间隔的直线状的莫尔条纹。
[0144]
另一方面，说明针对有限距离的物体的摄像。图10(a)是示出在摄像的物体处于有限距离的情况下向正面侧的第1格子图案104的背面的射影从第1格子图案104放大的说明图。
[0145]
如图10(a)所示，在来自构成物体的点411的球面波照射正面侧的第1格子图案104，其投影图像412被投影到下方的面的情况下，投影图像大致均匀地被放大。此外，该放大率α能够使用从第1格子图案104至点411为止的距离f，如以下的式(17)那样计算。
[0146]
[式17]
[0147]
[0148]
因此，仅凭直接乘以针对平行光而设计的背面侧的格子图案的透射率分布的话，如图10(b)所示，不产生等间隔的直线状的莫尔条纹。
[0149]
但是，如果与均匀地被放大的正面侧的第1格子图案104的映影相匹配地，将第2格子图案105进行放大，则能够如图10(c)所示，使放大后的投影图像412再次产生等间隔的直线状的莫尔条纹。因此，能够通过将第2格子图案105的系数β设为β/α而进行校正。
[0150]
由此，能够选择性地再生来自未必无限远的距离的点411的光。由此，能够对任意的位置焦点匹配地进行摄影。
[0151]
《调制器的变形例》
[0152]
接下来，说明简化调制器102的结构的方法。图11(a)示出该情况下的摄像装置101b的结构的一个例子。
[0153]
在摄像装置101a的调制器102中，在格子基板112a的正面以及背面，分别使同一形状的第1格子图案104以及第2格子图案105相互偏移地形成，从而根据莫尔条纹的空间频谱来探测入射的平行光的角度来构成像。
[0154]
摄像装置101a的背面侧的第2格子图案105是紧贴于图像传感器103且调制入射的光的强度的光学元件，不论入射光如何，都是相同的格子图案。
[0155]
因而，在摄像装置101b中，也可以如图11(a)所示，使用去除第2格子图案105的调制器102b，利用图像处理部106b内的强度调制部106c执行与第2格子图案105相当的处理。
[0156]
图11(b)示出调制器102b的结构的详细内容。通过该结构，能够减少形成于格子基板112a的一面的格子图案。由此，能够降低调制器的制造成本。
[0157]
图12是示出由图11(a)的图像处理部106b进行的图像处理的概略的流程图。
[0158]
该图12中的流程图与图4的流程图不同之处在于步骤s511的处理。在步骤s511中，图像处理部106b利用前述强度调制部106c，针对从图像传感器103输出的图像而生成与透射背面侧的格子图案105的情况相当的莫尔条纹图像。
[0159]
具体而言，进行与式(5)相当的运算即可，所以在强度调制部106c中生成背面侧的格子图案105，与图像传感器103的图像相乘即可。此外，如果背面侧的格子图案105是如图7(a)、图7(b)所示的2值化的图案，则仅凭将与黑色相当的区域的图像传感器103的值设为0，也能够实现。由此，能够抑制乘法电路的规模。
[0160]
以后，图12的步骤s501～s507的处理与图4的处理相同，所以在此省略说明。
[0161]
此外，在该情况下，图像传感器103所具有的像素103a的间距需要细到能够充分再现第1格子图案104的间距的程度，或者第1格子图案104的间距需要粗到能够用像素103a的间距再现的程度。
[0162]
在使格子图案形成于格子基板112a的两面的情况下，未必需要能够用图像传感器103的像素103a对格子图案的间距进行析像，只要能够对其莫尔像进行析像即可。但是，在通过图像处理再现格子图案的情况下，需要格子图案与图像传感器103的分辨率等同。
[0163]
另外，以上由强度调制部106c实现与第2格子图案105相当的处理，但第2格子图案105是紧贴于图像传感器103且调制入射的光的强度的光学元件，所以通过有效地考虑第2格子图案105的透射率地设定图像传感器103的灵敏度也能够实现。
[0164]
根据以上说明的由图像处理部106b进行背面侧的第2格子图案105的结构，还能够在摄影后使聚焦与任意的距离相匹配。即，能够重新聚焦。图13示出能够进行这样的重新聚
焦的摄像装置101c的结构。
[0165]
摄像装置101c与图11(a)所示的摄像装置101b不同之处在于图像存储部121、图像处理部122、聚焦设定部123。
[0166]
图像存储部121能够进行摄影后的聚焦调整，所以为了临时地保存从图像传感器103输出的图像而设置。另外，聚焦设定部123经由配备于摄像装置101c的旋钮、智能手机的gui(graphical user interface，图形用户界面)等，受理用户设定的聚焦距离，作为聚焦距离信息而输出到图像处理部122。这样，本图所示的摄像装置101c能够进行聚焦距离的设定。
[0167]
图14是示出由图13的图像处理部122进行的图像处理的概略的流程图。
[0168]
该图14中的流程图与图12的流程图不同之处在于步骤s521的处理。在步骤s521中，图像处理部122根据作为前述聚焦设定部123输出的聚焦距离信息，根据式(17)来计算放大率α，进行将背面侧的第2格子图案105的系数β设为β/α的计算。之后，在步骤s511中，根据该系数来生成与透射背面侧的格子图案的情况相当的莫尔条纹图像。
[0169]
以后，图14的步骤s501～s507的处理与图4的处理相同，所以在此省略说明。
[0170]
根据以上的方法及结构，能够通过快速傅里叶变换(fft)等简单的运算来得到外界的物体像，进而能够在摄影后针对任意的距离而调整聚焦。在以往的相机，为了变更聚焦，需要重新摄影，但根据摄像装置101c，只需要进行1次摄影。
[0171]
此外，作为根据莫尔条纹来计算空间频谱的方法，以快速傅里叶变换为例而进行了说明，但并不限定于此，即使使用离散余弦变换(dct：discrete cosine transform)等也能够实现，还能够进一步削减运算量。
[0172]
另外，在摄像装置101c中，将格子图案104、105说明为菲涅尔波带板、伽伯波带板，但并不限定于此，只要能够根据莫尔条纹来计算空间频谱，就能够使用1维方向的图案等。它们在其它摄像装置101a、101b中也能够应用。
[0173]
《聚焦调整的自动化》
[0174]
图15示出使聚焦调整自动化的摄像装置101d的结构例。与图13所示的摄像装置101c的不同点在于聚焦距离计算部124。
[0175]
图16是示出由图15的聚焦距离计算部124进行的自动聚焦的概略的流程图。本自动聚焦通过如下方式实现：一边每分辨率δf(偏移设定值)地使聚焦距离偏移，一边进行显影处理，计算对比度最大的距离，将该距离设为聚焦距离。详细地说明该处理。
[0176]
首先，设定聚焦距离的初始值(无限远或距离0等)(步骤s531)，根据聚焦距离来计算放大率α，计算第2格子图案105的系数β(步骤s521)。步骤s511至s503与图14相同。
[0177]
之后，截取如图17(a)所示用图像传感器103捕捉到的摄像范围610内的区域611的任意的区域611a(步骤s533)。该区域611a是用于聚焦调整的区域，既可以由用户利用gui进行设定，也可以通过面部辨识技术等自动地设定。
[0178]
接下来，使用区域611a内的最大亮度imax、最小亮度imin，通过以下的式(18)或者式(19)中的任意方来计算区域611a内的对比度c(步骤s534)，将结果与聚焦距离对应起来保存于存储器(步骤s535)。
[0179]
[式18]
[0180][0181]
[式19]
[0182][0183]
之后，在预先设定的聚焦可变范围内的操作完成之前(步骤s536)，转移到步骤s532，使聚焦距离偏移δf地设定，重复步骤s521以后的处理。
[0184]
当在探索完成后，读出存储器内的对比度信息(步骤s537)时，如图17(b)所示，能够得到对比度与聚焦距离的关系，所以探索对比度最大的聚焦距离(步骤s538)，并进行输出(步骤s539)。
[0185]
根据在该聚焦距离计算部124中得到的聚焦距离信息，只要能够利用图像处理部122进行图像处理，就能够进行最佳的聚焦下的摄影。
[0186]
根据以上的方法及结构，能够使聚焦调整自动化，进而与以往的相机不同，无需进行重新摄影，就能够进行最佳的聚焦下的摄影。
[0187]
此外，在此，进行对比度最大的探索，但并不限定于此，只要是能够决定snr(signal to noise ratio，信噪比)、hpf(high－pass filter，高通滤波器)结果的加法值等成为清晰的图像的聚焦距离的方法即可。
[0188]
另外，用户还能够预先设定聚焦距离的扫描范围。
[0189]
另外，说明了每δf地使聚焦距离偏移的方法，但并不限定于此。关于由于聚焦距离改变而导致的像的模糊方式，越靠远方，则针对位置的灵敏度越低，所以关于摄像装置101d的附近而精细地偏移，关于远方而不精细地偏移，从而能够进行更高精度及更快速的探索。
[0190]
《距离信息的获取》
[0191]
接下来，图18示出获取距离信息的摄像装置101d的结构例。摄像装置101d是能够测距的摄像装置。与图13的摄像装置101c不同的结构是距离测量部125及距离信息显示装置107e。
[0192]
图19是示出由图18的距离测量部125进行的距离测量的概略的流程图。本距离测量通过如下方式实现：针对图像传感器103上的预先决定的每个像素区域而实施前述自动聚焦的原理，从而测量最佳的聚焦距离(＝存在物体的位置)。详细地说明该处理。
[0193]
首先，步骤s531至步骤s503与图16相同。之后，如图20(a)所示将摄像范围610内的区域621分割为单位区域621u(步骤s541)。
[0194]
该分割尺寸对应于距离测量中的2维方向的分辨率，所以优选尺寸精细的一方，但如果过于精细，则存在测定误差增大的问题。因而，用户能够根据环境来变更分割尺寸这一情况也是有用的。作为该分割后的单位区域621u的例子，图20(a)示出单位区域621a和单位区域621b。
[0195]
接下来，针对每个单位区域621u，使用区域内的最大亮度imax、最小亮度imin，通过上述式(18)或者式(19)来计算区域内的对比度c(步骤s542)，针对每个区域，将结果与聚焦距离对应起来保存于存储器(步骤s543)。
[0196]
之后，在预先设定的聚焦可变范围内的操作完成之前(步骤s544)，转移到步骤
s532，偏移δf地设定聚焦距离，重复步骤s521以后的处理。
[0197]
当在探索完成后，读出存储器内的对比度信息(步骤s545)时，如图20(b)所示，能够得到对比度与聚焦距离的关系。如本图所示，判明在区域内包括远方的山的区域621a在远方的对比度最大，在区域内包括附近的人的区域621b在比较近的地方的对比度最大的情形。
[0198]
此外，在本图的例子中，仅示出了两个区域的变化，但实际上，在存储器中保存有图20(a)中的单位区域621u的数量。这样，针对每个单位区域621u而探索对比度最大的聚焦距离(步骤s546)，如图20(c)所示，制作距离信息的2维地图721，作为距离数据而输出(步骤s547)。
[0199]
此外，针对与单位区域621u对应的每个存储器位置721u，距离信息保存于存储器。例如，在与单位区域621a对应的存储器721a中保存距离信息pa，在与单位区域621b对应的存储器721b中保存距离信息pb。
[0200]
通过利用距离信息显示装置107e来显示该距离数据，能够确认2维方向的距离信息。
[0201]
在此，将把来自距离测量部125的输出显示于距离信息显示装置107e的情况举为例子而进行了说明。但是，来自距离测量部125的输出也可以作为输出信号而输出到其它装置。来自距离测量部125的输出信号例如还能够应用于如汽车、无人机那样的设备中的障碍物辨识、自动驾驶。
[0202]
根据以上的方法及结构，不仅能够获取图像，还能够获取每个单位区域的距离信息。
[0203]
此外，在摄像装置101d、101e中，进行了对比度最大的探索，但不限定于此。例如，只要是能够决定snr(signal to noise ratio，信号比)、hpf(high－pass filter，高通滤波器)结果的加法值等成为清晰的图像的聚焦距离的方法即可。
[0204]
另外，在摄像装置101d、101e中，叙述了根据单一帧来计算距离信息的例子，但通过使多个帧的图像平均化而使用，或者使多个帧的距离信息平均化而使用，能够提高snr，提高距离精度，或者提高2维方向的分辨率。
[0205]
《第一实施方式》
[0206]
以下，说明使用上述摄像装置101b～101e中的任意摄像装置的本发明的第一实施方式。在本实施方式中，使用能够获取3维信息的无镜头相机，实现小型且薄型且高精度的3维认证装置。以下，在本实施方式中，将对认证对象者(用户)的面部进行摄影，根据面部来进行认证的情况举为例子进行说明。即，将被拍摄物400是面部的情况举为例子而进行说明。
[0207]
图21是用于说明本实施方式的3维认证装置200a的使用环境的一个例子的图。如本图所示，本实施方式的3维认证装置200a具备摄像装置101e，例如，用于出入室管理。即，当在本实施方式的3维认证装置200a中用户的认证成功的情况下，对出入门920进行解锁的解锁信号从3维认证装置200a输出到进入退出管理服务器910。进入退出管理服务器910在接收到解锁信号的情况下，对出入门920进行解锁。
[0208]
说明本实施方式的3维认证装置200a的结构。图22(a)是本实施方式的3维认证装置200a的结构图。如本图所示，本实施方式的3维认证装置200a具备摄像装置101e、认证控
制装置210、显示装置107a、声音输出装置108以及操作装置109。
[0209]
此外，本实施方式的3维认证装置200a例如具备cpu291、存储器292、存储装置293、用户接口294以及摄像数据获取部295。然后，摄像装置101e以及认证控制装置210的各功能通过由cpu291将存储于存储装置293的程序载入到存储器292并执行而实现。
[0210]
另外，作为用户接口294，具备显示装置107a、声音输出装置108以及操作装置109等。此外，摄像数据获取部295具备图像传感器103和调制器102b。
[0211]
摄像装置101e是得到摄像图像(图像数据)以及距离信息(距离数据)的3维图像获取装置。另外，是能够在摄影后使聚焦与任意的距离相匹配的装置。
[0212]
本实施方式的摄像装置101e具备与前述摄像装置101e基本上相同的结构。即，具备调制器102b、图像传感器103、图像存储部121、图像处理部122以及距离测量部125。
[0213]
调制器102b具备第一图案，利用该第一图案来调制光的强度。在本实施方式中，作为第一图案，使用由多个同心圆构成的第一格子图案。
[0214]
图像传感器103以预定的时间间隔将透射调制器102b的光变换为摄像数据而输出。在本实施方式中，将取入到在摄像面以阵列状排列的多个像素的光学像变换为图像信号，作为摄像数据而输出。
[0215]
图像存储部121存储从图像传感器103输出的摄像数据。这是为了能够在摄影后进行聚焦调整。另外，是为了根据摄像数据来计算各区域的距离。另外，有时为了使用了多个帧的摄像数据的噪声消除等图像质量改善也使用。
[0216]
图像处理部122对保存于图像存储部121的摄像数据来进行根据该摄像数据与具有第二图案的图案数据的互相关运算使被拍摄物400的像复原的复原处理，获取摄影图像(图像数据)。本实施方式如上所述作为第二图案而使用由多个同心圆构成的虚拟的第二格子图案。
[0217]
距离测量部125获取预先决定的测量区域的从摄像装置101至被拍摄物400为止的距离(距离数据)。在本实施方式中，距离测量部125一边改变聚焦距离，一边重复针对保存于图像存储部121的摄像数据的复原处理，将测量区域内的对比度最高的聚焦距离作为距离数据(该测量区域的距离值)。
[0218]
在本实施方式中，如图23(a)所示，将摄像范围610内的预定区域631预先分割为多个单位区域631u。然后，将各单位区域631u分别作为测量区域，获取每个单位区域631u的距离信息。然后，如图23(b)所示，制作每个单位区域631u的距离信息地图711，作为距离数据而输出。
[0219]
由本实施方式的距离测量部125进行的距离测量处理与由前述摄像装置101e进行的距离测量处理基本上相同，所以在此省略说明。
[0220]
但是，在本实施方式中，摄像对象是人物的面部。另外，如后所述，使图23(c)所示的引导图案117显示于显示装置107a而进行摄像。
[0221]
因此，作为摄像对象的面部图像的大小大致同等，另外，还能够大致设想凹凸。因而，关于在聚焦距离计算处理的s531以及s532中设定的聚焦距离的初始值，能够将该值限制在某种程度的范围。另外，面部的凹凸状态的范围能够设想为预定的范围内，所以还能够预先设定上述偏移设定值δf的值。因而，能够降低处理量。
[0222]
另外，距离测量部125将与这样得到的单位区域631u对应的每个区域711u(以下，
每个单位区域711u)的距离信息作为聚焦距离信息，输出到图像处理部122。图像处理部122使用该信息来执行图像的聚焦调整，作为已执行聚焦调整的图像数据而输出到图像信息获取部211以及图像显示装置107。
[0223]
调制器102b、图像传感器103、图像存储部121、图像处理部122以及距离测量部125与上述摄像装置101e的同名的结构基本上相同。由于相同，所以在此，省略详细的说明。
[0224]
认证控制装置210控制3维认证装置200a整体的动作，并且使用图像数据和距离数据，对摄像装置101e摄像到的认证对象即被拍摄物400进行认证。在本实施方式中，为了实现该动作，具备图像信息获取部211、图像认证处理部212、距离信息获取部221、距离认证处理部222、登记信息存储部231、指示受理部241以及摄像控制部243。
[0225]
指示受理部241受理来自用户的指示。在本实施方式中，受理登记在用户的认证时使用的比对用数据的登记指示。在受理登记指示的情况下，将该意思通知给摄像控制部243。
[0226]
此外，指示受理部241在从用户受理登记指示时，还受理与后述比对用数据对应起来存储于登记信息存储部231的该用户的识别信息的输入。
[0227]
来自用户的指示例如经由具有触摸面板的功能的显示装置107a或者摄像装置101e所具备的指示按钮、数字键、键盘等操作装置109等受理。
[0228]
摄像控制部243控制摄像装置101e的摄像。在本实施方式中，在从指示受理部241受理登记指示的情况下，以获取比对用数据(登记数据)的方式控制摄像装置101e。登记数据获取处理将在后面叙述。获取到的登记数据作为登记图像数据以及登记距离数据而分别存储于登记信息存储部231。此外，此时，将经由指示受理部241受理的识别信息对应起来存储。
[0229]
另外，摄像控制部243使引导图案117显示于显示装置107a，调整摄像时的用户的位置(站立位置)。关于调整，如图23(c)所示，以使用户的面部进入到显示于显示装置107a的引导图案内的方式进行。
[0230]
此外，关于引导图案117，以针对在摄像时实施面部认证的利用者而与摄像装置101保持适当的距离，从而能够按照适当的大小将面部图像显示于图像显示装置107的方式引导。显示的引导图案预先存储于存储装置。
[0231]
图像信息获取部211和图像认证处理部212将由摄像装置101e获取到的认证对象的图像即认证图像(认证图像数据)与登记认证图像(登记图像数据)进行比对，将比对结果作为图像认证结果而输出。这样，图像信息获取部211和图像认证处理部212作为图像认证部发挥功能。
[0232]
图像信息获取部211从图像处理部122输出的图像数据抽取面部认证所需的特征(称为认证用特征数据)，生成认证图像数据或者登记图像数据。
[0233]
在本实施方式中，图像信息获取部211首先从根据图像数据确定的图像区域之中抽取用于面部认证的面部区域。面部区域的抽取使用已知的面部辨识处理等图像处理来进行。此外，在本实施方式中，如上所述，在摄像时，使引导图案117显示，对用户催促站在面部进入到引导图案117内的位置。因此，图像信息获取部211也可以抽取图像区域内的与引导图案117对应的区域作为面部区域。
[0234]
然后，图像信息获取部211仅关于作为面部区域而抽取出的范围而进行特征量抽
取处理。在特征量抽取处理中，使用已知的特征量抽取手法。
[0235]
即，图像信息获取部211对抽取出的面部区域进行面部图像解析处理，确定构成面部的特征的主要部位。作为面部的主要部位，例如设为眼睛、鼻子、嘴巴、眉毛、耳朵等面部的部位。当确定主要部位时，图像信息获取部211从各主要部位进行特征点的抽取处理，将特征点的位置、特征点间的2维距离信息等作为认证特征数据。
[0236]
在此，图像信息获取部211在经由指示受理部241受理登记指示的情况下，对计算出的认证用特征数据实施后述处理，生成登记图像数据。然后，与和登记指示一起受理的识别信息对应起来，存储于登记信息存储部231。
[0237]
另一方面，在未受理登记指示的情况下，图像信息获取部211将计算出的认证特征数据作为认证图像数据，输出到图像认证处理部212。
[0238]
此外，所确定的面部区域的信息也可以还输出到距离测量部125。在该情况下，距离测量部125仅计算面部区域的距离信息。由此，能够抑制距离测量部125的计算量。
[0239]
图像认证处理部212使用从图像信息获取部211收取到的认证图像数据来进行关于图像的认证处理。在本实施方式中，判别与收取到的认证图像数据一致的登记图像数据是否存储于登记信息存储部231。在本实施方式中，将两者进行比较，判别其一致度是否超过预先决定的阈值(图像认证阈值)。预先决定用于该判别的一致度的阈值。
[0240]
判别的结果，在存储有表示图像认证阈值以上的一致度的登记图像数据的情况下，将表示比对成功的信息作为图像认证结果而输出，在除此以外的情况下，将表示比对不成功的信息作为图像认证结果而输出。
[0241]
距离信息获取部221和距离认证处理部222将由摄像装置101e获取到的认证对象的距离即认证距离信息(认证距离数据)与登记认证距离信息(登记距离数据)进行比对，将比对结果作为距离认证结果而输出。这样，距离信息获取部221和距离认证处理部222作为距离认证部发挥功能。
[0242]
距离信息获取部221根据距离测量部125计算出的从摄像装置101e至面部的各部位为止的距离信息，求出各部位间的差分，计算面部的凹凸信息。计算出的凹凸信息作为认证距离数据。在本实施方式中，预先决定作为基准的位置(单位区域711u)，计算与直至该单位区域为止的距离值的差分。
[0243]
例如，如图23(b)那样，在面部区域内的各单位区域711u，将包括耳朵的部分的区域711c作为基准单位区域。然后，求出与其它单位区域例如包括眼睛的部分的区域711a、包括鼻子头部分的区域711b等的差分，作为面部的凹凸信息(认证距离数据)。
[0244]
此外，在上述中，以包括耳朵的部分的区域711c为基准，但并不限于此，也可以适当地设定额头的部分、嘴角的部分等。
[0245]
此外，距离信息获取部221在经由指示受理部241受理登记指示的情况下，对认证距离数据实施后述处理，生成登记距离数据。然后，与和登记指示一起受理的识别信息对应起来，存储于登记信息存储部231。
[0246]
另一方面，在未受理登记指示的情况下，距离信息获取部221将计算出的认证距离数据输出到距离认证处理部222。
[0247]
距离认证处理部222使用从距离信息获取部221收取到的认证距离数据，进行关于距离信息的认证。在本实施方式中，判别与收取到的认证距离数据一致的登记距离数据是
否存储于登记信息存储部231。在本实施方式中，将两者进行比较，判别其一致度是否超过预先决定的阈值(距离认证阈值)。预先决定用于该判别的一致度的阈值。
[0248]
判定的结果，在存储有表示距离认证阈值以上的一致度的登记距离数据的情况下，将表示比对成功的信息作为距离认证结果而输出，在除此以外的情况下，将表示比对不成功的信息作为距离认证结果而输出。
[0249]
登记信息存储部231如上所述将登记图像数据以及登记距离数据与用户的识别信息一起存储。
[0250]
显示装置107a显示图像处理部122进行处理后的图像。另外，在本实施方式中依照来自认证控制装置210的指示显示引导图案117。
[0251]
声音输出装置108依照来自认证控制装置210的指示，输出声音消息。输出的消息预先存储于存储装置293。
[0252]
[面部区域决定处理]
[0253]
接下来，说明本实施方式的3维认证装置200a中的面部区域决定处理。图24是本实施方式的面部区域决定处理的处理流程。如上所述，在本实施方式中，图像传感器103按照预定的时间间隔将摄像数据输出到图像存储部121。以摄像数据被输出到图像存储部121为契机，开始本处理。
[0254]
图像处理部122对输出到图像存储部121的摄像数据进行图像处理(步骤s1101)，生成图像数据。
[0255]
接下来，图像信息获取部211为了确定面部区域，对图像数据进行面部图像解析处理(步骤s1102)。首先，判别在图像数据中是否包含面部图像，即是否存在被确定为面部区域的区域(步骤s1103)。在此，在被确定为面部区域的区域未包含于图像数据的情况下(s1103；否)直接结束处理。
[0256]
另一方面，在面部区域包含于图像数据的情况下(s1103；是)，判别该面部区域是否容纳于引导图案117内(步骤s1104)。
[0257]
在容纳于引导图案117内的情况下(s1104；是)，将在步骤s1104中确定的面部区域决定为面部区域(步骤s1105)。然后，图像信息获取部211将确定所决定的面部区域的信息输出到距离测量部125(步骤s1106)，结束处理。
[0258]
另一方面，当在步骤s1104中未容纳于引导图案117的情况下(否)，摄像控制部243输出消息(步骤s1107)，再次等待摄像数据。此外，此时输出的消息例如包含以容纳于引导图案的方式变更站立位置的指示等。
[0259]
通过本处理，能够使用在面部容纳于引导图案117内的状态下获取到的摄像数据来进行处理，能够提高认证精度。
[0260]
[登记数据登记处理]
[0261]
接下来，说明由本实施方式的摄像装置101的图像信息获取部211以及距离信息获取部221进行的图像数据以及距离数据的登记处理。图25是本登记处理的处理流程。在本实施方式中，在经由指示受理部203受理登记指示的情况下，执行本处理，分别登记登记图像数据以及登记距离数据。在经由指示受理部203受理登记指示之后，开始本处理。
[0262]
此外，在本实施方式中，在决定面部区域之后，对决定该面部区域的摄像数据并行地进行登记图像数据获取处理和登记距离数据获取处理。
[0263]
首先，上述3维认证装置200a进行面部区域决定处理(步骤s1201)。
[0264]
之后，在图像信息获取部211中，进行特征点抽取处理(步骤s1202)，进行将抽取出的特征点作为认证图像数据的认证图像数据生成处理(步骤s1203)。
[0265]
另一方面，在收取到面部区域的通知的距离测量部125中，关于面部区域所包含的单位区域711u分别计算距离数据(步骤s1302)。然后，距离信息获取部221从距离数据生成认证距离数据(步骤s1303)。
[0266]
3维认证装置200a将以上的处理重复预先决定的次数(步骤s1204)。
[0267]
然后，图像信息获取部211从重复数量的认证图像数据生成登记图像数据(步骤s1205)，与所输入的识别信息对应起来，登记于登记信息存储部231(步骤s1206)。
[0268]
另外，距离信息获取部221从重复数量的认证距离数据生成登记距离数据(步骤s1305)，与所输入的识别信息对应起来登记于登记信息存储部231(步骤s1306)。然后，结束处理。
[0269]
此外，登记数据(登记图像数据、登记距离数据)对获取到的多个认证用数据(认证图像数据、认证距离数据)实施预先决定的统计处理而生成。统计的处理例如是平均值处理、求出偏差范围并基于测量误差等的偏差的容许值等的计算等。
[0270]
这样，获取多个认证用数据，对其实施统计处理，生成登记数据是为了降低摄像时的偏差、误差的映影响。设想摄像时的条件例如周围的明亮度、距摄像装置101e的距离、与摄像装置101e相对的面部的朝向、倾斜度等各条件针对每次摄像而产生偏差。因而，考虑辨识精度、辨识错误等，预先设定步骤s1204中的处理次数(重复次数)。此外，处理次数也可以构成为通过兼顾认证精度而适当地增减。
[0271]
[面部认证处理]
[0272]
接下来，说明由本实施方式的3维认证装置200a进行的面部认证处理的流程。在通过面部区域决定处理而决定面部区域时，开始本处理。图26(a)是本实施方式的基于图像的面部认证处理的处理流程。另外，图26(b)是基于距离的面部认证处理的处理流程。
[0273]
首先，说明基于图像的面部认证处理的流程。
[0274]
图像信息获取部211对决定有面部区域的摄像数据进行特征点抽取处理(步骤s1401)。然后，进行将抽取出的特征点作为认证图像数据(认证图像)的认证图像数据生成处理(步骤s1402)。
[0275]
接下来，图像认证处理部212通过将所生成的认证图像数据与存储于登记信息存储部231的登记图像数据进行比较而比对(步骤s1403)。然后，将比较结果作为图像认证结果而输出(步骤s1404)，结束处理。在此，图像认证处理部212比较认证图像数据和登记图像数据，在存储有表示图像认证阈值以上的一致度的登记图像数据的情况下，设为认证成功。另一方面，在与所存储的登记图像数据的一致度全部小于图像认证阈值的情况下，设为认证不成功。
[0276]
接下来，说明基于距离的面部认证处理的流程。
[0277]
在收取到面部区域的通知的距离测量部125中，关于决定该面部区域的摄像数据的面部区域所包含的单位区域分别计算距离数据(步骤s1501)。然后，距离信息获取部221从距离数据生成认证距离数据(步骤s1502)。
[0278]
然后，距离认证处理部222通过将所生成的认证距离数据与存储于登记信息存储
部231的登记距离数据进行比较而比对(步骤s1503)。然后，将比较结果作为距离认证结果而输出(步骤s1504)，结束处理。在此，距离认证处理部222比较认证距离数据和登记距离数据，在存储有表示距离认证阈值以上的一致度的登记距离数据的情况下，设为认证成功。另一方面，在与所存储的登记距离数据的一致度全部小于距离认证阈值的情况下，设为认证不成功。
[0279]
在进行比较处理时使用的图像认证阈值以及距离认证阈值分别以作为同一人物而判别表示预定值以内的一致度的数据的方式决定。根据3维认证装置200a所放置的环境等，以消除测定误差、摄像时的摄像条件等所致的偏差的映影响的方式决定。
[0280]
另外，图像认证阈值与距离认证阈值既可以是相同的值，也可以分别是不同的值。这在以下的其它实施方式、变形例中也是同样的。
[0281]
认证结果的输出目的地例如设为控制出入门920的开闭的进入退出管理服务器910。进入退出管理服务器910收取图像认证结果和距离认证结果，根据其认证的成功与否进行解锁。例如，在图像认证结果以及距离认证结果这两者认证成功的情况下，进行解锁，在其它情况下，不进行解锁。
[0282]
此外，认证结果也可以输出到显示装置107a。此时，作为认证结果，也可以将一致度输出到显示装置107a。
[0283]
此外，在本实施方式的处理流程中，各功能实施的各处理也可以通过其它功能实施。只要作为整体的处理的流程而能够达到上述，就也可以通过构成要素中的任意构成要素来实施。
[0284]
另外，设为登记图像数据以及登记距离数据存储于3维认证装置200a所具备的登记信息存储部231而记载，但不限定于此。只要能够确保足够的安全性，以使得无法从外部容易地访问，就也可以保持于3维认证装置200a外的装置。例如，还能够保持于网络上的服务器上。在该情况下，3维认证装置200a具备与外部装置的数据的收发功能或者通信功能。
[0285]
如以上说明，本实施方式的3维认证装置200a具备：摄像装置101e，将认证对象作为被拍摄物400进行摄像；以及认证控制装置210，对摄像装置101e摄像到的认证对象进行认证。摄像装置101e具备：调制器102b，具备第一图案，根据该第一图案来调制光的强度；图像传感器103，将透射调制器102b的光变换为摄像数据而输出；图像处理部122，对摄像数据进行根据该摄像数据与具有第二图案的图案数据的互相关运算使被拍摄物400的像复原的复原处理来获取图像；以及距离测量部125，获取预先决定的测量区域的从该摄像装置101e至被拍摄物400为止的距离。然后，距离测量部125一边改变聚焦距离，一边重复针对摄像数据的复原处理，将测量区域内的对比度最高的聚焦距离作为距离。另外，认证控制装置210具备：登记信息存储部231，存储预先获取到的认证对象的图像即登记图像数据和预先获取到的认证对象的距离信息即登记距离数据；图像认证部，将由摄像装置101e获取到的所述认证对象的图像即认证图像数据与登记图像数据进行比对，将比对结果作为图像认证结果；以及距离认证部，将由摄像装置101e获取到的所述认证对象的距离即认证距离数据与登记距离数据进行比对，将比对结果作为距离认证结果。
[0286]
这样，根据本实施方式的3维认证装置200a，将不使用光学透镜的摄像装置用于认证。因而，能够实现小型且薄型的认证装置。进而，对由摄像装置获取到的摄像数据进行处理，同时得到相同的摄影范围的图像数据和距离数据，使用它们并行地进行基于图像的认
证和基于距离的认证。因而，能够实现精度更高的认证。即，根据本实施方式，能够提供小型且薄型且高精度的个人认证技术。
[0287]
进而，在本实施方式中，针对2维的预先决定的每个单位区域而获取距离信息。然后，使用该距离数据来进行基于距离的认证。特别是，当将该本实施方式的3维认证装置200a用于利用个人的面部进行认证的面部认证时，除了能够进行基于2维图像的面部图像认证之外，还能够进行使用了包含面部的凹凸信息的距离信息的距离认证。由此，能够进行3维的认证，能够期待认证精度的提高。
[0288]
此外，在本实施方式中，将3维认证装置200a用于出入室管理的情况举为例子而进行了说明，但不限定于此。在为了提高安全而例如进行pc、服务器或者信息设备等的数据管理、除此以外各种设备、装置的作动管理等的认证时，也能够使用本实施方式的3维认证装置200a。
[0289]
另外，图22(a)所示的3维认证装置200a的各结构无需通过一个设备来实现，例如，也可以使与利用者直接地相接的设备具备摄像装置101的图像传感器103、调制器102b、图像存储部121这样的结构，使其它结构具备存在于其它场所的pc、服务器等的设备。在该情况下，登记信息存储部231设置于存在于其它场所的pc、服务器等设备。
[0290]
《变形例1》
[0291]
在上述实施方式中，将在作为被拍摄物400的面部图像容纳于引导图案117内时执行面部认证处理的情况举为例子而进行了说明，但不限定于此。指示受理部241也可以构成为从用户受理认证处理执行的指示，以此为契机而开始上述认证处理。
[0292]
在该情况下，距离测量部125不等待面部区域的决定，而将摄像数据的整个区域或者预先决定的预定区域631分割为单位区域631u，计算各单位区域631u的距离。此外，所使用的摄像数据是成为作为图像信息获取部211的处理对象的摄像图像的基础的摄像数据。
[0293]
此外，在本变形例中，也可以在受理来自用户的指示后，在面部认证处理执行前，执行面部区域决定处理。
[0294]
《变形例2》
[0295]
另外，在上述实施方式中，距离测量部125在决定面部区域后关于包括面部区域的各单位区域631u而计算距离数据。然而，距离数据的计算范围不限定于此。
[0296]
在本实施方式中，作为基于2维的图像的面部认证的追加认证而使用距离信息。认证对象是面部，所以仅凭预先决定的眼睛、鼻子、嘴巴等主要部分的距离信息的话，作为认证信息也是足够的。因而，例如，也可以如图27(a)所示，预先将主要部分作为指定区域，距离测量部125构成为仅计算该指定区域的距离数据。
[0297]
在本图的例子中，关于包括眼睛的区域631d以及包括鼻子的区域631e，按照使用上述摄像装置101d而说明的手法，计算距离。
[0298]
关于这些区域631d、631e，首先，图像信息获取部211确定与这些区域631d、631e对应的图像上的区域。确定是通过如上所述对图像处理部122获取到的2维图像进行面部辨识处理而进行的。然后，距离测量部125将与其对应的存储器的区域即图像存储器的像素103a确定为区域631d、631e。
[0299]
通过这样构成，能够抑制计算距离信息的区域，与其相伴地，能够抑制运算量。即，根据本变形例，能够以少的负荷实现3维认证。
[0300]
《变形例3》
[0301]
此外，进而，也可以为了提高安全，还获取用户的单眼皮、咽喉、牙齿的里侧等2维信息、距离信息来进行认证。示出图27(b)的该情况下的面部图像的一个例子。
[0302]
这样，除了通常的表情下的面部的凹凸信息之外，还将眼睑、双眼皮、嘴巴中的信息等更复杂的形状作为认证信息而取入，从而能够避免基于用面具物冒充的非法的认证。
[0303]
此外，在图27(b)的例子中，示出了获取将单眼闭上的状态下的眼睛或者嘴巴中的信息的情形，但并不限于此，还能够利用两眼睛的距离、距眼皮的距离等。
[0304]
声音输出装置108当通过平常状态的表情来进行面部认证，从图像认证处理部212收取到认证成功的通知时，按照预定的时间间隔输出预先决定的声音消息。
[0305]
输出的声音消息例如是“请将单眼闭上”或者“请将嘴巴张开”这样的声音指示。这些数据预先保存于存储装置293。声音输出装置108通过这些声音指示对用户催促成为所期望的面部的状态。
[0306]
此外，在该情况下，也可以将变化前的图像和距离的3维信息以及变化后的3维信息分别登记于登记信息存储部231，在认证时分别进行比对。即，图像信息获取部211、图像认证处理部212、距离信息获取部221以及距离认证处理部222在输出声音消息之后，在经过预定的时间之后，进行上述面部认证处理。
[0307]
另外，关于变化后的表情，也可以不作为登记信息进行登记。例如，图像信息获取部211、图像认证处理部212、距离信息获取部221以及距离认证处理部222也可以只是判别变化的对象的区域是否发生变化。
[0308]
即，在该情况下，图像认证处理部212以及距离认证处理部222在检测到对应的区域依照声音指示而变化的情况下，设为认证成功。另一方面，在判断为即使接受声音指示，对应的区域也不发生变化，即，利用者无法执行如指示那样的面部的表情的情况下，判断为认证不成功。
[0309]
通过这样构成，能够抑制存储的信息量的增加，防止冒充。另外，能够降低认证处理时的运算量。
[0310]
另外，也可以不全部进行指示登记于存储装置293的表情的变化的声音指示。例如，决定上限的次数，进行声音指示，直至能够检测到表情的变化为止。然后，也可以构成为当直至上限次数为止都无法检测到表情的变化的情况下，判断为认证不成功，即冒充。
[0311]
此外，使面部的表情变化的指示也可以不仅仅是声音指示。例如，还可以将指示作为消息显示于图像显示装置107。
[0312]
《变形例4》
[0313]
此外，在上述实施方式中，分别独立地进行基于图像的认证和基于距离的认证，但不限定于此。例如，也可以构成为只要基于图像的认证以及基于距离信息的认证这两者不是都认证成功，就不输出认证成功。
[0314]
在该情况下，如图28所示，3维认证装置200b还具备认证处理部251。然后，认证处理部251根据图像认证处理部212以及距离认证处理部222的认证结果，最终进行认证(3维认证)。
[0315]
例如，认证处理部251仅在图像认证处理部212判别为认证成功且距离认证处理部222判别为认证成功的情况下，设为认证成功。另一方面，在至少一方是认证不成功的情况
下，判别为认证不成功。
[0316]
图29示出该情况下的面部认证处理的流程。在该情况下，也设为以通过面部区域决定处理决定面部区域为契机而开始来进行说明。
[0317]
当决定面部区域时，在图像信息获取部211以及图像认证处理部212中，与上述同样地，进行特征点抽取处理(步骤s1401)、认证图像数据生成处理(步骤s1402)、比较处理(步骤s1403)，计算图像认证结果(步骤s1404)。
[0318]
另外，在距离信息获取部221以及距离认证处理部222中，与上述同样地，进行每个区域的距离测量处理(步骤s1501)、认证距离数据生成处理(步骤s1502)、比较处理(步骤s1503)，计算距离认证结果(步骤s1504)。
[0319]
认证处理部251收取图像认证结果以及距离认证结果，进行判别是否两方都是认证成功的3维认证(步骤s1601)。然后，在两方都成功的情况下(s1601；是)，作为3维认证结果而输出认证成功(步骤s1602)，在除此以外的情况下，输出认证不成功(步骤s1603)，结束处理。
[0320]
这样，根据本变形例，例如，在是面部认证的情况下，在结合有基于面部基于图像的2维的信息的认证和基于距离信息的面部的凹凸信息这样的其它维度的信息的使用了3维信息的认证中，仅在两者都认证成功的情况下，设为认证成功。因而，能够提高来自3维认证装置200a的认证的成功与否的输出自身的精度。另外，不需要为此的新的硬件。因此，根据本变形例，能够通过简易的结构来进行精度高的认证。
[0321]
《变形例5》
[0322]
进而，在上述实施方式中，作为比较结果，根据是否存在一致度为预先决定的阈值以上的登记数据来判别认证的成功与否。然而，不限定于此。
[0323]
例如，图像认证处理部212在有图像认证阈值以上的一致度的登记图像数据的情况下，将其中的一致度最高的登记图像数据的识别信息输出到认证处理部251。
[0324]
另外，距离认证处理部222在有距离认证阈值以上的一致度的登记距离数据的情况即认证成功的情况下，将其中的一致度最高的登记距离数据的识别信息输出到认证处理部251。
[0325]
认证处理部251在从图像认证处理部212收取到的识别信息与从距离认证处理部222收取到的识别信息一致的情况下，判断为认证成功。另一方面，即便两者都是认证成功，在识别信息不一致的情况下，也判别为认证不成功。
[0326]
图30示出该情况下的处理流程。直至由图像认证处理部212以及距离认证处理部222进行的比较处理(s1403、s1503)为止，与上述实施方式相同。
[0327]
之后，图像认证处理部212判别是否有表示图像认证阈值以上的一致度的登记图像数据(步骤s1701)。然后，在没有表示图像认证阈值以上的一致度的数据的情况下(s1701；否)，设为认证不成功，输出该意思(步骤s1702)，结束处理。
[0328]
另一方面，在有表示图像认证阈值以上的一致度的数据的情况下(s1701；是)，图像认证处理部212将与其中一致度最高(最高一致度)的登记图像数据对应起来存储的识别信息(id)确定为图像id(步骤s1703)，输出到认证处理部251。
[0329]
同样地，距离认证处理部222判别是否有表示距离认证阈值以上的一致度的登记距离数据(步骤s1704)。然后，在没有表示距离认证阈值以上的一致度的数据的情况下
(s1704；否)，设为认证不成功，输出该意思(步骤s1702)，结束处理。
[0330]
另一方面，在有表示距离认证阈值以上的一致度的数据的情况下(s1704；是)，距离认证处理部222将与其中一致度最高(最高一致度)的登记距离数据对应起来存储的识别信息(id)确定为距离id(步骤s1705)，输出到认证处理部251。
[0331]
认证处理部251比较收取到的图像id和距离id，判别两者是否一致(步骤s1706)。然后，在一致的情况下，判别为认证成功，输出该意思(步骤s1707)，结束处理。在不一致的情况下，转移到步骤s1702。
[0332]
根据该变形例，在基于图像的认证和基于距离的认证各自中，确定一致度最高的登记信息的识别信息，判别两者是一致还是不一致。因而，认证精度变得更高。
[0333]
此外，在本变形例中，构成为将一致度最高的1个识别信息从图像认证处理部212以及距离认证处理部222输出到认证处理部251，但输出的识别信息不限定于1个。
[0334]
例如，从图像认证处理部212以及距离认证处理部222分别抽取一致度从高到低的n个、m个(n、m也可以是2以上的整数)。然后，在认证处理部251中，也可以将收取到的n个识别信息与m个识别信息进行对比，如果一致，则判别为认证成功。
[0335]
n、m根据图像认证以及距离认证的精度预先决定。由此，能够提高认证的容许度。
[0336]
《第二实施方式》
[0337]
说明本发明的第二实施方式。在上述实施方式中，关于认证对象，考虑用户的面部。另一方面，在本实施方式中，在相同的生物体中，将认证对象设为生物体内部的例如静脉等。以下，将通过手指的静脉来进行认证的情况举为例子，说明本实施方式。
[0338]
图31(a)示出本实施方式的3维认证装置200b。本实施方式的3维认证装置200a具有与第一实施方式基本上相同的结构。本实施方式的3维认证装置200a还具备间隔控制部261和照射装置262。
[0339]
另外，在本实施方式中，将图像传感器103与调制器102b之间的距离设为可变。如前述式(13)所示，变更与支承构件112b的长度相当的图像传感器103与调制器102b之间的距离，从而变更视场角。然后，提高在对从图像传感器103起近距离范围的物体进行摄像时的基于后处理的聚焦调整精度。
[0340]
图31(b)以及图31(c)示出实施静脉认证的情况下的例子。在通常的图像摄像时，如图31(b)所示，以使图像传感器103与调制器102b的间隔d成为d1的方式配置。另一方面，在执行静脉认证的情况下，如图31(b)所示，将两者的间隔设为d2。此外，d1》d2。
[0341]
间隔控制部261控制图像传感器103与调制器102b的间隔。例如，间隔根据来自用户的指示来控制。此外，间隔控制部261也可以是设置于图像传感器103与调制器102b之间的支承构件112b。即，也可以由弹性体形成该支承构件112b，用户在认证时按下调制器102b，从而变更间隔。另外，间隔控制部261也可以构成为检测变更后的间隔，输出到摄像控制部243。
[0342]
此外，本实施方式的摄像装置101也可以具备检测传感器263，该检测传感器263检测用户为了认证而例如将手指等载置的情况。检测传感器263既可以设置于调制器102b之上，也可以配备于调制器102b与图像传感器103之间的例如支承构件112b。
[0343]
照射装置262是用于对静脉图案进行透射摄像的照射装置。配置于隔着认证对象的手指而与调制器102b对置的位置。照射装置262例如由近红外线led等构成。
[0344]
3维认证装置200b也可以用于如静脉那样的与调制器102b接近地认证的对象和如面部那样的分离地认证的对象这两方。即，3维认证装置200b也可以具备面部认证模式和静脉认证模式这两个认证模式。在该情况下，图像传感器103与调制器102b的间隔既可以如前述那样通过由手指进行的调制器102b部分的按下来改变，也可以在切换模式时，机械性地或者电性地改变间隔。
[0345]
此外，在将3维认证装置200b例如设为专用于基于静脉的认证的情况下，调制器102b与图像传感器103的间隔d也可以固定为对于近距离范围的物体最佳的间隔d2。在该情况下，也可以不具备间隔控制部261。
[0346]
当检测传感器263检测到载置于调制器102b上的用户的手指时，首先，本实施方式的摄像控制部243使照射装置262照射。然后，使图像处理部122进行图像处理。
[0347]
图像处理部122如图32所示截取通过由照射装置262进行的照射而得到的手指的轮廓以及与用虚线表示的手指中的静脉对应的区域641，生成静脉图像，并进行输出。
[0348]
另外，距离测量部125实施聚焦调整，进行得到距离信息的距离测量。如图32所示，对将区域641以预定的网眼状精细地进行分割而成的各单位区域641u执行距离测量。然后，得到每个单位区域641u的距离数据。
[0349]
本实施方式的距离信息获取部221与第一实施方式同样地，关于各单位区域741u，计算与作为基准的单位区域的距离数据的差分，生成凹凸信息的认证距离数据。
[0350]
进而，本实施方式的距离信息获取部221通过解析每个单位区域的距离数据，从而确定静脉图像中的交叉区域的特性。具体而言，判别图像上的血管的重叠是基于血管的分支还是独立的血管3维地重叠。然后，将判别结果与确定单位区域的信息一起输出。
[0351]
说明判别的原理。当在如静脉图像交叠那样的单位区域例如641a、641b静脉分支的情况和立体地交叠地映出的情况下，距离数据不同。在静脉分支的单位区域641a，能够得到与直至其前后左右的单位区域的静脉为止的距离值大致相同的结果。另一方面，在静脉立体地交叠的单位区域641b，能够得到与直至其前后左右的单位区域的静脉为止的距离值不同的结果。
[0352]
距离信息获取部221通过这样使用前后左右的单位区域的距离值来解析距离数据的距离值，从而进行判别静脉图像的重叠是基于血管的分支，还是立体地重叠地被摄像的3维解析。
[0353]
此外，与其它第一实施方式同名的结构是同样的功能，所以在此省略说明。
[0354]
本实施方式中的登记图像数据登记处理、登记距离数据登记处理、面部认证处理基本上与第一实施方式相同。但是，在本实施方式中，不进行面部决定处理。代替其，摄像控制部243当检测到手指载置于调制器102b上这一情况时，开始处理。
[0355]
此时，图像处理部122在处理开始后，使图像从按照预定的时间间隔从图像传感器103输出的摄像数据复原，输出到图像信息获取部211。然后，图像信息获取部211每当收取到图像时，解析该图像，进行特征点抽取处理，生成认证图像数据。
[0356]
另外，距离测量部125在处理开始后，根据在与图像处理部122的处理相同的定时得到的摄像数据，计算距离数据，输出到距离信息获取部221。然后，距离信息获取部221根据该距离数据，生成认证距离数据。
[0357]
此外，其它处理次序与第一实施方式相同，所以在此省略说明。
[0358]
图33(a)示出用于说明将本实施方式的3维认证装置200b应用于进入退出管理的例子的说明图。
[0359]
如果如图33(b)所示，应用将图像传感器103与调制器102b的距离设定为静脉认证用的摄像装置101e，则能够通过基于静脉图案以及静脉的3维位置关系的认证来进行出入门920的开锁。
[0360]
如以上说明，本实施方式的3维认证装置200b除了具备第一实施方式的结构之外，还具备对图像传感器103与调制器102b之间的间隔进行变更的间隔控制部。由此，能够自如地进行摄像装置101e的视场角的变更。
[0361]
因而，根据本实施方式，能够摄像的范围扩大，与其相伴地，能够扩展认证对象。例如，不仅能够应对与摄像装置101e隔开某种程度的距离地对面部进行摄影而进行的面部认证，还能够应对需要接近地摄影的静脉认证。
[0362]
另外，在本实施方式的3维认证装置200b中，在图像认证部中，从静脉图像抽取认证所需的静脉图案，判定与预先登记的静脉图案的一致程度。
[0363]
另一方面，在距离认证部中，获取静脉图案的距离信息，立体地捕捉静脉。即，在距离认证部中，能够从在距离测量部125中得到的静脉图案的距离数据掌握血管的3维的位置关系。
[0364]
特别是，能够判别上述图像上的重叠部分是血管的分支还是重叠。此外，利用该特性，也可以代替静脉图案整体实施3维认证，而着眼于如上所述的重叠部分，作为特征点而抽取来用于3维认证。
[0365]
此外，在本实施方式中，例示出指静脉的情况，但只要能够对静脉进行摄像，即使是手掌等也能够同样地实施。
[0366]
另外，关于本实施方式，也能够应用第一实施方式的各种变形例。
[0367]
进而，也可以将第一实施方式与第二实施方式进行组合。
[0368]
图33(c)示出能够执行3维面部认证和3维静脉认证这两方的3维认证装置200c的一个例子。在3维认证装置200c的盖部201c打开的状态下，摄像装置101e执行用于执行面部认证的面部图像的获取，接下来当关闭盖部201c时，获取静脉图像而执行静脉认证。例如，实施面部认证和静脉认证这双方，仅在双方认证成功的情况下，允许通行。由此，能够进一步提高安全强度。
[0369]
《第三实施方式》
[0370]
说明本发明的第三实施方式。在本实施方式中，将第一实施方式或者第二实施方式的3维认证装置200a～200c(以下，用3维认证装置200代表。)的功能的一部分或者全部搭载于智能手机等便携型的信息通信设备。由此，在本实施方式中，能够使用获取3维信息的无镜头相机，小型且薄型且高精度地进行认证，且能够实现能够便携的3维认证系统900。
[0371]
图34(a)是用于说明本实施方式的3维认证系统900的系统概要的图。如本图所示，在本实施方式中，智能手机等便携型信息终端(以下，称为便携终端。)300具备3维认证装置200的功能以及硬件。然后，将基于便携终端300的认证结果输出到进入退出管理服务器910。进入退出管理服务器910根据认证结果来控制出入门920的解锁。
[0372]
此外，便携终端300只要是具有无线通信功能、信息处理功能、摄像功能以及显示功能的信息处理装置即可，例如，是便携电话、智能手机、平板终端、手表、头戴式显示器等
可穿戴终端、功能手机或者其它便携用数字设备等。
[0373]
本实施方式的便携终端300是现有的普通的便携终端300。图34(b)示出其外观，另外，图35示出其硬件结构。如本图所示，便携终端300具备cpu(central processing unit，中央处理单元)301、系统总线302、存储装置310、通信装置320、扩展i/f327、操作器330、视频处理器340、音频处理器350、传感器360以及照射装置370。
[0374]
cpu301是控制便携终端300整体的微型处理器单元。系统总线302是用于在cpu301与便携终端300内的各动作块之间进行数据收发的数据通信线路。
[0375]
存储装置310具备rom(read only memory，只读存储器)311、ram(random access memory，随机存取存储器)312以及存储装置313。
[0376]
rom311是保存有操作系统等基本动作程序、其它动作程序的存储器。作为rom311，例如，使用如eeprom(electrically erasable and programmable read only memory，电可擦可编程只读存储器)、闪存rom那样的能够改写的rom。
[0377]
存储装置313存储便携终端300的动作程序、动作设定值、为了实现本实施方式的各功能所需的各种程序、各种数据。存储装置313即使在未从外部对便携终端300供给电源的状态下也保持所存储的信息。因此，作为存储装置313。例如使用闪存rom、ssd(solid state drive，固态硬盘)、hdd(hard disk drive，硬盘驱动器)等器件。
[0378]
ram312是基本动作程序、其它动作程序执行时的工作区域。
[0379]
通信装置320具备lan(local area network，局域网)通信器321、电话网通信器322、有线通信器323、接近无线通信器324以及无线通信器325。
[0380]
lan通信器321通过基于wi－fi(注册商标)等的无线连接，经由访问点(ap)装置连接于网络，与网络上的其它装置进行数据的收发。
[0381]
电话网通信器322通过与移动体电话通信网的基站的无线通信，进行通话以及数据的收发。
[0382]
有线通信器323利用usb(universal serial bus，通用串行总线)等有线连接单元来与便携终端300附近的其它装置进行数据的收发。
[0383]
接近无线通信器324通过无线通信来与具备接近无线通信器的其它装置进行数据的收发。接近无线通信器324例如是近距离无线通信(nfc(near field communication，近场通信))的i/f，以几厘米至大致1米左右的极短距离实现搭载有nfc芯片的设备间的双向通信。例如，应对搭载于便携终端300的电子货币等利用了非接触ic芯片的服务。
[0384]
无线通信器325通过无线通信来与具备无线通信器的其它装置进行数据的收发。例如，利用蓝牙(bluetooth(注册商标))等在几米至几十米左右的距离的信息设备间使用电波来进行简易的信息的交换。
[0385]
lan通信器321、电话网通信器322、有线通信器323、接近无线通信器324以及无线通信器325分别具备编码电路、解码电路、天线等。另外，通信装置320也可以还具备实现红外线通信的通信器、其它通信器。
[0386]
在本实施方式中，例如，认证结果由lan通信器321、无线通信器325或者有线通信器323从便携终端300发送到进入退出管理服务器910。
[0387]
扩展i/f327是用于扩展便携终端300的功能的接口群。在本实施方式中，具备影像/声音i/f、操作设备i/f、存储器i/f等。影像/声音i/f进行来自外部影像/声音输出设备
的映影像信号/声音信号的输入、向外部影像/声音输入设备的映影像信号/声音信号的输出等。键盘等外部操作设备经由操作设备i/f连接。存储器i/f连接存储卡、其它存储器介质而进行数据的收发。
[0388]
操作器330进行针对便携终端300的操作指示的输入。在本实施方式中，具备将与显示器341重叠地配置的触摸面板以及按钮开关进行排列的操作键。此外，也可以仅是其任意一方。另外，也可以使用与扩展i/f327连接的键盘等来进行便携终端300的操作。另外，也可以使用通过有线通信或者无线通信连接的分开的便携信息终端设备来进行便携终端300的操作。另外，也可以是显示器341具备触摸面板功能。
[0389]
视频处理器340具备显示器341、图像信号处理器342以及相机343。
[0390]
显示器341例如是液晶面板等显示器件，显示由图像信号处理器342处理后的图像数据，提供给便携终端300的用户。在本实施方式中，还作为3维认证装置200的显示装置107a发挥功能。
[0391]
图像信号处理器342具备省略图示的视频ram，根据被输入到视频ram的图像数据来驱动显示器341。另外，图像信号处理器342根据需要而进行格式变换、菜单、其它osd(on－screen display)信号的重叠处理等。
[0392]
相机343是将入射的光变换为电信号，从而作为图像数据而获取周围、对象物的摄像装置。在本实施方式中，是3维认证装置200的摄像装置101。
[0393]
音频处理器350具备扬声器351、声音信号处理器352以及麦克风353。扬声器351将由声音信号处理器352处理后的声音信号提供给便携终端300的用户。麦克风353将用户的声等变换为声音数据而输入。扬声器351还作为3维认证装置200的声音输出装置108发挥功能。
[0394]
传感器360是用于检测便携终端300的状态的传感器群。在本实施方式中，例如，具备gps(global positioning system，全球定位系统)接收器361、陀螺仪传感器362、地磁传感器363、加速度传感器364、照度传感器365、接近传感器366、生物体信息传感器367以及检测传感器368。
[0395]
检测传感器368是在搭载有第二实施方式的3维认证装置200a时检测手指载置于调制器102b上的情况的传感器。
[0396]
此外，由其它传感器群检测便携终端300的位置、倾斜度、方向角、动作以及周围的明亮度、用户的生物体信息等。另外，也可以是便携终端300还具备气压传感器等压力传感器以外的传感器。此外，由gps接收器361获取位置信息。在gps电波难以进入的场所等中，既可以由lan通信器321使用wi－fi的ap装置的位置信息来获取，也可以同样地由电话网通信器322通过使用了基站的位置信息以及电话通信电波的传播延迟的位置信息获取方法来获取。另外，这些传感器群也可以不必全部具备。
[0397]
照射装置370是在搭载有第二实施方式的3维认证装置200a时对载置于调制器102b上的手指进行照射的装置。
[0398]
此外，图35所示的便携终端300的结构例还包括大量的对于本实施方式不是必需的结构，但即使是不具备这些结构的结构，也不会损害本实施方式的效果。另外，也可以还增加数字广播接收功能、电子货币结算功能等未图示的结构。
[0399]
另外，摄像装置101e以及认证控制装置210的各功能通过如下方式实现：由cpu301
将预先存储于存储装置310的程序载入到ram312而执行。另外，登记信息存储部231例如在存储装置33上被构建。
[0400]
本实施方式的摄像以及3维认证的方法以及动作与上述各实施方式以及变形例相同。
[0401]
这样，根据本实施方式，便携终端300具备上述3维认证装置200。因此，能够利用小型的终端容易地进行3维认证处理。因而，能够应用于安全管理所需的出入室管理、信息设备的数据管理、软件操作等，实现安全性的提高。
[0402]
《变形例6》
[0403]
此外，在本实施方式的3维认证系统900中，将便携终端300具备第一实施方式或者第二实施方式的3维认证装置200的全部功能的情况举为例子而进行了说明，但不限定于此。也可以是进入退出管理服务器910具备一部分的功能。
[0404]
本实施方式的3维认证系统900例如包括摄像、图像处理(显影)、距离测定(距离测量处理)、聚焦调整、面部认证(图像认证处理)、距离认证处理以及解锁指示这样的处理(功能)。
[0405]
图36示出与便携终端300以及进入退出管理服务器910之间的这些功能的分担的一个例子。在此，将各功能的分担例子分别作为处理方式示出。
[0406]
在处理方式1中，在便携终端300侧，仅实施摄像处理。通过进入退出管理服务器910来实现其它处理。
[0407]
即，在便携终端300中，利用图像传感器103来获取摄像数据，通过通信将该摄像数据发送到进入退出管理服务器910。
[0408]
进入退出管理服务器910具备图像存储部121、图像传感器103、距离测量部125以及认证控制装置210的功能。而且，实现图像处理、距离测量(聚焦调整)、认证处理以及解锁指示。
[0409]
在处理方式2中，在便携终端300侧承担从摄像至距离测定(聚焦调整)为止的处理，将之后的处理交接给进入退出管理服务器910侧。
[0410]
即，便携终端300具备摄像装置101的功能，进入退出管理服务器910具备认证控制装置210的功能和解锁指示功能。
[0411]
在处理方式3中，在便携终端300侧执行摄像以及3维认证执行，在进入退出管理服务器910中，进行面部认证和解锁指示。此外，关于认证，也可以是相反的。即，在便携终端300侧进行任意一方的认证，在进入退出管理服务器910侧进行另一方的认证。
[0412]
在处理方式4中，在便携终端300侧实施直至认证处理为止的全部处理，在进入退出管理服务器910侧，根据来自便携终端300的认证结果来执行出入门920的解锁控制。
[0413]
如以上那样，能够根据处理负荷、系统构建的容易度等，在便携终端300和进入退出管理服务器910中自如地变更处理分担，能够实现融合性高的系统。
[0414]
此外，在采用任意的方式的情况下，保存在进行认证处理时使用的登记数据的登记信息存储部231都最好在进行认证处理的功能一侧的装置中构建。
[0415]
《变形例7》
[0416]
进而，也可以对便携终端300与进入退出管理服务器910之间的数据通信进行加密。
[0417]
如图37(a)所示，便携终端300的通信装置320具备加密解码处理部329，该加密解码处理部329对送出的数据进行加密，并且对接收到的数据进行解码。另外，进入退出管理服务器910也同样地具备加密解码处理部411，该加密解码处理部411对送出的数据进行加密，并且对接收到的数据进行解码。
[0418]
由此，能够不被盗窃认证所需的信息、数据地在便携终端300与进入退出管理服务器910之间进行交接。
[0419]
此外，加密解码处理部329、411既可以是各自的设备的cpu通过运算来实现，也可以通过专用硬件等来实现。
[0420]
《变形例8》
[0421]
此外，本实施方式的3维认证装置200例如也可以如图37(b)所示用于便携终端300自身的使用者认证。
[0422]
在该情况下，作为登记图像数据以及登记距离数据而登记的数据分别仅是使用者本人的数据。因而，在上述面部认证处理的比较处理中，如果与所登记的登记图像数据的一致度为图像认证阈值以上，则判别为认证成功。另外，关于距离数据也同样地，如果与所登记的登记距离数据的一致度为距离认证阈值以上，则判别为认证成功。然后，便携终端300的控制部在认证成功时，解除该便携终端300的锁定。
[0423]
在本变形例中，还可以由认证处理部251使用图像认证和距离认证的结果，决定最终的认证的成功与否。另外，也可以将面部认证与静脉认证进行组合而决定认证的成功与否。
[0424]
由此，在面向基于便携终端300的结算功能的应对等中，能够进行精度高的使用者认证。
[0425]
在上述各实施方式以及各变形例中，除了变形例8之外，将把3维认证装置200用于出入室管理的情况举为例子而进行了说明。但是，利用场所不限定于此。例如，不使用数据管理、网上银行等需要安全强度的应用软件等中的密码处理，或者进一步追加地使用各实施方式以及各变形例的3维认证装置，从而实现进一步的安全提高。
[0426]
另外，关于认证对象，不限于面部、静脉，能够用于通过虹膜、手掌、其它3维信息使精度增加的生物体认证等。
[0427]
如以上说明，根据各实施方式以及各变形例，能够使用不需要光学透镜的摄像装置，通过简易的结构来实施3维认证，能够提供提高装置的小型化以及便利性的认证功能。
[0428]
本发明并不限定于上述实施方式以及变形例，包括各种变形例。例如，上述实施方式以及变形例是为了易于理解地说明本发明而详细地说明的，未必限定于具备所说明的所有的结构的例子。另外，能够将某个实施方式或者变形例的结构的一部分置换为其它实施方式、变形例的结构。另外，还能够对某个实施方式或者变形例的结构追加其它实施方式或者变形例的结构。进而，能够对各实施方式或者变形例的结构的一部分进行其它结构的追加、删除以及置换。
[0429]
另外，上述各结构、功能、处理部、处理单元等也可以通过例如用集成电路设计它们的一部分或者全部等而用硬件实现。另外，上述各结构、功能等也可以通过处理器解读并执行实现各个功能的程序而用软件实现。实现各功能的程序、表格、文件等信息能够放置于存储器部、硬盘、ssd(solid state drive，固态硬盘)等记录装置或者ic卡、sd卡、dvd等记
录介质。
[0430]
另外，控制线、信息线表示在说明方面被认为是必要的，在产品方面未必表示所有的控制线、信息线。也可以认为实际上几乎所有的结构相互连接。