具有偏振编码光圈的深度成像摄像头的制作方法

1.本公开涉及具有偏振编码光圈的深度成像摄像头。


背景技术：

2.车辆(例如，汽车、卡车、建筑设备、农业设备、自动化工厂设备)越来越多地使用传感器来获取关于车辆及其周围环境的信息。该信息可用于控制车辆运行的一个或多个方面。获得关于车辆外部环境的信息的示例性传感器包括摄像头、光检测和测距(激光雷达)系统以及无线电检测和测距(无线电雷达)系统。激光雷达和深度成像器提供对象的深度(即从车辆到对象的距离)，但它们也有缺点。因此，希望提供一种具有偏振编码光圈的深度成像摄像头。


技术实现要素：

3.在一个示例性实施例中，一种车辆中的深度成像系统包括透镜，该透镜包括偏振编码光圈。偏振编码光圈包括垂直偏振部分和平行偏振部分，垂直偏振部分使进入偏振编码光圈的垂直偏振部分的入射光作为垂直偏振光通过，平行偏振部分被配置为使进入偏振编码光圈的平行偏振部分的入射光作为平行偏振光通过。图像传感器提供基于垂直偏振光的垂直偏振图像和基于平行偏振光的平行偏振图像。控制器处理垂直偏振图像和平行偏振图像，以识别深度成像系统的视野中的一个或多个对象，并确定一个或多个对象中的每一个的距离。
4.除了本文描述的一个或多个特征之外，偏振编码光圈还包括遮蔽部分，该遮蔽部分被配置为阻挡遇到偏振编码光圈的遮蔽部分的入射光。
5.除了本文描述的一个或多个特征之外，深度成像系统还包括对应于图像传感器的滤光器阵列，其中滤光器阵列是滤光器像素的像素化阵列，图像传感器是传感器像素的像素化阵列，并且每个滤光器像素对应于传感器像素之一。
6.除了本文描述的一个或多个特征之外，滤光器阵列覆盖在图像传感器上，并且位于偏振编码光圈和图像传感器之间。
7.除了本文描述的一个或多个特征之外，滤光器像素被形成为重复图案，该重复图案包括仅将垂直偏振光传递到相对应的传感器像素的垂直偏振滤光器，并且还包括仅将平行偏振光传递到相对应的传感器像素的平行偏振滤光器。
8.除了本文描述的一个或多个特征之外，偏振编码光圈还包括透明部分，以让作为红光和蓝光进入偏振编码光圈的透明部分的入射光通过。
9.除了本文描述的一个或多个特征之外，垂直偏振光是绿光，平行偏振光是绿光。
10.除了本文描述的一个或多个特征之外，滤光器像素被形成为重复图案，该重复图案包括仅将作为绿光的垂直偏振光传递到相对应的传感器像素的垂直偏振滤光器、仅将作为绿光的平行偏振光传递到相对应的传感器像素的平行偏振滤光器、仅将红光传递到相对应的传感器像素的红色滤光器、以及仅将蓝光传递到相对应的传感器像素的蓝色滤光器。
11.除了本文描述的一个或多个特征之外，图像传感器基于红光和蓝光提供非偏振彩色图像。
12.除了本文描述的一个或多个特征之外，控制器基于到一个或多个对象中的每一个的距离来控制车辆的操作。
13.在另一示例性实施例中，一种在车辆中组装深度成像系统的方法包括获得透镜，该透镜包括偏振编码光圈，该偏振编码光圈具有垂直偏振部分，以使进入偏振编码光圈的垂直偏振部分的入射光作为垂直偏振光通过，以及平行偏振部分，以使进入偏振编码光圈的平行偏振部分的入射光作为平行偏振光通过。该方法还包括定位偏振编码光圈以接收来自视野的入射光，并布置图像传感器以提供基于垂直偏振光的垂直偏振图像和基于平行偏振光的平行偏振图像。控制器被配置成处理垂直偏振图像和平行偏振图像，以识别深度成像系统的视野中的一个或多个对象，并确定一个或多个对象中的每一个的范围。
14.除了本文描述的一个或多个特征之外，该获得包括偏振编码光圈，该偏振编码光圈包括被配置为阻挡遇到偏振编码光圈的遮蔽部分的入射光的遮蔽部分。
15.除了本文描述的一个或多个特征之外，该方法还包括获得对应于图像传感器的滤光器阵列，其中滤光器阵列是滤光器像素的像素化阵列，图像传感器是传感器像素的像素化阵列，并且每个滤光器像素对应于传感器像素之一。
16.除了本文描述的一个或多个特征之外，该方法还包括将滤光器阵列覆盖在图像传感器上以及偏振编码光圈和图像传感器之间。
17.除了本文描述的一个或多个特征之外，获得滤光器阵列包括将滤光器像素形成为重复图案，该重复图案包括仅将垂直偏振光传递到相对应的传感器像素的垂直偏振滤光器，并且还包括仅将平行偏振光传递到相对应的传感器像素的平行偏振滤光器。
18.除了本文描述的一个或多个特征之外，获得偏振编码光圈还包括偏振编码光圈，该偏振编码光圈包括透明部分，该透明部分被配置为使作为红光和蓝光进入偏振编码光圈的透明部分的入射光通过。
19.除了本文描述的一个或多个特征之外，垂直偏振光是绿光，平行偏振光是绿光。
20.除了本文描述的一个或多个特征之外，获得滤光器阵列包括形成为重复图案的滤光器像素，该重复图案包括仅将作为绿光的垂直偏振光传递到相对应的传感器像素的垂直偏振滤光器、仅将作为绿光的平行偏振光传递到相对应的传感器像素的平行偏振滤光器，仅将红光传递到相应传感器像素的红色滤光片，以及仅将蓝光传递到相应传感器像素的蓝色滤光片。
21.除了本文描述的一个或多个特征之外，布置图像传感器包括配置图像传感器以基于红光和蓝光提供非偏振彩色图像。
22.除了本文描述的一个或多个特征之外，配置控制器还包括配置控制器以基于到一个或多个对象中的每一个的距离来控制车辆的操作。
23.当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得易于理解。
附图说明
24.其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考了附
图，其中:
25.图1是包括具有偏振编码光圈的深度成像摄像头的车辆的框图；
26.图2详细描述了根据一个或多个实施例的具有偏振编码光圈的深度成像摄像头的各方面；
27.图3a示出了根据一个或多个实施例的具有偏振编码光圈的深度成像摄像头的各方面；
28.图3b示出了根据一个或多个实施例的具有偏振编码光圈的深度成像摄像头的各方面；
29.图4a示出了根据一个或多个实施例的深度成像摄像头的示例性偏振编码光圈；
30.图4b示出了根据一个或多个实施例的深度成像摄像头的示例性偏振编码光圈；
31.图4c示出了根据一个或多个实施例的深度成像摄像头的示例性偏振编码光圈；
32.图4d示出了根据一个或多个实施例的深度成像摄像头的示例性偏振编码光圈；
33.图5示出了根据一个或多个实施例的在深度成像摄像头中使用偏振编码光圈的处理流程；
34.图6a示出了根据一个或多个实施例的深度成像摄像头中使用的示例性滤光器阵列的滤光器图案；和
35.图6b示出了根据一个或多个实施例的深度成像摄像头中使用的示例性滤光器阵列的滤光器图案。
具体实施方式
36.以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。
37.如前所述，激光雷达是提供图像的示例性传感器，从该图像可以获得图像中对象的深度。该深度表示从车辆到对象的距离。然而，深度确定具有有限的分辨率，需要与诸如激光光源的部件相关联的成本和重量，并且计算成本高。深度成像的另一种方法涉及立体摄像头(即，从公共视野获得图像的两个或更多摄像头)。然而，这种方法不仅需要多个摄像头，还需要摄像头之间的对准和校准。
38.本文详述的系统和方法的实施例涉及具有偏振编码光圈的深度成像摄像头。单个摄像头与具有双离轴偏振编码区域(dual off-axis polarization-coded area)的光圈一起使用。一般认为，摄像头的光圈是镜头的开口(即曝光)部分，光线通过它进入摄像头。光圈可以构成镜头的一部分或全部。根据一个或多个实施例，透镜包括偏振编码的光圈(即，光通过其进入的透镜部分)。光圈的偏振编码部分之一具有平行偏振，使得具有任何其他偏振的光不会穿过光圈的该部分到达图像传感器。光圈的另一个偏振编码部分具有垂直偏振，使得任何其他偏振的光都不会穿过光圈的该部分。如详细描述的，图像传感器基于经由光圈的两个不同编码部分获得的图像之间的视差来确定用摄像头获得的图像中每个对象的距离。
39.根据示例性实施例，图1是车辆100的框图，车辆100包括具有偏振编码光圈210的深度成像摄像头110(图2)。图1所示的示例性车辆100是汽车101。除了深度成像摄像头110之外，车辆100包括获得关于车辆100周围环境的信息的其他传感器130(例如，无线电雷达
系统、激光雷达系统)。车辆100内的深度成像摄像头110和其他传感器130的数量和位置不旨在受到图1中的示例性图示的限制。车辆100还包括控制器120，其从摄像头110和一个或多个其他传感器130获得信息，并基于该信息控制车辆100的操作。信息的示例性应用包括碰撞避免、自动制动、自适应巡航控制和自动驾驶。
40.控制器120从深度成像摄像头110获得的信息可以包括在利用深度成像摄像头110获得的图像中捕获的一个或多个对象140的标识。对象识别可以基于控制器120的图像处理。如详细描述的，控制器120还可以从深度成像摄像头110的图像获得深度信息(即，到每个被识别的对象140的距离)。控制器120可以包括处理电路，该处理电路可以包括专用集成电路(asic)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。
41.图2详细描述了根据一个或多个实施例的具有偏振编码光圈210的深度成像摄像头110的各方面。通常，深度成像摄像头110包括透镜211，透镜211包括偏振编码光圈210和图像传感器240。偏振编码光圈210在图2以及图3a和3b中显示是透镜211的整体。在图5中，透镜211被示为包括偏振编码光圈210以及附加部分。图2中示出了示例性的物平面(object plane)205。示例性物平面205位于与聚焦的偏振编码光圈210相距的距离rf处。该示例性物平面205是深度成像摄像头110的视野内的许多物平面205之一，光207从该物平面被导向偏振编码光圈210。也就是说，尽管出于解释目的，仅示出了来自示例性物平面205的光207，但是光207从每个物平面205进入偏振编码光圈210。光207是非偏振的。
42.在偏振编码光圈210处，垂直偏振部分220和平行偏振部分230将光207偏振成正交偏振态。也就是说，垂直偏振部分220用垂直偏振来偏振入射光207，以产生垂直偏振光225，而平行偏振部分230用平行偏振来偏振入射光207，以产生一般的平行偏振光235。垂直偏振部分220和平行偏振部分230彼此离轴设置。因此，偏振编码光圈210包括双离轴偏振编码区域。偏振编码光圈210的其余部分包括可选的遮蔽部分215，其防止光207通过。参考图4和5进一步详细描述偏振编码光圈210和图像传感器240。
43.如前所述，图2所示的示例性物平面205处于深度成像摄像头110的对焦距离(focus range)rf。这样，源自示例性物平面205中的相同点的入射光207所产生的垂直偏振光225和平行偏振光235在相同点遇到图像传感器240。如图3a和3b所示，当给定物平面205的距离r小于或大于对焦距离rf时，情况并非如此。如参考图5所讨论的，这个事实被用于基于在图像传感器240上叠加滤光器阵列510(图5)来获得两个图像520、530(图5)。因此，使用深度成像摄像头110的偏振编码光圈210，获得与垂直偏振光225相关联的垂直偏振图像520和与平行偏振光235相关联的平行偏振图像530。然后从两个图像520、530获得视差图540(图5)，以便于深度确定。该视差图540类似于在立体摄像头方法中获得的视差图，但是不需要用两个独立的摄像头(即，独立的图像传感器)获得图像。
44.图3a和3b示出了在图像传感器240处两个示例性物平面205的结果。图3a示出了根据一个或多个实施例的具有偏振编码光圈210的深度成像摄像头110的各方面。进入偏振编码光圈210的光207来自示例性物平面205，该物平面205处于比对焦距离rf更小(即，更靠近深度成像摄像头110)的距离r。将图3a中图像传感器240的输入与图2中所示的输入进行比较，垂直偏振光225和平行偏振光235不在图3a中图像传感器240的相同点处相遇。而是，来自示例性物平面205中给定点的光207作为垂直偏振光225和平行偏振光235被投影到图像
处理器240的分离点(例如，像素517(图5))。对于投影来说，部分220、230的相对位置被保持。也就是说，如图3a所示，垂直偏振部分220在偏振编码光圈210的平行偏振部分230上方。因此，对于来自小于rf的距离r的点，垂直偏振光225投影在图像传感器240上的平行偏振光235的上方。投影之间的距离d1随着距离r的减小而增加。
45.图3b示出了根据一个或多个实施例的具有偏振编码光圈210的深度成像摄像头110的各方面。进入偏振编码光圈210的光207来自示例性物平面205，该物平面205处于比对焦距离rf更大的距离r(即，离深度成像摄像头110更远)。将图3b的图像传感器240的输入与图2所示的输入进行比较，垂直偏振光225和平行偏振光235不在图3b的图像传感器240的相同点处相遇。而是，来自示例性物平面205中给定点的光207作为垂直偏振光225和平行偏振光235被投影到图像处理器240的分离点(例如，像素517)。
46.与图3a所示的情况不同，对于投影来说，部分220的相对位置(例如，根据所示视图，偏振编码光圈210的平行偏振部分230上方的垂直偏振部分220)没有被保持。而是，在示例性布置中，垂直偏振光225从示例性物平面205的相同点投影到平行偏振光235的下方。投影之间的距离d2随着距离r的增加而增加。基于相对于对焦距离rf的物平面205的距离r，垂直偏振光225和平行偏振光235的相对投影的差异表示距离d1或距离d2是否相关。然后，如参考图5所讨论的，距离d1或d2有助于确定距被检测的对象140的距离r。
47.图4b、4c、4d的4a示出了深度成像摄像头110的偏振编码光圈210的示例性实施例。示出的示例并不旨在根据替代实施例限制偏振编码光圈210。图4a示出了根据一个或多个实施例的深度成像摄像头110的示例性偏振编码光圈210。示出了垂直偏振部分220和平行偏振部分230。光学遮蔽部分215构成偏振编码光圈210的其余部分。因此，光207仅穿过垂直偏振部分220和平行偏振部分230到达图像传感器240。
48.图4b示出了根据一个或多个实施例的深度成像摄像头110的示例性偏振编码光圈210。类似于图4a所示的实施例，图4b所示的实施例描绘了偏振编码光圈210，其具有垂直偏振部分220和平行偏振部分230，光学遮蔽部分215构成偏振编码光圈210的其余部分。
49.图4c示出了根据一个或多个实施例的深度成像摄像头110的示例性偏振编码光圈210。如图所示，偏振编码光圈210被分成垂直偏振部分220或平行偏振部分230。
50.图4d示出了根据一个或多个实施例的深度成像摄像头110的示例性偏振编码光圈210。虽然图4a、图4b和图4c所示的偏振编码光圈210属于单色深度成像摄像头110，但是图4d所示的偏振编码光圈210属于彩色成像器。偏振编码光圈210的透明部分400阻挡对应于绿色g波长的光207，并使对应于红色r和蓝色b的光207通过。光207的绿色部分通过垂直偏振部分220或平行偏振部分230。
51.图5示出了根据一个或多个实施例的在深度成像摄像头110中使用偏振编码光圈210的处理流程。如前所述，来自深度成像摄像头110的视野内的物平面205的光207进入偏振编码光圈210。如所示，在示例性情况下，透镜211具有偏振编码光圈210之外的部分。如图4a至4d所示，偏振编码光圈210包括垂直偏振部分220和平行偏振部分230，它们可以根据任意数量的示例性实施例来成形、调整尺寸和布置。此外，偏振编码光圈210可以包括光学遮蔽部分215以阻挡光207或滤色器(例如，透明部分400)的通过，使得垂直偏振部分220和平行偏振部分230仅属于一种颜色(例如，绿色g)。因此，偏振编码光圈210提供垂直偏振光225和平行偏振光235，并且可以另外提供其他光505(例如，基于清晰部分400)。
52.滤光器阵列510被显示为对应于图像传感器240。图像传感器240是像素化的光检测器阵列。示出了像素517之一。滤光器阵列510的每个像素515对应于图像传感器240的像素517。例如，图像传感器240可以是互补金属氧化物半导体(cmos)图像传感器，其将光子转换成电子，以便于所得像素517的数字图像处理。滤光器阵列510也被像素化，以便于每个像素的滤光。指示了像素515之一。如参考图6进一步讨论的，滤光器阵列510有助于分离分别对应于由偏振编码光圈210产生的垂直偏振光225和平行偏振光235的垂直偏振图像520和平行偏振图像530。
53.控制器120获得垂直偏振图像520和平行偏振图像530以及视差图540。控制器120首先执行图像处理以识别图像520、530中的一个或多个对象140。控制器120然后指示垂直偏振图像520中的每个对象140的每个部分与平行偏振图像530中的同一部分之间的距离d1或d2作为视差图540。如前所述，获得视差图的现有方法包括两个独立的图像传感器，这两个图像传感器具有共同的视野并且对准。
54.如参考图3a和3b所讨论的，对象140的同一部分在两个图像520、530中的投影的相对位置表示距离r是小于还是大于对焦距离rf。也就是说，如果投影的相对位置保持垂直偏振部分220和平行偏振部分230的相对位置，则距离r小于对焦距离rf。如果投影的相对位置没有保持垂直偏振部分220和平行偏振部分230的相对位置，则距离r大于对焦距离rf。那么距离d1(在r《rf的情况下)或d2(在r》rf的情况下)的值通过表明距已知对焦距离rf的距离来表示距离r的值。也就是说，当r《rf时，距离r为对焦距离rf减去d1，当r》rf时，距离r为对焦距离rf加上d2。以这种方式，可以基于视差图540来确定深度成像摄像头110的视野中的每个对象140的距离r。
55.图6a和图6b示出了根据一个或多个实施例的深度成像摄像头110中使用的滤光器阵列510的各方面的示例性实施例。图6a示出了根据一个或多个实施例的深度成像摄像头110中使用的示例性滤光器阵列510的滤光器图案。如前所述，滤光器阵列510是像素515的阵列。针对滤光器阵列510示出的四个像素515可以代表滤光器阵列510的所有像素515的小子集。针对图6a所示的四个像素515指示和讨论的图案可以在整个像素阵列515上重复。如图所示，每隔一个像素515过滤垂直或平行偏振。也就是说，每个垂直偏振滤光器610滤除由平行偏振部分230产生的平行偏振光235(即，仅通过垂直偏振光225)，并且每个平行偏振滤光器620滤除由垂直偏振部分220产生的垂直偏振光225(即，仅通过平行偏振光235)。
56.如前所述，滤光器阵列510可以覆盖在图像传感器240上。因此，例如，图像传感器240的每隔一个像素517仅接收垂直偏振光225并产生部分垂直偏振光图像520，或者仅接收平行偏振光235并产生部分平行偏振光图像530。也就是说，基于图6a所示的示例性滤光器阵列510，垂直偏振图像520由图像传感器240的全像素阵列517的一半组成，平行偏振图像530由全像素阵列517的另一半组成。
57.图6b示出了根据一个或多个实施例的深度成像摄像头110中使用的示例性滤光器阵列510的滤光器图案。虽然图6a所示的示例性滤光器阵列510属于单色摄像头，但是图6b所示的滤光器图案510可以用于具有例如图4d所示的示例性偏振编码光圈210的彩色摄像头。如上所述，图6a中所示的四个像素515的每个图案形成两种类型的输出(即，垂直偏振光225或平行偏振光235被滤光)。然而，如图6b所示的四个像素515的图案，其可以在滤光器阵列510上重复任何次数，导致四种类型的输出，如下所述。
58.例如，基于图4d所示的示例性偏振编码光圈210，假设只有绿光被偏振，则每个垂直偏振滤光器610仅让绿色的垂直偏振光225通过。每个平行偏振滤光器620仅让也是绿色的平行偏振光235通过。这两种类型的滤光器用于获得垂直偏振图像520和平行偏振图像530。也就是说，基于图6b所示的示例性滤光器阵列510，垂直偏振图像520由图像传感器240的像素517的整个阵列的四分之一组成，平行偏振图像530由像素517的整个阵列的四分之一组成。蓝色b滤光器630仅让蓝光通过，红色r滤光器640仅让红光通过。蓝光和红光是非偏振的。因此，可以获得两个附加图像，一个包括蓝光b，一个包括红光r。这些图像由图像传感器240的像素517的总数的另一半组成。例如，图像可以被组合以向驾驶员呈现彩色图像。
59.虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且等同物可以替代其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。