生成复合影像的成像系统及方法与流程

1.本发明的实施方式涉及一种设备及一种方法，且更特定地，涉及一种生成复合影像的成像系统及方法。


背景技术：

2.用来拍照的成像系统在本领域中是常见的，其具有不同的应用，包括摄影机及扫描器。成像系统通常包含倍数透镜、复合透镜及膜，以减少透镜中的瑕疵所导致的像差。大部分透明材料的折射率随增大的波长而减小。由于透镜的焦距依折射率而定，故折射率的此变化影响了聚焦，从而导致色差。有色差的透镜导致沿着划分影像的暗部分及亮部分的边界的色彩“条纹”。
3.为了克服色差，往往使用具有多层透镜的复合透镜，以最小化或最好完全移除影像中的色差。然而，复合透镜包括垂直地堆叠的多个透镜，因此往往笨重，导致关于智能手机及其他装置的透镜突出问题。此外，因为常用材料的低折射率所致，常规的红外线(ir)透镜的材料选择有限。
4.超透镜(metalens)比传统透镜及复合透镜小得多(尺寸在微米级(microscale)或纳米级(nanoscale)上，厚度经常小于1μm)，且表现出有望在各种成像应用中取代常规透镜。超透镜制造也与常规半导体制造相容。超透镜的一个缺点是其也具有色差，甚至比常规透镜更加严重。超透镜通常仅针对极窄的光波长有用，因此它们无法被使用于全彩色影像。
5.因此，对能在宽光波长范围内利用超透镜的设备及方法存在需求。


技术实现要素：

6.在一个实施方式中，提供一种成像系统，所述成像系统包括一或更多个透镜组件和控制器，各透镜组件包括：多个超透镜滤光系统，所述多个超透镜滤光系统包括多个超透镜及多个滤色器，每个滤色器耦合至所述多个超透镜中的一个超透镜，所述滤色器的中心穿透波长与相应的所述超透镜的工作波长相同；以及多个传感器，每个传感器耦合至一超透镜滤光系统，所述控制器包含处理器，所述处理器被配置为将来自所述多个超透镜的各者的超透镜影像结合成为复合影像。
7.在另一实施方式中，提供一种成像系统，所述成像系统包括一或更多个透镜组件和控制器，各透镜组件包括：多个超透镜滤光系统，所述多个超透镜滤光系统包括多个超透镜及多个滤色器，每个滤色器耦合至所述多个超透镜中的一者，所述滤色器的中心穿透波长与相应的所述超透镜的工作波长相同；及多个传感器，每个传感器耦合至一超透镜滤光系统，所述控制器包含处理器，所述处理器被配置为将来自所述多个超透镜的各者的超透镜影像结合成为复合影像。所述多个超透镜滤光系统包括至少一个红色超透镜滤光系统、至少一个绿色超透镜滤光系统及至少一个蓝色超透镜滤光系统。
8.在另一实施方式中，提供一种成像系统，所述成像系统包括一或更多个透镜组件、传感器和控制器，各透镜组件包括聚焦透镜、及包括多个超透镜的超透镜组件，所述传感器
耦合至所述一或更多个透镜组件，所述控制器包括处理器，所述处理器被配置为将来自所述多个超透镜的各者的超透镜影像结合成为复合影像。所述多个超透镜包括至少一个红色超透镜、至少一个绿色超透镜及至少一个蓝色超透镜。
9.在另一实施方式中，提供一种生成一或更多个复合影像的方法，所述方法包括：将包含一或更多个透镜组件的成像系统暴露于光，其中每个透镜组件包括多个超透镜滤光系统及多个传感器，所述多个超透镜滤光系统包括多个超透镜及多个滤色器，每个滤色器耦合至所述多个超透镜中的一者，所述滤色器的中心穿透波长与相应的所述超透镜的工作波长相同，所述多个超透镜滤光系统包含具有红色滤色器的至少一个红色超透镜、具有绿色滤色器的至少一个绿色超透镜、及具有蓝色滤色器的至少一个蓝色超透镜，每个传感器耦合至一超透镜滤光系统，其中所述光穿过所述多个超透镜滤光系统，使得所述多个超透镜滤光系统的各者生成超透镜影像；将多个传感器暴露至多个所述超透镜影像的各者，所述传感器耦合至所述超透镜滤光系统；将多个所述超透镜影像发送至处理器；及利用所述处理器将多个所述超透镜影像结合成为所述一或更多个复合影像。
10.所述成像系统减轻了超透镜导致的任何色差，因为这些超透镜的各者将光聚焦至不同波长范围中，从而生成分别的超透镜影像。将这些超透镜影像结合成复合影像，而因此减少了最终影像中的色差。
附图说明
11.为了能详细理解本揭示案的上述特征的方式，可通过参照实施方式得到以上简要概述的实施方式的更特定说明，一些实施方式描绘于附图中。然而，应注意附图描绘的仅是本揭示案的典型实施方式，而因此不应被认定限制本揭示案的范围，因为本揭示案可允许其他同等有效的实施方式。
12.图1a描绘根据一个实施方式的成像系统。
13.图1b至图1e描绘根据一些实施方式的一或更多个透镜组件的排列方式。
14.图2a及图2b描绘根据一些实施方式的超透镜滤光系统的排列方式。
15.图3a描绘根据一个实施方式的多个超透镜特征的一部分的俯视图。
16.图3b描绘根据一个实施方式的多个超透镜特征的一部分的侧视图。
17.图4是根据一个实施方式的用于生成复合影像的方法操作的流程图。
18.为促进理解，已尽可能使用相同的附图标记来指示在各图中共有的相同元件。可设想到，一个实施方式中的元件及特征可有益地并入其他实施方式中而无需进一步详述。
具体实施方式
19.本文中提供的揭示内容的实施方式包括一种利用一或更多个透镜组件的成像系统，及一种生成一或更多个复合影像的方法。将成像系统暴露于从物体反射的光，而所述光通过多个超透镜滤光系统过滤。接着将在多个传感器处由特定窄波长的聚焦光生成的超透镜影像结合成为复合影像。所产生的复合影像大致没有色差。本文中提供的本揭示案的实施方式可特别有用于(但不限于)用于利用超透镜来生成复合影像的成像系统及方法。
20.如本文中所使用的，用语“约”指的是相对于标称值有 /-10％的变化范围。应了解到，此变化可包括在本文中提供的任意值中。
21.图1a描绘根据一个实施方式的成像系统100。如所图示的，成像系统100包括控制器190及一或更多个透镜组件125。如所图示的，一或更多个透镜组件125包括基座121、多个超透镜滤光系统135及多个传感器140。透镜组件125可具有约100μm到约15mm的宽度。透镜组件125之间的宽度可随应用而改变。例如，可修改透镜组件125之间的宽度以拍摄传统二维影像，或者所述宽度可被增大以拍摄三维或立体影像。
22.尽管本揭示案的部分描述了将成像系统100暴露于白色光，但应理解此为示例，而成像系统100可被暴露于任意光谱，其包括但不限于白色光、可见光或预先过滤的光。
23.超透镜滤光系统135设置在基座121中。如所图示的，超透镜滤光系统135包括超透镜120及滤色器122。超透镜120将特定波长的光聚焦于该超透镜的所选焦距处。滤色器122设置在超透镜120下方。滤色器122的中心穿透波长与相应超透镜120的工作波长相同。例如，焦距为约1cm的红色超透镜120r将红色光聚焦于离超透镜120r的距离为约1cm之处。接着红色滤色器122r从红色超透镜120r所生成的影像过滤非红色光，而此经过滤的影像入射在传感器140r上，从而产生被所述传感器感应的超透镜影像，其中该超透镜影像主要包括来自原始物体的红色光。相邻绿色超透镜120g具有与红色超透镜120r相同的焦距，该绿色超透镜120g将绿色光聚焦于离超透镜120g约1cm的距离处。接着绿色滤色器122g从绿色超透镜120g所生成的影像过滤非绿色光，而此经过滤的影像入射在传感器140g上，从而产生被所述传感器感应的超透镜影像，其中该超透镜影像主要包括来自原始物体的绿色光。这些超透镜影像接着被结合以做出复合影像，其将于下文更详细说明。结果是各透镜组件125具有单一焦距，该焦距可与其他透镜组件125、125’的焦距不同。
24.尽管图1a示出在经聚焦的光被聚焦至滤色器122上之前白色光入射在超透镜120上，但滤色器能被放置在超透镜前方，使得在经过滤的光入射在超透镜120上之前白色光被滤色器过滤。滤色器122可为本领域中所使用的任何滤色器，诸如bayer过滤器。滤色器122本身也可以是超透镜或超表面(metasurface)。此外，超透镜120可包括各别超透镜的堆叠，在各别超透镜之间以透明基板(诸如玻璃或塑料)生长。
25.根据一些实施方式，一或更多个透镜组件125、125’具有不同焦距，且这些透镜组件构成变焦透镜系统。透镜组件125的焦距可从约0.5mm到约2000mm而变化。不同焦距让成像系统100能将位于各不同距离之处的物体精确地成像。例如，透镜组件125具有约0.5mm的焦距，允许将非常接近成像系统100的物体成像，而透镜组件125’具有的焦距是2000mm，允许将离成像系统100非常远的物体成像。
26.图1b至图1e描绘根据一些实施方式的一或更多个透镜组件125的排列。图1b显示具有一个透镜组件125的成像系统100。图1c显示具有两个透镜组件125的成像系统100。图1d显示具有在2
×
2栅格(grid)中的四个透镜组件125的成像系统100。图1e显示具有n
×
n’个透镜组件125的成像系统100，其中n与n’为任意整数。n及n’可为相同数字，或不同数字。透镜组件125可根据应用而以任何适当的图案排列，诸如(但不限于)图1d中显示的栅格形、螺旋形、圆形或任何其他适当的形状。根据一个实施方式，如图1c中所示，有四个透镜组件125排列在栅格中。在栅格中，透镜组件125可在y方向中有间距a，而在x方向中有间距b。间距a与间距b可以是相同的或不同的。透镜组件125可分隔约500μm到约10cm，这依成像系统100的用途而定。例如，针对单一影像采集，透镜组件125可分隔约500μm到约3cm。针对多重影像采集，透镜组件125可分隔约3cm到约15cm。
27.图2a及图2b描绘根据一些实施方式的超透镜滤光系统135的排列方式。超透镜滤光系统135包括至少一个红色超透镜滤光系统135r、至少一个绿色超透镜滤光系统135g及至少一个蓝色超透镜滤光系统135b，其中(例如)绿色超透镜滤光系统包括绿色超透镜120g及绿色滤色器122g。根据一个实施方式，超透镜滤光系统135包括至少两个绿色超透镜滤光系统135g。红色超透镜滤光系统135r过滤白色光以留下波长为约600nm到约700nm的红色光，绿色超透镜滤光系统135g过滤白色光以留下波长为约500nm到约560nm的绿色光，而蓝色超透镜滤光系统135b过滤白色光以留下波长为约440nm到约490nm的蓝色光。
28.图2a显示红色超透镜滤光系统135r、绿色超透镜滤光系统135g及蓝色超透镜滤光系统135b。绿色超透镜滤光系统135g被置放在红色超透镜滤光系统135r与蓝色超透镜滤光系统135b之间。通过以此排列方式来排列超透镜滤光系统135，能减少超透镜滤光系统的总面积，允许减小透镜组件125的大小。
29.图2b显示一个红色超透镜滤光系统135r、两个绿色超透镜滤光系统135g及一个蓝色超透镜滤光系统135b。根据一个实施方式，在所描绘的排列方式中，四个超透镜滤光系统135排列在栅格中，红色超透镜滤光系统135r被设置为相邻于两个绿色超透镜滤光系统135g，且蓝色超透镜滤光系统135b被设置为相邻于两个绿色超透镜滤光系统135g。可使用如图2b中所示排列的超透镜滤光系统135以达到比色度分辨率(chrominance resolution)更高的亮度分辨率(luminance resolution)。
30.尽管图2a及2b显示用于红色、绿色及蓝色的超透镜滤光系统135，但可在透镜组件120中置放任何颜色的超透镜滤光系统。此外，可设想到也可以使用针对非可见光(诸如ir及uv)的超透镜滤光系统135。
31.图3a描绘根据一个实施方式的多个超透镜特征305的一部分300的俯视图。超透镜120包括超透镜特征305的重复图案。超透镜特征305为生长在基板310上的纳米尺寸的柱。依照所欲过滤的光谱，超透镜特征305具有不同形状。超透镜特征305可为大致圆形的、三角形的、正方形的、矩形的、或具有不规则形状。超透镜特征305可由任何适当的高折射率材料制成，诸如(但不限于)硅、氧化硅、氮化硅、钛、氧化钛、氧化钽、氧化锆、氧化铪、砷化镓、氮化镓和氧化铌。基板310可为任何典型的透明基板，诸如玻璃。基板310可包括设置于其上的任意数量的层。
32.图3b描绘根据一个实施方式的多个超透镜特征305的一部分300的侧视图。超透镜特征305具有半径r，其为从约20nm到约500nm。超透镜特征305具有高度h，其为从约10nm到约2μm。超透镜特征305彼此分隔一间距距离d，其为从约30nm到约500nm。超透镜特征305的半径、高度、形状、材料及特征间距距离经选择以造出超透镜120，该超透镜120滤除除了一窄光波长带以外的全部光。例如，当白色光入射至红色超透镜120r上时，红色超透镜120r仅聚焦红色光。
33.在一实施方式中，超透镜120r、120g、120b具有的超透镜特征305含有圆形或椭圆形形状的柱，这些柱包含二氧化硅(sio2)、硅(si)、二氧化钛(tio2)、钛(ti)或氮化镓(gan)材料，这些柱具有约30nm到500nm的半径，这些柱具有约10nm到2um的高度，且这些柱具有约30nm到500nm的间距。
34.回头参看图1a，超透镜滤光系统135将被超透镜滤光系统过滤的红色、绿色或蓝色光(取决于所讨论的超透镜滤光系统)的经滤色的超透镜影像发送至相应的传感器140。传
感器140是能接收及解码光信息的任何传感器，诸如光传感器。传感器140将这些超透镜影像发送至控制器190。
35.控制器190(诸如可编程计算机)由传感器连接器141连接至传感器140，以处理从透镜组件125发送的超透镜影像。传感器连接器141可为任何种类的数据连接方式，诸如(但不限于)接线、光纤或无线连接(诸如无线电无线区域网络(lan)、wi-fi、超高频(uhf)无线电波或蓝牙)。如所示，控制器190包括处理器或中央处理单元(cpu)192、存储器194及支持电路196(例如输入/输出电路系统、电源、时钟电路、高速缓存及类似者)。存储器194连接至cpu 192。存储器194是一种非暂时性计算机可读取介质，且可以是一或更多种容易获得的存储器，诸如随机存取存储器(ram)、只读存储器(rom)、软盘、硬盘或其他形式的数字存储器。此外，尽管被描绘成单一计算机，但控制器190可以是分布式系统，例如包括多个独立运作的处理器及存储器。此架构可基于控制器190的编程而适用于成像系统100的各种实施方式，以接收及分析从传感器140发送的影像，诸如超透镜影像。
36.处理器192将超透镜影像结合以做成复合影像。处理器192针对此任务利用任何标准演算法，诸如α合成(alpha compositing)或影像拼接。根据一个实施方式，处理器192利用影像拼接演算法。在以上给出的示例中，超透镜滤光系统135是红色、绿色及蓝色的，因而复合影像由红-绿-蓝(rgb)色彩模型形成。然而，能以适当的色彩模型来使用任何适当的超透镜滤光系统135集合，诸如(例如)青色、洋红色及黄色超透镜，且能利用青-洋红-黄(cmy)色彩模型来制造复合影像。由处理器192进行的超透镜影像的结合允许实现具有减少的色差的复合影像。
37.因此，处理器192取得超透镜影像并将其结合成全彩色复合影像，且处理器将该复合影像经由屏幕连接器181发送至屏幕180。屏幕连接器181可为任何种类的数据连接方式，诸如(但不限于)接线、光纤或无线连接(诸如wi-fi或蓝牙)。屏幕180可为任何种类的适用显示器，诸如监视器或电视。屏幕180可具有任何分辨率，诸如标准清晰度、高清晰度(hd)或超高清晰度(uhd)。屏幕180可为液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器及类似者。若成像系统100是摄影机的部分，则屏幕180可为该摄影机的部分以用于检视使用者所拍的照片。若成像系统100是智能手机或其他便携电话的部分，则屏幕180可为电话屏幕的部分、或可为电话的屏幕。
38.超透镜影像在非常特定的光波长上(红色、绿色、蓝色等等)聚焦，而除了指定的波长以外的其他波长被超透镜滤光系统135过滤，因此减少了超透镜影像中的色差。当通过结合超透镜影像来生成复合影像时，复合影像中的色差被最小化。
39.应注意，各透镜组件125能提供单独的的复合影像，因为各透镜组件可具有不同的焦距，因此各复合影像将是不同的。例如，由具有短焦距的透镜组件125所拍的近物的影像将比由具有非常长的焦距的透镜组件125’所拍的影像更对焦(in focus)。在此情况中，处理器192被配置为将各复合影像发送至屏幕180，在该处使用者能挑拣及选择要保存的影像。处理器192可包含关于如何选择最佳品质的复合影像以提供给屏幕(诸如哪个复合影像有对焦)的演算法。根据一个实施方式，处理器192确定将这些复合影像中的何者提供给屏幕180；且该处理器将所选复合影像提供至该萤幕。处理器192也可被配置为结合两个复合影像以制造第三复合影像。例如，若这些复合影像中的一者是以近焦产生的，而这些复合影像中的另一者是以远焦产生的，则这两个复合影像能结合成为具有全景深的第三复合影
像。在此情况中，成像系统100能被使用在光场成像系统中，其中场景中的光强度、以及光线在空间中行进的方向两者都能被考量到。
40.所描述的成像系统100对于其中透镜的尺寸必须较小的应用是有用的。例如，成像系统100能被使用在可穿戴的装置中，诸如智能手表或智能手机中。超透镜滤光系统135节省了设计空间而得到大视野、数值孔径、及针对超透镜摄影机的高效率最佳化。
41.图4是根据一个实施方式的用于生成复合影像的方法操作400的流程图。虽然结合图1a至图1e及图4描述了方法步骤，但本领域技术人员将理解被配置为以任何顺序执行这些方法步骤的任何系统都落在本文中所述实施方式的范围内。
42.所述方法开始于操作410，其中包括一或更多个透镜组件125的成像系统100被暴露于光。一或更多个透镜组件125暴露于从物体反射的光，且所述光入射在下方的超透镜滤光系统135上。当光被超透镜滤光系统135中的超透镜120聚焦时，经聚焦的光通过滤色器122，产生一种颜色的经过滤的光。例如，红色超透镜滤光系统135r仅生成经过滤的红色光。
43.于操作420，各传感器140暴露于过滤后的光以生成各超透镜影像。
44.于操作425，各传感器140将针对各超透镜滤光系统135的相应超透镜影像通过传感器连接器141发送至处理器192。
45.于操作430，处理器192将多个超透镜影像结合成为复合影像。该复合影像可由上述演算法的任意演算法所做。根据一个实施方式，该复合影像通过影像拼接演算法而生成。例如，若有两个透镜组件125，且各透镜组件包括三个超透镜滤光系统135，则处理器192将结合总共六个超透镜影像，其中两组各三个超透镜影像被结合成为两个复合影像。
46.在一些实施方式中，于可选择的操作440，成像系统100包括两个或更多个透镜组件125、125’，其中这些透镜组件有不同焦距，这些透镜组件构成变焦透镜系统，且处理器192决定要向屏幕180提供这些复合影像中的何者。例如，由具有短焦距的透镜组件125对近物所拍的影像将实质比具有非常长焦距的透镜组件125’所拍的影像更对焦。处理器192可包含关于如何选择向屏幕提供的最佳品质影像的演算法，诸如哪个影像是对焦的。
47.于操作450，处理器192经由屏幕连接器181向屏幕180提供一或更多个复合影像。处理器192可向屏幕180提供一或更多个复合影像的全部，在屏幕处使用者能选择保存哪个复合影像。如上所述，处理器192能自动地确定提供哪个复合影像至屏幕。处理器192还可被配置为结合两个复合影像以做出第三复合影像。例如，若这些复合影像中的一者是以近焦产生的，而这些复合影像中的另一者是以近焦产生的，则这两个复合影像能被结合成为具有全景深的第三复合影像。在此情况中，成像系统100能被使用在光场成像系统中，其中场景中的光强度、还有光线在空间中行进的方向两者都能被考量到。
48.如上所述，成像系统100包括耦合至处理器192的一或更多个透镜组件125。当来自物体的反射光进入透镜组件125时，超透镜滤光系统135将入射在传感器140上的光过滤。各超透镜滤光系统135将光聚焦于特定波长中，于传感器140处生成超透镜影像。这些超透镜影像被发送至处理器192，其中处理器将超透镜影像结合成为一或更多个复合影像。处理器192将一或更多个复合影像发送至屏幕180。
49.所述的成像系统100减轻了超透镜120导致的任何色差，因为这些超透镜的各者聚焦不同波长的光。这些超透镜影像被结合成复合影像，该复合影像具有减少的色差。能将透镜组件125做得小于传统透镜。此外，透镜组件125不需要多个复合透镜，而因此能使透镜组
件的体积最小化。
50.虽然前述内容针对本发明的实施方式，但可在不背离本发明的基本范围的情况下设计出本发明的其他及进一步的实施方式，且本发明的范围由随附权利要求书确定。