成像系统以及相关电子装置的制作方法

1.本技术涉及一种传感系统，尤其涉及一种成像系统以及相关电子装置。


背景技术：

2.飞行时间(time of flight，tof)测距技术通过从发射端连续发送光信号至目标物，并在接收端接收从目标物返回的光信号，从而计算光信号从发射端返回接收端的飞行时间，得到目标物与发射端/接收端之间的距离。飞行时间测距技术大致可以分为点光源与面光源两种不同方案，其中点光源的方案能将能量集中在有限数目的光斑，较适用于远距离的应用。本技术针对点光源的方案加以改良，在不影响飞行时间测距技术的准确度的前提下，满足低耗能的需求。


技术实现要素：

3.本技术的目的之一在于公开一种成像系统以及相关电子装置及成像系统的操作方法，来解决上述问题。
4.本技术的一实施例公开了一种成像系统，包括：图像传感器，包括：像素阵列，具有多个朝第一预定方向延伸的像素行，与多个朝第二预定方向延伸的像素列，所述第一预定方向垂直所述第二预定方向，所述像素阵列用以传感由目标物反射至所述像素阵列的光反射信号，所述光反射信号包含多个反射光点；触发单元，用以控制所述图像传感器在节能模式和非节能模式之间切换；飞行时间分析单元，用以读取所述像素阵列并据以产生多个被读取光点在所述像素阵列上的位置信息以及所述多个被读取光点的飞行时间，并据以获得所述目标物的深度信息，其中所述被读取光点为所述多个反射光点的部分或全部；区域划分单元，用以在所述非节能模式下，依据所述多个被读取光点在所述像素阵列上的所述位置信息，将所述像素阵列划分为多个第一类型区域与多个第二类型区域；以及储存器，耦接所述飞行时间分析单元及区域划分单元，用来储存所述多个第一类型区域的位置信息；其中所述飞行时间分析单元在所述节能模式下仅读取所述像素阵列中的所述多个第一类型区域中的像素的传感结果，以及所述飞行时间分析单元在所述非节能模式下读取所述像素阵列中的所有像素的传感结果。
5.本技术的一实施例公开了一种电子装置，包括前述的成像系统。
6.本技术所公开的成像系统及相关电子装置及成像系统的操作方法能在不影响准确度的前提下降低功耗及提升速度。
附图说明
7.图1为本技术的成像系统的第一实施例的示意图。
8.图2为本技术的成像系统的第二实施例的示意图。
9.图3为多个光点照射在像素阵列的实施例的示意图。
10.图4为当成像系统变异后多个光点照射在像素阵列的实施例的示意图。
11.图5为本技术的电子装置的实施例的示意图。
具体实施方式
12.以下揭示内容提供了多种实施方式或例示，其能用以实现本揭示内容的不同特征。下文所述之组件与配置的具体例子系用以简化本揭示内容。当可想见，这些叙述仅为例示，其本意并非用于限制本揭示内容。举例来说，在下文的描述中，将一第一特征形成于一第二特征上或之上，可能包括某些实施例其中所述的第一与第二特征彼此直接接触；且也可能包括某些实施例其中还有额外的组件形成于上述第一与第二特征之间，而使得第一与第二特征可能没有直接接触。此外，本揭示内容可能会在多个实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的，且其本身不代表所讨论的不同实施例和/或组态之间的关系。
13.再者，在此处使用空间上相对的词汇，譬如「之下」、「下方」、「低于」、「之上」、「上方」及与其相似者，可能是为了方便说明图中所绘示的一组件或特征相对于另一或多个组件或特征之间的关系。这些空间上相对的词汇其本意除了图中所绘示的方位之外，还涵盖了装置在使用或操作中所处的多种不同方位。可能将所述设备放置于其他方位(如，旋转90度或处于其他方位)，而这些空间上相对的描述词汇就应该做相应的解释。
14.虽然用以界定本技术较广范围的数值范围与参数皆是约略的数值，此处已尽可能精确地呈现具体实施例中的相关数值。然而，任何数值本质上不可避免地含有因个别测试方法所致的标准偏差。在此处，「相同」通常系指实际数值在一特定数值或范围的正负10％、5％、1％或0.5％之内。或者是，「相同」一词代表实际数值落在平均值的可接受标准误差之内，视本技术所属技术领域中具有通常知识者的考虑而定。当可理解，除了实验例之外，或除非另有明确的说明，此处所用的所有范围、数量、数值与百分比(例如用以描述材料用量、时间长短、温度、操作条件、数量比例及其他相似者)均经过「相同」的修饰。因此，除非另有相反的说明，本说明书与附随申请专利范围所揭示的数值参数皆为约略的数值，且可视需求而更动。至少应将这些数值参数理解为所指出的有效位数与套用一般进位法所得到的数值。在此处，将数值范围表示成由一端点至另一端点或介于二端点之间；除非另有说明，此处所述的数值范围皆包括端点。
15.图1是本公开的成像系统100的第一实施例的功能方框示意图。成像系统100可由三维成像系统来实施，用以获得周遭目标物的深度信息(或深度图像)。举例来说(但本公开不限于此)，成像系统100可以是飞行时间成像系统，其可通过测量目标物102与成像系统100之间的距离，获得目标物102的深度信息。值得注意的是，在某些实施例中，成像系统100可以是三维成像系统，其可根据接收端收到的光反射信号的图案形变，判断目标物102的深度信息。为简洁起见，以下以成像系统100实施为飞行时间成像系统的实施例来说明本公开的成像方案。然而，本领域所属技术人员应可了解本公开的成像方案可应用于其他根据发射端和接收端的光信号来得到深度图像的三维成像系统。
16.成像系统100采用点光源的方案，包括(但不限于)发光模组110和图像传感器120。发光模组110用以产生一光信号ls，其中光信号ls可具有一预定图案(pattern)，使能量可集中在所述预定图案，比如预定图案可以是散斑阵列，光能量集中于散斑阵列的每个散斑点。发光模组110可包括光源112及光学元件114。光学元件114可用来改变光源112输出的光
信号li的行进路线、照射范围等，从而产生具有所述预定图案的光信号ls。在此实施例中，光信号ls投影在目标物102上可形成彼此分开的多个光点(light spot)，以减少背景噪声对测量结果的影响。
17.举例来说(但本公开不限于此)，光源112可包括垂直腔面發射激光器(vertical
‑
cavity surface
‑
emitting laser，vcsel)阵列，光学元件114可包括衍射光学组件(diffractive optical element，doe)或折射光学组件(refractive optical element，roe)，用以将光信号li进行锥形衍射(或锥形折射)以产生光信号ls，使光信号ls投影在目标物102上可形成彼此分开的多个光点。在某些实施例中，在光源112及光学元件114之间还包含有准直透镜，用来将光信号li整形成平行光。
18.图像传感器120用以传感从目标物102返回的光反射信号lr，以得到目标物102的图像信息，其中光反射信号lr是由目标物102反射光信号ls所产生。在此实施例中，图像传感器120包括(但不限于)像素阵列122、飞行时间分析单元124、触发单元125、区域划分单元126和储存器128。本技术对飞行时间分析单元124、触发单元125、区域划分单元126的实现方式不加以限制，举例来说，在某些实施例中，飞行时间分析单元124、触发单元125、区域划分单元126可以分别采用不同的特定电路来实现；在某些实施例中，飞行时间分析单元124、触发单元125、区域划分单元126可以是软体模块并由计算机单元来运算。请同时参考图3，像素阵列122具有多个朝第一预定方向x延伸的像素行与多个朝第二预定方向y延伸的像素列，例如像素pd00到像素pd09所构成的第一像素行、像素pd10到像素pd19所构成的第二像素行、像素pd20到像素pd29所构成的第三像素行等；以及像素pd00到像素pd90所构成的第一像素列、像素pd01到像素pd91所构成的第二像素列、像素pd02到像素pd92所构成的第三像素列等。其中第一预定方向x垂直第二预定方向y，像素阵列122用以传感光反射信号lr。值得注意的是，光信号ls可在目标物102的表面上形成彼此分开的多个光点，所述多个光点反射至像素阵列122并在像素阵列122上形成彼此分开的多个反射光点，如图3中的黑点(在实际图像上表现为较亮的光斑，附图黑点仅为示意)，各反射光点可照射在至少一个像素上。
19.在本实施例中，发光模组110与图像传感器120相邻设置，发光模组110沿第一预定方向x排列于像素阵列122的一侧且并排设置，且发光模组110的中心(即光源112及/或光学元件114的中心)和像素阵列122的中心的连线平行第一预定方向x。飞行时间分析单元124耦接于像素阵列122，用以读取像素阵列122中像素单元的数据，并得到多个被读取光点在像素阵列122上的位置信息。由于成像系统100采用点光源的方案，各光点尽管因深度不同造成不同程度的位移，但在目标物102和成像系统100之间的距离在容许的范围内的前提下，飞行时间分析单元124通过和光信号ls的光点图案来做比较，依然可以判断出各读取光点应该对应发光模组110发出的光信号ls的光点中的哪一个。因此飞行时间分析单元124可以根据读取到的光点照射到的像素单元的光传感信号，得到所述多个被读取光点的飞行时间，并据以获得目标物102的深度信息。为了降低图像传感器120的功耗，飞行时间分析单元124视情况来决定读取像素阵列122中的哪些像素，因此所述被读取光点视情况为所述多个反射光点的部分或全部。
20.具体来说，储存器128耦接飞行时间分析单元124及区域划分单元126，储存器128储存有多个第一类型区域的位置信息，用来纪录像素阵列122中哪些位置的像素是不需要
被读取的。当图像传感器120操作在节能模式或者某些情况下的默认模式下，飞行时间分析单元124仅依据储存器128所储存的所述多个第一类型区域的位置信息来读取像素阵列122中的所述多个第一类型区域中的像素的传感结果，也就是仅对像素阵列122进行部分扫描以节省功耗，并且由于只需处理较少的信息量，还可以提升速度；而当图像传感器120操作在非节能模式下，飞行时间分析单元124读取像素阵列122中的所有像素的传感结果，也就是对像素阵列122进行完整扫描以建立被反射光点击中的像素的资料库。举例来说，图3中包含虚线包围的第一类型区域302、第一类型区域302以及第一类型区域306。
21.因此，图像传感器120在一般操作阶段(例如一般用户使用设备进行拍照的时候)中，可以在所述节能模式与非节能模式之间切换以降低飞行时间分析单元124的功耗。在某些实施例中，图像传感器120还可包含预操作阶段，所述预操作阶段在一般操作阶段之前进行，飞行时间分析单元124可以在预操作阶段对像素阵列122进行扫描好让区域划分单元126建立有用像素的资料库。具体来说，所述预操作阶段可以是成像系统100在实际使用之前的前置作业阶段，举例来说，在所述预操作阶段，可以采用一完全平面而无凹凸深浅的目标物102做为参考目标物来返回光反射信号lr至像素阵列122，并让飞行时间分析单元124会在所述预操作阶段读取像素阵列122中的所有像素的传感结果，以将所述多个反射光点照射在像素阵列122上的多个位置全部侦测出来，也就是说，产生的所述多个被读取光点包含所述多个反射光点的全部，使区域划分单元126依据所述多个被读取光点的位置信息将像素阵列122中的多个像素划分为所述多个第一类型区域(在所述节能操作下需被读取的区域)与多个第二类型区域(在所述节能操作下不需被读取的区域)，并将所述多个第一类型区域的位置信息储存于储存器128以供所述预操作阶段之后的所述一般操作阶段使用。举例来说，图3中第一类型区域302、第一类型区域302以及第一类型区域306以外的区域为第二类型区域。预操作阶段可以是成像系统出厂之前完成，一般不开放给终端用户进行预操作。
22.区域划分单元126在对像素阵列122进行所述多个第一类型区域和所述多个第二类型区域的划分时，会先将像素阵列122分为多个单位区域，例如每单位区域包含像素阵列122的一行像素行。区域划分单元126依据所述多个被读取光点在像素阵列122上的所述位置信息，判断所述像素阵列的多个单位区域中个各单位区域是否被所述多个反射光点中的任一个击中。在某些实施例中，所述单位区域也可以像素阵列122的一个像素，或是其他的大小。一般来说，图像传感器120进行多次传感以得到较多的统计数据，且所述多次传感所针对的目标物可以有不同的距离和深浅，使区域划分单元126得到的结果更具有代表性。例如区域划分单元126可以判断像素阵列122的所述多个单位区域中个各单位区域被所述多个反射光点中的任一个击中的机率，并据以进行所述多个第一类型区域和所述多个第二类型区域的划分，并将得到的所述多个第一类型区域的位置信息储存于储存器128。例如被所述多个反射光点中的任一个击中的机率大于20％的单位区域被划分为所述第一类型区域，其余单位区域被划分为所述第二类型区域。也就是说，图像传感器120每进行一百次传感，被划分为所述第一类型区域的各单位区域都至少要被反射光点击中20次以上。在某些实施例中，还可以进一步统计出各单位区域被击中的机率的趋势，例如对于被击中的机率呈现往下的趋势单位区域，将其划分为所述第二类型区域。
23.图像传感器120在所述一般操作阶段中，可以进入所述节能模式以降低飞行时间
分析单元124的功耗。在目标物102和成像系统100之间的距离在容许的范围内的前提下，所述多个被读取光点理想上包含所有的所述多个反射光点，也就是各反射光点不会超出所述多个第一类型区域的范围。但若成像系统100因外力(例如碰撞)或其他因素导致成像系统100内各元件在机构上产生形状或相对位置的改变(下称成像系统100变异)时，可能会使各反射光点会超出所述多个第一类型区域的范围。为因应上述状况，本技术还提出侦测机制判断何时应该触发区域划分单元126来对储存器128所储存的所述多个第一类型区域的位置信息进行更新。
24.在图1的实施例中，触发单元125耦接至飞行时间分析单元124及区域划分单元126。在所述一般操作阶段，图像传感器120可以先进入所述节能模式(也就是默认使用节能模式)，在所述节能模式下，飞行时间分析单元124按照预操作阶段所保存的第一类型区域的信息，读取所述第一类型区域的像素单元。触发单元125依据飞行时间分析单元124所提供的所述多个被读取光点在像素阵列122上的所述位置信息，判断所述多个反射光点中，哪些光点不在所述多个被读取光点之中。如前所述，成像系统100变异后，因为成像系统100中各元件物理性的位移可能导致各反射光点照射在像素阵列122的情况由图3改变为图4，图4中部分的反射光点312、314离开了原先规划的第一类型区域302、第一类型区域302以及第一类型区域306，导致在节能模式下有两个反射光点312、314没有被飞行时间分析单元124读到。换句话说，触发单元125会找出所述多个反射光点中未被飞行时间分析单元124读取的光点。
25.在所述节能模式下，像素阵列122进行多次传感，在传感次数足够多的情况下，代表可能经历的不同情况(例如目标物的远近深浅)也越多，触发单元125便可以利用足够丰富的信息来统计各反射光点连续未被读取的次数，当各反射光点中连续未被读取的次数大于第一阈值th1的反射光点的数目大于第二阈值th2时，代表有第二阈值th2数量的反射光点因为成像系统100变异，很有可能永远不再落在所述多个第一类型区域的范围，换句话说，成像系统100变异的严重程度超过可允许的阈值。此时触发单元125便会控制飞行时间分析单元124切换至所述非节能模式以重新估算所述多个第一类型区域的位置信息。
26.在某些实施例中，当各反射光点中未被读取的机率大于第三阈值th3的反射光点的数目大于第四阈值th4时，代表有第四阈值th4数量的反射光点因为成像系统100变异，不再落在所述多个第一类型区域的范围的机率大于第三阈值th3，换句话说，成像系统100变异的严重程度超过可允许的阈值。此时触发单元125便会控制飞行时间分析单元124切换至所述非节能模式以对像素阵列122进行完整扫描，即读取像素阵列122中的所有像素的传感结果；触发单元125还控制区域划分单元126同时切换至所述非节能模式以估算所述多个第一类型区域的位置信息，并在估算完毕后更新至所述储存器128。
27.在所述非节能模式下，像素阵列122进行多次传感，在图1的实施例中，一旦进入所述非节能模式，像素阵列122便会进行多次传感直到完成所述第一类型区域的更新为止。在所述非节能模式下，区域划分单元126依据所述多个被读取光点在像素阵列122上的所述位置信息，判断像素阵列122的多个单位区域中个各单位区域是否被所述多个反射光点中的任一个击中，并统计出像素阵列122的所述多个单位区域被所述多个反射光点中的任一个击中的机率，并据以将所述多个单位区域归类为所述第一类型区域或所述第二类型区域。接著便可据以更新储存器128储存的所述多个第一类型区域的位置信息。在所述非节能模
式下，区域划分单元126的操作可以和在所述预操作阶段实质相同或相似。
28.图2的实施例和图1的实施例差别在于，触发单元125不利用飞行时间分析单元124得到的信息来判断是否要从所述节能模式进入所述非节能模式，图2的触发单元125会以固定周期从所述节能模式进入所述非节能模式。换句话说，触发单元125不需判断成像系统100的变异严重与否，而是进行一定数量的感测操作后一律自动更新储存器128。举例来说，在所述节能模式下，像素阵列122每进行m次传感，即连续对m张画面进行部分扫描，触发单元125便控制图像传感器120切换至所述非节能模式，使像素阵列122进行n次传感，即连续对n张画面进行完整扫描，其中m、n为正整数。而经过k次循环后(k为正整数)，区域划分单元126依据从飞行时间分析单元124得到的k*n次完整扫描的信息来统计出像素阵列122的所述多个单位区域被所述多个反射光点中的任一个击中的机率，并据以将所述多个单位区域归类为所述第一类型区域或所述第二类型区域。接著便可据以更新储存器128储存的所述多个第一类型区域的位置信息。
29.由于在不同温度下，成像系统100可能会有不同的变异，因此在某些实施例中，可以针对不同的温度来在储存器128中分别建立各温度所对应的所述多个第一类型区域的位置信息，例如可以针对图像传感器120或发光模组110在不同温度下分别对应地建立所述多个第一类型区域的位置信息。例如区域划分单元126针对图像传感器120在摄氏20度以下和超过摄氏20度分别建立所述多个第一类型区域的位置信息，因此可以得到两套所述多个第一类型区域的位置信息，因此飞行时间分析单元124在所述节能模式下，需要依据图像传感器120的温度来对应地在储存器128中从两套位置信息中择一，并据以读取像素阵列122。又例如，区域划分单元126针对发光模组110在摄氏0度以下、超过摄氏0度和摄氏20度以下、以及超过摄氏20度分别建立所述多个第一类型区域的位置信息，因此可以得到三套所述多个第一类型区域的位置信息，因此飞行时间分析单元124在所述节能模式下，需要依据发光模组110的温度来对应地在储存器128中从三套位置信息中择一，并据以读取像素阵列122。
30.图5为成像系统100应用在电子装置500的实施例的示意图。在某些实施例中，电子装置500可为例如智能型手机、个人数字助理、手持式计算机系统或平板计算机等任何电子装置。
31.上文的叙述简要地提出了本技术某些实施例之特征，而使得本技术所属技术领域具有通常知识者能够更全面地理解本揭示内容的多种态样。本技术所属技术领域具有通常知识者当可明了，其可轻易地利用本揭示内容作为基础，来设计或更动其他工艺与结构，以实现与此处所述之实施方式相同的目的和/或达到相同的优点。本技术所属技术领域具有通常知识者应当明白，这些均等的实施方式仍属于本揭示内容之精神与范围，且其可进行各种变更、替代与更动，而不会悖离本揭示内容之精神与范围。