用于确定区域的深度信息的摄像头系统和方法与流程

本发明涉及一种用于确定区域的深度信息的摄像头系统和方法。

背景技术：

1、本发明属于用于确定区域的深度信息的摄像头系统的领域。这种摄像头系统可以称为深度摄像头系统。区域的深度信息可以包括或可以是该区域的三维(threedimensional，3d)信息。

技术实现思路

1、发明人做出以下考虑：

2、用于确定区域的深度信息的摄像头系统可以用于消费电子设备(例如，智能手机、平板电脑、增强现实和虚拟现实(augmented reality and virtual reality，arvr)设备)、汽车(例如，自动驾驶和高级驾驶员辅助系统(advanced driver assistance system，adas))以及机器人(例如，工业用机器人、医用机器人和家用机器人)。采用光源的有源深度摄像头系统可以称为光检测和测距(激光雷达)系统。

3、开发采用光源的深度摄像头系统(激光雷达系统)仍然存在许多技术挑战，尤其是在服务于任务关键型应用时，在这些应用中需要低延迟、大感测面积(也称为视场(fieldof view，fov))和鲁棒性。此外，成本和眼睛安全性方面对于激光雷达系统的实际使用也是至关重要的。

4、为解决大fov的需求，激光雷达系统可以采用扫描机制(例如，使用棱镜、反射镜、微电子机械系统(microelectromechanical system，mems)、光参量放大器(opticalparametric amplifier，opa)等)以一维(one dimensional，1d)或二维(two dimensional，2d)的方式按顺序扫描xy维度(即照射xy维度)。这种扫描机制通常速度慢。例如，采用这种扫描机制的激光雷达系统可以达到约30hz的刷新率。

5、此外，激光雷达系统的接收器和数据处理单元也可能是降低激光雷达系统的延迟的瓶颈。采用上述扫描机制的激光雷达系统(例如，刷新率为30hz)可能具有处理每秒超过100万个点云等的任务，数据处理和传输具有吞吐量限制。获取的数据可能具有很多冗余。

6、根据替代方案，激光雷达系统可以采用间接或直接飞行时间(time of flight，tof)工作原理和扫描机制(例如，使用棱镜、反射镜、opa、mems等)。为降低在确定深度信息方面的延迟，这种激光雷达系统可以使用扫描速度更快(例如，通过采用电扫描和/或多光束扫描)的平面二维(two dimension，2d)接收器作为接收器。平面2d接收器可以是基于单光子雪崩二极管(single-photon avalanche diode，spad)传感器阵列的接收器或基于cmos图像传感器的间接飞行时间接收器(基于cis的itof接收器)等。术语“cmos图像传感器”表示“互补型金属氧化物半导体图像传感器”，可以缩写为“cis”。根据上述替代方案的这种激光雷达系统可以称为闪光激光雷达系统。这种激光雷达系统(即闪光激光雷达系统)可能只能以渐进的方式改善系统延迟，因为延迟不仅受到扫描机制的限制，还受到接收器巨大的数据采集和处理负担的限制。

7、有鉴于此，本发明旨在改进一种用于确定区域的深度信息的摄像头系统。具体地，目的可以是提供一种用于确定区域的深度信息的摄像头系统，所述摄像头系统包括光源(即激光雷达系统)，其中，所述摄像头系统在延迟降低方面得到改进。目的可以是提供一种用于确定区域的深度信息的摄像头系统(例如，激光雷达系统)，所述摄像头系统在延迟降低方面得到改进，同时保持以下至少一项：检测范围和精度的性能、fov、鲁棒性和成本。例如，目的是提供一种用于确定区域的深度信息的摄像头系统(例如，激光雷达系统)，其中，所述摄像头系统实现低(例如，超低)延迟，同时保持以下至少一项：检测范围和精度的性能、fov、鲁棒性和成本。

8、所述目的通过所附的独立权利要求请求保护的主题来实现。有利的实现方式在从属权利要求中进一步明确。

9、本发明的第一方面提供了一种用于确定区域的深度信息的摄像头系统。所述摄像头系统包括用于照射所述区域的激光光源和用于检测照射所述区域而引起的反射激光的一个或多个事件摄像头传感器。所述激光光源用于生成激光点主图形。所述激光光源用于在后续时间帧中生成用于照射所述区域的激光点的不同图形，其中，所述不同图形中的每一个图形的所述激光点是所述主图形的所述激光点的子集。所述一个或多个事件摄像头传感器用于检测在所述后续时间帧中使用所述激光点的不同图形照射所述区域而引起的反射激光。

10、换句话说，第一方面提出在后续时间帧中使用不同的稀疏激光点图形照射待确定深度信息的区域，并使用一个或多个事件摄像头传感器来检测使用不同的稀疏激光点图形照射所述区域而引起的反射激光。与可以由激光光源生成的激光点主图形相比，由于激光光源用于生成激光点主图形，因此激光点的不同图形是稀疏的。“激光点的图形”和“激光点图形”可以作为同义词使用。

11、由于激光点的不同图形仅包括主图形的激光点的子集，因此与使用主图形照射所述区域时的数据量相比，在每个时间帧由一个或多个事件摄像头传感器获取的数据量更小或更少。与使用激光点主图形照射所述区域相比，这减少了在每个时间帧所获取的数据的处理负担。因此，与使用激光点主图形照射所述区域的情况相比，处理所获取的数据所需的时间(例如，即使在扫描速度提高的情况下)更少。也就是说，在任何时间帧，主图形的激光点中的激光点子集可以由摄像头系统用于照射所述区域。因此，从由相应的激光点子集照射的所述区域反射的激光量减少或减小。这导致由一个或多个事件摄像头传感器获取的作为检测反射激光的检测结果数据量减少。在一个时间帧中一个或多个事件摄像头传感器的检测结果可以是在所述时间帧中检测到的由反射激光引起的光强度变化。因此，每次需要处理的数据较少，从而减轻了摄像头系统处理数据的负担。

12、事件摄像头传感器是cmos图像传感器(cmos image sensor，cis)的一种。术语“摄像头传感器”和“图像传感器”可以用作同义词，因此，术语“事件摄像头传感器”和“事件图像传感器”可以用作同义词。事件摄像头传感器的像素用于仅响应光子强度的变化，事件摄像头传感器用于以异步方式仅提供来自响应这种变化的像素的输出，而不是输出每个像素接收或检测到的光子的强度水平。换句话说，一个或多个事件摄像头传感器可以分别用于仅检测光子强度(例如，激光强度)的变化，并将光子强度的变化作为检测结果输出。术语“光强度”可以用作术语“光子强度”的同义词。事件摄像头传感器可以称为动态视觉系统传感器(dynamic vision system sensor，dvs传感器)。因此，与检测接收或检测到的光子的强度水平的摄像头传感器相比(即与输出由摄像头传感器的每个像素检测到的光强度的摄像头传感器相比)，事件摄像头传感器的输出延迟低得多，无论像素是否检测到强度变化。例如，一个或多个事件摄像头传感器可以具有1微秒(1μs)的延迟。

13、此外，与摄像头传感器检测接收或检测到的光子的强度水平相比，事件摄像头传感器的输出数据(即检测结果)更高效。由于一个或多个事件摄像头传感器仅检测强度变化，因此获取的作为一个或多个事件摄像头传感器的检测结果的数据仅包括所述区域的有用信息(例如，导致事件摄像头传感器的一个或多个像素发生强度变化的区域变化)和可选的噪声。这使得(例如，通过使用尖峰神经网络处理单元进行)数据处理的速度更快。也就是说，与使用摄像头传感器检测接收或检测到的光子的强度水平的情况相比，在每个时间帧需要处理的数据较少。尖峰神经网络处理单元是一种特殊类型的深度神经网络学习处理器，用于异步输入(例如来自事件摄像头传感器的输入)。与传统的神经网络处理单元(例如，卷积神经网络处理单元)相比，尖峰神经网络处理单元可以实现更好的计算效率。本发明不限于尖峰神经网络处理单元或任何其它类型的处理单元。

14、主图形的激光点数量可以根据摄像头系统的所需分辨率确定。所需分辨率越大，主图形的激光点数量可能就越大。在每个时间帧中，与激光点主图形可提供的深度信息确定的分辨率相比，激光点的不同图形中的相应图形可提供的深度信息确定的分辨率更小或更低。但是，这通过在后续时间帧中生成激光点的不同图形来补偿。也就是说，在每个时间帧之后分辨率增加，因为在每个时间帧中，与先前的时间帧相比，用于照射所述区域的激光光源可以生成额外的激光点。在一定数量的时间帧之后，该数量取决于激光点的不同图形的激光点数量，在后续时间帧中使用激光点的不同图形照射所述区域时可达到的分辨率等于使用激光点主图形照射和检测所述区域时可达到的分辨率。

15、此外或可替代地，激光光源可以用于在后续时间帧中生成用于照射所述区域的激光点主图形，一个或多个事件摄像头传感器可以用于在后续时间帧中检测主图形中的激光点的不同图形引起的反射激光，其中，不同图形中的每一个图形的激光点是主图形的激光点的子集。因此，一个或多个事件摄像头传感器可以用于在后续时间帧中的每一个时间帧检测并输出与使用激光点主图形照射所述区域而引起的反射光相对应的数据的数据子集。这可能会使数据处理量更小。在后续时间帧中使用激光点主图形照射所述区域并在后续时间帧中检测激光点的不同图形(作为激光点主图形的子集)的反射光相当于使用激光点的不同图形(作为激光点主图形的子集)照射所述区域并在后续时间帧中检测使用激光点的不同图形照射所述区域而引起的反射激光。

16、如上所述，与使用激光点主图形一次性照射并检测所述区域时由摄像头系统获取的数据的处理相比，(在后续时间帧中使用激光点的不同图形照射所述区域，并且一个或多个事件摄像头传感器检测相应的反射激光时)由摄像头系统获取的数据的处理更快。因此，与使用激光点主图形的情况相比，当使用激光点的不同图形照射所述区域时，可以更早地获得关于所述区域的信息(例如，深度信息)。尽管与根据使用激光点主图形照射所述区域而生成的信息(例如，深度信息)相比，该信息的分辨率可能较低，但该信息的分辨率可能已经足以对所述区域进行基本评估。当在用于在所述区域移动从而检测障碍物的设备中使用摄像头系统时，这可能是一个优势。因此，这便于与人眼类似地确定所述区域的信息，例如，深度信息。

17、例如，当一个人在房间中，并且该人的眼睛在眼睛视场的外围区域检测到障碍物时，其中，分辨率较低，对障碍物的检测模糊，障碍物的检测足以使人脑开始对障碍物做出反应。例如，该人可能开始避让障碍物并转动头部，以便更好地观察障碍物。同样，根据第一方面所述的摄像头系统便于更早地检测到所述区域中的障碍物，从而对障碍物做出反应。例如，在检测到障碍物的时间帧之后的后续时间帧中用于照射所述区域的激光点的不同图形中的图形可以集中在障碍物所处的所述区域的感兴趣区域上。

18、激光点的不同图形的激光点最大数量可以根据一个或多个事件摄像头传感器的吞吐量设置，也可以等于一个或多个事件摄像头传感器的吞吐量。激光点的不同图形的激光点数量可以彼此不同。不同激光点构成的至少两个图形可以包括不同数量的激光点。可选地，激光点的不同图形中的至少两个图形可以包括相同数量的激光点。

19、激光光源可以用于通过生成激光点主图形或激光点的不同图形来照射所述区域。主图形的激光点可以在空间上分布用于照射所述区域。也就是说，当激光点主图形照射所述区域时，它们不会照射所述区域中的相同位置。因此，激光点的不同图形的激光点可以在空间上分布用于照射所述区域。激光光源可以用于通过在后续时间帧中生成激光点的不同图形而在后续时间帧中照射所述区域。不同图形的激光点可以在空间上分布用于照射所述区域。

20、术语“光点”可以用于指“激光点”。由于激光点相应图形的激光点是主图形的激光点的子集，因此激光点根据主图形在空间上布置或在空间上分布。也就是说，激光点按照激光点相应图形布置在与按照主图形布置的相同位置。激光点主图形可以称为“激光点的图形”，激光点的不同图形可以称为“激光点的子图形”。

21、主图形的激光点可以在一个平面上生成。所述平面可以称为“投射平面”。因此，激光点的不同图形的激光点可以布置在一个平面上。激光点的不同图形可以由激光光源发射或投射到摄像头系统要检测或捕获的区域。换句话说，激光光源可以用于使用激光点的不同图形来照射摄像头系统要检测的区域。术语“照亮”可以用作术语“照射”的同义词。所述区域可以在摄像头系统的视场(field of view，fov)中(例如，一个或多个事件摄像头传感器的视场)。术语“场景”或“环境”可以用作术语“区域”的同义词。激光点的不同图形中的每一个图形可以照射所述区域，例如，存在于所述区域中的实体(例如，物体、人、车辆等)。术语“检测区域”可以用作术语“待检测区域”的同义词。

22、一个或多个事件摄像头传感器可以用于检测或捕获来自所述区域的反射，所述反射由投射或发射到所述区域从而照射所述区域的不同图形的激光点引起。摄像头系统可以用于通过对一个或多个事件摄像头传感器的检测结果进行处理，确定(例如，计算)所述区域的深度信息。激光光源和一个或多个事件摄像头传感器可以位于或布置在不同的位置。

23、在所述第一方面的一种实现方式中，所述激光点的不同图形中的一个或多个图形的所述激光点的数量等于在所述主图形的激光点数量的0.1％和25％之间的范围内的激光点数量。

24、激光点的不同图形的激光点数量可以等于在主图形的激光点数量的0.1％和25％之间的范围内的激光点数量。换句话说，与激光点主图形相比，激光点的不同图形更稀疏。当一个或多个事件摄像头传感器检测到在一个时间帧中使用激光点的不同图形中的相应图形照射所述区域而引起的反射激光时，这减少了在所述时间帧中一个或多个事件摄像头传感器可提供的作为检测结果的获取数据量。

25、在所述第一方面的一种实现方式中，所述后续时间帧中的两个连续时间帧之间的时间在100纳秒到10毫秒之间的范围内。

26、换句话说，激光光源可以用于以100hz和10mhz之间的范围内的时间帧频生成激光点的不同图形。因此，激光光源可以用于以快速扫描的方式将激光点的不同图形发射或投射到所述区域(检测场景)。这可以减少摄像头系统确定所述区域的深度信息的延迟。摄像头系统的时间帧频以及扫描速度可以根据一个或多个事件摄像头传感器捕获光强度变化或光子强度变化(例如，上行脉冲和/或下行脉冲光子强度变化)的响应时间设置或可以等于所述响应时间。

27、激光点的不同图形的快速扫描表示，激光光源可以用于发射或投射激光点的不同图形中的相应图形的激光点，一个或多个事件摄像头传感器可以用于以非常短的时间间隔检测激光点引起的反射激光。例如，时间间隔可以是微秒级，这可以对应于事件摄像头传感器的响应时间能力。(与激光点主图形相比)激光点的不同图形的稀疏性表示如下：即使摄像头系统要确定或获取所述区域的大视场(field of view，fov)中的深度信息(例如，3d信息)，在每个时间帧，激光光源可以用于仅发射或投射主图形的激光点的一部分。可选地，激光光源可以用于将主图形的激光点的所述部分发射或投射到所述区域的一部分中。

28、激光光源可以用于生成激光点的不同图形，使得不同图形设计成在短时间内横穿整个fov。这使得摄像头系统能够捕获所述区域和3d场景的深度信息。此外，这便于依概率在非常短的延迟内捕获所述区域中一个或多个实体(例如，物体、人、车辆等)的移动。

29、激光点的不同图形可以称为不同脉冲串中的光点图形。后续时间帧中激光点的不同图形可以视为是激光点在时空域上的稀疏分布。

30、在所述第一方面的一种实现方式中，所述激光光源用于在所述后续时间帧中的两个或两个以上连续时间帧中重复所述激光点的不同图形中的一个或多个图形。

31、换句话说，(重复的)一个或多个不同图形的激光点在时域上可以更密集。

32、在所述第一方面的一种实现方式中，所述激光光源用于生成所述激光点的不同图形，使得所述激光点的不同图形中的一个或多个图形的所述激光点在时域和/或空域上均匀分布。

33、激光点的图形中的激光点在空域上的分布可以按如下理解。如果激光点的不同图形中的第一图形的激光点和激光点的不同图形中的第二图形的激光点以相同的方式分布在空域上，则这可以表示第一图形和第二图形具有相同的空间密度，即它们在xy域上的密度相同。

34、激光点的图形中的激光点在时域上的分布可以按如下理解。如果激光点的不同图形中的第一图形的激光点和激光点的不同图形中的第二图形的激光点以相同的方式分布在时域上，则这可以表示第一图形的激光点和第二图形的激光点可以以相同的次数生成。

35、为了在时域和/或空域上实现这样的均匀分布，激光光源可以用于生成激光点的不同图形，使得激光点的不同图形中的一个或多个图形的光点密度与激光点的不同图形中的一个或多个其它图形的光点密度相比变化小于15％。也就是说，激光光源可以用于生成激光点的不同图形，使得激光点的不同图形中的一个或多个图形的光点密度与激光点的不同图形中的一个或多个其它图形的光点密度相差小于15％。术语“偏差”和“偏离”可以分别用作术语“变化”和“相差”的同义词。例如，激光光源用于生成激光点的不同图形，使得激光点的不同图形中的多个图形的光点密度彼此相差小于15％。换句话说，多个图形中的每一个图形的光点密度可以与多个图形中的一个或多个其它图形相差小于15％。

36、在所述第一方面的一种实现方式中，所述激光光源用于生成所述激光点的不同图形，使得所述激光点的不同图形中的一个或多个图形的所述激光点在时域和/或空域上伪随机分布。

37、这样做的优势是使摄像头系统针对噪声和干扰具有鲁棒性。这便于通过利用激光点的不同图形在时域和/或空域上的多样性，依概率抑制或防止噪声和干扰。

38、在所述第一方面的一种实现方式中，所述激光光源用于生成所述激光点的不同图形中的一个或多个图形，使得所述一个或多个图形的所述激光点在所述区域的感兴趣区域中在时域和/或空域上更密集。

39、例如，激光光源用于生成激光点的不同图形中的一个或多个图形，使得一个或多个图形在所述区域的感兴趣区域中包括与所述区域的其余部分相比大于或等于20％的光点密度。

40、激光点的图形包括感兴趣区域中在空域上更密集的激光点可以表示，激光点在空间上的布置使得与包括在空域上均匀分布的激光点的另一图形相比，所述图形的更多激光点照射感兴趣区域。激光点的图形包括感兴趣区域中在时域上更密集的激光点可以表示，与用于照射所述区域的其余部分的图形的激光点相比，用于照射所述区域的感兴趣区域的激光点的重复更频繁。

41、在所述第一方面的一种实现方式中，所述激光光源包括激光器阵列，所述激光器阵列包括两个或两个以上激光元件。所述激光器阵列可以用于选择性地开启和关闭所述激光元件，以生成所述激光点的不同图形。

42、换句话说，激光器阵列可以用于通过选择性地开启和关闭激光元件来调制激光器阵列的激光发射。激光器阵列可以用于调制其激光发射，以生成激光点的不同图形。激光器阵列可以用于通过选择性地开启和关闭激光元件来生成激光点的不同图形。

43、短语“选择性地开启和关闭激光元件”是指激光元件可以相互独立地开启和关闭。也就是说，每个激光元件可以单独开启和关闭。例如，激光器阵列可以是垂直腔面发射激光器阵列(vertical-cavity surface emitting laser array，vcsel阵列)、边缘发射激光器阵列(edge emitting laser array，eel阵列)或光子晶体面发射激光器阵列(photoniccrystal surface emitting laser array，pcsel阵列)。激光器阵列可以是任何其它激光器阵列类型。激光器阵列可以是脉冲激光器阵列。术语“关断”和“导通”可以分别用作术语“关闭”和“开启”的同义词。

44、在所述第一方面的一种实现方式中，所述激光器阵列为以下中的一种：垂直腔面发射激光器(vertical-cavity surface emitting laser，vcsel)阵列、边缘发射激光器(edge emitting laser，eel)阵列和光子晶体面发射激光器(photonic crystal surfaceemitting laser，pcsel)阵列。

45、激光元件可以是或可以包括激光二极管。vcsel阵列的两个或两个以上激光元件可以称为一个或多个vcsel元件。vcsel元件可以是或可以包括一个或多个vcsel二极管。pcsel阵列的两个或两个以上激光元件可以称为一个或多个pcsel元件。pcsel元件可以是或可以包括一个或多个pcsel二极管。

46、在所述第一方面的一种实现方式中，所述激光光源包括旋转棱镜。所述激光器阵列可以用于向所述旋转棱镜发射一个或多个激光点，所述旋转棱镜可以用于使用所述一个或多个发射的激光点，通过相应地旋转来生成所述激光点的不同图形。

47、激光器阵列和旋转棱镜可以用于同时执行相应功能，以生成激光点的不同图形。也就是说，激光器阵列和旋转棱镜可以用于使得激光器阵列调制其激光发射，同时旋转棱镜使用激光器阵列调制后的激光发射(即一个或多个发射的激光点)，通过相应地旋转来生成激光点的不同图形。

48、在所述第一方面的一种实现方式中，所述激光光源包括衍射光学元件。所述激光器阵列可以用于向所述衍射光学元件发射一个或多个激光点，所述衍射光学元件可以用于分裂所述一个或多个发射的激光点，以生成所述激光点的不同图形。

49、衍射光学元件可以用于通过分裂一个或多个发射的激光点来生成激光点的不同图形。

50、在所述第一方面的一种实现方式中，所述激光光源包括棱镜阵列。所述棱镜阵列可以用于偏转由所述衍射光学元件生成的激光点，以生成所述激光点的不同图形。

51、棱镜阵列可以用于通过偏转由衍射光学元件生成的激光点来生成激光点的不同图形。

52、在所述第一方面的一种实现方式中，所述激光光源包括一个或多个空间光调制器。所述一个或多个空间光调制器可以用于偏转由所述衍射光学元件生成的激光点，以生成所述激光点的不同图形。

53、在这种情况下，激光光源可以包括边缘发射激光器阵列。也就是说，激光光源的激光器阵列可以是边缘发射激光器阵列。一个或多个空间光调制器可以用于通过偏转由衍射光学元件生成的激光点来生成激光点的不同图形。

54、在所述第一方面的一种实现方式中，所述激光光源包括具有多个硅基液晶(liquid crystal on silicon，lcos)像素的lcos光调制器。所述激光器阵列可以用于向所述lcos光调制器发射一个或多个激光点，所述lcos光调制器可以用于选择性地改变所述lcos像素的相位，以生成所述激光点的不同图形。

55、激光器阵列可以用于通过选择性地开启和关闭激光元件来生成激光点的不同图形。lcos光调制器可以用于通过选择性地改变其lcos像素的相位来生成激光点的不同图形。换句话说，lcos光调制器可以用于改变其lcos像素的相位，使得lcos像素的相位可以相互独立地改变。也就是说，每个lcos像素的相位可以单独改变。

56、在所述第一方面的一种实现方式中，所述激光光源包括微电子机械系统(microelectronic mechanical system，mems)反射镜阵列。所述激光器阵列可以用于向所述mems反射镜阵列发射一个或多个激光点；所述mems反射镜阵列可以用于偏转所述一个或多个激光点，以生成所述激光点的不同图形。

57、换句话说，可选地，可以使用mems反射镜阵列代替棱镜阵列或lcos光调制器来生成激光点的不同图形。

58、在所述第一方面的一种实现方式中，所述摄像头系统包括处理单元，所述处理单元用于通过对所述后续时间帧中的两个或两个以上时间帧的所述一个或多个事件摄像头传感器的检测结果进行处理，确定所述区域的所述深度信息。

59、后续时间帧中的两个或两个以上时间帧可以是两个或两个以上连续的时间帧。可选地，处理单元可以用于通过对后续时间帧中的每一个时间帧中一个或多个事件摄像头传感器的检测结果进行处理，确定所述区域的深度信息。

60、处理单元可以包括或可以是控制器、微控制器、处理器、微处理器、专用集成电路(application specific integrated circuit，asic)和现场可编程门阵列(fieldprogrammable gate array，fpga)中的至少一种。此外或可替代地，处理单元可以包括或可以是任何其它已知的处理装置类型。

61、处理单元可以是深度神经网络学习处理单元，例如，尖峰神经网络处理单元。可替代地，处理单元可以是卷积神经网络处理单元或任何其它类型的处理单元。

62、在所述第一方面的一种实现方式中，所述处理单元用于通过对所述后续时间帧中的一个或多个时间帧的所述一个或多个事件摄像头传感器的检测结果进行处理，确定所述区域的感兴趣区域。

63、处理单元可以用于通知感兴趣区域上的激光光源。处理单元可以用于通知控制单元控制感兴趣区域上的激光光源。处理单元可以是用于控制激光光源的控制单元，也可以是用于控制激光光源的控制单元的一部分。控制单元可以用于使用关于感兴趣区域的信息来控制激光光源。控制单元可以用于控制激光光源，以生成激光点的不同图形中的一个或多个图形，使得一个或多个图形的激光点在感兴趣区域中在时域和/或空域上更密集。

64、控制单元可以包括或可以是控制器、微控制器、处理器、微处理器、专用集成电路(application specific integrated circuit，asic)和现场可编程门阵列(fieldprogrammable gate array，fpga)中的至少一种。此外或可替代地，控制单元可以包括或可以是任何其它已知的控制装置类型。

65、处理单元可以用于对一个或多个事件摄像头传感器的检测结果(即一个或多个事件摄像头传感器的输出)执行滑动窗口类型的处理。处理单元可以用于对一个或多个事件摄像头传感器的输出(即检测结果)执行基于流的处理(例如，信号处理)。处理单元可以用于使用对一个或多个事件摄像头传感器的检测结果进行处理的处理结果来执行摄像头系统要检测的区域的三维(three dimensions，3d)重建。也就是说，处理单元可以用于使用确定的区域的深度信息来执行所述区域的3d重建。例如，处理单元可以用于通过对一个或多个事件摄像头传感器的输出进行处理，产生或生成所述区域的深度图(深度信息图)。此外或可替代地，处理单元可以用于使用对一个或多个事件摄像头传感器的检测结果进行处理的处理结果来检测和可选地跟踪(例如，在所述区域中移动的)所述区域的一个或多个物体。

66、在所述第一方面的一种实现方式中，所述处理单元用于通过结合所述后续时间帧中的两个或两个以上时间帧的所述一个或多个事件摄像头传感器的检测结果，确定所述区域的所述深度信息。

67、后续时间帧中的两个或两个以上时间帧可以是两个或两个以上连续的时间帧。可选地，处理单元用于通过结合所述后续时间帧中的每一个时间帧的一个或多个事件摄像头传感器的检测结果，确定所述区域的深度信息。

68、在所述第一方面的一种实现方式中，所述一个或多个事件摄像头传感器是用于短波红外(short wavelength infrared，swir)的波长范围的一个或多个量子点(quantumdot，qd)薄膜集成cmos图像传感器。

69、术语“cmos图像传感器”表示“互补型金属氧化物半导体图像传感器”。术语“cmos图像传感器”可以缩写为“cis”。例如，swir的波长范围可以大于或等于1400nm或1550nm。激光光源可以用于发射相应波长范围的激光。激光光源可以用于发射swir的激光。例如，激光光源可以用于发射波长大于或等于1400nm或1550nm的激光。swir可以提高眼睛安全性。qd薄膜集成cis是一种提供swir传感器的低成本技术。qd薄膜集成cis可以实现非常高的量子效率(例如，>60hz)，同时继承cis在可扩展性方面的优势(例如，像素分辨率大、像素间距小且成本非常低)。由于上述原因，为了实现低延迟，根据第一方面所述的摄像头系统不需要高速处理所获取的数据，如同使用飞行时间(time of flight，tof)处理(例如，使用信噪比(signal-to-noise-ratio，spad))或间接飞行时间(indirect time of flight，itof)处理(例如，使用调频连续波(frequency modulated continuous wave，fmcw))确定深度信息一样。因此，对于tof和itof处理来说速度过慢的qd薄膜集成cis可以用作根据第一方面所述的摄像头系统的一个或多个事件摄像头传感器。也就是说，qd薄膜集成cis可以保持足够的速度，使用激光点的不同图形和一个或多个事件摄像头传感器确定深度信息。

70、为了实现根据本发明第一方面所述的摄像头系统，上述第一方面的部分或全部实现方式和可选特征可以相互组合。

71、本发明的第二方面提供了一种用于确定区域的深度信息的方法。所述方法包括：激光光源在后续时间帧中生成用于照射所述区域的激光点的不同图形。所述激光光源用于生成激光点主图形，所述不同图形中的每一个图形的所述激光点是所述主图形的所述激光点的子集。此外，所述方法包括：一个或多个事件摄像头传感器检测在所述后续时间帧中使用所述激光点的不同图形照射所述区域而引起的反射激光。

72、上文根据第一方面所述的摄像头系统的描述对于根据第二方面所述的方法相应地有效。生成激光点的不同图形的激光光源可以是根据第一方面所述的摄像头系统的激光光源。检测反射光的一个或多个事件摄像头传感器可以是根据第一方面所述的摄像头系统的一个或多个摄像头传感器。根据本发明第二方面所述的方法可以由根据本发明第一方面所述的摄像头系统执行。根据第二方面所述的方法的描述对于根据第一方面所述的摄像头系统可以相应地有效。

73、在所述第二方面的一种实现方式中，所述激光点的不同图形中的一个或多个图形的所述激光点的数量等于在所述主图形的激光点数量的0.1％和25％之间的范围内的激光点数量。

74、在所述第二方面的一种实现方式中，所述后续时间帧中的两个连续时间帧之间的时间在100纳秒到10毫秒之间的范围内。

75、在所述第二方面的一种实现方式中，所述方法包括：所述激光光源在所述后续时间帧中的两个或两个以上连续时间帧中重复所述激光点的不同图形中的一个或多个图形。

76、在所述第二方面的一种实现方式中，所述方法包括：所述激光光源生成所述激光点的不同图形，使得所述激光点的不同图形中的一个或多个图形的所述激光点在时域和/或空域上均匀分布。

77、在所述第二方面的一种实现方式中，所述方法包括：所述激光光源生成所述激光点的不同图形，使得所述激光点的不同图形中的一个或多个图形的所述激光点在时域和/或空域上伪随机分布。

78、在所述第二方面的一种实现方式中，所述方法包括：所述激光光源生成所述激光点的不同图形中的一个或多个图形，使得所述一个或多个图形的所述激光点在所述区域的感兴趣区域中在时域和/或空域上更密集。

79、在所述第二方面的一种实现方式中，所述激光光源包括激光器阵列，所述激光器阵列包括两个或两个以上激光元件。所述方法可以包括选择性地开启和关闭所述激光器阵列的所述激光元件，以生成所述激光点的不同图形。

80、在所述第二方面的一种实现方式中，所述激光器阵列为以下中的一种：垂直腔面发射激光器(vertical-cavity surface emitting laser，vcsel)阵列、边缘发射激光器(edge emitting laser，eel)阵列和光子晶体面发射激光器(photonic crystal surfaceemitting laser，pcsel)阵列。

81、在所述第二方面的一种实现方式中，所述激光光源包括旋转棱镜。所述方法可以包括：所述激光器阵列向所述旋转棱镜发射一个或多个激光点。所述方法还可以包括：所述旋转棱镜使用所述一个或多个发射的激光点，通过相应地旋转来生成所述激光点的不同图形。

82、在所述第二方面的一种实现方式中，所述激光光源包括衍射光学元件。所述方法可以包括：所述激光器阵列向所述衍射光学元件发射一个或多个激光点。所述方法还可以包括：所述衍射光学元件分裂所述一个或多个发射的激光点，以生成所述激光点的不同图形。

83、在所述第二方面的一种实现方式中，所述激光光源包括棱镜阵列。所述方法可以包括：所述棱镜阵列偏转由所述衍射光学元件生成的激光点，以生成所述激光点的不同图形。

84、在所述第二方面的一种实现方式中，所述激光光源包括一个或多个空间光调制器。所述方法可以包括：所述一个或多个空间光调制器偏转由所述衍射光学元件生成的激光点，以生成所述激光点的不同图形。

85、在所述第二方面的一种实现方式中，所述激光光源包括具有多个硅基液晶(liquid crystal on silicon，lcos)像素的lcos光调制器。所述方法可以包括：所述激光器阵列向所述lcos光调制器发射一个或多个激光点。所述方法还可以包括：选择性地改变所述lcos光调制器的所述lcos像素的相位，以生成所述激光点的不同图形。

86、在所述第二方面的一种实现方式中，所述激光光源包括微电子机械系统(microelectronic mechanical system，mems)反射镜阵列。所述方法可以包括：所述激光器阵列向所述mems反射镜阵列发射一个或多个激光点。所述方法还可以包括：所述mems反射镜阵列偏转所述一个或多个激光点，以生成所述激光点的不同图形。

87、在所述第二方面的一种实现方式中，所述方法包括：所述处理单元通过对所述后续时间帧中的两个或两个以上时间帧的所述一个或多个事件摄像头传感器的检测结果进行处理，确定所述区域的所述深度信息。

88、在所述第二方面的一种实现方式中，所述方法包括：所述处理单元通过对所述后续时间帧中的一个或多个时间帧的所述一个或多个事件摄像头传感器的检测结果进行处理，确定所述区域的感兴趣区域。

89、在所述第二方面的一种实现方式中，所述方法包括：所述处理单元通过结合所述后续时间帧中的两个或两个以上时间帧的所述一个或多个事件摄像头传感器的检测结果，确定所述区域的所述深度信息。

90、在所述第二方面的一种实现方式中，所述一个或多个事件摄像头传感器是用于短波红外(short wavelength infrared，swir)的波长范围的一个或多个量子点(quantumdot，qd)薄膜集成cmos图像传感器。

91、根据第二方面所述的方法及其实现方式和可选特征与根据第一方面所述的摄像头系统及其相应实现方式和相应可选特征实现相同的优点。

92、为了实现根据本发明第二方面所述的方法，上述第二方面的部分或全部实现方式和可选特征可以相互组合。

93、需要说明的是，本技术中描述的所有设备、元件、单元和装置可以在软件或硬件元件或其任何类型的组合中实现。本技术中描述的各种实体所执行的所有步骤以及所描述的各种实体要执行的功能均意在指相应实体用于执行相应步骤和功能。虽然在以下具体实施例的描述中，外部实体要执行的具体功能或步骤没有在执行具体步骤或功能的实体的具体详述元件的描述中反映，但是技术人员应清楚，这些方法和功能可以通过相应软件或硬件元件或其任何组合实现。