传感器设备和用于操作传感器设备的方法与流程

本发明涉及一种能够进行事件检测的传感器设备及其操作方法。具体地，本公开涉及对光强度变化做出反应的事件检测传感器领域，例如，动态视觉传感器(dvs)。

背景技术：

1、计算机视觉研究机器和计算机如何能从数字图像或视频中获得高水平的理解。通常，计算机视觉方法旨在从通过图像传感器获得的原始图像数据中提取机器或计算机用于其他任务的那种类型的信息。

2、许多应用(例如，机器控制、过程监测或监视任务)都是基于对成像场景中物体运动的评估。具有布置成像素阵列的多个像素的传统图像传感器传送静止图像(帧)序列。检测帧序列中的运动物体通常涉及复杂并且昂贵的图像处理方法。

3、像dvs这样的事件检测传感器通过只传送关于成像场景中变化位置的信息来解决运动检测问题。与以帧传递大量图像信息的图像传感器不同，可以省略关于不改变的像素的信息的传递，从而导致一种像素内数据压缩。像素内数据压缩消除了数据冗余，并且促进高时间分辨率、低延迟、低功耗和高动态范围，几乎没有运动模糊。因此，dvs特别适合于太阳能或电池供电的压缩感测或移动机器视觉应用，其中必须估计包括图像传感器的系统的运动，并且其中由于有限的电池容量而限制处理功率。原则上，dvs的架构允许高动态范围和良好的弱光性能。

4、然而，像dvs这样的视觉事件检测传感器以及其他任何类型的基于事件的传感器(例如，听觉传感器、触觉传感器、化学传感器等)都会产生大量的事件数据。这就导致了巨大的吞吐量，从而造成了排队和处理延迟，并增加了功耗。事实上，对于大数据量(即大量事件)而言，数据输出不会是稀疏的，这就抵消了基于事件的传感器的积极特性。

5、因此，希望进一步利用和推动基于事件的传感器的高时间分辨率，特别是像dvs这样适用于事件检测的感光模块和图像传感器的高时间分辨率。

技术实现思路

1、虽然事件检测具有上述优势，但对于大量事件而言，这些优势可能会被削弱。例如，大量事件可能会导致功耗增加。此外，由大量事件生成的输出数据的大峰值将引入延迟并使系统的实时行为劣化。本公开可减轻传统事件检测传感器设备的这些缺点。

2、为此，提供了一种传感器设备，包括：多个传感器单元，每个传感器单元能够检测对传感器单元的影响强度，并且将大于相应的预定阈值的影响强度的正变化或负变化检测为事件；过滤器单元，被配置为在至少一个预定时间段期间随机选择由多个传感器单元所检测到的事件的一部分用于读出；存储器单元，被配置为存储所检测到的事件和/或过滤器单元的读出选择操作的历史数据；以及输出接口，被配置为针对至少一个预定时间段中的每个预定时间段从过滤器单元接收并且输出事件的所选择部分。在此，过滤器单元被配置为基于历史数据在一系列的至少一个预定时间段中重复地执行随机选择。

3、此外，提供了一种用于操作根据权利要求1的传感器设备(1010)的方法，方法包括：用多个传感器单元(1011a)检测事件；在至少一个预定时间段期间随机选择由多个传感器单元(1011a)所检测到的事件的一部分用于读出；存储所检测到的事件和/或读出选择操作的历史数据；以及针对至少一个预定时间段中的每个预定时间段输出事件的所选择部分。在此，基于历史数据在一系列的至少一个预定时间段内重复地执行随机选择。

4、大量产生的稀疏事件数据会失去其稀疏特性和优势。为了缓解这一问题，引入了上述对事件数据的额外过滤，以进一步减少数据，同时保留重要特征。特别地，已经表明随机选择是一种有效的信息表达方式。随机选择的样本可以捕捉到重要的细节，而这些细节在输出后仍能被正确解读。因此，本公开的传感器设备和方法可以有效处理大量事件的情况，以便同样确保有限处理速率下的实时操作。因此，基于事件的传感器的优势(特别是其高时间分辨率)也可用于产生大量事件的复杂情况。

技术特征：

1.一种传感器设备(1010)，包括：

2.根据权利要求1所述的传感器设备(1010)，其中，

3.根据权利要求1所述的传感器设备(1010)，其中，

4.根据权利要求3所述的传感器设备(1010)，其中，

5.根据权利要求4所述的传感器设备(1010)，其中，

6.根据权利要求3所述的传感器设备(1010)，其中，

7.根据权利要求1所述的传感器设备(1010)，其中，

8.根据权利要求7所述的传感器设备(1010)，其中，

9.根据权利要求1所述的传感器设备(1010)，其中，

10.根据权利要求1所述的传感器设备(1010)，其中，

11.根据权利要求10所述的传感器设备(1010)，其中，

12.根据权利要求10所述的传感器设备(1010)，其中，

13.根据权利要求1所述的传感器设备(1010)，其中，

14.根据权利要求1所述的传感器设备(1010)，其中，

15.一种用于操作根据权利要求1所述的传感器设备(1010)的方法，所述方法包括：

技术总结一种传感器设备(1010)，包括：多个传感器单元(1011a)，每个传感器单元能够检测对传感器单元(1011a)的影响强度，并且将大于相应的预定阈值的影响强度的正变化或负变化检测为事件；过滤器单元(1012)，被配置为在至少一个预定时间段期间随机选择由多个传感器单元(1011a)所检测到的事件的一部分用于读出；存储器单元(1013)，被配置为存储所检测到的事件和/或过滤器单元(1012)的读出选择操作的历史数据；以及输出接口(1014)，被配置为针对至少一个预定时间段中的每个预定时间段从过滤器单元(1012)接收并且输出事件的所选择部分。在此，过滤器单元(1012)被配置为基于历史数据在一系列的至少一个预定时间段中重复地执行随机选择。技术研发人员：拉斐尔·伯纳,克里斯蒂安·彼得·布伦德利,莫杰德·穆哈杰拉尼受保护的技术使用者：索尼半导体解决方案公司技术研发日：技术公布日：2024/7/29