基于频率自适应的超低功耗点云表征的事件相机眼动追踪系统

本发明涉及计算机视觉领域，具体涉及一种眼动追踪方法及装置。

背景技术：

1、眼动追踪技术在各种人机交互的应用中至关重要。眼动追踪对于ar/vr领域而言，是一种基础、重要的任务。由于ar/vr设备对功耗、体积、成本、准确度、延迟等，均比较敏感，故而眼动追踪也是富有挑战的一项任务。

2、眼动追踪不仅仅是简单地检测眼球的位置，更是涉及到精确定位瞳孔位置和捕捉复杂的眼球运动轨迹。从生物学角度来讲，人眼的特性使其能够进行超快速的移动，这些移动的速度常常超过300°/s，这对于捕捉和分析眼球的微小但迅速的运动提出了挑战。更为引人注目的是，眼球在某些情况下的加速度甚至可以达到24,000°/s2的天文数字，这显示了眼部肌肉执行强烈和高频运动的惊人能力。因此，为了准确地捕捉和分析这些复杂的眼球运动，高速、高精度的眼动追踪系统已经成为炙手可热的研究方向，受到了广泛的关注和研究。

3、基于传统帧相机的眼动追踪，虽然目前已有比较成熟的图像处理技术，但往往难以适应延迟、功耗等方面的要求。传统相机在眼动追踪方面存在一些限制，尤其是在捕捉帧率方面。它们的最高帧率只能达到120帧/秒，并且在高速眼动情景下，往往会出现模糊现象，这会导致传统相机在处理迅速移动的眼球时可能无法有效跟随。虽然高速相机可以提供更高的帧率，但它们的价格昂贵且耗电量巨大，不太适合部署到电池资源受限的移动设备或可穿戴设备。

4、一种新型的被称为事件相机(也称动态视觉传感器)的传感器，具有事件驱动的特性，能快速响应空间光线变化，具有极高的时间分辨率。

5、当前基于事件相机的眼动追踪方案虽然试图克服传统相机的一些不足，但却忽视了这些相机的稀疏异步特性，通常采用稠密的神经网络特征提取，导致较高的功耗，限制了它们在移动设备上的实际应用。如何利用事件相机稀疏异步的特性进行网络构建，减少网络计算量，是本领域技术难题之一。

6、本发明的目的就是提供一种资源消耗少、延迟小(或等效帧率高)、精度高等技术效果至少之一的眼动追踪方法及装置。

技术实现思路

1、为了缓解或部分缓解上述技术问题，本发明的解决方案如下所述：

2、一种眼动追踪装置，接收事件相机输出的事件序列，包括：预处理模块，被配置为：若在预定时长窗口内事件数量未达到阈值，则拓展该预定时长窗口直至新的时间窗口内事件数量达到阈值，然后在拓展后的窗口内采样获得第一数量的事件；

3、第一特征提取模块，被配置为：根据第一数量的事件，至少利用局部提取器、注意力机制和全局提取器提取局部空间特征、全局空间特征和局部时间特征；

4、第二特征提取模块，包括组间聚合模块和样本间特征提取模块，并被配置为：接收第一特征提取模块的提取结果，然后根据组间聚合模块提取事件序列的短时间依赖特征，根据样本间特征提取模块提取事件序列的长时间依赖特征；以及，

5、回归器，被配置为：将长时间依赖特征作为输入，通过坐标回归得到瞳孔位置。

6、在某类实施例中，所述预处理模块，还被配置为：若在预定时长窗口内事件数量达到阈值，则窗口大小保持不变，然后在该窗口内采样获得第一数量的事件。

7、在某类实施例中，拓展该预定时长窗口时，包括如下方式：向前或/和向后拓展该时间窗口。

8、在某类实施例中，若拓展后的窗口的时间长度达到预设长度，则停止拓展事件窗口的长度。

9、在某类实施例中，所述样本间特征提取模块，包括如下网络中的一种：lstm、transformer、空洞卷积网络或mamba网络。

10、在某类实施例中，所述第一特征提取模块，包括分组和采样模块和组内聚合模块；所述分组和采样模块，根据预处理模块输出的预处理后的事件序列，通过最远点采样和knn方法实现对事件采样和分组；所述组内聚合模块，包括依次连接的局部提取器、注意力机制和全局提取器，以提取局部空间特征、全局空间特征和局部时间特征。

11、在某类实施例中，所述组间聚合模块，通过双向lstm和注意力机制集成组间的全局时间信息。

12、在某类实施例中，分组和采样模块和组内聚合模块被循环依次执行若干次。

13、一种眼动追踪方法，包括：接收事件相机输出的事件序列；若在预定时长窗口内事件数量未达到阈值，则拓展该预定时长窗口直至新的时间窗口内事件数量达到阈值，然后在拓展后的窗口内采样获得第一数量的事件；根据第一数量的事件，至少利用局部提取器、注意力机制和全局提取器提取局部空间特征、全局空间特征和局部时间特征；接收第一特征提取模块的提取结果，然后根据组间聚合模块提取事件序列的短时间依赖特征，根据样本间特征提取模块提取事件序列的长时间依赖特征；将长时间依赖特征作为输入，通过坐标回归得到瞳孔位置。

14、在某类实施例中，若在预定时长窗口内事件数量达到阈值，则窗口大小保持不变，然后在该窗口内采样获得第一数量的事件。

15、在某类实施例中，拓展该预定时长窗口时，包括如下方式：向前或/和向后拓展该时间窗口。

16、在某类实施例中，若拓展后的窗口的时间长度达到预设长度，则停止拓展事件窗口的长度。

17、在某类实施例中，根据预处理模块输出的预处理后的事件序列，通过最远点采样和knn方法实现对事件采样和分组；通过依次连接的局部提取器、注意力机制和全局提取器，以提取局部空间特征和局部时间特征。

18、在某类实施例中，通过双向lstm和注意力机制集成组间的全局时间信息。

19、本发明技术方案，具有如下有益的技术效果之一或多个：

20、(1)具有较高的等效追踪帧率，远超传统相机。在一个实施例中，等效帧率超过240fps。

21、(2)计算资源消耗低。一个实施例中，仅消耗0.29m的参数、58.7m flops的计算资源。

22、(3)充分提取局部、全局的空间特征，以及提取短时、长时的时间特征，追踪精度达到当前领先水平。

23、此外，本发明还具有的其它有益效果将在具体实施例中提及。

技术特征：

1.一种眼动追踪装置，接收事件相机输出的事件序列，其特征在于，包括：

2.根据权利要求1所述的眼动追踪装置，其特征在于：

3.根据权利要求2所述的眼动追踪装置，其特征在于：

4.根据权利要求3所述的眼动追踪装置，其特征在于：

5.根据权利要求1-4任一项所述的眼动追踪装置，其特征在于：

6.根据权利要求5所述的眼动追踪装置，其特征在于：

7.根据权利要求6所述的眼动追踪装置，其特征在于：

8.一种眼动追踪方法，其特征在于，包括：

9.根据权利要求8所述的眼动追踪方法，其特征在于：

10.根据权利要求9所述的眼动追踪方法，其特征在于：

技术总结本发明公开了一种基于频率自适应的超低功耗点云表征的事件相机眼动追踪系统。为高效地实现眼动追踪任务，本发明以事件相机为眼动追踪传感器，通过提取局部和全局的空间特征、局部时间特征、短时和长时样本内和样本间的依赖特征，以及通过频率自适应的方式对输入的事件序列进行采样保障了点云的质量和时间连续性，所提方案是轻量级网络，资源和能源消耗低，追踪性能好。本发明具有资源消耗少、延迟小、精度高等优势。本发明适于AR/VR领域。技术研发人员：程伯骏,任宏伟,林晓鹏受保护的技术使用者：香港科技大学（广州）技术研发日：技术公布日：2024/8/27