具有独立可操作照明器的多模式眼睛跟踪的制作方法

1.本发明大体上涉及眼睛跟踪系统和方法，并且更具体地，涉及结合此类眼睛跟踪系统使用红外照明器。


背景技术：

2.眼睛跟踪系统，例如与台式计算机、膝上型计算机、平板计算机、头戴式显示器和其它包含显示器的此类计算装置一起使用的那些系统，通常并有用于将红外光导向用户的眼睛的一个或多个照明器(例如，近红外led)，以及用于以合适的帧速率捕获用户面部的反射图像以便进一步处理的相机组件。通过确定反射图像中用户瞳孔(即，瞳孔中心或pc)与角膜反射(cr)的相对位置，眼睛跟踪系统可以准确地预测用户在显示器上的注视点。
3.传统上，在包含两个ir led的系统中，在每个时间段(可能与帧相关，也可能与帧无关)两个led都会被激活或选通，但并不总是在所述时间段的整个持续时间内。虽然通常通过分析瞳孔周长的形状来确定每只眼睛的pc，但cr本身可能会部分地遮挡瞳孔周长，且从而降低pc计算精度。另一方面，从眼睛跟踪系统到用户面部的距离通常部分基于两个cr之间的距离来确定，从而迫使每个时间段需要两个led的照明。
4.除以上之外，一些眼睛跟踪系统难以适应pc和cr计算中的错误类型，这些错误可能是由用户眼镜的眩光或其它外部因素引起的。此外，当用户的注视点停留在显示器的左侧或右侧时，一些眼睛跟踪很难确定两个cr。因此，需要系统和方法来克服现有技术的这些和其它限制。


技术实现要素：

5.本发明的各种实施例尤其涉及用于以下各项的系统和方法：i)提供允许独立控制照明器的多模式眼睛跟踪系统，同时提供对角膜反射和瞳孔中心的精确计算；ii)提供眼睛跟踪照明模式，所述模式包含在连续时间段内在一对照明器之间来回交替，然后在预定时间间隔之后激活两个照明器以便计算用户距离测量；iii)提供眼睛跟踪照明模式，所述模式包含在连续时间段内在一对照明器之间来回交替，但在先前的计算不符合给定照明器的要求的情况下，在连续时间段内选择单个照明器进行激活；iv)提供眼睛跟踪照明模式，所述模式包含基于显示器上注视点的横向位置激活单个照明器；以及v)提供自适应多模态眼睛跟踪系统，其中响应于用户行为以及与pr和cr精度相关联的一个或多个度量选择照明模式。
附图说明
6.下面将结合附图描述本发明，其中相同的标号表示相同的元件，并且：
7.图1是根据各种实施例的计算装置和眼睛跟踪系统的概念概述；
8.图2a和2b分别是根据各种实施例的与眼睛跟踪系统交互的用户的正视图和侧视图；
9.图2c示出根据各种实施例确定瞳孔中心(pc)和角膜反射(cr)；
10.图3、4和5描绘对应于各种led激活状态的眼睛图像；
11.图6是用于照明模式的概念框图和相关联的时序图，所述照明模式包含交替激活一对led。
12.图7是用于照明模式的概念框图和相关联时序图，所述照明模式包含基于无法确定前一帧中的角膜反射的例外情况而交替激活一对led；
13.图8是用于照明模式的概念框图和相关联的时序图，其中led激活基于显示器上的注视点的相对位置；
14.图9a和9b示出根据一个实施例的时间段与实际帧之间的交互；并且
15.图10是示出根据一个实施例的照明模式的自适应选择的概念状态图。
具体实施方式
16.本发明主题涉及用于自适应多模式眼睛跟踪系统的系统和方法，其中可单独地操作照明器以提供对角膜反射和瞳孔中心的准确计算。
17.作为初步事项，应理解，以下详细描述本质上仅为示例性的，并且并不意图限制本发明或限制本文所描述的本发明的应用和用途。此外，不希望限于先前背景或以下详细描述中呈现的任何理论。为了简洁起见，本文中可不详细地描述涉及眼睛跟踪算法、图像传感器、ir照明器和数字图像处理的常规技术和组件。
18.首先结合图2a-2c参考图1，本发明可以在系统100的上下文中实施，所述系统包含计算装置110(例如，台式计算机、平板计算机、膝上型计算机、智能手机、头戴式显示器、电视面板、仪表板安装汽车系统等)，所述计算装置具有耦合到、集成到装置110中或以其它方式与装置110相关联的显示器112和眼睛跟踪组件120。应了解，本发明的实施例不限于图式中所示的计算装置110的特定形状、大小和类型。
19.眼睛跟踪组件120包含一个或多个红外(ir)光源，例如独立可操作以照亮用户200的面部区281的发光二极管(led)121和122(或者分别称为“l1”和“l2”)，同时提供一个或多个相机组件(例如，相机组件125)以按合适的帧速率获取来自视野270内的用户面部区281的反射红外光。如以上先前所提及的，在传统的眼睛跟踪系统中，l1和l2通常在每一帧期间都被激活；然而，根据本发明，提供了各种照明模式，用于在给定帧期间选择性地激活照明器121、122中的一个、全部或不激活。
20.眼睛跟踪组件可以包含被配置成指导led 121、122和相机组件125的操作的一个或多个处理器(例如，处理器128)。眼睛跟踪组件120优选地被定位成邻近于屏幕112的下边缘(相对于正常操作期间使用的装置110的定向)。
21.系统100利用计算装置110(和/或远程基于云的图像处理系统)确定每只眼睛的瞳孔中心(pc)和角膜反射(cr)-例如，用户右眼210的pc 211和cr 215、216，以及用户左眼220的pc 221和cr 225、226。系统100接着处理pc和cr数据(“图像数据”)，以及其它可用信息(例如，用户200的头部位置/定向)，并且确定用户的注视点113在显示器112上的位置。注视点113可以例如通过元组(x，y)表征，所述元组相对于显示器屏幕112上的任意参考点指定线性坐标(以像素、厘米或其它合适的单位)。注视点113的确定可以通过多种方式完成，例如，通过校准方法或使用眼睛在头部的旋转和头部在世界的坐标来几何地导出注视矢量及
其与显示器112的交点，如本领域已知的。
22.一般来说，本文所使用的短语“眼睛跟踪数据”是指使用系统100直接或间接从眼睛跟踪阶段中导出的任何数据或信息。此类数据包含例如在眼睛跟踪阶段期间从用户面部区281产生的图像流(“图像数据”)，以及从图像数据导出的任何数字和/或类别数据，例如注视点坐标、角膜反射和瞳孔中心数据、眼跳(和微眼跳)信息以及非图像帧数据。更一般地说，此类数据可能包含关于凝视(眼睛在运动之间静止时的阶段)、眼跳(在凝视之间发生的快速且非自愿的眼动)、扫视(目光到达屏幕上目标位置之前的一系列短暂的凝视与眼跳交替)、注视(在感兴趣区域进行的所有凝视的总和)、眨眼(快速、暂时关闭眼睑)以及瞳孔大小(可能与认知负荷有关等)的信息。
23.在一些实施例中，可以使用安装的软件客户端在本地(即，在计算装置110和/或处理器128内)处理图像数据。然而，在一些实施例中，眼睛跟踪是使用远离计算装置110的图像处理模块实现的-例如，所述图像处理模块托管在云计算系统内，通过网络(未示出)以通信方式耦合到计算装置110。在此类实施例中，远程图像处理模块执行确定注视点113所需的计算上复杂的操作的全部或部分，并且所得信息通过网络传输回计算装置110。在2019年6月7日提交的名称为“用于减少基于云的眼睛跟踪系统中的计算和传输延迟的装置和方法(devices and methods for reducing computational and transmission latencies in cloud based eye tracking systems)”的第16/434,830号美国专利申请中说明了可在本发明上下文中采用的示例基于云的眼球跟踪系统，所述美国专利申请的内容通过引用并入本文中。
24.参考图3-5中提供的眼睛图像300、400和500，根据各种实施例的眼睛跟踪组件120包含单独可操作的照明器(例如，图1中的l1和l2)，所述照明器共同具有四种不同的激活状态：(1)仅照亮l2(得到图3中的cr 315)；(2)仅照亮l1(得到图4中的cr 416)；(3)照亮l1和l2(得到图5中的cr 515和516)，以及(4)l1和l2均未被照明(未示出)。如下图将示出的，使用单独可操作的ir led允许眼睛跟踪组件120提供多种有利的照明模式。
25.如本文所使用，术语“照明模式”是指一组激活状态以及针对任何特定帧在那些激活状态之间进行选择的规则。术语“激活状态”是指在任何给定时间所有照明器的状态集合(例如，接通/断开)。虽然本实施例是在恰好具有两个照明器(l1和l2)的眼睛跟踪系统的上下文中进行说明，但本发明不受限制，并且可用于控制特定应用可能所需的任何数量的照明器。
26.照明模式实例1
27.图6包含照明模式的流程图600和相关联时序图690，所述照明模式的特征是在连续时间段内在一对照明器之间来回交替，接着在预定时间间隔之后激活两个照明器以便计算用户距离测量值。
28.作为初步事项，术语“时间段”意在指任何连续发生的预定间隔。在一些实施例中，时间段可能基本上对应于由眼睛跟踪相机获取单独的帧。在一些实施例中，时间段可能对应于一个或多个ir led被点亮的时间。
29.继续参考图6，在所示模式中，存在三种不同的激活状态：仅l1被激活(步骤601)；仅l2被激活(步骤602)；以及l1和l2均被激活(步骤604)-这在经过某一预定时间(t阈值)之后才周期性地发(步骤603)。此间隔可能例如在0.5秒与2.0秒之间(例如，1.0秒)。如图所示
并且如时序图690所描绘，系统循环通过这些激活。虽然时序图690表明特定照明器在整个时间段的持续时间内被激活，但在实际实施例中，照明器将仅在相机扫描用户眼睛的那个时间间隔内被“选通”。
30.虽然流程图600中没有说明，但应理解，系统还在步骤601、602和604中的每个步骤中计算pc、cr和注视点数据。然而，在步骤601和602期间，在所述时间段内只有一个cr计算可用。在这种情况下，先前值用于缺失的cr。也就是说，假设帧速率足够高，以至于单个cr的帧间变化不太可能在基于所述cr位置的计算中产生显著错误。cr之间的距离(crdist)可以基于这个过去值计算，或可以重新使用用户距离测量值本身的过去值。此外，使用l1和l2的间歇计算(步骤604)提供了误差校正功能，并且每t阈值秒提供足够准确的用户距离测量值。在本实施例的一个变型中，为了简化和降低计算复杂性，删除了步骤603和604，并且系统仅在l1和l2之间交替。
31.一般来说，图6所示的照明模式的优点在于，通常一次只点亮一个led，系统可以计算出非常精确的pc测量值。同时，两个led的间歇激活允许相当精确的crdist和用户距离测量值。
32.照明模式实例2
33.图7包含用于照明模式的流程图700和相关联的时序图790，所述照明模式是图6所示照明模式的变型，其特征是在连续时间段期间在一对led之间来回交替，但在先前的计算不符合给定led的要求(例如，由于用户眼镜的反射或其它外部因素)的情况下，在连续时间段内选择单个led进行激活。
34.在这种模式下，如流程图700所示，系统以进入如图6先前所描绘的交替模式开始(在步骤701中)。然而，在这种变型中，仅当l1的激活先前产生成功结果时，l1才会在步骤702中被激活，仅当l2的激活先前产生成功结果时，l2才会在步骤703中被激活。随后，在步骤705中，l1和l2在经过某一预定时间(t阈值)704后均被激活。
35.在系统通过在l1与l2之间来回交替成功地执行其计算的情况下，图7的照明模式将完全按照图6所示进行。然而，如果如时序图790所示，系统先前(例如，在最后几个时间段内)无法使用l2确定cr，则系统将选择在一个或多个后续时间段内激活l1而非l2。
36.相应地，图7所示的照明模式的优点在于，通常一次只点亮一个led，系统可以计算出非常精确的pc测量值。同时，两个led的间歇激活允许相当精确的crdist和用户距离测量值。此外，此模式对图像数据问题(例如来自用户眼镜的反射等)具有稳固性。
37.照明模式实例3
38.图8包含用于照明模式的流程图800和相关联的时序图890，所述照明模式的特征是基于显示器上注视点的横向位置激活单个照明器。简单地说，当用户朝显示器的右侧看时，则最右侧的led(即，l2)被激活，并且当用户朝显示器的左侧看时，则最左侧的led(即，l1)被激活。
39.参考流程图800，首先如上所述确定注视点(步骤801)。基于注视点，确定注视区(步骤802)。如果注视点位于显示器的“左”侧，则l1在此时间段内被激活(步骤805)。如果注视点位于显示器的“右”侧，则l2在此时间段内被激活(步骤803)。如果确定注视点既不在左边也不在右边，则启用一些默认模式(804)。此默认模式可能对应于上述关于图6或7论述的模式，或可对应于任何其它合适模式。与上文所论述实施例一样，在经过预定时间后(步骤
806)，l1和l2均被激活(步骤807)。
40.术语“左”和“右”是相对于图1所示的显示器112(即，平行于x轴)使用的。然而，为了此照明模式的目的，确定显示器“左”侧和“右”侧的构成可以基于任何方便的几何标准。例如，屏幕的左侧可以是中心左侧的任意点、屏幕最左边三分之一中的任意点，显示器112最左边四分之一中的任何点等。这同样适用于显示器的右侧，其优选地具有对称定义。
41.此外，可以将“空间滞后”的形式并入此确定中。例如，如果注视点的x坐标大于显示器宽度的1/2，则可以确定用户正在看显示器的右侧，但可能要求用户的注视点接着与中点相比向左移动得更远，以确定用户正在看着显示器的左侧。
42.因此，图8所示的照明模式的优点在于，当用户的眼睛面向显示器的最左或最右边缘时，它可以提供更准确的cr测量值。
43.图9a和9b示出根据一个实施例的时间段与实际帧之间的交互。更具体地，图9a示出两个连续的帧(帧901和902)，在所述两个连续的帧内眼睛跟踪相机产生用户眼睛920的图像。在图9a中，眼睛920靠近每个帧的中间，而在图9b中，眼睛920靠近帧的底部。每个帧包含一系列单独的水平光栅线，这些水平光栅线从上到下按时间顺序排列，符合某些类型的cmos相机的操作。
44.在帧901内，l1从帧的顶部被点亮到线911，此时l2被点亮直到到达帧902中的线912为止。在线912之后，l1再次被点亮。此过程在帧与帧之间重复。图9a中的相关时间段从线911延伸到912。图9b示出另一实施例，其中水平线918和919划分了连续帧908和909中的各个时间段的开始和结束。因此，可以看出，各个时间段可能基本上对应于各个帧，也可能其取决于用户眼睛的位置和其它因素而不对应。
45.虽然上述非限制性实例说明了由独立可操作的照明器和相关联照明模式提供的优点，但在更广泛的意义上，本发明还允许在特定眼睛跟踪阶段期间在那些照明模式之间进行选择时具有自适应性。
46.也就是说，现在参考图10所示的状态图1000，响应于由箭头1012、1023、1021、1032、1013和1031指示的指定事件或条件的发生，系统可以在包含模式1(1001)、模式2(1002)和模式3(1003)的一组照明模式之间转换。
47.例如，考虑模式1对应于回退模式的情况，其中l1和l2在每个时间段都被激活，模式2对应于图6所示的交替模式，并且模式3对应于图8所示的左右模式。
48.在初始校准和启动期间，系统可以在模式1(1001)下开始，并且接着在经过某一时间或达到特定稳定性之后，(经过箭头1012)转换到模式2。随后，可以确定用户正在专注于屏幕的一侧，触发(经过箭头1023)转换到模式3。此后不久，当用户的注视点移近中心时，系统可以接着(经过箭头1032)转换返回到模式2。
49.总之，所描述的是用于眼睛跟踪系统中的独立可操作照明器的各种系统和方法。
50.一种根据一个实施例的方法，包含：提供第一红外照明源；提供第二红外照明源；使用相机组件在激活所述第一红外照明源和所述第二红外照明源期间接收从用户的面部反射的红外光并且产生包括与其相关联的图像数据；以及处理器，其以通信方式耦合到所述相机组件以及所述第一照明源和所述第二照明源。所述处理器被配置成根据多个照明模式选择性地激活所述第一照明源和所述第二照明源，并且基于所述图像数据产生眼睛跟踪数据；其中所述多个照明模式包含：第一照明模式，其中在所述图像数据的每个时间段中激
活所述第一红外照明源和所述第二红外照明源；以及第二照明模式，其中在所述图像数据的交替时间段中单独地激活所述第一红外照明源和所述第二红外照明源。
51.一种根据一个实施例的多模态眼睛跟踪系统，包含：第一红外照明源；第二红外照明源；相机组件，其被配置成在激活所述第一红外照明源和所述第二红外照明源期间接收从用户的面部反射的红外光，并且产生包括与其相关联的一系列时间段的图像数据；以及处理器，其以通信方式耦合到所述相机组件以及所述第一照明源和所述第二照明源，所述处理器被配置成根据多个照明模式选择性地激活所述第一照明源和所述第二照明源，并且基于所述图像数据产生眼睛跟踪数据。所述多个照明模式包含：第一照明模式，其中在所述图像数据的每个时间段中激活所述第一红外照明源和所述第二红外照明源；以及第二照明模式，其中在所述图像数据的交替时间段中单独地激活所述第一红外照明源和所述第二红外照明源。
52.本公开的实施例可在功能和/或逻辑块组件和各种处理步骤方面加以描述。应了解，此类框组件可通过被配置成执行指定功能的任何数目个硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如，存储器元件、数字信号处理元件、现场可编程门阵列(fpga)、专用集成电路(asic)、逻辑元件、查找表等，这些组件可以在一个或多个微处理器或其它控制装置的控制下执行各种功能。
53.此外，本文所描述的各种功能模块可以使用机器学习或预测分析模型全部或部分地实施。在这方面，短语“机器学习”模型在不失通用性的情况下用于指代被设计成进行某种形式预测的分析的任何结果，所述预测例如预测响应变量的状态、对患者进行聚类、确定关联规则以及执行异常检测。因此，例如，术语“机器学习”是指经历有监督、无监督、半监督和/或强化学习的模型。此类模型可执行分类(例如，二元分类或多类分类)、回归、聚类、降维和/或此类任务。此类模型的实例包含但不限于人工神经网络(ann)(例如递归神经网络(rnn)和卷积神经网络(cnn))、决策树模型(例如分类和回归树(cart))、集成学习模型(例如提升、自举聚合、梯度提升机和随机森林)、贝叶斯网络模型(例如，朴素贝叶斯)、主成分分析(pca)、支持向量机(svm)、聚类模型(例如k-最近邻、k-均值、期望最大化、层次聚类等)、线性判别分析模型。
54.由系统100产生的任何眼睛跟踪数据都可以安全的方式(即，就保密性、完整性和可用性而言)进行存储和处理。例如，可以采用各种对称和/或非对称加密方案和标准来安全地处理静止(例如，在系统100中)和运动(例如，当在上文所示的各种模块之间传输时)的眼睛跟踪数据。在不限制前述内容的情况下，此类加密标准和密钥交换协议可能包含三重数据加密标准(3des)、高级加密标准(aes)(例如aes-128、192或256)、非对称密码算法(rivest-shamir adelman)(rsa)、twofish、rc4、rc5、rc6、传输层安全性(tls)、迪菲－赫尔曼(diffie-hellman)密钥交换以及安全套接字层(ssl)。此外，各种散列函数可用于解决与眼睛跟踪数据相关联的完整性问题。
55.此外，本领域的技术人员应了解，本公开的实施例可以与任何数量的系统一起实践，并且本文所描述的系统仅仅是本公开的示例性实施例。另外，本文包含的各图中所示的连接线意图表示各种元件之间的示例功能关系和/或物理耦合。应注意，在本公开的实施例可以存在许多替换性或额外的功能关系或物理连接件。
56.如本文所使用，术语“模块”或“控制器”是指单独的或呈任何组合的任何硬件、软
件、固件、电子控制组件、处理逻辑和/或处理器装置，包含但不限于：专用集成电路(asic)、现场可编程门阵列(fpga)、专用神经网络装置(例如，谷歌张量处理单元)、电子电路、被配置成执行一个或多个软件或固件程序的处理器(共享处理器、专用处理器或处理器组)、组合逻辑电路和/或提供所述功能性的其它合适组件。
57.如本文所使用，词语“示例性”意味着“充当例子实例、示例或说明”。本文中描述为“示例性”的任何实施方案不一定被理解为比其它实施方案优选或有利，也不希望被理解为必须照字面复制的模型。
58.虽然前述具体实施方式将为本领域的技术人员提供实施本发明的各种实施例的方便途径，但应了解，上文描述的特定实施例仅是实例，且并不希望以任何方式限制本发明的范围、适用性或配置。相反，可在不脱离本发明的范围的情况下对描述的元件的功能和布置进行各种改变。