用于头戴式显示设备的眼睛跟踪系统的制作方法

1.下面的公开内容总体上涉及用于眼睛跟踪的技术，更具体地，涉及用于头戴式显示设备中的眼睛跟踪的技术。


背景技术：

2.头戴式显示器(hmd)设备或系统是佩戴在用户头部上的电子设备，并且当如此佩戴时，将至少一个电子显示器固定在用户眼睛的至少一个的可视区域内，而不考虑用户头部的位置或方向。用于实施方式虚拟现实系统的hmd设备通常完全包围佩戴者的眼睛，并用“虚拟”现实替换佩戴者前方的实际视图(或实际现实)，而用于增强现实系统的hmd设备通常提供佩戴者眼睛前方的一个或多个屏幕的半透明或透明覆盖，从而用附加信息增强实际视图。对于增强现实系统，hmd设备的“显示”组件或者是透明的，或者是在用户视野的外围，从而它不会完全阻止用户看到他们的外部环境。


技术实现要素：

3.头戴式显示器(hmd)系统可以概括为包括可佩戴在用户头部上的支撑结构；连接到支撑结构的眼睛跟踪子系统，眼睛跟踪子系统包括多个眼睛跟踪组件，每个眼睛跟踪组件包括用于发射光的光源；光检测器，用于检测光；以及偏振器，位于光源和光检测器中的至少一者的附近，偏振器被配置为防止经由镜面反射所反射的光被光检测器接收；至少一个处理器；以及存储器，存储指令或数据集合，作为执行的结果，该指令或数据集合使hmd系统：选择性地使多个眼睛跟踪组件的光源发光；接收由多个眼睛跟踪组件的光检测器捕获的光检测信息；将所接收的光检测信息作为输入提供给预测模型；响应于提供光检测信息，从预测模型接收用户的眼睛的经确定凝视方向；以及将经确定凝视方向提供给与hmd系统相关联的部件以供其使用。光检测信息可以包括在来自光源的光已经反射、散射或被吸收离开用户的面部或眼睛之后，每个光源的特征辐射图案。每个光源可以指向用户的瞳孔的预期位置。光源可以包括发光二极管，其发射波长在780nm和1000nm之间的光。光检测器可以包括光电二极管。眼睛跟踪子系统可以包括定位成确定用户的左眼的凝视方向的四个眼睛跟踪组件，以及定位成确定用户的右眼的凝视方向的四个眼睛跟踪组件。偏振器可以包括两个交叉线性偏振器。对于多个眼睛跟踪组件中的每一者，偏振器可以包括位于光源的发光路径中的第一偏振器和位于光检测器的光检测路径中的第二偏振器。偏振器可以包括圆形偏振器或线性偏振器中的至少一种。对于多个眼睛跟踪组件中的每一者，光源可以远离用户眼睛的光轴定位，以提供瞳孔的暗场照明。预测模型可以包括机器学习模型或其它类型的函数或模型(例如，多项式、查找表)。机器学习模型可以包括混合密度网络(mdn)模型。机器学习模型可以包括递归神经网络(rnn)模型。机器学习模型可以利用过去的输入信息或眼睛运动信息来确定凝视方向。机器学习模型可以是在多个hmd系统的现场操作期间训练的模型。hmd系统可以包括至少一个显示器，并且至少一个处理器可以使至少一个显示器呈现用户界面元素；可选择性地使多个眼睛跟踪组件的光源发光；可以接收由多个眼睛
跟踪组件的光检测器捕获的光检测信息；并且可以至少部分地基于所接收的光检测信息以及与所接收的光检测信息相关联的已知或推断的凝视方向信息来更新机器学习模型。用户界面元素可以包括静态用户界面元素或移动用户界面元素。hmd系统可以包括至少一个显示器，并且至少一个处理器可以至少部分地基于经确定凝视方向来动态地改变至少一个显示器的渲染输出。hmd系统可以包括瞳孔间距离(ipd)调整部件，并且至少一个处理器可以使ipd调整部件至少部分地基于经确定凝视方向来为用户对准hmd系统的至少一个部件。
4.一种操作头戴式显示器(hmd)系统的方法。hmd系统可以包括连接到支撑结构的眼睛跟踪子系统，支撑结构包括多个眼睛跟踪组件，每个眼睛跟踪组件包括光源、光检测器和偏振器。该方法可以被概括为包括选择性地使多个眼睛跟踪组件的光源发光；接收多个光检测器捕获的光检测信息；将所接收的光检测信息作为输入提供给经训练机器学习模型；响应于提供光检测信息，从机器学习模型接收用户的眼睛的经确定凝视方向；以及将经确定凝视方向提供给与hmd系统相关联的部件以供其使用。将所接收的光检测信息作为输入提供给经训练机器学习模型可以包括将所接收的光检测信息作为输入提供给混合密度网络(mdn)模型。将所接收的光检测信息作为输入提供给经训练机器学习模型可以包括将所接收的光检测信息作为输入提供给递归神经网络(rnn)模型。将所接收的光检测信息作为输入提供给经训练机器学习模型可以包括将所接收的光检测信息提供给利用过去的输入信息或眼睛运动信息来确定凝视方向的机器学习模型。
5.该方法还可以包括在多个hmd系统的现场操作期间训练机器学习模型。hmd系统可以包括至少一个显示器，并且该方法可以包括使至少一个显示器呈现用户界面元素；选择性地使多个眼睛跟踪组件的光源发光；接收多个光检测器捕获的光检测信息；以及至少部分地基于所接收的光检测信息以及与所接收的光检测信息相关联的已知或推断的凝视方向信息来更新机器学习模型。使至少一个显示器呈现用户界面元素可以包括使至少一个显示器呈现静态用户界面元素或移动用户界面元素。hmd系统可以包括至少一个显示器，并且该方法可以包括至少部分地基于经确定凝视方向来动态改变至少一个显示器的输出。
6.该方法还可以包括至少部分地基于经确定凝视方向，为用户机械地对准hmd系统的至少一个部件。
7.头戴式显示器(hmd)系统可以概括为包括可佩戴在用户头部上的支撑结构；连接到支撑结构的眼睛跟踪子系统，眼睛跟踪子系统包括多个眼睛跟踪组件，每个眼睛跟踪组件包括：发光二极管；光电二极管；以及位于发光二极管和光电二极管中的至少一者的附近的偏振器，偏振器被配置为防止经由镜面反射所反射的光被光电二极管接收；至少一个处理器；以及存储器，存储指令或数据集合。作为执行的结果，指令或数据集合使hmd系统：选择性地使多个眼睛跟踪组件的发光二极管发光；接收由多个眼睛跟踪组件的光电二极管捕获的光检测信息；将所接收的光检测信息作为输入提供给经训练机器学习模型；响应于提供光检测信息，从机器学习模型接收用户的眼睛的经确定凝视方向；以及至少部分地基于经确定凝视方向来动态地改变与hmd系统相关联的部件的操作。
附图说明
8.图1是包括一个或多个系统的网络化环境的示意图，该一个或多个系统适于执行本公开中所描述的至少一些技术，包括眼睛跟踪子系统的实施例。
9.图2是示出示例环境的图，在该示例环境中，至少一些所描述的技术与示例头戴式显示设备一起使用，该头戴式显示设备被拴到视频呈现计算系统并且向用户提供虚拟现实显示。
10.图3是具有双目显示子系统的hmd设备的前视图。
11.图4示出了根据本公开的示例性实施例的具有双目显示子系统和各种传感器的hmd设备的俯视图。
12.图5示出了使用光源和光检测器来确定瞳孔位置的示例，例如用于根据本公开所述技术的hmd设备中的眼睛跟踪。
13.图6是根据一个非限制性的所示实施方式的、机器学习技术可用于实施方式hmd设备的眼睛跟踪子系统的环境的示意图。
14.图7是根据一个非限制性的所示实施方式方式的、操作包括眼睛跟踪能力的hmd设备的方法的流程图。
具体实施方式
15.在以下描述中，阐述某些特定细节以提供对各种所揭示实施方案的透彻理解。然而，相关领域的技术人员将认识到，可以在没有这些具体细节中的一个或多个的情况下，或者利用其它方法、组件、材料等来实践实施方式。在其它情况下，没有详细示出或描述与计算机系统、服务器计算机和/或通信网络相关联的公知结构，以避免不必要地模糊对实施方式的描述。
16.除非上下文另有要求，否则在整个说明书和随后的权利要求书中，词语“包括”与“包括”同义，并且是包含性的或开放式的(即，不排除其他未列举的元件或方法动作)。
17.贯穿本说明书的对“一个实施方式”或“一种实施方式”的提及意味着结合该实施方式描述的特定特征、结构或特性被包括在至少一个实施方式中。因此，在整个说明书的各个地方出现的短语“在一个实施方式中”或“在一种实施方式中”不一定都指相同的实施方式。此外，可以在一个或多个实施方式中以任何合适的方式来组合特定的特征，结构或特性。
18.本说明书和所附权利要求书中使用的单数形式“一个”、“一种”和“所述”包括复数指示物，除非上下文另外明确规定。还应该注意的是，术语“或”通常以其包括“和/或”的意义使用，除非上下文另有明确规定。
19.本文提供的本公开的标题和摘要仅是为了方便，而不解释实施方式的范围或含义。
20.眼睛跟踪是一个过程，通过该过程可以测量、检测、感测、确定或监控眼睛的位置、方向或运动(统称为“测量的”)。在许多应用中，这是为了确定用户的凝视方向而进行的。眼睛的位置、方向或运动可以以各种不同的方式测量，其中最小侵入可以采用一个或多个光学检测器或传感器来光学跟踪眼睛。一些技术可以包括用红外光一次照射或淹没整个眼睛，并用至少一个光学传感器测量反射，所述光学传感器被调谐为对红外光敏感。分析关于如何从眼睛反射红外光的信息，以确定一个或多个眼睛特征(例如角膜、瞳孔、虹膜或视网膜血管)的位置、方向和/或运动。
21.眼睛跟踪功能在可佩戴的头戴式显示系统的应用中是非常有利的。在头戴式显示
系统中的眼睛跟踪的功用的一些示例包括通过改变在用户的视野之外的内容的显示(例如，视点渲染)，来影响在用户的视野中显示内容的位置，节省功率、带宽或计算资源，并且影响什么内容被显示给用户、确定用户在哪里观看或凝视、确定用户是否正在观看显示器上显示的内容，并且提供一种方法，通过该方法，用户可以控制所显示的内容或与所显示的内容交互，以及其他应用。
22.本公开总体上涉及用于眼睛跟踪的技术。这种技术可以用于例如头戴式显示器(“hmd”)设备，用于vr或ar应用。本文描述的一些或所有技术可以经由眼睛跟踪子系统的实施例的自动操作来执行，诸如由一个或多个配置的硬件处理器和/或其它配置的硬件电路来实施。这种系统或设备的一个或多个硬件处理器或其它配置的硬件电路可以包括，例如，一个或多个gpu(“图形处理单元”)和/或cpu(“中央处理单元”)和/或其它微控制器(“mcu”)和/或其它集成电路，例如，硬件处理器是hmd设备或包括一个或多个即将显示图像数据的显示面板的其它设备的一部分，或生成或以其它方式准备要被发送到显示面板的图像数据以供显示的计算系统的一部分，如下面进一步讨论的。更一般地，这样的硬件处理器或其它配置的硬件电路可以包括但不限于一个或多个专用集成电路(asic)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(fpga)、复杂可编程逻辑器件(cpld)、数字信号处理器(dsp)、可编程逻辑控制器(plc)等。其它细节包括在本文中的其它地方，包括关于下面讨论的图1。
23.在所述技术的至少一些实施例中的技术益处包括通过减小图像数据大小来寻址和减轻用于图像编码的增加的媒体传输带宽，提高控制显示面板像素的速度(例如，至少部分地基于对应的减小的图像数据大小)，改进有凹图像系统和反映显示面板的子集和/或特定兴趣的图像的其它技术等。有凹图像编码系统利用人类视觉系统的特定方面(其可以仅在焦点处和焦点周围提供详细信息)，但通常使用专门的计算处理来避免外围视觉非常敏感的视觉伪像(例如，与视频和图像数据中的运动和对比度有关的伪像)。在某些vr和ar显示器的情况下，用于处理高分辨率媒体的带宽和计算使用都被加剧，这是因为特定的显示设备涉及具有两个可单独寻址的像素阵列的两个单独的显示面板(即，每只眼睛一个)，每个显示面板涉及适当的分辨率。因此，所描述的技术可用于例如减小视频帧或其它图像的本地和/或远程显示的传输带宽，同时在图像内的观看者的“感兴趣区域”中保持分辨率和细节，同时还最小化用于处理这样的图像数据的计算使用。此外，在头戴式显示设备中使用透镜和其它显示器可以在显示面板的子集上提供更大的焦点或分辨率，使得当在这样的实施例中使用这样的技术时，使用这样的技术在显示面板的其它部分中显示较低分辨率的信息可以进一步提供益处。
24.为了说明的目的，下面描述一些实施例，其中特定类型的信息被获取并以特定类型的方式、通过使用特定类型的设备用于特定类型的结构。然而，应当理解，这样描述的技术可以以其它方式在其它实施例中使用，并且因此本公开不限于所提供的示例性细节。作为一个非排他性示例，在此讨论的各种实施例包括使用作为视频帧的图像。然而，尽管为了方便起见，在此描述的许多示例涉及“视频帧”，但是应当理解，参考这些示例描述的技术可以针对各种类型的一个或多个图像来使用，包括连续的多个视频帧(例如，以每秒30、60、90、180或一些其它量的帧)、其它视频内容、照片、计算机生成的图形内容、其它可视媒体文章或其组合的非排他性示例。此外，出于示例性目的，在附图和文本中提供了各种细节，但
并不旨在限制本公开的范围。此外，如这里所使用的，“像素”是指显示器的最小的可寻址图像元素，其可以被激活以为该显示器提供所有可能的颜色值。在许多情况下，像素包括单独的相应子元素(在一些情况下作为单独的“子像素”)，用于单独产生红、绿和蓝光以供人类观看者感知，其中单独的颜色通道用于对不同颜色的子像素的像素值进行编码。这里使用的像素“值”是指对应于单个像素的那些相应rgb元素中的一个或多个的相应刺激水平的数据值。
25.图1是包括本地媒体呈现(lmr)系统110(例如，游戏系统)的网络化环境100的示意图，所述本地媒体呈现(lmr)系统110包括本地计算系统120和显示设备180(例如，具有两个显示面板的hmd设备)，所述显示设备180适于执行本文所述的至少一些技术。在图1所示的实施例中，本地计算系统120经由传输链路115(其可以是有线的或拴绳的，例如经由如图2所示的一个或多个电缆(电缆220)，或者替代地可以是无线的)通信地连接到显示设备180。在其它实施例中，本地计算系统120可提供经编码的图像数据以供经由有线或无线链路显示到面板显示装置(例如，tv、控制台或监控器)，而不管是添加还是替代hmd装置180，且显示装置每一者均包括一个或一个以上可寻址像素阵列。在各种实施例中，本地计算系统120可以包括通用计算系统、游戏控制台、视频流处理装置、移动计算设备(例如，蜂窝电话、pda或其它移动设备)、vr或ar处理装置、或其它计算系统。
26.在所示实施例中，本地计算系统120具有包括一个或多个硬件处理器(例如，集中式处理单元或“cpu”)125、存储器130、各种i/o(“输入/输出”)硬件部件127(例如，键盘、鼠标、一个或多个游戏控制器、扬声器、麦克风、ir发射器和/或接收器等)的组件、包括一个或多个专用硬件处理器(例如，图形处理单元或“gpu”)144和视频存储器(vram)148的视频子系统140、计算机可读存储器150和网络连接160。同样在所示实施例中，眼睛跟踪子系统135的实施例在存储器130中执行以便执行至少一些所描述的技术，例如通过使用cpu 125和/或gpu 144来执行实施那些所描述的技术的自动操作，并且存储器130可以可选地进一步执行一个或多个其它程序133(例如，以生成要显示的视频或其它图像，例如游戏程序)。作为实施这里描述的至少一些技术的自动操作的一部分，在存储器130中执行的眼睛跟踪子系统135和/或程序133可以存储或检索各种类型的数据，包括在存储器150的示例数据库数据结构中，在该示例中，所使用的数据可以包括数据库(“db”)154中的各种类型的图像数据信息、db 152中的各种类型的应用数据、db 157中的各种类型的配置数据，并且可包括额外信息，例如系统数据或其它信息。
27.在所描述的实施例中，lmr系统110还经由一个或多个计算机网络101和网络链路102可通信地连接到示例性的网络可访问的媒体内容提供商190，该媒体内容提供商190可以进一步向lmr系统110提供内容以供显示，而不管是附加于还是代替图像生成程序133。媒体内容提供商190可以包括一个或多个计算系统(未示出)，每个计算系统可以具有与本地计算系统120的组件类似的组件，包括一个或多个硬件处理器、i/o组件、本地存储设备和存储器，但是为了简洁起见，没有为网络可访问媒体内容提供商示出一些细节。
28.应当理解，尽管在图1所示的实施例中显示设备180被描述为与本地计算系统120不同和分离，但是在某些实施例中，本地媒体渲染系统110的一些或所有组件可以被集成或容纳在单个设备内，例如移动游戏设备、便携式vr娱乐系统、hmd设备等。在这样的实施例中，传输链路115可以例如包括一个或多个系统总线和/或视频总线架构。
29.作为涉及由本地媒体渲染系统120本地执行的操作的一个示例，假定本地计算系统是游戏计算系统，使得应用数据152包括通过使用存储器130的cpu 125执行的一个或多个游戏应用，并且各种视频帧显示数据由图像生成程序133生成和/或处理，例如结合视频子系统140的gpu 144。为了提供高质量的游戏体验，由本地计算系统120生成大量的视频帧数据(对应于每个视频帧的高图像分辨率，以及大约每秒60-180个这样的视频帧的高“帧速率”)，并通过有线或无线传输链路115将其提供给显示设备180。
30.还将了解，计算系统120和显示装置180仅是说明性的且不旨在限制本发明的范围。计算系统120可以替代地包括多个交互计算系统或设备，并且可以连接到未示出的其它设备，包括通过诸如因特网的一个或多个网络、经由web、或经由专用网络(例如，移动通信网络等)。更一般地，计算系统或其它计算节点可包括可交互并执行所述类型的功能的硬件或软件的任何组合，包括但不限于台式或其它计算机、游戏系统、数据库服务器、网络存储设备和其它网络设备、pda、蜂窝电话、无线电话、寻呼机、电子记事簿、因特网设备、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机)、以及包括适当的通信能力的各种其他消费产品。显示设备180可以类似地包括具有各种类型和形式的一个或多个显示面板的一个或多个设备，并且可选地包括各种其它硬件和/或软件组件。
31.此外，在一些实施例中，眼睛跟踪子系统135所提供的功能可以分布在一个或多个组件中，并且在一些实施例中，眼睛跟踪子系统135的一些功能可以不被提供和/或其它附加功能可以是可用的。还应当理解，尽管在使用时将各种项目示出为存储在存储器中或存储在存储器上，但是出于存储器管理或数据完整性的目的，这些项目或它们的部分可以在存储器和其它存储设备之间传送。因此，在一些实施例中，所描述的技术中的一些或全部可以由包括一个或多个处理器或其它配置的硬件电路或存储器或存储器的硬件来执行，例如当由一个或多个软件程序(例如，由眼跟踪子系统135或其组件)和/或数据结构(例如，通过执行一个或多个软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构)来配置时。组件、系统和数据结构中的一些或全部也可以存储(例如，作为软件指令或结构化数据)在非暂时性计算机可读存储介质上，例如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，ram)、网络存储设备或要由适当驱动器(例如，ram)读取的便携式媒体制品(例如，dvd盘、cd盘、光盘等)或通过适当的连接。在一些实施例中，系统、组件和数据结构还可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质，并且可以采取各种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。在其它实施例中，这种计算机程序产品也可以采用其它形式。因此，本发明可以用其它计算机系统配置来实施方式。
32.图2示出了示例性环境200，其中至少一些所述技术与示例性hmd设备202一起使用，所述hmd设备202经由拴绳连接220(或其它实施例中的无线连接)连接到视频呈现计算系统204以向人类用户206提供虚拟现实显示。用户佩戴hmd设备202并通过hmd设备从计算系统204接收与实际物理环境不同的模拟环境的显示信息，其中计算系统充当图像呈现系统，其将模拟环境的图像提供给hmd设备以显示给用户，例如由游戏程序和/或在计算系统上执行的其它软件程序生成的图像。在该示例中，用户还能够在实际物理环境200的被跟踪容积201内移动，并且还可以具有一个或多个i/o(“输入/输出”)设备，以允许用户进一步与
模拟环境交互，在该示例中，模拟环境包括手持控制器208和210。
33.在所示示例中，环境200可以包括一个或多个基站214(示出了两个，标记为基站214a和214b)，其可以帮助跟踪hmd设备202或控制器208和210。当用户移动hmd设备202的位置或改变hmd设备202的方位时，hmd设备的位置被跟踪，以便允许在hmd设备上向用户显示模拟环境的相应部分，并且控制器208和210还可以使用类似的技术来跟踪控制器的位置(并且可选地使用该信息来帮助确定或验证hmd设备的位置)。在已知hmd设备202的被跟踪位置之后，经由拴绳220或无线地将相应的信息发送到计算系统204，其使用所跟踪的位置信息来生成所模拟的环境的一个或多个后续图像以显示给用户。
34.可以在本公开的各种实施方式中使用多种不同的位置跟踪方法，包括但不限于声跟踪、惯性跟踪、磁跟踪、光学跟踪及其组合等。
35.在至少一些实施方式中，hmd设备202可以包括一个或多个光接收器或传感器，其可以用于实施本公开的跟踪功能或其它方面。例如，基站214可以各自扫描被跟踪的容积201上的光信号。根据每个特定实施方式的要求，每个基站214可以生成多于一个的光信号。例如，虽然单个基站214通常足以进行六自由度跟踪，但是在一些实施例中，可能需要或希望多个基站(例如，基站214a、214b)来为hmd设备和外围设备提供稳健的房间规模跟踪。在这个例子中，光接收器被结合到hmd设备202和/或其它被跟踪的对象中，例如控制器208和210。在至少一些实施方式中，光接收器可以与每个被跟踪设备上的加速度计和陀螺仪惯性测量单元(“imu”)配对，以支持低等待时间传感器融合。
36.在至少一些实施方式中，每个基站214包括两个转子，其在正交轴上跨越被跟踪的容积201扫描线性波束。在每个扫描周期的开始，基站214可以发射全向光脉冲(被称为“同步信号”)，该全向光脉冲对于被跟踪对象上的所有传感器是可见的。因此，每个传感器通过对同步信号和波束信号之间的持续时间进行定时来计算被扫描容积中的唯一角位置。传感器距离和方向可以使用固定到单个刚性主体上的多个传感器来解决。
37.位于被跟踪物体(例如，hmd装置202，控制器208和210)上的一个或多个传感器可以包括能够检测来自转子的调制光的光电子装置。对于可见光或近红外(nir)光，可以使用硅光电二极管和合适的放大器/检测器电路。因为环境200可以包含具有与基站214信号的信号相似波长的静态和时变信号(光噪声)，所以在至少一些实施方式中，可以以这样的方式来调制基站光，使得基站光容易地与任何干扰信号区分，和/或从除基站信号之外的任何波长的辐射中过滤传感器。
38.内外跟踪也是一种可用于跟踪hmd设备202和/或其它对象(例如，控制器208和210、平板计算机、智能电话)的位置的位置跟踪。内外跟踪与外内跟踪的不同之处在于用于确定hmd的位置的照相机或其它传感器的位置。对于内外跟踪，照相机或传感器位于hmd上，或被跟踪的物体上，而在外外跟踪中，照相机或传感器被放置在环境中的固定位置。
39.利用内外跟踪的hmd利用一个或多个摄像机来“向外看”以确定其位置如何相对于环境改变。当hmd移动时，传感器重新调整它们在房间中的位置，并且虚拟环境相应地实时响应。这种类型的位置跟踪可以用或不用放置在环境中的标记来实现。放置在hmd上的摄像机观察周围环境的特征。当使用标记时，标记被设计成易于被跟踪系统检测并且被放置在特定区域中。利用“无标记”的内外跟踪，hmd系统使用最初存在于环境中的独特特征(例如，自然特征)来确定位置和方向。hmd系统的算法识别特定的图像或形状，并使用它们来计算
设备在空间中的位置。来自加速度计和陀螺仪的数据也可以用于增加位置跟踪的精度。
40.图3示出了当佩戴在用户342的头部上时示例性hmd装置344的前视图的信息300。hmd装置344包括支撑面向前或向前摄像机346的面向前结构343和一种或多种类型的多个传感器348a-348d(统称为348)。作为一个示例，传感器348中的一些或全部可以帮助确定设备344在空间中的位置和取向，例如光传感器，以检测和使用从一个或多个外部设备(未示出，例如，图2的基站214)发射的光信息。如图所示，向前摄像机346和传感器348被向前引向用户342操作hmd设备344的实际场景或环境(未示出)。实际的物理环境可以包括，例如，一个或多个对象(例如，墙壁、天花板、家具、楼梯、汽车、树木、跟踪标记、或任何其它类型的对象)。传感器348的特定数量可以少于或多于所示的传感器的数量。hmd装置344可进一步包括一个或一个以上未附接到面向前结构(例如，在hmd装置内部)的额外组件，例如imu(惯性测量单元)347电子装置，其测量并报告hmd装置344的特定力、角速率和/或hmd装置周围的磁场(例如，使用加速计、陀螺仪，以及任选地，磁力计的组合)。hmd设备还可以包括未示出的附加部件，包括一个或多个显示面板和光学透镜系统，所述光学透镜系统朝向用户的眼睛(未示出)定向，并且可选地具有一个或多个连接的内部马达，以改变一个或多个光学透镜系统和/或显示面板在hmd设备内的对准或其它定位，如下面关于图4更详细地讨论的。
41.所示的hmd装置344的示例至少部分地基于一个或多个带子345支撑在用户342的头部上，所述带子345连接到hmd装置344的外壳上并且围绕用户的头部全部或部分地延伸。虽然这里未示出，但是hmd装置344还可以具有一个或多个外部马达，例如连接到一个或多个绑带345，并且自动校正动作可以包括使用这样的马达来调整这样的绑带，以便改变hmd装置在用户头部上的对准或其它定位。应当理解，hmd装置可以包括在此未示出的其它支撑结构(例如鼻件、下巴带等)，无论是作为所示带的补充还是替代，并且一些实施例可以包括连接在一个或多个这样的其它支撑结构上的马达，以类似地调整它们的形状和/或位置，从而改变hmd装置在用户头部上的对准或其它定位。未固定到用户头部的其它显示设备可以类似地连接到影响显示设备的定位的一个或多个结构或其一部分，并且在至少一些实施例中可以包括马达或其它机械致动器，以类似地改变它们的形状和/或位置，从而相对于显示设备的一个或多个用户的一个或多个瞳孔来改变显示设备的对准或其它定位。
42.图4示出了包括一对近眼显示系统402和404的hmd设备405的简化俯视平面图400。hmd器件405例如可以是图1-3中所示的相同或类似的hmd器件或不同的hmd器件，并且本文所讨论的hmd器件可以进一步用于下文所讨论的示例中。图4的近眼显示系统402和404分别包括显示面板406和408(例如，oled微显示器)，以及各自具有一个或多个光学透镜的光学透镜系统410和412。显示系统402和404可以安装到外壳(或框架)414上或以其它方式定位在外壳(或框架)414内，外壳(或框架)414包括面向前部分416(例如，与图3的面向前表面343相同或相似)、左眼镜腿418、右眼镜腿420和内表面421，当用户佩戴hmd装置时，内表面421接触佩戴用户424的面部或靠近佩戴用户424的面部。两个显示系统402和404可以以眼镜装置固定到外壳414上，该眼镜装置可以佩戴在佩戴用户424的头部422上，左眼镜腿418和右眼镜腿420分别搁在用户的耳朵426和428上，而鼻组件492可以搁在用户的鼻430上。在图4的示例中，hmd装置405可以部分地或全部地由鼻显示器和/或左右耳镜腿支撑在用户的头部上，尽管在一些实施例中可以使用带子(未示出)或其它结构来将hmd装置固定到用户的头部，例如图2和3中所示的实施例。外壳414的形状和尺寸可以被设计成将两个光学透镜
系统410和412中的每一个分别定位在用户眼睛432和434中的一个的前面，使得每个瞳孔494的目标位置在相应的光学透镜系统和/或显示面板的前面垂直和水平地居中。尽管为了说明的目的，以类似于眼镜的简化方式示出了外壳414，但是应当理解，实际上可以使用更复杂的结构(例如，护目镜、集成头带、头盔、带子等)来将显示系统402和404支撑和定位在用户424的头部422上。
43.图4的hmd设备405以及这里讨论的其它hmd设备能够向用户呈现虚拟现实显示，例如通过以诸如每秒30或60或90帧(或图像)的显示速率呈现的相应视频，而类似系统的其它实施例可以向用户呈现增强现实显示。图4的显示器406和408中的每一个都可以产生光，该光分别通过相应的光学透镜系统410和412透射并聚焦到用户424的眼睛432和434上。光通过其进入眼睛的每只眼睛的瞳孔494通常具有在非常明亮的条件下从直径2mm(毫米)到在黑暗条件下多达8mm的瞳孔尺寸，而包含瞳孔的较大虹膜可以具有大约12mm的尺寸-瞳孔(和封闭的虹膜)通常还可以在水平和/或垂直方向上在开放眼睑下在眼睛的可见部分内移动几毫米。当眼球绕其中心旋转时(导致瞳孔可在其中移动的三维容积)，对于不同的水平和垂直位置，这种方向也将使瞳孔从显示器的光学透镜或其它物理元件移动到不同的深度。进入用户瞳孔的光被用户424视作图像和/或视频。在一些实施方式中，光学透镜系统410和412中的每一个与用户的眼睛432和434之间的距离可以相对较短(例如，小于30mm、小于20mm)，这有利地使得hmd设备对用户显得更轻，因为光学透镜系统和显示系统的重量相对接近用户的面部，并且还可以向用户提供更大的视场。虽然这里未示出，但是这种hmd设备的一些实施例可以包括各种附加的内部和/或外部传感器。
44.在所示实施例中，图4的hmd装置405还包括硬件传感器和附加部件，例如包括一个或多个加速度计和/或陀螺仪490(例如，作为一个或多个imu单元的一部分)。如本文别处更详细讨论的，来自加速度计和/或陀螺仪的值可用于局部地确定hmd装置的取向。此外，hmd设备405可以包括一个或多个正面照相机，例如在前部416外部的照相机485，并且其信息可以用作hmd设备的操作的一部分，例如用于提供ar功能或定位功能。此外，hmd设备405还可以包括其它组件475(例如，控制显示面板406和408上的图像显示的电子电路、内部存储器、一个或多个电池、与外部基站交互的位置跟踪设备等)，如本文别处更详细讨论的。其它实施例可以不包括部件475、485和/或490中的一个或多个。虽然这里未示出，但是这种hmd设备的一些实施例可以包括各种附加的内部和/或外部传感器，以便跟踪用户身体、眼睛、控制器等的各种其它类型的运动和位置。
45.在所示的实施例中，图4的hmd设备405还包括硬件传感器和附加部件，它们可以由所公开的实施例用作用于确定用户瞳孔或凝视方向的所述技术的一部分，所述用户瞳孔或凝视方向可以被提供给与hmd设备相关联的一个或多个部件以供使用，如本文别处所讨论的。该示例中的硬件传感器包括眼睛跟踪子系统的一个或多个眼睛跟踪组件472，其安装在显示面板406和408上或附近和/或位于光学透镜系统410和412附近的内表面421上，用于获取关于用户瞳孔494的实际位置的信息，例如在该示例中分别用于每个瞳孔。
46.每个眼睛跟踪组件472可以包括一个或多个光源(例如，ir led)和一个或多个光检测器(例如，硅光电二极管)。此外，尽管为了清楚起见在图4中仅示出了四个全眼跟踪组件472，但是应当理解，实际上可以提供不同数量的眼跟踪组件。在一些实施例中，提供总共八个眼睛跟踪组件472，用户424的每个眼睛四个眼睛跟踪组件。此外，在至少一些实施方式
中，每个眼睛跟踪组件包括指向用户424的眼睛432和434中的一个的光源、被定位成接收由用户的相应眼睛反射的光的光检测器、以及被定位和配置成防止经由镜面反射所反射的光被施加到光检测器上的偏振器。
47.如本文别处更详细讨论的，来自眼睛跟踪组件472的信息可以用于在hmd设备405的使用期间确定和跟踪用户的凝视方向。此外，在至少一些实施例中，hmd装置405可包括一个或多个内部马达438(或其它移动机构)，其可用于移动439一个或多个光学透镜系统410和412和/或显示面板406和408在hmd装置405的外壳内的对准和/或其它定位(例如，在垂直、水平左右和/或水平前后方向)。诸如个性化或以其它方式调整近眼显示系统402和404中的一个或两个的目标瞳孔位置，以对应于瞳孔494中的一个或两个的实际位置。这种马达438可以通过例如用户操纵外壳414上的一个或多个控制器437和/或通过用户操纵一个或多个相关的单独i/o控制器(未示出)来控制。在其它实施例中，hmd装置405可以控制光学透镜系统410和412和/或显示面板406和408的对准和/或其它定位，而不需要这样的马达438，例如通过使用可调整的定位机构(例如，螺钉、滑块、棘轮等)，该可调整的定位机构由用户通过使用控制器437手动改变。此外，虽然在图4中仅针对近眼显示系统中的一个示出了电动机438，但是在一些实施例中，每个近眼显示系统可以具有其自己的一个或多个电动机，并且在一些实施例中，可以使用一个或多个电动机来控制(例如，独立地)多个近眼显示系统中的每一个。
48.虽然所描述的技术可以在一些实施例中与类似于所示的显示系统一起使用，但是在其它实施例中也可以使用其它类型的显示系统，包括与单个光学透镜和显示设备一起使用，或者与多个这样的光学透镜和显示设备一起使用。其它这样的装置的非排他性实例包括照相机、望远镜、显微镜、双目镜、观测镜、测绘镜等。此外，所描述的技术可以与发射光以形成图像的各种显示面板或其它显示设备一起使用，一个或多个用户通过一个或多个光学透镜观看所述图像。在其它实施例中，用户可以通过一个或多个光学透镜观看一个或多个图像，所述光学透镜以不同于通过显示面板的方式产生，例如在部分或全部反射来自另一光源的光的表面上。
49.图5示出了使用多个眼睛跟踪组件的示例，每个眼睛跟踪组件包括光源和光检测器，以根据所描述的技术以特定方式确定用户的凝视位置。具体而言，图5包括信息500，以说明示例显示面板510和相关联的光学透镜508在向用户的眼睛504提供图像信息时的操作，例如将信息聚焦在眼睛的瞳孔506上。在所示的实施例中，眼睛跟踪子系统的四个眼睛跟踪组件511a-511d(统称为511)安装在光学透镜508的边缘附近，并且每个眼睛跟踪组件511a-511d通常朝向眼睛504的瞳孔506，用于向眼睛504发射光，并捕获从瞳孔506或周围虹膜502的部分或全部所反射的光。
50.在所示示例中，每个眼睛跟踪组件511包括光源512、光检测器514和偏振器516，偏振器516被定位和配置为向光检测器提供散射光(漫反射)，同时基本上禁止由镜面反射所反射的光到达检测器514。在该示例中，眼睛跟踪组件511被放置在沿着中心垂直轴靠近光学透镜508的顶部、沿着中心垂直轴靠近光学透镜的底部、沿着中心水平轴靠近光学透镜的左侧、以及沿着中心水平轴靠近显示面板的右侧的位置。在其它实施例中，眼睛跟踪组件511可以位于其它位置，并且可以使用更少或更多的眼睛跟踪组件。
51.每个眼睛组件511的偏振器516可以包括位于光源512和/或光检测器514前面的一
个或多个偏振器，以减少或消除镜面反射光到达光检测器514。在一个实例中，特定眼睛跟踪组件511的偏振器516可以包括两个交叉线性偏振器，第一线性偏振器位于光源512的前面，第二线性偏振器相对于第一偏振器以90度取向，位于光检测器514的前面，以阻挡镜面反射光。在其它实施方式中，可以使用一个或多个圆形或线性偏振器来防止经由镜面反射所反射的光到达光检测器514，使得光检测器基本上接收经由漫反射所反射的光。
52.还应当理解，光源和光检测器仅出于示例的目的而示出，并且其它实施例可以包括更多或更少的光源或检测器，并且光源或检测器可以位于其它位置。此外，虽然这里未示出，但是在一些实施例中可以使用另外的硬件部件来帮助从一个或多个光检测器获取数据。例如，hmd设备或其它显示设备可以包括在不同位置处的各种光源(例如，红外、可见光等)，以将光照射在虹膜和瞳孔上，以反射回一个或多个光检测器，例如安装在显示面板510上或附近的光源，或者替代地，在其他处(例如，在光学透镜508和眼睛504之间，例如在包括显示面板510和光学透镜508的hmd设备的内表面上，未示出)。在一些这样的实施例中，来自这样的照明源的光可以在通过光学透镜508以照明虹膜和瞳孔之前进一步从显示面板反射。
53.图6是根据一个非限制性的所示实施方式的环境600的示意图，其中机器学习技术可以用于实现设备的眼睛跟踪子系统，例如这里所讨论的眼睛跟踪子系统。环境600包括模型训练部分601和推断部分603。在训练部分601中，训练数据602被馈送到机器学习算法604中以生成经过经训练机器学习模型606。训练数据可以包括例如来自指定凝视位置的光检测器的经标记数据。作为非限制性示例，在包括指向用户眼睛的四个光检测器的实施例中，每个训练样本可以包括来自四个光检测器中的每一个的输出以及已知的或推断的凝视方向。在至少一些实施方式中，可以通过指导用户在hmd设备的显示器上注视特定用户界面元素(例如，单词、点、“x”、另一形状或对象等)来知道或推断用户的注视方向，所述用户界面元素可以是静态的或可以在显示器上移动。训练数据还可以包括样本，其中一个或多个光源或光检测器例如由于用户眨眼、眼睫毛、眼镜、帽子或其它障碍物而被遮挡。对于这种训练样本，标签可以是“未知的”或“遮挡的”，而不是指定的凝视方向。
54.训练数据602可以从多个用户和/或从hmd系统的单个用户获得。训练数据602可以在受控环境中获得和/或在用户实际使用期间获得(“现场训练”)。此外，在至少一些实施方式中，模型606可以时常(例如，周期性地、连续地、在某些事件之后)更新或校准，以提供精确的凝视方向预测。
55.在推断部分603中，运行时间数据608被提供作为对经训练机器学习模型606的输入，该经训练机器学习模型606生成凝视方向预测610。继续上面的例子，光检测器的输出数据可以作为输入被提供给经训练机器学习模型606，该模型可以处理该数据以预测凝视位置。然后，可将凝视方向预测610提供给与hmd设备相关联的一个或多个组件，例如，在hmd设备上执行的一个或多个vr或ar应用、一个或多个显示或呈现模块、一个或多个机械控件、一个或多个位置跟踪子系统等。
56.用于实施这里讨论的特征的机器学习技术可以包括任何类型的适当结构或技术。作为非限制性示例，机器学习模型606可以包括决策树、统计分层模型、支持向量机、诸如卷积神经网络(cnn)或递归神经网络(rnn)的人工神经网络(ann)(例如，长期短期记忆(lstm)网络)、混合密度网络(mdn)、隐马尔可夫模型、或者其它可以使用的模型中的一个或多个。
在至少一些实施方式中，例如利用rnn的实施方式，机器学习模型606可以利用过去的输入(存储器、反馈)信息来预测凝视方向。这样的实施方式可以有利地利用序列数据来确定运动信息或先前的凝视方向预测，这可以提供更精确的实时凝视方向预测。
57.图7是操作hmd设备的眼睛跟踪子系统的方法700的示例性实施例的流程图。方法700可以由例如图1的眼睛跟踪子系统135或本文别处讨论的其它系统来执行。虽然所示的实施例700讨论了为单个眼睛确定凝视方向的执行操作，但是应当理解，方法700的操作可以同时应用于用户的两个眼睛，以基本上实时地跟踪凝视方向。还应当理解，方法700的所示实施例可以适当地以软件和/或硬件来实施方式，并且可以由例如与hmd设备相关联的计算系统来执行。
58.如上所述，hmd设备可以包括可佩戴在用户头部上的支撑结构、连接到支撑结构的眼睛跟踪子系统、至少一个处理器以及存储指令或数据集合的存储器。眼睛跟踪子系统可以包括多个眼睛跟踪组件，每个眼睛跟踪组件包括光源、光检测器和偏振器。
59.偏振器可以位于光源和光检测器中的至少一个附近，并且可以被配置成防止经由镜面反射所反射的光被光检测器接收。在至少一些实施方式中，偏振器可以包括两个交叉线性偏振器。在至少一些实施方式中，对于多个眼睛跟踪组件中的每一个，偏振器包括位于光源的发光路径中的第一偏振器和位于光检测器的光检测路径中的第二偏振器。更一般地，偏振器可以包括圆形偏振器或线性偏振器中的至少一种。
60.每个光源可以被引导到用户瞳孔的目标位置，这可以允许使用较低功率的光源，因为能量被聚焦在目标位置上。另外，各种光学器件(例如，透镜)或光源类型(例如，ir激光器)也可用于将光聚焦在目标区域上。在至少一些实施方式中，光源可以包括发光二极管，其发射具有例如在780nm和1000nm之间的波长的光。光源可以远离用户眼睛的光轴定位，以提供瞳孔的暗场照明。在至少一些实施方式中，光检测器可以包括提供取决于入射光功率的输出信号的硅光电二极管。
61.方法700的所示实施例在702处开始，其中hmd装置的至少一个处理器可选择性地使多个眼睛跟踪组件的光源发光。至少一个处理器可以使光源同时地、顺序地、以另一模式或其任何组合发光。在704处，至少一个处理器可以接收由多个眼睛跟踪组件的光检测器捕获的光检测信息。例如，至少一个处理器可以存储在一个或多个时间周期从多个光检测器接收的输出数据。
62.在706处，至少一个处理器可将所接收的光检测信息作为输入提供到经训练机器学习模型，例如上文关于图6论述的模型606。如上所述，机器学习模型可以包括rnn、mdn或任何其它类型的机器学习模型，其适于基于从多个光检测器接收的光数据输入来提供精确的凝视方向预测。如本文别处所论述，在其它实施方案中，可使用预测模型或除机器学习模型以外的函数，例如1d或2d多项式、一个或一个以上查找表等。
63.在708处，至少一个处理器可以响应于提供光检测信息，从机器学习模型接收用户眼睛的经确定凝视方向。经确定凝视方向可以以任何适当的格式提供。
64.为了校准或更新机器学习模型，至少一个处理器可以使hmd的至少一个显示器呈现用户界面元件，选择性地使多个眼睛跟踪组件的光源发光，并且接收由多个眼睛跟踪组件的光检测器捕获的光检测信息。光检测信息以及相应的已知或推断的凝视方向信息可以用于更新机器学习模型。模型可以根据需要被多次更新以提供精确的凝视方向预测。用户
界面元素可以包括静态用户界面元素或移动用户界面元素。
65.在710处，至少一个处理器向与hmd系统相关联的部件提供经确定凝视方向以供其使用。例如，可以将经确定凝视方向提供给hmd系统的图像渲染子系统，以基于经确定凝视方向提供视点渲染，如上所述。作为另一个例子，眼睛跟踪子系统可以确定用户的眼睛正在迅速扫视，并且可以动态地改变图像呈现以利用迅速扫视掩蔽或迅速扫视抑制。例如，图像渲染的一个或多个特性可以在迅速扫视期间被改变，诸如图像的全部或部分的分辨率、图像的空间频率、帧速率，或可以允许减小带宽、降低计算要求或其它技术益处的任何其它特性。
66.作为另一个例子，在至少一些实施方式中，hmd设备可以包括瞳孔间距离(ipd)调整部件，该ipd调整部件用于自动调整hmd的一个或多个部件以考虑可变ipd。在该示例中，ipd调整部件可以接收凝视方向，并且可以至少部分地基于经确定凝视方向来为用户对准hmd系统的至少一个部件。例如，当用户正在观看附近的对象时，ipd可以相对较短，并且ipd调整可以相应地对准hmd设备的一个或多个组件。作为另一个非限制性示例，hmd设备可以基于经确定凝视方向自动调整透镜的焦点。
67.尽管上述示例利用机器学习技术从光检测信息确定凝视方向，但是应当理解，本公开的特征不限于使用机器学习技术。通常，可以使用任何类型的预测模型或函数。例如，在至少一些实施方式中，系统可以不直接从光检测信息得到凝视方向，而是相反地进行，在给定输入凝视方向的情况下预测光检测信息。这种方法可以找到执行该预测的预测函数或模型，从凝视方向映射到该方向的经预测光读数。该功能可以是用户特定的，因此系统可以实施校准过程以找到或定制该功能。一旦已经确定或生成预测函数，则预测函数可以被反转(例如，利用数字求解器)以在使用期间产生实时预测。具体地，给定来自真实传感器的光检测信息的样本，求解器可用于找到使该真实读数和来自所生成的预测函数的预测读数之间的误差最小化的凝视方向。在这样的实施方式中，输出是所解出的凝视方向加上残余误差，其可以用于判断解决方案的质量。在至少一些实施方式中，可以应用一些附加的校正来处理各种问题，例如在操作期间hmd系统在用户面部上滑动。预测函数可以是任何类型的函数。作为一个例子，在给定从用户捕获的点的数据集的情况下，可以使用一组2d多项式来将凝视角度映射到光电二极管读数。在至少一些其他实施方式中，也可以使用查找表或其他方法，包括将ml系统适配为输出如上所述的预测。
68.应当理解，在一些实施例中，可以以替换的方式来提供由上述例程提供的功能，例如，在更多的例程之间进行拆分，或者合并成更少的例程。类似地，在一些实施例中，所示例程可以提供比所描述的更多或更少的功能，例如当其他所示例程分别缺少或包括这样的功能时，或者当所提供的功能的数量改变时。此外，虽然可以将各种操作示出为以特定方式(例如，串行或并行)和/或以特定顺序执行，但是本领域技术人员将理解，在其它实施例中，可以以其它顺序和其它方式执行操作。将类似地理解，上述数据结构可以以不同的方式构造，包括用于数据库或用户界面屏幕/页面或其它类型的数据结构，例如通过将单个数据结构分成多个数据结构或通过将多个数据结构合并成单个数据结构。类似地，在一些实施例中，所示的数据结构可以存储比所描述的更多或更少的信息，例如当其他所示的数据结构分别缺少或包括这样的信息时，或者当所存储的信息的数量或类型改变时。
69.此外，附图中的元件的尺寸和相对位置不必按比例绘制，包括各种元件和角度的
形状，其中一些元件被放大和定位以改进图的可读性，并且选择至少一些元件的特定形状以便于识别，而不需要传送关于那些元件的实际形状或比例的信息。此外，为了清楚和强调，可以省略一些元件。此外，在不同附图中重复的附图标记可以表示相同或相似的元件。
70.从上文可以理解，尽管本文为了说明的目的描述了特定的实施例，但是可以在不脱离本发明的精神和范围的情况下进行各种改变。此外，虽然本发明的某些方面有时以某些权利要求形式呈现，或者有时可能不在任何权利要求中体现，但本发明人以任何可用的权利要求形式预期本发明的各个方面。例如，虽然本发明的一些方面在特定时间可以体现在计算机可读介质中，但是也可以同样体现其它方面。
71.本技术要求2020年1月27日提交的美国专利申请no.16/773,840的优先权，在此通过引用将其全文并入本文。