用于头戴式显示设备的眼睛跟踪系统的制作方法

技术特征：
1.一种头戴式显示器(hmd)系统，包括：支撑结构，能够佩戴在用户头部；眼睛跟踪子系统，所述眼睛跟踪子系统连接到所述支撑结构，并且包括多个眼睛跟踪组件，每个眼睛跟踪组件包括：光源，操作以发光；光检测器，操作以检测光；以及偏振器，位于所述光源和所述光检测器中的至少一者的附近，所述偏振器被配置为防止经由镜面反射所反射的光被所述光检测器接收；至少一个处理器；以及存储器，存储指令或数据集合，作为执行的结果，所述指令或数据集合使得所述hmd系统：选择性地使得所述多个眼睛跟踪组件的所述光源发光；接收由所述多个眼睛跟踪组件的所述光检测器捕获的光检测信息；将所接收的光检测信息作为输入提供给预测模型；响应于提供所述光检测信息，从所述预测模型接收所述用户的眼睛的经确定凝视方向；以及向与所述hmd系统相关联的部件提供所述经确定凝视方向，以由其使用。2.根据权利要求1所述的hmd系统，其中，所述光检测信息包括在来自所述光源的光已经反射、散射或被吸收离开所述用户的面部或眼睛之后，所述光源中的每一者的特征辐射图案。3.根据权利要求1所述的hmd系统，其中，所述光源中的每一者指向所述用户的瞳孔的预期位置。4.根据权利要求1所述的hmd系统，其中，所述光源包括发光二极管，所述发光二极管发射波长在780nm和1000nm之间的光。5.根据权利要求1所述的hmd系统，其中，所述光检测器包括光电二极管。6.根据权利要求1所述的hmd系统，其中，所述眼睛跟踪子系统包括定位成确定所述用户的左眼的凝视方向的四个眼睛跟踪组件，以及定位成确定所述用户的右眼的凝视方向的四个眼睛跟踪组件。7.根据权利要求1所述的hmd系统，其中，所述偏振器包括两个交叉线性偏振器。8.根据权利要求1所述的hmd系统，其中，对于所述多个眼睛跟踪组件中的每一者，所述偏振器包括位于所述光源的光发射路径中的第一偏振器和位于所述光检测器的光检测路径中的第二偏振器。9.根据权利要求1所述的hmd系统，其中，所述偏振器包括圆形偏振器或线性偏振器中的至少一种。10.根据权利要求1所述的hmd系统，其中，对于所述多个眼睛跟踪组件中的每一者，所述光源定位成远离所述用户的眼睛的光轴，以提供瞳孔的暗场照明。11.根据权利要求1所述的hmd系统，其中，所述预测模型包括机器学习模型。12.根据权利要求11所述的hmd系统，其中，所述机器学习模型包括混合密度网络(mdn)模型。
13.根据权利要求11所述的hmd系统，其中，所述机器学习模型包括递归神经网络(rnn)模型。14.根据权利要求11所述的hmd系统，其中，所述机器学习模型利用过去的输入信息或眼睛运动信息来确定所述凝视方向。15.根据权利要求11所述的hmd系统，其中，所述机器学习模型是在多个hmd系统的现场操作期间训练的模型。16.根据权利要求1所述的hmd系统，其中，所述预测模型包括多项式或查找表。17.根据权利要求1所述的hmd系统，其中，所述hmd系统包括至少一个显示器，并且所述至少一个处理器：使得所述至少一个显示器呈现用户界面元素；选择性地使所述多个眼睛跟踪组件的所述光源发光；接收由所述多个眼睛跟踪组件的所述光检测器捕获的光检测信息；以及至少部分地基于所接收的光检测信息以及与所接收的光检测信息相关联的已知或推断的凝视方向信息来更新所述机器学习模型。18.根据权利要求17所述的hmd系统，其中，所述用户界面元素包括静态用户界面元素或移动用户界面元素。19.根据权利要求1所述的hmd系统，其中，所述hmd系统包括至少一个显示器，并且所述至少一个处理器：至少部分地基于所述经确定凝视方向来动态地改变所述至少一个显示器的渲染输出。20.根据权利要求1所述的hmd系统，其中，所述hmd系统包括瞳孔间距离(ipd)调整部件，并且所述至少一个处理器：使得所述ipd调整部件至少部分地基于所述经确定凝视方向来为所述用户对准所述hmd系统的至少一个部件。21.一种操作头戴式显示器(hmd)系统的方法，所述hmd系统包括连接到支撑结构的眼睛跟踪子系统，所述支撑结构包括多个眼睛跟踪组件，每个眼睛跟踪组件包括光源、光检测器和偏振器，所述方法包括：选择性地使得所述多个眼睛跟踪组件的所述光源发光；接收多个光检测器捕获的光检测信息；将所接收的光检测信息作为输入提供给经训练机器学习模型；响应于提供所述光检测信息，从所述机器学习模型接收用户的眼睛的经确定凝视方向；以及向与所述hmd系统相关联的部件提供所述经确定凝视方向，以由其使用。22.根据权利要求21所述的方法，其中，所述光检测信息包括在来自所述光源的光已经反射、散射或被吸收离开所述用户的面部或眼睛之后，所述光源中的每一者的特征辐射图案。23.根据权利要求21所述的方法，其中，将所接收的光检测信息作为输入提供给经训练机器学习模型包括将所接收的光检测信息作为输入提供给混合密度网络(mdn)模型。24.根据权利要求21所述的方法，其中，将所接收的光检测信息作为输入提供给经训练机器学习模型包括将所接收的光检测信息作为输入提供给递归神经网络(rnn)模型。
25.根据权利要求21所述的方法，其中，将所接收的光检测信息作为输入提供给经训练机器学习模型包括将所接收的光检测信息提供给利用过去的输入信息或眼睛运动信息来确定所述凝视方向的机器学习模型。26.根据权利要求21所述的方法，还包括在多个hmd系统的现场操作期间训练所述机器学习模型。27.根据权利要求21所述的方法，其中，所述hmd系统包括至少一个显示器，并且所述方法包括：使得所述至少一个显示器呈现用户界面元素；选择性地使所述多个眼睛跟踪组件的所述光源发光；接收多个光检测器捕获的光检测信息；以及至少部分地基于所接收的光检测信息以及与所接收的光检测信息相关联的已知或推断的凝视方向信息来更新机器学习模型。28.根据权利要求27所述的方法，其中，使得所述至少一个显示器呈现所述用户界面元素包括使得所述至少一个显示器呈现静态用户界面元素或移动用户界面元素。29.根据权利要求21所述的方法，其中，所述hmd系统包括至少一个显示器，并且所述方法包括：至少部分地基于所述经确定凝视方向来动态地改变所述至少一个显示器的输出。30.根据权利要求21所述的方法，还包括：至少部分地基于经确定凝视方向，为所述用户进行所述hmd系统的至少一个部件的机械对准。31.一种头戴式显示器(hmd)系统，包括：支撑结构，能够佩戴在用户头部；眼睛跟踪子系统，所述眼睛跟踪子系统连接到所述支撑结构，并且包括多个眼睛跟踪组件，每个眼睛跟踪组件包括：发光二极管；光电二极管；以及偏振器，位于所述发光二极管和所述光电二极管中的至少一者的附近，所述偏振器被配置为防止经由镜面反射所反射的光被所述光电二极管接收；至少一个处理器；以及存储器，存储指令或数据集合，作为执行的结果，所述指令或数据集合使得所述hmd系统：选择性地使得所述多个眼睛跟踪组件的所述发光二极管发光；接收由所述多个眼睛跟踪组件的所述光电二极管捕获的光检测信息；将所接收的光检测信息作为输入提供给预测模型；响应于提供所述光检测信息，从所述预测模型接收所述用户的眼睛的经确定凝视方向；以及至少部分地基于所述经确定凝视方向来动态地改变与所述hmd系统相关联的组件的操作。

技术总结
本公开涉及用于在各种应用中使用的眼睛跟踪的系统和方法，例如包括头戴式显示设备的虚拟现实或增强现实应用。可以提供一种眼睛跟踪子系统，其包括多个组件，每个组件包括光源(例如LED)、光检测器(例如硅光电二极管)、以及偏振器。偏振器被配置成防止经由镜面反射所反射的光到达光检测器，使得光检测器仅检测到散射光。机器学习或其它技术可以用于跟踪或以其它方式确定用户的凝视方向，用户的凝视方向可以由HMD设备的一个或多个组件使用，以各种方式改善其功能。式改善其功能。式改善其功能。


技术研发人员：约书亚
受保护的技术使用者：威尔乌集团
技术研发日：2021.01.20
技术公布日：2022/7/9