眼睛跟踪延迟增强的制作方法

技术特征：
1.一种头戴式系统，包括：相机，其被配置为捕获用户的眼睛的图像；一个或多个光源，其被配置为照射所述用户的所述眼睛，以使得亮斑被表示在所述用户的所述眼睛的图像中；以及一个或多个处理器，其被配置为：从所述相机获得所述用户的所述眼睛的第一图像；将所述第一图像作为输入提供给机器学习模型，所述机器学习模型已经被训练为在给定眼睛的图像的情况下生成虹膜片段数据和瞳孔片段数据；在所述第一图像之后从所述相机获得所述用户的所述眼睛的第二图像；基于所述虹膜片段数据，在所述第二图像中检测一个或多个亮斑被表示的一组一个或多个位置；基于所述瞳孔片段数据，识别所述第二图像的所述用户的所述眼睛的瞳孔被表示的区域；以及至少部分地基于在所述第二图像中所检测的一组一个或多个亮斑位置和所识别的所述第二图像的区域，确定所述用户的所述眼睛的姿势。2.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置为：经由所述机器学习模型获得用于所述第二图像的虹膜片段数据和瞳孔片段数据；从所述相机获得所述用户的所述眼睛的第三图像；基于由所述机器学习模型针对所述第二图像生成的所述虹膜片段数据，在所述第三图像中分别检测显示一个或多个亮斑的一组一个或多个位置；基于由所述机器学习模型针对所述第二图像生成的所述瞳孔片段数据，识别在所述第三图像中的所述用户的所述眼睛的瞳孔被表示的区域；以及至少部分地基于在所述第三图像中所检测的一组一个或多个亮斑位置和所识别的所述第三图像的区域，确定所述用户的所述眼睛的姿势。3.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置为：基于所述虹膜片段数据，识别所述第二图像的第二区域，以及其中，为了在所述第二图像中检测显示一个或多个亮斑的所述一组一个或多个位置，所述一个或多个处理器被配置为：在所述第二图像的所述第二区域中搜索在所述第二区域中表现出局部最大值强度值的各个位置。4.根据权利要求3所述的系统，其中，所述一个或多个处理器进一步被配置为：抑制在所述第二图像的所述特定区域之外的区域中搜索显示一个或多个亮斑的一组一个或多个位置。5.根据权利要求3所述的系统，其中，所述一个或多个处理器进一步被配置为：基于所述虹膜片段数据，在所述第一图像中识别所述用户的所述眼睛的虹膜的轮廓，以及其中，为了基于所述虹膜片段数据，识别所述第二图像的不同区域，所述一个或多个处理器被配置为：基于在所述第一图像中所识别的所述用户的所述眼睛的虹膜的轮廓，识别所述第二图
像的第三区域。6.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置为：基于所述瞳孔片段数据，在所述第一图像中识别所述用户的所述眼睛的瞳孔的质心，以及其中，为了识别所述第二图像的所述区域，所述一个或多个处理器被配置为：基于在所述第一图像中所识别的所述用户的所述眼睛的瞳孔的质心，识别所述用户的所述眼睛的瞳孔被表示的所述第二图像的第二区域。7.根据权利要求6所述的系统，其中，为了识别所述第二图像的所述第二区域，所述一个或多个处理器被配置为：基于在所述第一图像中所识别的所述用户的所述眼睛的瞳孔的质心，识别在所述第二图像内的位置；以及从在所述第二图像内所识别的所述位置开始搜索瞳孔边界。8.根据权利要求7所述的系统，其中，为了从在所述第二图像内所识别的所述位置开始搜索瞳孔边界，所述一个或多个处理器被配置为：基于在所述第二图像内所识别的位置被指定为起点，执行星爆瞳孔检测过程。9.根据权利要求1所述的系统，其中，为了至少部分地基于在所述第二图像中所检测的一组一个或多个亮斑位置和所识别的所述第二图像的区域，确定所述用户的所述眼睛的所述姿势，所述一个或多个处理器配置为：至少部分地基于在所述第二图像中所检测的一组一个或多个亮斑位置和所识别的所述第二图像的区域，获得所述用户的所述眼睛的光轴的位置和取向估计。10.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置为：基于在所述第二图像中所检测的一组一个或多个亮斑位置，获得在所述第二图像中的所述用户的所述眼睛的角膜的三维位置的估计，以及其中，为了确定所述用户的所述眼睛的所述姿势，所述一个或多个处理器被配置为：至少部分地基于所估计的在所述第二图像中的所述用户的所述眼睛的角膜的位置和所识别的所述第二图像的区域，确定所述姿势。11.根据权利要求10所述的系统，其中，所述一个或多个处理器进一步被配置为：基于所估计的在所述第二图像中的所述用户的所述眼睛的角膜的位置和所识别的所述第二图像的区域，获得在所述第二图像中的所述用户的所述眼睛的瞳孔的三维位置的估计，以及其中，为了确定所述用户的所述眼睛的所述姿势，所述一个或多个处理器被配置为：至少部分地基于所估计的在所述第二图像中的所述用户的所述眼睛的角膜的位置和所估计的在所述第二图像中的所述用户的所述眼睛的瞳孔的位置，确定所述姿势。12.根据权利要求1所述的系统，其中，所述一个或多个处理器进一步被配置为：获得所述用户的所述眼睛的第三图像；基于由所述机器学习模型最近生成的虹膜片段数据，在所述第三图像中分别检测一个或多个亮斑被表示的一组一个或多个位置；基于由所述机器学习模型最近生成的瞳孔片段数据，识别显示所述用户的所述眼睛的瞳孔的所述第三图像的区域；以及
至少部分地基于在所述第三图像中所检测的一组一个或多个亮斑位置和所识别的所述第三图像的区域，确定所述用户的所述眼睛的第二姿势。13.根据权利要求12所述的系统，其中，由所述机器学习模型最近生成的所述虹膜片段数据和所述瞳孔片段数据包括由所述机器学习模型针对所述第二图像生成的虹膜片段数据和瞳孔片段数据。14.根据权利要求12所述的系统，其中，由所述机器学习模型最近生成的所述虹膜片段数据和所述瞳孔片段数据包括由所述机器学习模型针对所述第一图像生成的虹膜片段数据和瞳孔片段数据。15.根据权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为：将所述第二图像作为输入提供给所述机器学习模型，以及其中，由所述机器学习模型最近生成的所述虹膜片段数据和所述瞳孔片段数据包括由所述机器学习模型针对所述第三图像生成的虹膜片段数据和瞳孔片段数据。16.根据权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为抑制将所述第二图像作为输入提供给所述机器学习模型。17.一种由一个或多个处理器的头戴式系统实现的方法，所述头戴式系统被配置为照射用户的眼睛，以使得亮斑被表示在所述眼睛图像中，其中，所述方法包括：获得所述用户的所述眼睛的第一图像；将所述第一图像作为输入提供给机器学习模型，所述机器学习模型已经被训练为在给定眼睛的图像的情况下生成虹膜片段数据和瞳孔片段数据；获得所述用户的所述眼睛的第二图像；基于所述虹膜片段数据，在所述第二图像中检测一个或多个亮斑被表示的一组一个或多个位置；基于所述瞳孔片段数据，识别所述第二图像的所述用户的所述眼睛的瞳孔被表示的区域；以及至少部分地基于在所述第二图像中所检测的一组一个或多个亮斑位置和所识别的所述第二图像的区域，确定所述用户的所述眼睛的姿势。18.根据权利要求17所述的方法，进一步包括：经由所述机器学习模型获得用于所述第二图像的虹膜片段数据和瞳孔片段数据；获得所述用户的所述眼睛的第三图像；基于由所述机器学习模型针对所述第二图像生成的所述虹膜片段数据，在所述第三图像中分别检测显示一个或多个亮斑的一组一个或多个位置；基于由所述机器学习模型针对所述第二图像生成的所述瞳孔片段数据，识别所述第三图像的所述用户的所述眼睛的瞳孔被表示的区域；以及至少部分地基于在所述第三图像中所检测的一组一个或多个亮斑位置和所识别的所述第三图像的区域，确定所述用户的所述眼睛的姿势。19.根据权利要求17所述的方法，进一步包括：基于所述虹膜片段数据，识别所述第二图像的第二区域，以及其中，为了在所述第二图像中检测显示一个或多个亮斑的所述一组一个或多个位置，所述方法进一步包括：
在所述第二图像的所述第二区域中搜索在所述第二区域中的表现出局部最大值强度值的各个位置。20.根据权利要求19所述的方法，其中，所述头戴式系统被配置为抑制在所述第二图像的所述特定区域之外的区域中搜索显示一个或多个亮斑的一组一个或多个位置。21.根据权利要求19所述的方法，进一步包括：基于所述虹膜片段数据，在所述第一图像中识别所述用户的所述眼睛的虹膜的轮廓，以及其中，为了基于所述虹膜片段数据，识别所述第二图像的不同区域，所述方法进一步包括：基于在所述第一图像中所识别的所述用户的所述眼睛的虹膜的轮廓，识别所述第二图像的第三区域。22.根据权利要求17所述的方法，进一步包括：基于所述瞳孔片段数据，在所述第一图像中识别所述用户的所述眼睛的瞳孔的质心，以及其中，为了识别所述第二图像的所述区域，所述方法进一步包括：基于在所述第一图像中所识别的所述用户的所述眼睛的瞳孔的质心，识别所述第二图像的所述用户的所述眼睛的瞳孔被表示的第二区域。23.根据权利要求22所述的方法，其中，为了识别所述第二图像的所述第二区域，所述方法包括：基于在所述第一图像中所识别的所述用户的所述眼睛的瞳孔的质心，识别在所述第二图像内的位置；以及从在所述第二图像内所识别的位置开始搜索瞳孔边界。24.根据权利要求23所述的方法，其中，为了从所述第二图像内的所识别的位置开始搜索瞳孔边界，所述方法包括：基于在所述第二图像内所识别的位置被指定为起点，执行星爆瞳孔检测过程。25.根据权利要求17所述的方法，其中，为了至少部分地基于在所述第二图像中所检测的一组一个或多个亮斑位置和所识别的所述第二图像的区域，确定所述用户的所述眼睛的所述姿势，所述方法包括：至少部分地基于在所述第二图像中所检测的一组一个或多个亮斑位置和所识别的所述第二图像的区域，获得所述用户的所述眼睛的光轴的位置和取向估计。26.根据权利要求17所述的方法，其中，所述方法进一步包括：基于在所述第二图像中所检测的一组一个或多个亮斑位置，获得在所述第二图像中的所述用户的所述眼睛的角膜的三维位置的估计，以及其中，为了确定所述用户的所述眼睛的所述姿势，所述方法包括：至少部分地基于所估计的在所述第二图像中的所述用户的所述眼睛的角膜的位置和所识别的所述第二图像的区域，确定所述姿势。27.根据权利要求26所述的方法，其中，所述方法进一步包括：基于所估计的在所述第二图像中的所述用户的所述眼睛的角膜的位置和所识别的所述第二图像的区域，获得在所述第二图像中的所述用户的所述眼睛的瞳孔的三维位置的估
计，以及其中，为了确定所述用户的所述眼睛的所述姿势，所述方法包括：至少部分地基于所估计的在所述第二图像中的所述用户的所述眼睛的角膜的位置和所估计的在所述第二图像中的所述用户的所述眼睛的瞳孔的位置，确定所述姿势。28.根据权利要求17所述的方法，其中，所述方法进一步包括：获得所述用户的所述眼睛的第三图像；基于由所述机器学习模型最近生成的虹膜片段数据，在所述第三图像中分别检测一个或多个亮斑被表示的一组一个或多个位置；基于由所述机器学习模型最近生成的瞳孔片段数据，识别所述第三图像的显示所述用户的所述眼睛的瞳孔的区域；以及至少部分地基于在所述第三图像中所检测的一组一个或多个亮斑位置和所识别的所述第三图像的区域，确定所述用户的所述眼睛的第二姿势。29.根据权利要求28所述的方法，其中，由所述机器学习模型最近生成的所述虹膜片段数据和所述瞳孔片段数据包括由所述机器学习模型针对所述第二图像生成的虹膜片段数据和瞳孔片段数据。30.根据权利要求28所述的方法，其中，由所述机器学习模型最近生成的所述虹膜片段数据和所述瞳孔片段数据包括由所述机器学习模型针对所述第一图像生成的虹膜片段数据和瞳孔片段数据。31.根据权利要求28所述的方法，其中，所述方法进一步包括：将所述第二图像作为输入提供给所述机器学习模型，以及其中，由所述机器学习模型最近生成的所述虹膜片段数据和所述瞳孔片段数据包括由所述机器学习模型针对所述第三图像生成的虹膜片段数据和瞳孔片段数据。32.根据权利要求28所述的方法，其中，所述头戴式系统被配置为抑制将所述第二图像作为输入提供给所述机器学习模型。

技术总结
用于眼睛跟踪延迟增强的系统和方法。示例头戴式系统获得用户的眼睛的第一图像。第一图像作为输入被提供给机器学习模型，该机器学习模型已经被训练为在给定眼睛图像的情况下生成虹膜片段数据和瞳孔片段数据。获得眼睛的第二图像。基于针对第一图像所生成的虹膜片段数据，在第二图像中检测显示一个或多个亮斑的一组位置。基于针对第一图像所生成的瞳孔片段数据，识别显示用户的眼睛的瞳孔的第二图像的区域。基于在第二图像中所检测的一组亮斑位置和所识别的第二图像的区域，确定用户的眼睛的姿势。势。势。


技术研发人员：B
受保护的技术使用者：奇跃公司
技术研发日：2020.07.01
技术公布日：2022/4/22