低电力半无源相对六自由度跟踪的制作方法

技术特征：
1.一种系统，包括：头戴式显示器hmd，包括：相机；控制器，所述控制器控制所述hmd的操作；以及与所述hmd配对的外部设备，所述外部设备包括接口设备，其中，所述hmd的控制器被配置成：基于由于所述hmd和所述外部设备的配对状态而导致的所述外部设备的已知屏幕状态来确定所述外部设备的位置，其中当所述外部设备在所述hmd的所述相机的视场内时，所述外部设备的已知屏幕状态能够由所述hmd的所述相机检测。2.根据权利要求1所述的系统，其中，所述hmd的控制器被配置成：控制所述hmd的显示设备，使得响应于检测到所述外部设备的已知屏幕状态和确定所述外部设备的位置，由所述hmd所显示的虚拟内容与所述外部设备的所述接口设备对准。3.根据权利要求1所述的系统，其中，所述hmd的控制器被配置成：基于在所述hmd的所述相机的视场内检测到所述外部设备的已知屏幕状态来检测所述外部设备的位置数据；将所述位置数据与从所述外部设备接收到的加速度数据或定向数据中的至少一个进行组合；以及基于所组合的所述位置数据与加速度数据或定向数据中的至少一个，确定所述外部设备相对于所述hmd的六自由度6dof位置。4.根据权利要求3所述的系统，其中，所述hmd的所述控制器被配置成：控制所述hmd的显示设备的操作，以在与所述外部设备的所确定的6dof位置相对应的位置和定向处，在增强现实环境中显示虚拟内容。5.根据权利要求4的系统，其中，所述hmd的所述控制器被配置成：控制所述hmd的所述显示设备，使得在所述外部设备保持在所述hmd的所述相机的视场内时，使由所述hmd显示的所述虚拟内容维持与所述外部设备的所述接口设备的6dof位置对准。6.根据权利要求4所述的系统，其中，所述hmd的所述控制器被配置成：控制所述hmd的所述显示设备，使得由所述hmd显示的所述虚拟内容的位置和定向响应于所述外部设备的所述接口设备的位置和定向的对应变化而改变。7.根据权利要求1所述的系统，其中，所述hmd的控制器被配置成：控制所述hmd的显示设备，以响应于在所述外部设备的接口设备处检测到的输入而显示虚拟内容。8.根据权利要求1所述的系统，其中，所述外部设备的已知屏幕状态包括基准标记，其中所述基准标记是由所述外部设备的所述接口设备响应于应用于所述外部设备的手势命令而输出的，所述手势命令将所述外部设备从空闲状态唤醒，其中，由所述外部设备的所述接口设备输出的所述基准标记能够被所述hmd的所述相机检测到。9.根据权利要求1所述的系统，其中，所述外部设备包括至少有源标记和至少一个无源标记，当所述外部设备在所述hmd的所述相机的视场内时，所述至少有源标记和至少一个无源标记能够被所述hmd的相机检测到，并且其中，所述hmd的所述控制器被配置成：控制显示设备，使得响应于在所述hmd的所述相机的视场内检测到所述至少一个有源标记和至少一个无源标记，由所述hmd显示的虚拟内容与所述外部设备对准。10.一种计算机实现的方法，包括：
由头戴式显示器hmd的相机检测在所述相机的视场内的外部设备上的至少一个标记，所述外部设备与所述hmd配对，所述至少一个标记包括由于所述外部设备和所述hmd的配对状态而导致的所述外部设备的已知屏幕状态；由所述hmd的处理器基于对所述至少一个标记的检测来检测所述外部设备的位置数据；由所述处理器将检测到的位置数据与从所述外部设备接收到的加速度数据和定向数据进行组合；以及由所述处理器基于所组合的位置数据、加速度数据和定向数据来确定所述外部设备相对于所述hmd的六自由度6dof位置。11.根据权利要求10所述的计算机实现的方法，还包括：触发由所述hmd的显示设备在与所述外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。12.根据权利要求11所述的计算机实现的方法，其中，触发显示所述虚拟内容包括：在所述外部设备保持在所述hmd的所述相机的视场内时，维持所述虚拟内容的显示与所述外部设备的接口设备的6dof位置的对准。13.根据权利要求11所述的计算机实现的方法，其中，触发显示所述虚拟内容包括：检测所述外部设备的位置或定向中的至少一个的变化；以及改变所述虚拟内容的显示的位置或定向中的至少一个，以对应于所述外部设备的位置或定向中的至少一个的检测到的变化。14.根据权利要求11所述的计算机实现的方法，其中，触发显示所述虚拟内容包括：响应于在所述外部设备的接口设备处检测到的输入，触发由所述hmd的所述显示设备显示所述虚拟。15.根据权利要求10所述的计算机实现的方法，其中，所述外部设备的已知屏幕状态包括基准标记，其中所述基准标记是由所述外部设备响应于应用于所述外部设备的手势命令而输出的，所述手势命令将所述外部设备从空闲状态唤醒，其中，由所述外部设备输出的所述基准标记能够被所述hmd的所述相机检测到。16.根据权利要求10所述的计算机实现的方法，其中，所述至少一个标记包括至少有源标记和至少一个无源标记，当所述外部设备在所述hmd的所述相机的视场内时，所述至少有源标记和至少一个无源标记能够被所述hmd的相机检测到。17.一种存储有指令的非暂时性计算机可读介质，当所述指令由计算设备执行时，使得所述计算设备：由所述计算设备的相机检测在所述相机的视场内的外部设备上的至少一个标记，所述外部设备与所述计算设备配对，所述至少一个标记包括由于所述外部设备和所述计算设备的配对状态而导致的所述外部设备的已知屏幕状态；由所述计算设备的处理器基于对所述至少一个标记的检测来检测所述外部设备的位置数据；由所述处理器将检测到的位置数据与从所述外部设备接收到的加速度数据和定向数据进行组合；以及由所述处理器基于所组合的位置数据、加速度数据和定向数据来确定所述外部设备相
对于所述计算设备的六自由度6dof位置。18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述指令使得所述计算设备：触发由所述计算设备的显示设备在与所述外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。19.根据权利要求18所述的非暂时性计算机可读介质，其中，所述指令使得所述计算设备：当在所述计算设备的所述相机的视场内检测到所述外部设备时，响应于所述外部设备的位置或定向中的至少一个的检测到的变化，维持所显示的虚拟内容与所述外部设备的6dof位置的对准。20.根据权利要求18所述的非暂时性计算机可读介质，其中，所述指令使得所述计算设备：检测所述外部设备的已知屏幕状态，所述外部设备的已知屏幕状态包括基准标记，所述基准标记是由所述外部设备响应于应用于所述外部设备的手势命令而输出的，所述手势命令将所述外部设备从空闲状态唤醒，其中，由所述外部设备输出的所述基准标记能够被所述计算设备的所述相机检测到。

技术总结
提供了一种用于跟踪诸如智能手表或手持控制器的外部设备相对于头戴式显示器(HMD)设备的位置和定向的系统。外部设备的已知屏幕状态，和/或外部设备上的有源标记和无源标记的组合，可以由HMD的点跟踪相机检测以收集外部设备相对于HMD的位置数据。可以从外部设备和/或HMD的惯性测量单元(IMU(s))收集外部设备相对于HMD的加速度和/或定向数据。位置数据与由IMU收集的数据的融合可以允许相对于HMD跟踪外部设备。外部设备。外部设备。


技术研发人员：扬
受保护的技术使用者：谷歌有限责任公司
技术研发日：2021.10.08
技术公布日：2022/11/22