低电力半无源相对六自由度跟踪的制作方法

低电力半无源相对六自由度跟踪
1.相关申请的交叉引用
2.本技术是2021年9月24日提交的题为“low-power semi-passive relative six-degree-of-freedom tracking(低电力半无源相对六自由度跟踪)”的美国申请no.17/448,768的继续申请并要求其优先权，该申请是2020年10月9日提交的题为“low-power semi-passive relative six-degree-of-freedom tracking(低电力半无源相对六自由度跟踪)”的美国申请no.16/949,027的继续申请并要求其优先权，该申请是2020年5月18日提交的题为“low-power semi-passive relative six-degree-of-freedom tracking(低电力半无源相对六自由度跟踪)”的国际专利申请no.pct/us20/70057的部分继续申请并要求其优先权，上述专利申请的公开内容以引用方式整体并入本文。
技术领域
3.本技术大体上涉及增强和/或虚拟现实环境中的电子设备的检测和跟踪。


背景技术：

4.虚拟现实(vr)系统或增强现实(ar)系统或混合现实(mr)系统可以利用各种不同类型的电子设备来生成并呈现虚拟内容、提供与虚拟内容的用户交互等等。例如，用户可以通过头戴式设备(包括显示器、眼镜或护目镜)、外部电子设备(诸如手持设备、腕戴式设备等)和其它此类电子设备在vr/ar/mr虚拟环境中体验虚拟内容并与之交互。电子设备的延长操作时间，特别是当使用电力在一定程度上受约束的电子设备与虚拟内容进行用户交互时，可以增强用户体验。


技术实现要素：

5.在一个一般方面，一种系统包括头戴式显示器(hmd)，包括：相机；控制器，所述控制器控制hmd操作；以及与所述hmd配对的外部设备，所述外部设备包括接口设备。所述hmd的控制器可以被配置成基于所述外部设备的已知屏幕状态来确定所述外部设备的位置，所述外部设备的已知屏幕状态是由于所述hmd和所述外部设备的配对状态而导致的，其中当所述外部设备在所述hmd的相机的视场内时，所述外部设备的已知屏幕状态能够由所述hmd的相机检测。
6.在一些实现方式中，所述hmd的控制器被配置成控制所述hmd的显示设备，使得响应于检测到所述外部设备的已知屏幕状态和确定出所述外部设备的位置，使得所述hmd显示的虚拟内容与所述外部设备的接口设备对准。
7.在一些实现方式中，所述hmd的控制器被配置成：基于在所述hmd的相机的视场内检测到所述外部设备的已知屏幕状态来检测所述外部设备的位置数据；将所述位置数据与从所述外部设备接收到的加速度数据或定向数据中的至少一个进行组合；并且基于所组合的加速度数据或定向数据中的至少一个与位置数据，确定所述外部设备相对于所述hmd的六自由度(6dof)位置。所述hmd的控制器可以被配置成控制所述hmd的显示设备的操作，以
在与所述外部设备的所确定的6dof位置相对应的位置和定向处，在增强现实环境中显示虚拟内容。所述hmd的控制器可以被配置成控制所述hmd的显示设备，使得在所述外部设备保持在所述hmd的相机的视场内时，使所述hmd显示的所述虚拟内容维持与所述外部设备的接口设备的6dof位置对准。所述hmd的控制器可以被配置成控制所述hmd的显示设备，使得由所述hmd显示的所述虚拟内容的位置和定向响应于所述外部设备的接口设备的位置和定向的对应变化而改变。在一些实现方式中，所述hmd的控制器被配置成控制所述hmd的显示设备，从而响应于在所述外部设备的接口设备处检测到的输入来显示虚拟内容。
8.在一些实现方式中，所述外部设备的已知屏幕状态包括基准标记，其中所述基准标记是由所述外部设备的接口设备响应于应用于所述外部设备的手势命令而输出的，所述手势命令将所述外部设备从空闲状态唤醒，其中，由所述外部设备的接口设备输出的所述基准标记能够被所述hmd的相机检测到。
9.在一些实现方式中，所述外部设备包括至少有源标记和至少一个无源标记，当所述外部设备在所述hmd的相机的视场内时，所述至少有源标记和至少一个无源标记能够被所述hmd的相机检测到，并且其中，所述hmd的控制器被配置成控制所述显示设备，使得响应于在所述hmd的相机的视场内检测到所述至少一个有源标记和至少一个无源标记，由所述hmd显示的虚拟内容与所述外部设备对准。
10.在另一个一般方面，一种计算机实现的方法，包括：由头戴式显示器(hmd)的相机检测所述相机的视场内的外部设备上的至少一个标记，所述外部设备与所述hmd配对，所述至少一个标记包括所述外部设备的已知屏幕状态，所述外部设备的已知屏幕状态是由于所述外部设备和所述hmd的配对状态而导致的；由所述hmd的处理器基于对所述至少一个标记的检测来检测所述外部设备的位置数据；由所述处理器将检测到的位置数据与从所述外部设备接收到的加速度数据和定向数据相组合；以及由所述处理器基于组合的位置数据、加速度数据和定向数据来确定所述外部设备相对于所述hmd的六自由度(6dof)位置。
11.在一些实现方式中，所述方法还包括触发由所述hmd的显示设备在与所述外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。触发显示所述虚拟内容可以包括：在所述外部设备保持在所述hmd的相机的视场内时，维持所述虚拟内容的显示与所述外部设备的接口设备的6dof位置的对准。触发显示所述虚拟内容可以包括：检测所述外部设备的位置或定向中的至少一个的变化；和改变所述虚拟内容的显示的位置或定向中的至少一个以对应于所述外部设备的位置或定向中的至少一个的检测到的变化。触发显示所述虚拟内容可以包括：响应于在所述外部设备的接口设备处检测到的输入，触发由所述hmd的显示设备显示所述虚拟。
12.在一些实现方式中，所述外部设备的已知屏幕状态包括基准标记，其中所述基准标记是由所述外部设备响应于应用于所述外部设备的手势命令而输出的，所述手势命令将所述外部设备从空闲状态唤醒，其中，由所述外部设备输出的所述基准标记能够被所述hmd的相机检测到。在一些实现方式中，所述至少一个标记包括至少有源标记和至少一个无源标记，当所述外部设备在所述hmd的相机的视场内时，所述至少有源标记和至少一个无源标记能够被所述hmd的相机检测到。
13.在另一个一般方面，一种其上存储有指令的非暂时性计算机可读介质，当所述指令由计算设备执行时，使得所述计算设备：由所述计算设备的相机检测在所述相机的视场
内的外部设备上的至少一个标记，所述外部设备与所述计算设备配对，所述至少一个标记包括所述外部设备的已知屏幕状态，所述外部设备的已知屏幕状态是由于所述外部设备和所述计算设备的配对状态而导致的；由所述计算设备的处理器基于对所述至少一个标记的检测来检测所述外部设备的位置数据；由所述处理器将检测到的位置数据与从所述外部设备接收到的加速度数据和定向数据相组合；以及由所述处理器基于组合的位置数据、加速度数据和定向数据来确定所述外部设备相对于所述计算设备的六自由度(6dof)位置。
14.在一些实现方式中，所述指令使得所述计算设备：触发由所述计算设备的显示设备在与所述外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。所述指令使得所述计算设备：当在所述计算设备的相机的视场内检测到所述外部设备时，响应于所述外部设备的位置或定向中的至少一个的检测到的变化，维持所显示的虚拟内容与所述外部设备的6dof位置的对准。所述指令可以使得所述计算设备：检测所述外部设备的已知屏幕状态，所述已知屏幕状态包括基准标记，所述基准标记是由所述外部设备响应于应用于所述外部设备的手势命令而输出的，所述手势命令将所述外部设备从空闲状态唤醒，其中，由所述外部设备输出的所述基准标记能够被所述计算设备的相机检测到。
15.在另一个一般方面，一种系统包括被配置成显示虚拟内容的头戴式显示器(hmd)，该hmd包括显示设备；相机；照明设备；以及控制hmd操作的控制器；与hmd配对的外部设备，该外部设备包括：接口设备；能够由hmd的相机检测到的至少一个有源标记；能够由hmd的相机检测到的至少一个无源标记；以及控制器，该控制器控制外部设备的操作，其中，hmd的控制器被配置成控制显示设备，使得响应于检测到所述至少一个有源标记或所述至少一个无源标记中的至少一个在所述hmd的相机的视场内，由hmd显示的虚拟内容与外部设备的输入表面对准。
16.在一些实现方式中，hmd的控制器被配置成控制显示设备，使得响应于检测到所述至少一个有源标记或所述至少一个无源标记中的至少一个在所述hmd的相机的视场内，由hmd显示的虚拟内容与外部设备的输入表面对准。接口设备可以包括输入设备或输出设备中的至少一个，并且其中hmd的控制器被配置成响应于在外部设备的接口设备处检测到的输入来控制显示设备以显示虚拟内容。
17.在一些实现方式中，所述至少一个有源标记包括在外部设备上的第一位置处的第一有源标记；以及在外部设备上的第二位置处的第二有源标记；所述至少一个无源标记包括在外部设备上的第三位置处的回射(retroreflective)标记。第一有源标记可以包括选择性地发射由hmd的相机检测到的光的光源。第二有源标记可以包括选择性地发射由hmd的相机检测到的光的光源，其中由第一有源标记的光源发射的光的强度中的至少一个不同于由第二有源标记的光源发射的光的强度，或者由第一有源标记的光源发射的光的模式不同于由第二有源标记的光源发射的光的模式。在一些实现方式中，当外部设备在hmd的相机的视场内时，能够由相机检测到第一有源标记和第二有源标记；并且响应于由照明设备对相机的视场的照明，能够由相机检测到回射标记。
18.在一些实现方式中，外部设备的控制器被配置成控制第一有源标记和第二有源标记的操作，并且外部设备的控制器被配置成在外部设备处于视场内的操作时间块期间控制照明设备的操作，使得在操作时间块内的至少一个时间段期间，第一有源标记是开启的，并且能够由hmd的相机检测到；在操作时间块内的至少一个时间段期间，第二有源标记是开启
的，并且能够由hmd的相机检测到；并且在操作时间块内的至少一个时间段期间，照明设备是开启的，并且回射标记能够由hmd的相机检测到。在一些实现方式中，在第一有源标记开启的至少一个时间段期间，第二有源标记关闭且照明设备关闭，在第二有源标记开启的至少一个时间段期间，第一有源标记关闭且照明设备关闭，以及在照明设备开启的至少一个时间段期间，第一有源标记关闭且第二有源标记关闭。
19.在一些实现方式中，hmd的控制器被配置成基于对第一有源标记、第二有源标记和无源标记的检测来检测外部设备的位置数据；将位置数据与从外部设备接收到的加速度数据或定向数据中的至少一个进行组合；以及基于组合的加速度数据或定向数据中的至少一个和位置数据，确定外部设备相对于hmd的六自由度(6dof)位置。hmd的控制器可以被配置成控制显示设备的操作以在增强现实环境中在与外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。
20.在另一个一般方面，一种计算机实现的方法包括：由头戴式显示器(hmd)的相机检测在相机的视场内的外部设备上的至少一个有源标记和至少一个无源标记，该外部设备与hmd配对；由hmd的处理器基于对至少一个标记的检测来检测外部设备的位置数据；由处理器将检测到的位置数据与从外部设备接收的加速度数据和定向数据相组合；由处理器基于组合的位置数据、加速度数据和定向数据确定外部设备相对于hmd的六自由度(6dof)位置；以及触发由hmd的显示设备在与外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。
21.在一些实现方式中，触发显示虚拟内容包括在与外部设备的输入表面对准的位置处显示虚拟内容。在一些实现方式中，检测所述至少一个有源标记包括检测外部设备上的第一位置处的第一有源标记和检测外部设备上的第二位置处的第二有源标记；并且检测所述至少一个无源标记包括在外部设备上的第三位置处检测回射标记。在一些实现方式中，检测第一有源标记包括检测由第一有源标记的光源选择性地发射的光；检测第二有源标记包括检测由第二有源标记的光源选择性地发射的光；并且检测回射标记包括响应于由hmd的照明设备对相机的视场的照明而检测回射标记。在一些实现方式中，由第一有源标记的光源发射的光的强度中的至少一个与由第二有源标记的光源发射的光的强度不同；或者，由第一有源标记的光源发射的光的模式不同于由第二有源标记的光源发射的光的模式。
22.在一些实现方式中，在外部设备处于相机的视场内的操作时间块期间，检测第一有源标记、检测第二有源标记以及检测回射标记包括：在操作时间块内的至少一个时间段期间检测第一有源标记，其中所述至少一个时间段是当第一有源标记开启并且能够由hmd的相机检测到时；在操作时间块内的至少一个时间段期间检测第二有源标记，其中所述至少一个时间段是当第二有源标记开启并且能够由hmd的相机检测到时；以及在操作时间块内的至少一个时间段期间检测回射标记，其中所述至少一个时间段是当照明设备开启并且无源标记能够由hmd的相机检测到时。
23.在一些实现方式中，检测第一有源标记包括在第一有源标记开启、第二有源标记关闭且照明设备关闭的至少一个时间段期间检测第一有源标记；检测第二有源标记包括在第二有源标记开启、第一有源标记关闭且照明设备关闭的至少一个时间段期间检测第二有源标记；并且检测回射标记包括在照明设备开启、第一有源标记关闭其第二有源标记关闭的至少一个时间段期间检测回射标记。
24.在另一个一般方面，一种非暂时性计算机可读介质具有存储在其上的指令，当由计算设备执行时，所述指令使计算设备由计算设备的相机检测位于相机的视场内的外部设备上的至少一个有源标记和至少一个无源标记，外部设备与计算设备配对；由计算设备的处理器基于对至少一个标记的检测来检测外部设备的位置数据；由处理器将检测到的位置数据与从外部设备接收到的加速度数据和定向数据相组合；由处理器基于组合的位置数据、加速度数据和定向数据确定外部设备相对于计算设备的六自由度(6dof)位置；并且触发由计算设备的显示设备在与外部设备的所确定的6dof位置相对应的位置处显示虚拟内容。
25.在一些实现方式中，指令使得计算设备在与外部设备的输入表面对准的位置处显示内容。在一些实现方式中，指令使得计算设备基于由第一有源标记的光源发射的光来检测在外部设备上的第一位置处的第一有源标记；基于由第二有源标记的光源发射的光来检测位于外部设备上的第二位置处的第二有源标记；以及基于由计算设备的照明设备发射并由回射标记反射回到相机的光来检测外部设备上的第三位置处的回射标记。
26.在一些实现方式中，在外部设备在计算设备的相机的视场内的操作时间块期间，在检测第一有源标记、检测第二有源标记并且检测回射标记中，指令使得计算设备在操作时间块内的第一时间段期间检测第一有源标记，其中所述第一时间段是当第一有源标记开启并且能够由计算设备的相机检测到、第二有源标记关闭且照明设备关闭时；在操作时间块内的第二时间段期间检测第二有源标记，其中所述第二时间段是当第二有源标记开启并且能够由计算设备的相机检测到、第一有源标记关闭且照明设备关闭时；并且在操作时间块内的至少一个时间段期间检测回射标记，其中所述至少一个时间段是当照明设备开启并且无源标记能够由计算设备的相机检测到、第一有源标记关闭且第二有源标记关闭时。
27.在一些实现方式中，指令使得计算设备当在hmd的相机的视场内检测到外部设备时，维持所显示的虚拟内容与外部设备的6dof位置的对准。
28.在附图和以下描述中阐述一个或多个实现方式的细节。其它特征根据描述和附图以及根据权利要求书将是显而易见的。
附图说明
29.图1是根据本文描述的实现方式的、包括头戴式显示设备和输入设备的系统的示例。
30.图2a是根据本文描述的实现方式的示例头戴式显示设备的前视图，并且图2b和图2c是示例输入设备的前视图。
31.图3是根据本文描述的实现方式的示例头戴式显示设备和示例输入设备的框图。
32.图4示出了根据本文描述的实现方式的包括示例头戴式显示设备和示例输入设备的系统。
33.图5是根据本文描述的实现方式的、图4中所示的示例系统的示例照明模式。
34.图6a至图6d示出了根据本文描述的实现方式的、图4中所示的示例系统的示例使用。
35.图7是根据本文描述的实现方式的示例输入设备的带部分的底视图/后视图。
36.图8是根据本文描述的实现方式的相对于hmd跟踪输入设备的方法的流程图。
10的操作。控制系统17可以包括可操作地耦合到控制系统17的组件的处理器19。hmd 10还可以包括图像传感器18(即，相机18)。在一些实现方式中，图像传感器18或相机18可能能够捕捉静止和/或运动图像。在一些实现方式中，图像传感器18或相机18可以是深度相机，其可以收集与外部物体到图像传感器18或相机18的距离有关的数据。在一些实现方式中，图像传感器18或相机18例如，可以是点跟踪相机18，其可以例如检测和跟随外部设备上的一个或多个光学标记，例如所述外部设备上的光学标记。在一些实现方式中，hmd 10可以包括照明设备15，该照明设备15可以选择性地与例如图像传感器18或相机18一起操作，以用于检测图像传感器18或相机18的视场中的物体。
44.呈智能手表20a形式的示例外部辅助/输入设备20a和呈智能电话20b形式的示例外部辅助/输入设备20b可以包括接口设备21(21a、21b)。在一些实现方式中，接口设备21可以用作输入设备，包括例如可以接收来自用户的触摸输入的触摸表面22(22a、22b)。在一些实现方式中，接口设备21可以用作输出设备，包括例如允许接口设备21向用户输出信息的显示部分23(23a、23b)。在一些实现方式中，接口设备21可以用作输入设备和输出设备。辅助/输入装置20a、20b可以包括包含各种感测系统设备的感测系统26(26a、26b)。辅助/输入装置20a、20b可以包括包含各种控制系统设备的控制系统27(27a、27b)和处理器29(29a、29b)，以促进外部设备20a、20b的操作。在一些实现方式中，外部设备20a、20b可以包括多个标记25(25a、25b)。该多个标记25能够由hmd 10检测，例如，由hmd 10的图像传感器18或相机18检测，以提供用于检测和跟踪外部设备20a、20b相对于hmd 10的位置和/或定向的数据。在一些实现方式中，该多个标记25可以是有源标记。当有源标记被启用或处于开启状态时，hmd 10的图像传感器18或相机18可以基本上总是能够检测到该有源标记。在一些实现方式中，该多个标记25可以是无源标记，该无源标记在预设条件下—诸如例如当由hmd 10的照明设备15照明时—能够由hmd 10的图像传感器18或相机18检测到。在一些实现方式中，该多个标记25可以包括有源标记和无源标记的组合。
45.根据本文描述的实现方式的相对跟踪系统的框图在图3中示出。该系统可以包括与第二电子设备200通信的第一用户电子设备100。第一电子设备100可以是例如hmd，诸如例如上面关于图1和图2a所描述的hmd，其可以向用户显示虚拟内容。第二电子设备200可以是例如外部设备、或辅助设备、或输入设备，诸如例如上面关于图1、图2b和图2c描述的外部辅助/输入设备，其与hmd通信的、促进用户与hmd显示的虚拟内容的交互、与hmd共享内容等。第一电子设备100和第二电子设备200可以通信以交换信息。例如，第一电子设备100和第二电子设备200可以可操作地耦合，以促进经由例如有线连接、经由例如wi-fi或蓝牙的无线连接或其它类型的连接的通信。
46.第一电子设备100可以包括感测系统160和控制器170。在一些实现方式中，感测系统160和控制器170可以与上面关于图1和图2a描述的感测系统16和控制系统17相似(或相同或完全一致)。感测系统160可以包括许多不同类型的传感器，包括例如图像传感器或相机、音频传感器或麦克风、位置和/或定向传感器，诸如例如包括在惯性测量单元(imu)等中的加速度计、陀螺仪、磁力计等，以及其它传感器和/或传感器的不同组合。控制器170可以包括许多不同类型的设备，包括例如电源/暂停控制设备、图像和音频控制设备，以及其它这样的设备和/或不同的设备组合。在一些实现方式中，感测系统160和/或控制器170可以包括更多或更少的设备，这取决于特定实现方式。
47.第一电子设备100可以包括与感测系统160和控制器170通信的处理器190、能够由例如控制器170的模块访问的存储器195、以及提供在第一电子设备100和另一个外部设备(例如第二电子设备200)之间的通信的通信模块175。响应于经由例如如上所述的控制器170的控制设备接收的输入，和/或经由通信模块175从第二电子设备200接收的输入，控制器170可以控制第一电子设备100的整体操作，包括第一电子设备100的音频和/或视频输出组件的操作。
48.第二电子设备200可以包括通信模块275，该通信模块275提供在第二电子设备200和另一个外部设备(例如可操作地耦合到第二电子设备200或与第二电子设备200配对的第一电子设备100)之间的通信。第二电子设备200可以包括感测系统260，该感测系统260包括多个不同的传感器。例如，在一些实现方式中，感测系统260可以包括imu，该imu包括例如加速度计、陀螺仪、磁力计等。在一些实现方式中，感测系统260可以包括例如音频传感器、图像传感器、触摸传感器以及其它传感器和/或传感器的不同组合。处理器290可以与感测系统260和第二电子设备200的控制器270通信，控制器270访问存储器295并控制第二电子设备200的整体操作。在一些实现方式中，感测系统260和控制器270可以与上面关于图1、图2b和图2c描述的感测系统26和控制系统27相似(或相同或一样)。
49.如上所述，在ar、或mr或vr环境中，第一电子设备100(即，示例hmd 100)可以与第二电子设备200可操作地耦合，从而用户可以使用第二电子设备200与由第一电子设备100呈现给用户的虚拟内容交互，可以在第一电子设备100和第二电子设备200之间共享内容等。
50.在下文中，为了便于讨论和说明，将关于增强现实(ar)环境描述根据本文描述的实现方式的系统和方法，其中呈智能眼镜形式的头戴式显示设备与呈智能手表形式的辅助/输入设备可操作地耦合，以用于与智能眼镜在ar环境中呈现的虚拟内容进行交互。将以这种方式描述的概念适用于虚拟现实(vr)环境和混合现实(mr)环境，和/或与用于呈现虚拟内容和与虚拟内容交互，共享内容等的电子设备的其它组合。
51.图4示出了呈智能眼镜100形式的示例hmd 100，其与呈智能手表200形式的示例外部设备200可操作地耦合，这仅是出于讨论和说明的目的。示例hmd 100和示例外部设备200可以可操作地耦合，使得用户可以使用外部设备200与由hmd 100呈现的虚拟内容交互。可以检测和跟踪外部设备200的例如相对于hmd 100的位置和/或定向，以促进使用外部设备200与hmd 100呈现的虚拟内容进行交互。
52.示例hmd 100可以包括耦合在框架110中的显示设备120和音频设备130。hmd 100可以包括包含如上所述的各种感测系统设备的感测系统160、包括如上所述的各种控制系统设备的控制器170，以及处理器190以促进hmd 100的操作。hmd 10还可以包括图像传感器180或相机180，以及可以选择性地与图像传感器180或相机180一起操作的照明设备150，以促进检测图像传感器180或相机180的视场内的物体。
53.示例外部设备200可以包括耦合到允许输入设备200被用户穿戴的带280的接口设备210。如上所述，在一些实现方式中，接口设备210可以用作输入设备，包括例如可以接收来自用户的触摸输入的触摸表面220。在一些实现方式中，接口设备210可以用作输出设备，包括例如允许接口设备210向用户输出视觉信息的显示部分230。在一些实现方式中，接口设备210可以用作输入设备和输出设备二者。外部设备200可以包括包含如上所述的各种感
测系统设备的感测系统260、包括如上所述的各种控制系统设备的控制器270、以及处理器290，以促进外部设备200的操作。在一些实现方式中，当外部设备200在图像传感器180或相机180的视场内时，外部设备200可以包括能够由hmd100(例如，由hmd 100的图像传感器180或相机180)检测到的多个标记，以提供用于检测和跟踪外部设备200相对于hmd 100的位置和/或定向的数据。
54.在一些实现方式中，该多个标记可以包括无源标记240和有源标记250的组合。在一些实现方式中，有源标记可以基本上一直开启，并且因此当外部设备200在hmd 100的图像传感器180或相机180的视场中内时基本上总是能够被检测到。在一些实现方式中，有源标记可以被周期地或间歇地照明，使得例如当有源标记在hmd 100的图像传感器180或相机180的视场中时，该有源标记是周期地或间歇地可检测的。当无源标记在hmd 100的图像传感器180或相机180的视场内时，在某些条件下可以检测到该无源标记。例如，当无源标记在hmd100的图像传感器180或相机180的视场内被照明设备150照明时，无源标记可以是可检测的。无论有源标记250是基本上总是开启的还是周期地/间歇地开启的，用于照明有源标记250的电力都是由外部设备200提供的。因此，例如当与其中所有或仅有源标记用于跟踪外部设备200的布置相比较时，通过使用有源标记250和无源标记240的组合可以减少在外部设备200处消耗的电量。有源标记250和无源标记240的数量和/或组合，以及有源标记250和无源标记240的相对定位可以例如基于外部设备200的已知物理配置、标记240、250的可检测性以及其它此类因素。在图4所示的示例布置中，出于讨论和说明的目的，示例外部设备200包括一个无源标记240和两个有源标记250(250a、250b)，其中接口设备210具有基本上矩形的配置。在一些实现方式中，标记的其它组合可以是可能的。例如，在一些实现方式中，外部设备200可以包括一个有源标记和两个无源标记。在一些实现方式中，可以包含有源标记和无源标记的其它组合，这取决于例如外部设备的配置/尺寸/形状、hmd 100的相机180检测标记的能力、外部设备200的电力存储容量，以及其它此类因素。
55.在图4所示的示例系统中，示例hmd 100的感测系统160可以包括如上所述的imu，并且示例外部设备200的感测系统260可以包括如上所述的imu。相应的imu可以提供可用于至少部分地约束确定外部设备200的位置和/或定向的数据，例如，外部设备200相对于hmd 100的位置/定向。指示用户可以在其中移动外部设备200的体积的由图像传感器180或相机180收集的数据，可用于进一步约束外部设备200和hmd 100的相对位置/定向的确定。例如，在由相机180捕获的图像中检测到的外部设备200和hmd 100之间的已知对应点可以进一步约束外部设备200和hmd 100的相对位置的确定。
56.在一些实现方式中，hmd 100的相机180可以在相机180的视场d内和/或在用户前方的体积内观察、或检测或捕捉呈例如上述标记形式的亮点，并且可以检测与检测到的亮点相关联的位置信息。以这种方式收集的位置信息可用于进一步约束外部设备200和hmd 100的相对位置/定向的确定。在外部设备200上的标记都是有源标记的布置中，有源标记可能会在已经电力受约束的设备中消耗相对大量的电力。如上所述，减少或消除对用于跟踪外部设备200相对于hmd 100的位置的有源标记的需要可能是有利的，这是出于降低外部设备200中为此目的的电力消耗的目的。在一些实现方式中，如图4所示的示例布置中那样，无源标记240和有源标记250的组合可以以这种方式提供外部设备200相对于hmd 100的位置/定向的跟踪，同时节省电力。
57.特别地，如上所述，在图4所示的示例布置中，示例外部设备200包括在外部设备200上的第一位置处的第一有源标记250a、在外部设备200上的第二位置处的第二有源标记250b以及在外部设备上的第三位置处的无源标记240。在一些实现方式中，无源标记240可以是例如不消耗来自外部设备200的电力的无源回射标记。相反，入射在无源标记240(以回射标记的形式)上的光可以被反射并指向照明源。例如，当外部设备200在hmd 100的相机180的视场内时，由照明设备150发射的光可以使无源回射标记240将光在方向d3上反射回照明设备150(和与其相邻的相机180)。在一些实现方式中，照明设备150可邻近于hmd 100的相机180定位，使得来自无源回射标记240的光的反射基本上返回到邻近于照明设备150的相机180。在一些实现方式中，照明设备150可以包含到相机180中。以这种方式，由hmd 100的相机180检测由无源回射标记240反射的光可以允许hmd 100标识无源回射标记240相对于hmd 100的位置，该位置继而与外部设备200上的已知第三位置相关联。
58.如上所述，在图4所示的示例布置中，示例外部设备200包括在外部设备200上的第一位置处的第一有源标记250a，以及在外部设备200上的第二位置处的第二有源标记250b。有源标记250可以包括例如，光源，例如发光二极管(led)。相机180可以沿方向d1检测由第一有源标记250a发射的光，并且检测到的点与外部设备200上的已知第一位置相关联。类似地，相机180可以沿方向d2检测由第二有源标记250b发射的光，并且检测到的点与外部设备200上的已知第二位置相关联。在一些实现方式中，有源标记250可以发射红外范围内的光，使得由有源标记250发射的光对用户不可见。在一些实现方式中，有源标记250a、250b中的每一个可以发射具有标识特定有源标记250a、250b的某些特性的光，以供hmd 100的相机180/处理器190检测和处理。例如，在一些实现方式中，第一有源标记250a可以发射具有第一强度的光，其不同于发射具有第二强度的光的第二有源标记250b，从而将第一有源标记250a与第二有源标记250b区分开来。在一些实现方式中，第一有源标记250a可以发射具有第一模式的光，其不同于发射具有第二模式的光的第二有源标记250b，从而将第一有源标记250a与第二有源标记250b区分开来。如上所述，在一些实现方式中，有源标记250a、250b中的一个或多个可以基本上总是处于开启状态，使得当外部设备200在相机180的视场内时，有源标记250a、250b基本上总是能够由相机180检测到，而不需要由照明设备150提供的照明。在一些实现方式中，当有源标记250在hmd 100的相机180的已知视场中时，有源标记250a、250b中的每一个可以被周期地或间歇地(例如，以设定的周期)照明，以节省外部设备200中的电力。由hmd 100的相机180检测有源标记250发射的光可以允许hmd 100标识有源标记250相对于hmd 100的位置，第一有源标记250a和第二有源标记250b分别与外部设备200上的已知第一位置和第二位置相关联。
59.使用基于由hmd 100的相机180检测到的标记240、250的组合确定的位置信息，连同从imu接收的定向/加速度信息，可以跟踪外部设备200相对于hmd 100的六自由度(6dof)位置，以促进用户与虚拟内容的交互。外部设备200的6dof位置表示外部设备200的坐标位置，以及外部设备200在该坐标位置处的定向或姿势。例如，可以跟踪外部设备200沿着x、y和z轴的移动，以及对应于外部设备200的定向变化的围绕x、y和z轴的旋转，以产生外部设备200的6dof位置和定向。在一些实现方式中，由imu(例如，外部设备200的imu和/或hmd 100的imu)提供的数据可以被处理以约束hmd 100和外部设备200之间的旋转自由度(例如，三个旋转自由度中的至少两个)。外部设备200的位置可以基于外部设备200上的标记240、
250的已知几何形状或布置，以及对标记240、250在相机180的视场内的定位的检测来导出。由imu提供的旋转数据与可以通过检测如上所述的标记240、250的组合而获得的位置数据的融合可以允许外部设备200相对于hmd的6dof跟踪。
60.如上所述，在电力受约束的外部设备中，例如图4中所示的示例智能手表200，在外部设备200上的一个或多个已知位置处使用一个或多个无源回射标记240与在外部设备200上的已知位置处的一个或多个有源标记250相组合，可以为跟踪外部设备200相对于hmd 100的位置的问题(即，外部设备200相对于hmd 100的6dof跟踪)提供相对低电力的解决方案。如上所述，在一些实现方式中，可以控制外部设备200使得有源标记250仅在外部设备200(和有源标记250)处于hmd 100的相机180的视场内时才开启。以这种方式，可以进一步减少在外部设备200处为实现外部设备200相对于hmd 100的6dof跟踪而消耗的电力。
61.在一些实现方式中，hmd 100可以控制照明设备150的操作，使得照明设备150响应于在相机180的视场内检测到外部设备200而发射光。在一些实现方式中，hmd 100可以控制照明设备150的操作，使得照明设备150基于例如从imu接收的数据以及基于接收到的imu数据的外部设备200的预测的移动方向和/或速率，在预期到外部设备200将会移动到相机180的视场中时发射光。类似地，在一些实现方式中，例如，当外部设备200在hmd 100的相机180的已知视场中时，该外部设备200可以控制第一有源标记250a和第二有源标记250b的操作，使得有源标记250a、250b周期地或间歇地发射光。
62.图5是根据本文描述的实现方式的示例操作时间块内的系统示例操作模式的图表。在示例操作时间块内的系统操作的该示例时间模式中，出于讨论和说明的目的，可以假设外部设备200在相机180的视场内，使得外部设备200和其上的标记240、250能够由hmd 100的相机180检测到。在该示例操作时间块中，相机180在所示的每个时间段期间基本上总是保持开启的。在示例时间段1和2期间，照明设备150处于开启状态，并且可以基于反射回照明设备150/相机180的光来检测(一个或多个)无源回射标记240的位置。在示例时间段3和4期间，照明设备150处于关闭状态，因此在时间段3和4期间未检测到无源回射标记240的位置。在示例时间段3期间，第一有源标记250a处于开启状态(并且第二有源标记250b关闭)，并且可以基于在第一有源标记250a和相机180之间检测到的(能够沿着相机180和第一有源标记250a之间的视线d1检测)光来检测第一有源标记250a的位置。在示例时间段4期间，第二有源标记250b处于开启状态(并且第一有源标记250a关闭)，并且可以基于在第二有源标记250b和相机180之间检测到的(能够沿着相机180和第二有源标记250b之间的视线d2检测)光来检测第二有源标记250b的位置。在示例时间段5、6、7和8期间，照明设备150再次处于开启状态，并且(一个或多个)无源回射标记240的更新位置可以基于反射回照明设备150/相机180的光来检测。在图5中，示例第一有源标记250a仅在示例时间段3期间被示出为被照明，并且示例第二有源标记250b仅在示例时间段4期间被示出为被照明。然而，在一些实现方式中，有源标记250a、250b可以基本上总是处于开启状态，或可以在多于时间段3和4期间处于开启状态(无论照明设备150是否处于开启状态)，以提供用于确定外部设备200在相关时间段期间的位置的额外数据。
63.在一些实现方式中，可以在外部设备200和hmd 100之间建立公共时钟。公共时钟可以用于协调或同步相机180记录到照明设备150开启(以促进检测无源回射标记250)的时间帧的时间。类似地，公共时钟可用于对相机180记录帧的时间与有源标记250被照明的时
间进行协调或同步。以这种方式根据公共时钟进行同步操作可以允许使记录无源回射标记240和有源标记250的相应位置同步。处于有源的时间的减少可以进一步降低不仅在外部设备200处而且在hmd 100处的电力消耗。大体上，由于帧记录时间的减少，光(由有源标记250和照明设备150发射)的强度可以会增加(用于减少的帧记录时间)以产生改进的跟踪数据。
64.在一些实现方式中，无源回射标记240可以在外部设备200的表面处被遮挡，使得无源回射标记240对用户不可见，以改善设备的外观。例如，在一些实现方式中，无源回射标记240可位于视觉上不透明但对红外光透明的涂层或层的后方，使得无源回射标记240可以如上所述那样能够反射光，但对用户不可见。
65.图6a至图6d示出了根据本文描述的实现方式的系统的使用，例如图4中所示的示例系统。参照图6a至图6d，示例系统包括上述呈示例hmd 100或智能眼镜100形式的示例显示设备，以及上述呈示例智能手表200形式的示例外部设备，这仅是为了便于理解讨论和说明。
66.如图6a所示，用户可以使用显示设备100或hmd 100以及外部设备200或智能手表200来查看hmd 100向用户显示的虚拟内容并与之交互。例如，用户可以发出命令来显示虚拟内容。在一些实现方式中，用户可以通过以下方式来发出命令，例如操纵hmd 100的控制设备或外部设备200的控制设备、向hmd 100或向外部设备200发出语音命令、手势命令，以及实现显示虚拟内容的命令的其它此类模式。在一些实现方式中，如上所述的外部设备200相对于hmd 100的位置和/或定向的跟踪可以允许由hmd 100向用户显示的虚拟内容附着到或覆盖在外部设备200上。以虚拟内容看起来漂浮在用户的视场中的方式向用户显示虚拟内容可以会向用户提供在一定程度上不实际且在一定程度上不舒服的体验，尤其是当用户将要使用外部设备200的接口设备210、手势等与虚拟内容进行交互时。而以这种方式将所显示的虚拟内容附着到外部设备200可以为用户提供更锚定且更真实的体验。以这种方式将显示的虚拟内容附着到外部设备可以促进与虚拟内容的交互，特别是当外部设备200将参与用户与虚拟内容的交互时。
67.图6b示出了外部设备200的接口设备210的用户操纵以选择要显示的虚拟内容。在该示例中，用户在外部设备200的触摸表面220上进行外部触摸以选择要显示的虚拟内容，这仅是出于讨论和说明的目的。然而，如上所述，可以实现其它类型的用户外部/命令来选择并导致显示虚拟内容。
68.响应于用户对要由hmd 100显示的虚拟内容的选择，虚拟内容300可以由hmd 100向用户显示，如图6c所示。在图6c所示的示例布置中，虚拟内容300附着到外部设备200或与外部设备200对准，其中外部设备200处于第一位置/定向。在图6d所示的示例布置中，用户已经将外部设备200移动到第二位置/定向，并且虚拟内容300仍然附着到外部设备200，并且跟随外部设备200到第二位置/定向。在图6d中，用户通过例如在外部设备200的触摸表面220上的触摸输入正在与虚拟内容300交互。在一些实现方式中，用户可以以其它方式与虚拟内容300交互，例如，语音命令、手势命令、对外部设备200的其它输入机制的操纵、对hmd 100的输入机制的操纵等。在一些实现方式中，可以将虚拟内容300显示给用户，例如，出于信息目的，而无需进一步的用户输入或交互。
69.如上所述的包括示例显示设备100和示例外部设备200的示例系统利用有源和无源标记240、250的组合以及外部设备200上的已知放置和定位来提供用于跟踪外部设备200
相对于hmd 100的6dof位置的数据。在一些情况下，相机180可能难以区分个体无源标记(它们不能具有与有源标记不同的输出强度和/或输出模式)。例如，在一些情况下，外部设备200的几何形状或配置可能相对小，例如呈上述示例智能手表形式的示例外部设备200的接口设备210。在该示例中，由于外部设备200的尺寸/配置，多个非有源标记将必需相对靠近，并且难以相互区分开，特别是当外部设备200在用户面前的体积内移动时。因此，一个或多个有源标记可用于为外部设备200的接口设备210的相对几何形状和标记240、250的相对定位建立参考系。
70.在图7中示出了一实现方式，其中呈示例智能手表200的形式的示例外部设备200包括在外部设备200的带280的背面侧的第一无源回射标记440a和第二无源回射标记440b。在图7所示的示例布置中，第一无源回射标记440a和第二无源回射标记440b之间的距离可以足够大，以使hmd 100的相机180将亮点和来自第一回射标记440a和第二回射标记440b的响应于由照明设备150发射的光的反射区分开来。在这种布置中，虚拟内容的显示可以例如被锚定或附着在用户的手掌上(因为外部设备200的接口设备210可能在此定向中在一定程度上被难以被访问以供用户输入)。在hmd 100能够进行手势识别的一些实现方式中，用户可以使用手势与虚拟内容交互。在一些实现方式中，检测到第一无源回射标记440a和第二无源回射标记440b处于图7中所示的定向可以指示模式切换。
71.根据本文描述的实现方式，在图8中示出了相对于头戴式显示器(hmd)设备跟踪外部辅助/输入设备的方法800。如上所述，外部设备可以是例如图4中所示的示例智能手表200，或者是可以与hmd可操作地耦合的其它类型的设备。hmd例如可以是图4所示的示例智能眼镜100，或可以向用户显示虚拟内容的其它类型的显示设备。在hmd和外部设备已经被激活并配对之后(块810)，外部设备相对于hmd的位置数据可以由hmd的点跟踪相机收集(块820)。如上面详细描述的，由hmd的点跟踪相机来收集数据可以包括例如检测有源标记和无源标记的组合，以及在外部设备上的分别与它们相关联的相应位置。对外部设备的位置信息的检测可以在外部设备处于点跟踪相机的视场内时执行。对外部设备上的无源标记和相关联的位置的检测可以与hmd的照明设备的操作一起执行，如图5所示。可以从外部设备的imu和/或从hmd的imu收集加速度数据和定向数据(块830)。数据合成可以由hmd和外部设备进行，以跟踪外部设备的位置和运动。例如，可以基本上连续地收集和处理由hmd的点跟踪相机收集的位置数据和由imu收集的加速度和/或定向数据。在当前时间点获取的位置和移动和/或定向数据可以与在先前时间点的位置和移动和/或定向数据进行比较，以确定随着数据被连续收集、处理和/或合成而不断更新的移动轨迹(块840)。外部设备相对于hmd的位置和定向的跟踪可以用于例如将虚拟内容附着到外部设备，如上面关于图6a至图6d所描述的。可以重复执行该过程，直到确定体验已经终止(框850)。
72.如上所述，在一些实现方式中，hmd 100可以响应于检测到外部设备200的一个或多个基准标记或参考标记来检测和/或定位外部设备200。在一些实现方式中，基准标记或参考标记可以由外部设备200生成。在一些实现方式中，外部设备200可以生成基准标记，例如，响应于外部设备200移动到hmd 100的相机180的视场d中。在一些实现方式中，基准标记可用于检测外部设备200进入到hmd 100的相机180的视场d中、就建立外部设备200的位置等，其中其它跟踪方法—诸如例如上述方法—一旦设备200被检测/定位就跟踪外部设备200的6dof位置。在一些实现方式中，系统可以继续依靠基准标记来执行外部设备200相对
于hmd 100的6dof跟踪。在一些实现方式中，特定地生成基准标记以促进对外部设备200的检测和/或定位和/或跟踪。在一些实现方式中，基准标记包括外部设备200的已知特性，诸如例如外部设备200的屏幕状态，而无需生成专用于检测和/或定位和/或跟踪外部设备200的基准标记。
73.图9a至图9d示意性地示出了根据本文描述的实现方式的、基于基准标记的检测的对示例外部设备200的检测和/或定位。在图9a至图9d所示的示例中，外部设备200呈手持设备或智能电话的形式，这仅是出于讨论和说明的目的。本文将要描述的原理可以应用于其它类型的外部设备，诸如例如上述智能手表和可以与hmd 100通信的其它此类设备。
74.如上所述，在该示例中，外部设备200和hmd 100可操作地耦合或配对，以提供外部设备200和hmd 100之间的通信和交互。在该示例中，在外部设备200的接口设备210的显示部分230上显示了各种项目。在图9a示出的示例布置中，在外部设备200的显示部分230上显示了时间小部件t、天气小部件w、代表第一应用的第一图标a、代表第二应用的第二图标b、以及代表第三应用的第三图标c。
75.在图9a中，外部设备200在hmd 100的相机180的视场d之外。在图9b和图9c中，用户已经将外部设备200移向并进入到hmd 100的相机180的视场d中。
76.在一些实现方式中，在外部设备200和hmd 100的可操作地耦合或配对状态中，外部设备200的屏幕状态(对于处于配对状态下的hmd 100来说是已知的)可以限定基准标记，其可用于检测和/或定位和/或跟踪处于hmd 100的相机180的视场d中的外部设备200。例如，在一些实现方式中，小部件t和w和代表应用的图标a、b和c和/或它们在外部设备200的显示部分230上的相应位置中的一个或多个可以限定一个或多个基准标记。在一些实现方式中，作为整体的屏幕状态(包括小部件t和w两者以及三个图标a、b和c)可以一起限定基准标记。
77.当外部设备200移动到相机180的视场中时，如图9c所示，相机180可以检测由外部设备200的屏幕状态限定的一个或多个基准标记。响应于以这种方式检测到基准标记，系统可以检测/识别和/或定位外部设备200的6dof位置，并且可以使用基准标记或如上文关于图4至图6d描述的跟踪方法或跟踪外部设备200相对于hmd 100的6dof位置的其它方法来跟踪外部设备200的6dof位置。
78.在相机180基本上总是开启的一些实现方式中，当外部设备200移动到hmd 100的相机180的视场中时，相机180基本上连续地扫描并且可以检测上述一个或多个基准标记。在一些实现方式中，外部设备200从图9a所示的位置移动至图9c所示的位置的移动，以及外部设备200的定向的对应变化，可以定义手势命令。在一些实现方式中，这种类型的手势命令可以触发hmd 100的相机180扫描外部设备200(例如，在相机180空闲的情况下)。
79.在一些实现方式中，这种类型的手势命令可以定义触发外部设备200生成基准标记的唤醒手势。例如，在外部设备200处于空闲状态且在显示部分230上几乎没有显示的情况下，这种类型的手势命令可以触发外部设备200显示最后的屏幕状态(这对于处于配对状态下的外部设备200和hmd 100来说都是已知的)。在一些实现方式中，这种类型的手势命令可以触发外部设备200显示专用于外部设备200的检测和跟踪的基准标记900，如图9d所示。图9d中所示的示例基准标记900是快速响应(qr)代码，这仅是出于讨论和说明的目的。可以以类似方式生成和显示其它类型的基准标记，包括用户生成并存储的基准标记。在一些实
现方式中，手势命令可以从空闲屏幕状态触发图9d中所示的基准标记900的显示。在一些实现方式中，可以从活动的屏幕状态(例如，包括小部件t和w以及图标a、b和c)生成并显示图9d中所示的基准标记900，以例如促进对外部设备200的检测和跟踪。
80.在一些实现方式中，与外部设备200相关联的基准标记可以由外部设备200的已知外围轮廓来限定。例如，在可操作地耦合/配对状态下，如上所述的手势命令可以触发hmd 100的相机180基于检测到的外部设备200的外围轮廓来检测/识别在相机180的视场内的外部设备200。
81.图10示出了可以与这里描述的技术一起使用的计算机设备1300和移动计算机设备1350的示例。计算设备1300包括处理器1302、存储器1304、存储设备1306、连接到存储器1304和高速扩展端口1310的高速接口1308、以及连接到低速总线1314和存储设备1306。组件1302、1304、1306、1308、1310和1312中的每一个使用各种总线互连，并且可以安装在公共主板上或以其它适当的方式安装。处理器1302可以处理用于在计算设备1300内执行的指令，包括存储在存储器1304中或存储设备1306上的指令，以在外部输入/输出设备上显示用于gui的图形信息，例如耦合到高速接口1308的显示器1316。在其它实现方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器类型。此外，可以连接多个计算设备1300，每个设备提供必要操作的部分(例如，作为服务器组、刀片服务器组或多处理器系统)。
82.存储器1304在计算设备1300内存储信息。在一种实现方式中，存储器1304是一个或多个易失性存储器单元。在另一个实现方式中，存储器1304是一个或多个非易失性存储器单元。存储器1304也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
83.存储设备1306能够为计算设备1300提供大容量存储。在一种实现方式中，存储设备1306可以是或包含计算机可读介质，例如软盘设备、硬盘设备、光盘设备，或磁带设备，闪存或其它类似的固态存储设备，或设备阵列，包括存储区域网络或其它配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，当被执行时，这些指令执行一种或多种方法，例如上述那些。信息载体是计算机或机器可读介质，例如存储器1304、存储设备1306或处理器1302上的存储器。
84.高速控制器1308管理计算设备1300的带宽密集型操作，而低速控制器1312管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实现方式中，高速控制器1308耦合到存储器1304、显示器1316(例如，通过图形处理器或加速器)，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口1310。在该实现方式中，低速控制器1312耦合到存储设备1306和低速扩展端口1314。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或多个输入/输出设备，例如键盘、指点设备、扫描仪或通过网络适配器耦合到网络设备，例如交换机或路由器。
85.如图所示，计算设备1300可以以多种不同的形式实现。例如，它可以实现为标准服务器1320，或者在一组这样的服务器中多次实现。它也可以作为机架服务器系统1324的一部分来实现。此外，它可以在个人计算机(例如膝上型计算机1322)中实现。可替代地，来自计算设备1300的部件可以与移动设备中的其它部件组合(未示出)，例如设备1350。每个这样的设备可以包含一个或多个计算设备1300、1350，并且整个系统可以由相互通信的多个计算设备1300、1350组成。
86.计算设备1350包括处理器1352、存储器1364、诸如显示器1354的输入/输出设备、通信接口1366和收发器1368以及其它部件。设备1350还可以设置有存储设备，例如微驱动器或其它设备，以提供额外的存储。部件1350、1352、1364、1354、1366以及1368中的每一个都使用各种总线互连，并且若干部件可以安装在共同的主板上或以其它适当的方式安装。
87.处理器1352可以在计算设备1350内执行指令，包括存储在存储器1364中的指令。处理器可以实现为包括单独和多个模拟和数字处理器的芯片组。例如，处理器可以提供设备1350的其它部件的协调，例如用户界面的控制、通过设备1350运行的应用和通过设备1350的无线通信。
88.处理器1352可以通过控制接口1358和耦合到显示器1354的显示接口1356与用户通信。显示器1354可以是例如tft lcd(薄膜晶体管液晶显示器)和led(发光二极管)或oled(有机电致发光二极管)显示器或其它合适的显示器技术。显示接口1356可以包括用于驱动显示器1354以向用户呈现图形和其它信息的适当电路。控制接口1358可以接收来自用户的命令并且将它们转换以提交给处理器1352。另外，可以提供与处理器1352通信的外部接口1362，以实现设备1350与其它设备的近距离区域通信。外部接口1362可以例如在一些实现方式中提供有线通信，或者在其它实现方式中提供无线通信，并且还可以使用多个接口。
89.存储器1364在计算设备1350内存储信息。存储器1364可以实现为一个或多个计算机可读介质、一个或多个易失性存储器单元、或一个或多个非易失性存储器单元。还可以提供扩展存储器1374并通过扩展接口1372连接到设备1350，其中该扩展接口1372可以包括例如simm(单列直插式存储器模块)卡接口。这种扩展存储器1374可以为设备1350提供额外的存储空间，或者也可以为设备1350存储应用或其它信息。具体地，扩展存储器1374可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1374可以作为设备1350的安全模块提供，并且可以用允许安全使用设备1350的指令进行编程。此外，可以通过simm卡提供安全应用以及附加信息，例如以不可破解的方式将识别信息放在simm卡上。
90.存储器可以包括例如闪存和/或nvram存储器，如下所述。在一种实现方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，当被执行时，所述指令执行一种或多种方法，例如上述那些。信息载体是计算机或机器可读介质，例如存储器1364、扩展存储器1374或处理器1352上的存储器，其可以例如通过收发器1368或外部接口1362接收。
91.设备1350可以通过通信接口1366进行无线通信，该通信接口1366可以在必要时包括数字信号处理电路。通信接口1366可以提供各种模式或协议下的通信，例如gsm语音呼叫、sms、ems或mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或gprs等等。例如，可以通过射频收发器1368进行这种通信。此外，可以进行短距离通信，例如使用蓝牙、wifi或其它这种收发器(未示出)。此外，gps(全球定位系统)接收器模块1370可以向设备1350提供额外的导航和位置相关的无线数据，这些数据可以由在设备1350上运行的应用适当地使用。
92.设备1350还可以使用音频编解码器1360进行可听通信，音频编解码器1360可以接收来自用户的语音信息并将其转换为可用的数字信息。音频编解码器1360可以类似地为用户生成可听声音，例如通过扬声器，例如，在设备1350的手持装置中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件、等)并且还可以
包括由在设备1350上运行的应用生成的声音。
93.如图所示，计算设备1350可以以多种不同的形式实现。例如，它可以实现为蜂窝电话1380。它也可以实现为智能电话1382、个人数字助理或其它类似移动设备的一部分。
94.可以在数字电子电路、集成电路、专门设计的asic(专用集成电路)、计算机硬件、固件、软件和/或它们的组合中实现这里描述的系统和技术的各种实现方式。这些各种实现方式可以包括在一个或多个计算机程序中的实现方式，该一个或多个计算机程序能够在包括至少一个可编程处理器的可编程系统上执行和/或解释，该至少一个可编程处理器可以是专用或通用的，其被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及将数据和指令传输到存储系统、至少一个输入设备和至少一个输出设备。
95.这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所用，术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(pld))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
96.为了提供与用户的交互，这里描述的系统和技术可以在以下计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如，led(发光二极管)，或oled(有机电致发光二极管)，或lcd(液晶显示器)监测器/屏幕)，以及键盘和指点设备(例如，鼠标或轨迹球)，用户可以通过它们向计算机提供输入。也可以使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
97.此处描述的系统和技术可以在以下计算系统中实现，该计算系统包括后端部件(例如，作为数据服务器)或包括中间件部件(例如，应用服务器)或包括前端部件(例如，具有图形用户界面或web浏览器的客户端计算机，用户可以通过该图形用户界面或web浏览器与本文描述的系统和技术的实现方式进行交互)，或此类后端部件、中间件部件或前端部件的任何组合。系统的部件可以通过任何形式或媒介的数字数据通信(例如，通信网络)相互连接。通信网络的示例包括局域网(“lan”)、广域网(“wan”)和互联网。
98.计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是通过在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生的。
99.在一些实现方式中，所描绘的计算设备可以包括与ar头戴式耳机/hmd设备1390接口的传感器，以生成用于查看物理空间内插入的内容的增强环境。例如，包括在计算设备1350或所描绘的其它计算设备上的一个或多个传感器可以向ar头戴式耳机1390提供输入，或者一般地向ar空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1350可以使用这些传感器来确定计算设备在ar空间中的绝对位置和/或检测到的旋转，然后可以将其用作ar空间的输入。例如，计算设备1350可以作为虚拟对象包含到ar空间中，例如控制器、激光指示器、键盘、武器等。计算设备/虚拟对象在被包含到ar空间中时由用户对其的定位可以允许用户定位计算设备，以便在ar空间中以某种方式查看虚拟对象。例如，如果虚拟对
象表示激光指示器，则用户可以操纵计算设备，就好像它是实际的激光指示器一样。用户可以左右、上下、圆周等地移动计算设备，并以与使用激光指示器类似的方式使用该设备。在一些实现方式中，用户可以使用虚拟激光指示器瞄准目标位置。
100.在一些实现方式中，包括在计算设备1350上或连接到计算设备1350的一个或多个输入设备可以用作到ar空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指点设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能的耳机或耳塞、游戏控制器或其它可连接的输入设备。当计算设备包含到ar空间中时，用户与包括在计算设备1350上的输入设备交互可以导致在ar空间中发生特定动作。
101.在一些实现方式中，计算设备1350的触摸屏可以被呈现为ar空间中的触摸板。用户可以与计算设备1350的触摸屏交互。例如，在ar头戴式耳机1390中，该交互被呈现为在ar空间中呈现的触摸板上的移动。渲染的移动可以控制ar空间中的虚拟对象。
102.在一些实现方式中，包括在计算设备1350上的一个或多个输出设备可以在ar空间中向ar头戴式耳机1390的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的的或音频的。输出和/或反馈可以包括但不限于振动、一个或多个灯或闪光灯的打开和关闭或闪烁和/或闪亮、发出警报、播放铃声、播放歌曲和播放一个音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(led)、闪光灯和扬声器。
103.在一些实现方式中，计算设备1350可以作为计算机生成的3d环境中的另一个对象出现。用户与计算设备1350的交互(例如，旋转、摇晃、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与ar空间中的对象的交互。在ar空间中的激光指示器的示例中，计算设备1350在计算机生成的3d环境中表现为虚拟激光指示器。当用户操纵计算设备1350时，ar空间中的用户看到激光指示器的移动。用户在计算设备1350或ar头戴式耳机1390上接收来自与ar环境中的计算设备1350的交互的反馈。用户与计算设备的交互可以被转换为与在ar环境中生成的可控设备的用户界面的交互。
104.在一些实现方式中，计算设备1350可以包括触摸屏。例如，用户可以与触摸屏交互以与可控设备的用户界面交互。例如，触摸屏可以包括用户界面元素，例如可以控制可控设备的属性的滑块。
105.计算设备1300旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片式服务器、大型机和其它适当的计算机。计算设备1350旨在表示各种形式的移动设备，例如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。这里所示的组件、它们的连接和关系以及它们的功能仅是示例的，并不意味着限制本文档中描述和/或要求保护的发明的实现方式。
106.已经描述了多个实施例。然而，应当理解，在不背离本说明书的精神和范围的情况下可以进行各种修改。
107.此外，图中描绘的逻辑流不需要所示的特定顺序或依次的顺序来实现期望的结果。此外，可以从所描述的流程中提供其它步骤，或者可以消除步骤，并且可以将其它部件添加到所描述的系统中或从所描述的系统中移除。因此，其它实施例在所附权利要求书的范围内。
108.虽然描述的实现方式的某些特征已经如本文描述的那样进行了说明，但是本领域技术人员现在将想到许多修改、替换、改变和等效物。因此，应当理解，所附权利要求书旨在
覆盖落入实现方式范围内的所有此类修改和改变。应当理解，它们仅作为示例而不是限制的方式呈现，并且可以对形式和细节进行各种改变。本文所述的装置和/或方法的任何部分可以以任何组合进行组合，相互排斥的组合除外。本文描述的实现方式可以包括所描述的不同实现方式的功能、组件和/或特征的各种组合和/或子组合。