利用映像的增强现实系统和方法与流程

本公开涉及增强现实成像和可视化系统。

背景技术：

1、所谓的“智能镜子”是这样的镜子：其在被激活之前看起来是普通的镜子。一旦被激活，该镜子便使用显示技术以图形方式将用户界面和其它可能的显示信息覆盖到镜子表面上。本文公开的系统和方法解决了与智能镜子技术相关的各种挑战。

技术实现思路

1、在一些实施例中，提供了一种显示系统。所述显示系统包括可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括一个或多个硬件处理器和包括计算机可执行指令的非暂时性计算机可读存储介质。当由所述一个或多个硬件处理器执行时，所述指令使所述一个或多个硬件处理器执行操作，所述操作包括：通过所述显示区域确定所述用户的映像(reflection)在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容，所述增强现实内容增强所述映像。

2、在一些其它实施例中，提供了一种用于显示图像的方法。所述方法包括提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图。所述方法进一步包括通过所述显示区域确定所述用户的映像在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容。所述增强现实内容增强所述映像。

3、在另外一些实施例中，提供了一种显示系统。所述显示系统包括可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括一个或多个硬件处理器和包括计算机可执行指令的非暂时性计算机可读存储介质。当由所述一个或多个硬件处理器执行时，所述指令使所述一个或多个硬件处理器执行操作，所述操作包括：通过所述显示区域确定映像在所述用户的视野内。

4、在一些实施例中，提供了一种用于显示图像的方法。所述方法包括提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述方法进一步包括通过所述显示区域确定映像在所述用户的视野内。

5、在另外一些实施例中，一种显示系统包括可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征。所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括：面向外的相机；一个或多个硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述一个或多个硬件处理器执行时，所述计算机可执行指令使所述一个或多个硬件处理器执行各种操作。所述操作包括使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。

6、在一些实施例中，提供了一种用于显示图像的方法。所述方法包括提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明并且被配置为通过所述显示区域提供周围环境的视图。所述显示设备还包括面向外的相机。所述方法进一步包括使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。

7、下面提供了其它示例性实施例。

8、下面是与利用映像的增强现实系统和方法相关的示例性实施例。

9、1.一种用于显示图像的方法，所述方法包括：提供可穿戴显示设备，所述可穿戴显示设备包括：显示区域，其包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；通过所述显示区域确定所述用户的映像在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容，所述增强现实内容增强所述映像。

10、2.根据实施例1所述的方法，其中所述显示区域被配置为输出光以形成在多个深度平面上设定的多个图像，其中所述图像中的一个或多个包括所述增强现实内容。

11、3.根据实施例2所述的方法，其中所述显示设备包括波导的堆叠，所述波导中的至少一些包括所述光重定向特征，其中所述波导被配置为耦入(in-couple)来自光源的光并且耦出(out-couple)光以输出所述光来形成所述多个图像。

12、4.根据实施例3所述的方法，其中每个波导被配置为针对单个对应的深度平面输出图像。

13、5.根据实施例1所述的方法，其中所述可穿戴显示设备进一步包括相机，所述相机被配置为捕获所述用户的周围环境的图像。

14、6.根据实施例5所述的方法，其中确定所述用户的映像在所述用户的视野内包括：将由所述相机捕获的图像与所存储的图像信息进行比较以确定所捕获的图像与所存储的图像信息之间是否匹配。

15、7.根据实施例6所述的方法，其中所存储的图像信息包括所述用户的外观的独特特征。

16、8.根据实施例6所述的方法，其中所存储的图像信息包括所述可穿戴显示设备的独特特征。

17、9.根据实施例5所述的方法，其中确定所述用户的映像在所述用户的视野内进一步包括执行所述用户的虹膜识别。

18、10.根据实施例1所述的方法，进一步包括通过向所述用户提供光学或听觉信号中的一者或全部两者将所述用户吸引到反射表面。

19、11.根据实施例1所述的方法，其中确定所述用户的映像在所述用户的视野内包括检测指示反射表面的独特标识符。

20、12.根据实施例11所述的方法，其中所述独特标识符是所述反射表面上或邻近所述反射表面的视觉指示符，其中检测所述独特标识符包括利用所述相机捕获所述独特标识符的图像。

21、13.根据实施例11所述的方法，其中检测独特标识符包括检测广播电磁辐射的信标，其中所述可穿戴显示设备包括接收器，所述接收器被配置为接收所述电磁辐射，其中检测所述信标包括检测所述电磁辐射。

22、14.根据实施例1所述的方法，进一步包括，在随后显示增强现实内容之前：检测所述用户是静止的，其中直至确定所述用户是静止的才执行随后显示增强现实内容。

23、15.根据实施例1所述的方法，其中随后显示增强现实内容包括显示具有用户可选选项的虚拟菜单。

24、16.根据实施例15所述的方法，其中所述显示设备包括相机，所述相机被配置为检测用户的姿势或表情以选择所述用户可选选项。

25、17.根据实施例1所述的方法，其中所述显示设备包括相机，所述相机被配置为检测用户注视持续时间或瞳孔面积中的一者或全部两者，其中随后显示增强现实内容包括根据用户注视持续时间或瞳孔面积中的一者或全部两者而修改所述增强现实内容的类型和定时(timing)中的一者或全部两者。

26、18.根据实施例1所述的方法，其中所述显示设备包括相机，所述相机被配置为检测所述用户的情绪状态，其中随后显示增强现实内容包括基于所述用户的情绪状态显示增强现实内容。

27、19.根据实施例1所述的方法，进一步包括：确定所述用户的身份。

28、20.根据实施例19所述的方法，其中在确定所述用户的映像在所述用户的视野内之后执行确定所述用户的身份。

29、21.根据实施例19所述的方法，其中随后显示增强现实内容包括显示所述用户的独特信息。

30、22.根据实施例19所述的方法，进一步包括收集有关所述用户的活动的信息。

31、23.根据实施例1所述的方法，进一步包括将有关所述用户的活动的信息发送到与提供所述用户的映像的反射表面相关联的接收站。

32、24.根据实施例1所述的方法，进一步包括在随后显示增强现实内容之前确定所述用户的位置，其中随后显示增强现实内容包括：显示特定于所述用户的位置的增强现实内容。

33、25.根据实施例24所述的方法，其中显示增强现实内容包括显示来自所述用户所在的商店或商店的一部分的销售要约(sales offer)。

34、26.根据实施例25所述的方法，进一步包括：确定所述用户的身份；访问所述用户的购买或浏览历史；以及根据所述购买或浏览历史生成销售要约。

35、27.根据实施例1所述的方法，其中所述增强现实内容包括覆盖所述用户的映像的衣服的图像。

36、28.根据实施例1所述的方法，其中所述增强现实内容包括覆盖所述用户的映像和修改所述用户的衣服的特性的图像。

37、29.根据实施例28所述的方法，其中所述特性包括颜色、纹理和图案中的一者或多者。

38、30.根据实施例1所述的方法，进一步包括将所述增强现实内容和所述用户的映像中的一者或全部两者分发给一个或多个其他用户。

39、31.根据实施例1所述的方法，进一步包括通过将所述增强现实内容上传到除所述用户之外的个人可访问的远程服务器来共享所述增强现实内容。

40、32.根据实施例1所述的方法，其中所述增强现实内容包括补充重复使用的产品的警报。

41、33.根据实施例32所述的方法，其中所述警报是美容警报，所述美容警报包括补充美容产品的提醒。

42、34.根据实施例1所述的方法，进一步包括：跨延长的时间间隔捕获所述用户的一个或多个图像；存储所述图像或从所述图像导出的数据；以及执行当前图像与所存储的图像或数据之间的比较，其中随后显示增强现实内容包括显示所述比较的结果。

43、35.根据实施例34所述的方法，其中显示所述比较的结果包括显示所述用户的一个或多个较早的图像。

44、36.根据实施例34所述的方法，其中显示所述比较的结果包括显示健康或美容产品或者健康或美容治疗的建议。

45、37.根据实施例36所述的方法，其中显示建议包括：显示所述健康或美容产品或者健康或美容治疗的选项；以及通过用所述用户的映像覆盖预期结果的图像来显示所述健康或美容产品或者健康或美容治疗的所述预期结果。

46、38.根据实施例34所述的方法，其中所述延长的时间间隔包括多个月或多年。

47、39.根据实施例34所述的方法，其中每天执行捕获一个或多个图像。

48、40.根据实施例34所述的方法，其中执行比较包括执行健康分析。

49、41.根据实施例40所述的方法，其中执行健康分析包括检测体形、皮肤苍白度、皮肤特征的变化。

50、42.根据实施例40所述的方法，其中执行健康分析包括实时地与医务人员交互。

51、43.根据实施例1所述的方法，其中所述增强现实内容包括执行任务的警报。

52、44.根据实施例43所述的方法，其中所述任务是重复的任务。

53、45.根据实施例43所述的方法，其中所述重复的任务包括用牙线清洁牙齿、服用药物和订购药物中的一者或多者。

54、46.根据实施例1所述的方法，其中所述增强现实内容包括所述用户的医学信息。

55、47.根据实施例46所述的方法，其中所述医学信息包括体重、身高和体重指数中的一者或多者。

56、48.根据实施例1所述的方法，进一步包括访问来自秤、温度计、血压计和心率监测器中的一者或多者的数据，其中随后显示增强现实内容包括显示所访问的数据或从所访问的数据导出的信息中的一者或全部两者。

57、49.根据实施例1所述的方法，进一步包括：从不同角度捕获所述用户的多个图像；检测当前图像与参考图像或参考数据之间的差异；其中随后显示增强现实内容包括显示检测差异的结果。

58、50.根据实施例1所述的方法，其中随后显示增强现实内容包括将医学成像覆盖到所述用户的映像上。

59、51.根据实施例1所述的方法，其中随后显示增强现实内容包括将运动图像覆盖到所述用户的映像上，所述运动图像包括人的线图或图像，其中所述人的线图或图像显示与特定运动相关的动作和身体姿势。

60、52.根据实施例1所述的方法，其中随后显示增强现实内容包括显示用于确定所述用户的映像的尺寸的虚拟标尺。

61、53.一种显示系统，包括：可穿戴显示设备，其包括：显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述硬件处理器执行时，所述计算机可执行指令配置所述硬件处理器执行操作，所述操作包括：通过所述显示区域确定所述用户的映像在所述用户的视野内；以及随后在所述显示区域中显示增强现实内容，所述增强现实内容增强所述映像。

62、54.根据实施例53所述的系统，其中所述显示区域包括多组光重定向特征，所述多组光重定向特征被配置为在多个深度平面上输出多个图像，每组光定向特征被配置为输出光以在所述多个深度平面中的一个上形成图像。

63、55.根据实施例54所述的系统，其中所述显示设备包括波导的堆叠，所述波导中的至少一些包括所述光重定向特征，其中所述波导被配置为耦入来自光源的光并且耦出光以输出所述光来形成所述多个图像。

64、56.根据实施例55所述的系统，其中每个波导被配置为针对单个对应的深度平面输出图像。

65、57.根据实施例53所述的系统，其中所述可穿戴显示设备进一步包括相机，所述相机被配置为捕获所述用户的周围环境的图像。

66、58.根据实施例53所述的系统，其中确定所述用户的映像在所述用户的视野内包括：将由所述相机捕获的图像与所存储的图像信息进行比较，以确定所捕获的图像与所存储的图像信息之间是否匹配。

67、59.根据实施例58所述的系统，其中所存储的图像信息包括所述用户的外观的独特特征。

68、60.根据实施例59所述的系统，其中所存储的图像信息包括所述可穿戴显示设备的独特的光学可观察特征。

69、61.根据实施例58所述的系统，其中确定所述用户的映像在所述用户的视野内进一步包括执行所述用户的虹膜识别。

70、62.根据实施例53所述的系统，其中确定所述用户的映像在所述用户的视野内包括检测指示反射表面的独特标识符的存在。

71、63.根据实施例53所述的系统，其中所述操作进一步包括，在随后显示增强现实内容之前：检测所述用户是静止的，其中直至确定所述用户是静止的才执行随后显示增强现实内容。

72、64.根据实施例53所述的系统，其中随后显示增强现实内容包括显示具有用户可选选项的虚拟菜单。

73、65.根据实施例64所述的系统，其中所述显示设备包括相机，所述相机被配置为检测用户的姿势或表情以选择所述用户可选选项。

74、66.根据实施例64所述的系统，其中所述显示设备包括相机，所述相机被配置为检测用户注视持续时间或瞳孔面积中的一者或全部两者，其中随后显示增强现实内容包括根据用户注视持续时间或瞳孔面积中的一者或全部两者修改所述增强现实内容的类型和定时中的一者或全部两者。

75、67.根据实施例53所述的系统，其中所述显示设备包括相机，所述相机被配置为检测所述用户的情绪状态，其中随后显示增强现实内容包括基于所述用户的情绪状态显示增强现实内容。

76、68.根据实施例53所述的系统，其中所述操作进一步包括：确定所述用户的身份。

77、69.根据实施例68所述的系统，其中在确定所述用户的映像在所述用户的视野内之后执行确定所述用户的身份。

78、70.根据实施例68所述的系统，其中随后显示增强现实内容包括显示所述用户的独特信息。

79、71.根据实施例68所述的系统，其中所述操作进一步包括收集有关所述用户的活动的信息。

80、72.根据实施例53所述的系统，其中所述操作进一步包括将有关所述用户的活动的信息发送到与提供所述用户的映像的反射表面相关联的接收站。

81、73.根据实施例53所述的系统，其中所述操作进一步包括在随后显示增强现实内容之前确定所述用户的位置，其中随后显示增强现实内容包括：显示特定于所述用户的位置的增强现实内容。

82、74.根据实施例74所述的系统，其中显示增强现实内容包括显示来自所述用户所在的商店或商店的一部分的销售要约。

83、75.根据实施例74所述的系统，其中所述操作进一步包括：确定所述用户的身份；访问所述用户的购买或浏览历史；以及根据所述购买或浏览历史生成销售要约。

84、76.根据实施例53所述的系统，其中所述增强现实内容包括覆盖所述用户的映像的衣服的图像。

85、77.根据实施例53所述的系统，其中所述增强现实内容包括覆盖所述用户的映像和修改所述用户的衣服的特性的图像。

86、78.根据实施例77所述的系统，其中所述特性包括颜色、纹理和图案中的一者或多者。

87、79.根据实施例53所述的系统，其中所述操作进一步包括将所述增强现实内容和所述用户的映像中的一者或全部两者分发给一个或多个其他用户。

88、80.根据实施例53所述的系统，其中所述操作进一步包括通过将所述增强现实内容上传到除所述用户之外的个人可访问的远程服务器来共享所述增强现实内容。

89、81.根据实施例53所述的系统，其中所述增强现实内容包括补充重复使用的产品的警报。

90、82.根据实施例81所述的系统，其中所述警报是美容警报，所述美容警报包括补充美容产品的提醒。

91、83.根据实施例53所述的系统，其中所述操作进一步包括：跨延长的时间间隔捕获所述用户的一个或多个图像；存储所述图像或从所述图像导出的数据；以及执行当前图像与所存储的图像或数据之间的比较，其中随后显示增强现实内容包括显示所述比较的结果。

92、84.根据实施例83所述的系统，其中显示所述比较的结果包括显示所述用户的一个或多个较早的图像。

93、85.根据实施例83所述的系统，其中显示所述比较的结果包括显示健康或美容产品或者健康或美容治疗的建议。

94、86.根据实施例85所述的系统，其中显示建议包括：显示所述健康或美容产品或者健康或美容治疗的选项；以及通过用所述用户的映像覆盖预期结果的图像来显示所述健康或美容产品或者健康或美容治疗的所述预期结果。

95、87.根据实施例83所述的系统，其中所述延长的时间间隔包括多个月或多年。

96、88.根据实施例83所述的系统，其中每天执行捕获一个或多个图像。

97、89.根据实施例83所述的系统，其中执行比较包括执行健康分析。

98、90.根据实施例89所述的系统，其中执行健康分析包括检测体形、皮肤苍白度、皮肤特征的变化。

99、91.根据实施例90所述的方法，其中执行健康分析包括实时地与医务人员交互。

100、92.根据实施例53所述的系统，其中所述增强现实内容包括执行任务的警报。

101、93.根据实施例92所述的系统，其中所述任务是重复的任务。

102、94.根据实施例93所述的系统，其中所述重复的任务包括用牙线清洁牙齿、服用药物和订购药物中的一者或多者。

103、95.根据实施例53所述的系统，其中所述增强现实内容包括所述用户的医学信息。

104、96.根据实施例95所述的系统，其中所述医学信息包括体重、身高和体重指数中的一者或多者。

105、97.根据实施例96所述的系统，其中所述操作进一步包括访问来自秤、温度计、血压计和心率监测器中的一者或多者的数据，其中随后显示增强现实内容包括显示所访问的数据或从所访问的数据导出的信息中的一者或全部两者。

106、98.根据实施例53所述的系统，其中所述操作进一步包括：从不同角度捕获所述用户的多个图像；检测当前图像与参考图像或参考数据之间的差异；其中随后显示增强现实内容包括显示检测差异的结果。

107、99.根据实施例53所述的系统，其中随后显示增强现实内容包括将医学成像覆盖到所述用户的映像上。

108、100.根据实施例53所述的系统，其中随后显示增强现实内容包括将运动图像覆盖到所述用户的映像上，所述运动图像包括人的线图或图像，其中所述人的线图或图像显示与特定运动相关的动作和身体姿势。

109、101.根据实施例53所述的系统，其中随后显示增强现实内容包括显示用于确定所述用户的映像的尺寸的虚拟标尺。

110、102.一种显示系统，包括：可穿戴显示设备，其包括：显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述硬件处理器执行时，所述计算机可执行指令配置所述硬件处理器执行操作，所述操作包括：通过所述显示区域确定映像在所述用户的视野内。

111、103.根据实施例102所述的显示系统，其中确定所述映像在所述用户的视野内包括：分析所述映像的图像，以及确定所述映像中的方向特征是否被反转。

112、104.根据实施例102所述的显示系统，其中所述用户在所述映像中，并且其中所述操作进一步包括：捕获所述用户的映像的图像；以及基于所捕获的所述用户的图像执行健康分析。

113、105.根据实施例104所述的显示系统，其中所述健康分析包括神经学测试。

114、106.根据实施例104所述的显示系统，其中所述健康分析包括以下一者或多者：颅神经测试、运动检查、可观察到的身体异常的检查、肌肉张力和体积的检查、肌肉的功能测试、个体肌肉群的力量测试、反射测试、协调测试和步态测试。

115、107.根据实施例102所述的显示系统，其中所述操作进一步包括与其它显示系统共享有关所述映像的信息。

116、108.根据实施例107所述的显示系统，其中所述操作进一步包括：从另一显示系统接收共享信息，以及显示与所述另一显示系统的用户所体验的视图相对应的增强现实内容。

117、109.根据实施例102所述的显示系统，其中所述显示系统被配置为确定由曲面镜提供的放大率。

118、110.根据实施例109所述的显示系统，其中所述显示系统被配置为在显示所述映像中的特征的图像的同时校正所述放大率。

119、111.根据实施例109所述的显示系统，其中所述显示系统被配置为在确定所述映像中的特征的尺寸的同时校正所述放大率。

120、112.一种用于显示图像的方法，所述方法包括：提供可穿戴显示设备，所述可穿戴显示设备包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；通过所述显示区域确定映像在所述用户的视野内。

121、113.根据实施例111所述的方法，其中确定所述映像在所述用户的视野内包括分析所述映像的图像，并确定所述映像中的方向特征是否被反转。

122、114.根据实施例111所述的方法，其中所述用户在所述映像中，并且进一步包括：捕获所述用户的映像的图像；以及基于所捕获的所述用户的图像执行健康分析。

123、115.根据实施例113所述的方法，其中所述健康分析包括神经学测试。

124、116.根据实施例113所述的方法，其中执行所述健康分析包括执行以下一者或多者：颅神经测试、运动检查、可观察到的身体异常的检查、肌肉张力和体积的检查、肌肉的功能测试、个体肌肉群的力量测试、反射测试、协调测试和步态测试。

125、117.根据实施例113所述的方法，进一步包括与其它显示系统共享有关所述映像的信息。

126、118.根据实施例113所述的方法，进一步包括：从另一显示系统接收共享信息，以及显示与所述另一显示系统的用户所体验的视图相对应的增强现实内容。

127、119.根据实施例111所述的方法，进一步包括确定由曲面镜提供的放大率。

128、120.根据实施例118所述的方法，进一步包括在显示所述映像中的特征的图像的同时校正所述放大率。

129、121.根据实施例118所述的方法，进一步包括在校正所述放大率的同时确定所述映像中的特征的尺寸。

130、122.一种显示系统，包括：可穿戴显示设备，其包括显示区域，所述显示区域包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；面向外的相机；硬件处理器；以及包括计算机可执行指令的非暂时性计算机可读存储介质，当由所述硬件处理器执行时，所述计算机可执行指令配置所述硬件处理器执行操作，所述操作包括：使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。

131、123.根据实施例120所述的显示系统，其中所述硬件处理器被配置为在所述用户穿戴着所述可穿戴显示设备的同时基本连续地被动地收集所述图像信息，并且间歇地确定所述图像信息包含与所述健康分析相关的数据。

132、124.根据实施例120所述的显示系统，其中所述硬件处理器被配置为在多个周的持续时间内重复地执行所述健康分析。

133、125.根据实施例120所述的显示系统，其中所述图像信息包括静止图像。

134、126.根据实施例120所述的显示系统，其中所述图像信息包括视频。

135、127.一种用于显示图像的方法，所述方法包括：提供可穿戴显示设备，所述可穿戴显示设备包括：显示区域，其包括被配置为将光引导到用户的光重定向特征，其中所述显示区域至少部分透明，从而通过所述显示区域提供周围环境的视图；以及面向外的相机；使用所述面向外的相机被动地收集图像信息；确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。

136、128.根据实施例125所述的方法，其中在所述用户穿戴着所述可穿戴显示设备的同时基本连续地执行被动地收集所述图像信息，并且其中在所述用户穿戴着所述可穿戴显示设备的同时间歇地执行确定所述图像信息是否包含与健康分析相关的数据。

137、129.根据实施例125所述的方法，进一步包括在多个周的持续时间内重复以下操作：确定所述图像信息是否包含映像；确定所述图像信息是否包含与所述用户的健康分析相关的数据；以及执行所述健康分析。

138、130.根据实施例125所述的方法，其中被动地收集图像信息包括收集静止图像。

139、131.根据实施例125所述的方法，其中被动地收集图像信息包括收集视频。

140、以下是涉及使用基于图像的线索的镜子检测的示例性实施例。

141、1.一种用于检测环境中的镜子的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的成像系统：使用所述面向外的成像系统获得所述环境的图像，所述图像包括目标对象，其中所述目标对象可以包括至少部分地围绕所述镜子的框架；至少部分地基于对所述图像的分析来识别指示所述镜子的线索；至少部分地基于所识别的线索确认所述镜子的存在；以及至少部分地基于所确认的所述环境中的所述镜子的存在执行动作。

142、2.根据实施例1所述的方法，其中识别所述线索包括：识别所述图像中的第一多个关键点；访问所述环境的世界地图，其中所述世界地图包括有关所述环境中的实体对象的信息；识别所述世界地图中的第二多个关键点；以及将所述第一多个关键点与所述第二多个关键点进行比较，以确定所述第一多个关键点是否为所述第二多个关键点在所述镜子中的映像。

143、3.根据实施例2所述的方法，其中将所述第一多个关键点与所述第二多个关键点进行比较包括确定由所述第一多个关键点形成的第一几何形状与由所述第二多个关键点形成的第二几何形状之间的几何关系。

144、4.根据实施例2或实施例3所述的方法，其中所述第一多个关键点包括第一相邻关键点三元组，并且其中所述第二多个关键点包括第二相邻关键点三元组。

145、5.根据实施例4所述的方法，其中确定所述第一多个关键点是否为所述第二多个关键点在所述镜子中的映像包括：确定所述第一相邻关键点三元组之间的开放角和所述第二相邻关键点三元组之间的开放角。

146、6.根据实施例3至5中任一项所述的方法，其中确定由所述第一多个关键点形成的所述第一几何形状与由所述第二多个关键点形成的所述第二几何形状之间的几何关系包括分别轴向变换所述第一几何形状或所述第二几何形状。

147、7.根据实施例2至6中任一项所述的方法，其中所述线索包括以下一者或多者：所述第一多个关键点与所述第二多个关键点之间的匹配；或所述第一几何形状与所述第二几何形状之间的匹配。

148、8.根据实施例1至7中任一项所述的方法，其中识别所述线索包括在所述环境的图像中识别所述目标对象中的反射对象。

149、9.根据实施例8所述的方法，其中所述反射对象包括所述用户的头部的镜像、所述ard的镜像、所述环境中的实体对象的镜像、或所述环境中的文本的镜像。

150、10.根据实施例1至9中任一项所述的方法，其中识别所述线索包括：识别所述目标对象的边界；测量所述目标对象的边界处的第一深度；测量出现在所述目标对象的边界内的对象的第二深度；以及比较所述第一深度与所述第二深度以确定所述第一深度是否与所述第二深度匹配。

151、11.根据实施例10所述的方法，其中所述线索包括所述第一深度与所述第二深度之间的不匹配。

152、12.根据实施例1至11中任一项所述的方法，其中识别所述线索包括识别所述环境的图像中的所述目标对象的特征。

153、13.根据实施例12所述的方法，其中所述特征包括以下一者或多者：尺寸、位置、表面法线、框架、形状或与所述目标对象相关联的标签。

154、14.根据实施例13所述的方法，其中所述标签包括光学标签，所述光学标签包含指示所述镜子的存在的信息。

155、15.根据实施例1至14中任一项所述的方法，其中确认所述镜子的存在包括由所述ard向与所述目标对象相关联的标签发送信号，并从所述标签接收响应，其中所述响应包括指示所述镜子的存在的信息。

156、16.根据实施例1至14中任一项所述的方法，其中确认所述镜子的存在包括从与目标对象相关联的标签接收信号，其中所述信号包括指示所述镜子的存在的信息。

157、17.根据实施例15或16所述的方法，其中所述信号包括电磁信号或声信号。

158、18.根据实施例1至17中任一项所述的方法，其中执行动作包括：访问所述环境的世界地图；以及至少部分地基于所确认的所述镜子的存在更新所述环境的世界地图。

159、19.根据实施例1至18中任一项所述的方法，其中执行动作包括响应于对所述镜子的存在的确认，使用所述镜子进行远端临场会话。

160、20.根据实施例1至19中任一项所述的方法，其中所述目标对象包括以下一者或多者：门道、窗户或镜子。

161、21.一种用于检测环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的成像系统：使用所述面向外的成像系统获得所述环境的图像，所述图像包括目标对象，其中所述目标对象可以包括反射表面；至少部分地基于对所述图像的分析来识别指示所述反射表面的线索；以及至少部分地基于所识别的线索确认所述反射表面的存在。

162、22.根据实施例21所述的方法，其中识别所述线索包括：识别由所述图像中的第一多个关键点形成的第一几何图形；访问所述环境的世界地图，其中所述世界地图包括有关所述环境中的实体对象的信息；识别由所述世界地图中的第二多个关键点形成的第二几何图形；以及计算所述第一几何图形与所述第二几何图形之间的几何关系，以确定所述第一几何图形是否为所述第二几何图形的反射图像。

163、23.根据实施例22所述的方法，其中所述第一多个关键点包括第一关键点三元组，并且其中所述第二多个关键点包括第二关键点三元组。

164、24.根据实施例23所述的方法，其中计算所述几何关系包括：确定所述第一关键点三元组之间的开放角和所述第二关键点三元组之间的开放角。

165、25.根据实施例22至24中任一项所述的方法，其中计算所述几何关系包括分别轴向变换所述第一几何形状或所述第二几何形状。

166、26.根据实施例22至25中任一项所述的方法，其中计算所述几何关系包括确定所述第一几何形状的第一尺寸与所述第二几何形状的第二尺寸之间的放大量。

167、27.根据实施例22至26中任一项所述的方法，其中所述线索包括所述第一几何形状与所述第二几何形状之间的匹配。

168、28.根据实施例21至27中任一项所述的方法，其中识别所述线索包括在所述环境的图像中识别所述目标对象中的反射对象。

169、29.根据实施例28所述的方法，其中所述反射对象包括所述用户的头部的镜像、所述ard的镜像、所述环境中的实体对象的镜像、或所述环境中的文本的镜像。

170、30.根据实施例21至29中任一项所述的方法，其中识别所述线索包括：识别所述目标对象的边界；测量所述目标对象的边界处的第一深度；测量出现在所述目标对象的边界内的对象的第二深度；以及比较所述第一深度与所述第二深度以确定所述第一深度是否与所述第二深度匹配。

171、31.根据实施例30所述的方法，其中所述线索包括所述第一深度与所述第二深度之间的不匹配。

172、32.根据实施例21至31中任一项所述的方法，其中识别所述线索包括识别所述环境的图像中的所述目标对象的特征。

173、33.根据实施例32所述的方法，其中所述特征包括以下一者或多者：尺寸、位置、表面法线、框架、形状或与所述目标对象相关联的标签。

174、34.根据实施例33所述的方法，其中所述标签包括光学标签，所述光学标签包含指示所述反射表面的存在的信息。

175、35.根据实施例21至34中任一项所述的方法，其中确认所述反射表面的存在包括由所述ard向与所述目标对象相关联的标签发送信号，并从所述标签接收响应，其中所述响应包括指示所述反射表面的存在的信息。

176、36.根据实施例21至34中任一项所述的方法，其中确认所述反射表面的存在包括从与目标对象相关联的标签接收信号，其中所述信号包括指示所述反射表面的存在的信息。

177、37.根据实施例35或36所述的方法，其中所述信号包括电磁信号或声信号。

178、38.根据实施例21至37中任一项所述的方法，其中执行动作包括：访问所述环境的世界地图；以及至少部分地基于所确认的所述反射表面的存在更新所述环境的世界地图。

179、39.根据实施例21至38中任一项所述的方法，其中执行动作包括响应于对所述反射表面的存在的确认，使用所述反射表面进行远端临场会话。

180、40.根据实施例21至39中任一项所述的方法，其中所述目标对象包括以下一者或多者：门道、窗户或镜子。

181、41.一种增强现实设备(ard)，包括计算机硬件和被配置为对用户周围的环境进行成像的面向外的成像系统，所述增强现实系统被编程为执行实施例1至40中的任一方法。

182、以下是涉及使用基于传感器的线索的镜子检测的示例性实施例。

183、1.一种用于检测环境中的镜子的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的相机和被配置为确定所述环境中的实体对象的移动的惯性测量单元(imu)：检测所述实体对象在目标对象中的反射图像，其中所述目标对象可以是镜子；收集与所述反射图像相关联的第一移动数据；收集与所述实体对象相关联的第二移动数据；将所述第一移动数据与所述第二移动数据进行比较，以识别指示所述镜子的存在的线索；以及至少部分地基于所识别的线索确认所述镜子的存在。

184、2.根据实施例1所述的方法，其中所述实体对象包括所述用户的身体的至少一部分。

185、3.根据实施例2所述的方法，其中所述实体对象包括所述用户的头部或手。

186、4.根据实施例1至3中任一项所述的方法，其中收集所述第一移动数据和收集所述第二移动数据由所述面向外的相机执行。

187、5.根据实施例4所述的方法，其中所述第一移动数据包括指示所述反射图像在一时间段内的位置变化的图像，并且其中所述第二移动数据包括指示所述实体对象在所述时间段内的位置变化的图像。

188、6.根据实施例1至3中任一项所述的方法，其中收集所述第一移动数据由所述面向外的相机执行，并且收集所述第二移动数据由所述imu执行。

189、7.根据实施例6所述的方法，其中所述第一移动数据包括指示所述反射图像在一时间段内的位置变化的图像，并且其中所述第二移动数据包括所述实体对象在所述时间段内的位置变化。

190、8.根据实施例5或实施例7所述的方法，其中将所述第一移动数据与所述第二移动数据进行比较以识别所述线索包括：产生与所述反射图像相关联的第一轨迹，所述第一轨迹至少部分地基于所述第一移动数据；产生与所述反射图像相关联的第二轨迹，所述第二轨迹至少部分地基于所述第二移动数据；以及计算所述第一轨迹和所述第二轨迹的协方差。

191、9.根据实施例8所述的方法，其中所述线索包括确定所述协方差小于阈值。

192、10.根据实施例1至9中任一项所述的方法，其中确认所述镜子的存在包括由所述ard向与所述目标对象相关联的标签发送信号，并从所述标签接收响应，其中所述响应包括指示所述镜子的存在的信息。

193、11.根据实施例1至10中任一项所述的方法，其中确认所述镜子的存在包括从与目标对象相关联的标签接收信号，其中所述信号包括指示所述镜子的存在的信息。

194、12.根据实施例10或实施例11所述的方法，其中所述信号包括电磁信号或声信号。

195、13.一种用于检测环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为对用户周围的环境进行成像的面向外的相机和被配置为跟踪所述环境中的实体对象的移动的惯性测量单元(imu)：检测实体对象在目标对象中的反射图像，其中所述目标对象可以包括反射表面；收集与所述反射图像相关联的第一移动数据；收集与所述实体对象相关联的第二移动数据；将所述第一移动数据与所述第二移动数据进行比较，以识别指示所述反射表面的存在的线索。

196、14.根据实施例13所述的方法，其中所述实体对象包括所述用户的身体的至少一部分。

197、15.根据实施例14所述的方法，其中所述实体对象包括所述用户的头部或手。

198、16.根据实施例13至15中任一项所述的方法，其中收集所述第一移动数据和收集所述第二移动数据包括：由所述面向外的相机在一时间段内获得图像；识别在所述图像中所述反射图像的各个位置；基于所识别的所述反射图像的各个位置计算第一轨迹；识别在所述图像中所述实体对象的各个位置；以及基于所识别的所述实体对象的各个位置计算第二轨迹。

199、17.根据实施例13至15中任一项所述的方法，其中收集所述第一移动数据由所述面向外的相机执行，并且收集所述第二移动数据由所述imu执行。

200、18.根据实施例13至17中任一项所述的方法，其中识别所述线索包括：计算所述第一移动数据与所述第二移动数据之间的协方差；以及确定所述协方差是否小于阈值。

201、19.根据实施例18所述的方法，其中响应于确定所述协方差小于所述阈值而识别所述线索。

202、20.一种用于检测环境中的反射表面的增强现实(ar)系统，所述ar系统包括：被配置为对用户周围的环境进行成像的面向外的相机；被配置为测量一对象的移动的惯性测量单元；以及被配置为执行实施例1至19中的任一方法的硬件处理器。

203、21.一种用于检测环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为发送信号或接收来自所述ard外部的一对象的信号的多个传感器：识别目标对象，其中所述目标对象可包括反射表面；向所述目标对象附近的区域发送信号；从与所述目标对象相关联的一对象接收所述信号的反馈；以及分析所述反馈以确认所述目标对象包括反射表面。

204、22.根据实施例21所述的方法，其中所述信号包括电磁信号或声信号。

205、23.根据实施例22所述的方法，其中电磁信号包括光信号。

206、24.根据实施例23所述的方法，其中发送所述信号包括使光束朝着所述目标对象闪烁。

207、25.根据实施例21所述的方法，其中所述反馈包括被所述目标对象反射的所述信号的一部分。

208、26.根据实施例21至25中任一项所述的方法，其中所述目标对象包括镜子。

209、27.根据实施例21至26中任一项所述的方法，其中分析所述反馈包括：确定所述反馈的强度；以及如果所述反馈的强度超过阈值，则确认所述目标对象包括反射表面。

210、28.一种用于检测用户环境中的反射表面的方法，所述方法包括：在包括计算机硬件的增强现实设备(ard)的控制下，所述ard包括被配置为发送信号或接收来自所述ard外部的目标对象的信号的多个传感器：接收指示反射表面在所述环境中的存在的信号；识别可能与所接收的信号相关联的所述目标对象；以及确认所述目标对象与所述反射表面相关联。

211、29.根据实施例28所述的方法，其中所述信号包括电磁信号或声信号。

212、30.根据实施例28或实施例29所述的方法，其中所述目标对象包括被配置为发射所述信号的射频识别标记(tag)。

213、31.根据实施例28所述的方法，其中确认所述目标对象与所述反射表面相关联包括：使用所述ard的成像系统获得所述环境的图像，所述图像包括所述目标对象；以及至少部分地基于对所述图像的分析来识别线索。

214、32.根据实施例31所述的方法，其中识别所述线索包括：识别所述图像中的第一多个关键点；访问所述环境的世界地图，其中所述世界地图包括有关所述环境中的实体对象的信息；识别所述世界地图中的第二多个关键点；将所述第一多个关键点与所述第二多个关键点进行比较，以确定所述第一多个关键点是否为所述第二多个关键点在所述反射表面中的映像。

215、33.根据实施例32所述的方法，其中将所述第一多个关键点与所述第二多个关键点进行比较包括确定由所述第一多个关键点形成的第一几何形状与由所述第二多个关键点形成的第二几何形状之间的几何关系。

216、34.根据实施例32或实施例33所述的方法，其中所述第一多个关键点包括第一相邻关键点三元组，并且其中所述第二多个关键点包括第二相邻关键点三元组。

217、35.根据实施例34所述的方法，其中确定所述第一多个关键点是否为所述第二多个关键点在所述镜子中的映像包括：确定所述第一相邻关键点三元组之间的开放角和所述第二相邻关键点三元组之间的开放角。

218、36.根据实施例33至35中任一项所述的方法，其中确定由所述第一多个关键点形成的所述第一几何形状与由所述第二多个关键点形成的所述第二几何形状之间的几何关系包括分别轴向变换所述第一几何形状或所述第二几何形状。

219、37.根据实施例32至36中任一项所述的方法，其中所述线索包括以下一者或多者：所述第一多个关键点与所述第二多个关键点之间的匹配；或所述第一几何形状与所述第二几何形状之间的匹配。

220、38.根据实施例31至37中任一项所述的方法，其中识别所述线索包括在所述环境的图像中识别所述目标对象中的反射对象。

221、39.根据实施例38所述的方法，其中所述反射对象包括所述用户的头部的镜像、所述ard的镜像、所述环境中的实体对象的镜像、或所述用户的所述环境中的文本的镜像。

222、40.根据实施例31至39中任一项所述的方法，其中识别所述线索包括：识别所述目标对象的边界；测量所述目标对象的边界处的第一深度；测量出现在所述目标对象的边界内的对象的第二深度；以及比较所述第一深度与所述第二深度以确定所述第一深度是否与所述第二深度匹配。

223、41.根据实施例40所述的方法，其中所述线索包括所述第一深度与所述第二深度之间的不匹配。

224、42.根据实施例31至41中任一项所述的方法，其中识别所述线索包括识别所述环境的图像中的所述目标对象的特征。

225、43.根据实施例42所述的方法，其中所述特征包括以下一者或多者：尺寸、位置、表面法线、框架、形状或与所述目标对象相关联的标签。

226、44.根据实施例43所述的方法，其中所述标签包括光学标签，所述光学标签包含指示所述镜子的存在的信息。

227、45.根据实施例28所述的方法，其中确认所述目标对象与所述反射表面相关联包括：检测实体对象在所述目标对象中的反射图像；收集与所述反射图像相关联的第一移动数据；收集与所述目标对象相关联的第二移动数据；将所述第一移动数据与所述第二移动数据进行比较，以识别指示所述反射表面的存在的线索。

228、46.根据实施例45所述的方法，其中所述实体对象包括所述用户的身体的至少一部分。

229、47.根据实施例46所述的方法，其中所述实体对象包括所述用户的头部或手。

230、48.根据实施例45至47中任一项所述的方法，其中收集所述第一移动数据和收集所述第二移动数据包括：由面向外的相机在一时间段内获得图像；识别在所述图像中所述反射图像的各个位置；基于所识别的所述反射图像的各个位置计算第一轨迹；识别在所述图像中所述实体对象的各个位置；以及基于所识别的所述实体对象的各个位置计算第二轨迹。

231、49.根据实施例45至47中任一项所述的方法，其中收集所述第一移动数据由所述ar系统的面向外的成像系统执行，并且收集所述第二移动数据由所述ar系统的惯性测量单元执行。

232、50.根据实施例45至49中任一项所述的方法，其中识别所述线索包括：计算所述第一移动数据与所述第二移动数据之间的协方差；以及确定所述协方差是否小于阈值。

233、51.根据实施例50所述的方法，其中响应于确定所述协方差小于所述阈值而识别所述线索。

234、52.一种增强现实系统，包括一个或多个传感器，并且被配置为执行实施例21至51中的任一方法。

235、以下是涉及在存在反射表面的情况下的增强现实世界地图的示例性实施例。

236、1.一种用于校正三维(3d)世界地图的方法，所述方法包括：在包括计算机硬件的增强现实(ar)系统的控制下，所述ar系统包括被配置为对用户周围的环境进行成像的面向外的相机，所述ar系统与存储所述3d世界地图的数据存储器通信：通过所述面向外的相机检测所述用户周围的环境中的反射表面的存在；确定与所述反射表面相关联的信息；从所述数据存储器访问与所述环境相关联的3d视觉地图；以及至少部分地基于与所述反射表面相关联的所确定的信息更新所述3d世界地图。

237、2.根据实施例1所述的方法，其中所述反射表面包括镜子的反射表面。

238、3.根据实施例1所述的方法，其中所述检测所述反射表面的存在包括以下一者或多者：通过所述面向外的相机检测所述用户在所述反射表面上的反射图像；检测与所述反射表面相关联的光学标签；确定所述反射表面与支撑所述反射表面的壁之间的深度不连续性；或接收与所述反射表面的存在相关联的信号。

239、4.根据实施例1至3中任一项所述的方法，其中确定与所述反射表面相关联的信息包括确定所述环境中的对象的反射图像的存在。

240、5.根据实施例1至3中任一项所述的方法，其中确定与所述反射表面相关联的信息包括确定以下一者或多者：所述镜子的大小、形状、位置或语义信息。

241、6.根据实施例1至5中任一项所述的方法，其中更新所述3d世界地图包括从所述3d视觉地图移除由所述环境中的对象的反射图像导致的伪影(artifact)。

242、7.根据实施例6所述的方法，其中所述伪影包括所述环境中的所述对象的反射图像。

243、8.一种用于生成三维(3d)世界地图的方法，所述方法包括：在包括计算机硬件的增强现实(ar)系统的控制下，所述ar系统包括被配置为对用户周围的环境进行成像的面向外的相机，所述ar系统与存储所述3d世界地图的数据存储器通信：通过所述面向外的相机检测所述用户周围的环境中的反射表面的存在；确定与所述反射表面相关联的信息；确定所述环境中的对象的反射图像的存在；以及至少部分地基于与所述反射表面相关联的所确定的信息生成3d世界地图，其中所述3d世界地图将对象的反射图像正确地识别为非实体对象。

244、9.根据实施例8所述的方法，其中生成所述3d世界地图包括不将所述对象的反射图像解释为所述环境中的实际对象。

245、10.根据实施例8或9所述的方法，其中生成所述3d世界地图包括在所述世界地图中包括所述对象的反射图像，并将所述对象的反射图像标记为反射图像。

246、11.根据实施例8至10中任一项所述的方法，其中生成所述3d世界地图包括排除所述世界地图中的所述对象的反射图像。

247、12.一种用于校正三维(3d)世界地图的增强现实(ar)系统，所述增强现实系统包括：被配置为获取用户周围的环境的图像的面向外的相机；存储所述3d世界地图和所述图像的数据存储器；以及与所述数据存储器通信的计算机硬件，所述计算机硬件被编程为：使用由所述面向外的相机获取的所述图像检测所述用户周围的所述环境中的反射表面的存在；确定与所述反射表面相关联的信息；从所述数据存储器访问与所述环境相关联的所述3d世界地图；以及至少部分地基于与所述反射表面相关联的所确定的信息更新所述3d世界地图。

248、13.根据实施例12所述的系统，其中所述反射表面包括镜子的反射表面。

249、14.根据实施例12或13所述的系统，其中为了检测所述反射表面的存在，所述计算机硬件被编程为执行以下一者或多者：通过所述面向外的相机检测所述用户在所述反射表面上的反射图像；检测与所述反射表面相关联的光学标签；确定所述反射表面与支撑所述反射表面的壁之间的深度不连续性；或接收与所述反射表面的存在相关联的信号。

250、15.根据实施例12至14中任一项所述的系统，其中为了确定与所述反射表面相关联的信息，所述计算机硬件被编程为确定所述环境中对象的反射图像的存在。

251、16.根据实施例12至15中任一项所述的系统，其中为了更新所述3d世界地图，所述计算机硬件被编程为从所述3d世界地图中移除由所述环境中的所述对象的反射图像导致的伪影。

252、17.根据实施例16所述的系统，其中所述伪影包括所述环境中的所述对象的反射图像。

253、18.根据实施例12至17中任一项所述的系统，其中为了确定与所述反射表面相关联的信息，所述计算机硬件被编程为确定以下一者或多者：所述反射表面的大小、形状、位置或语义信息。

254、19.一种用于生成三维(3d)世界地图的增强现实(ar)系统，所述增强现实系统包括：被配置为获取用户周围的环境的图像的面向外的相机；存储所述3d世界地图和所述图像的数据存储器；以及与所述数据存储器通信的计算机硬件，所述计算机硬件被编程为：使用由所述面向外的相机获取的所述图像检测所述用户周围的所述环境中的反射表面的存在；确定与所述反射表面相关联的信息；确定所述环境中的对象的反射图像的存在；以及至少部分地基于与所述反射表面相关联的所确定的信息生成3d世界地图，其中所述3d世界地图将对象的反射图像正确地识别为非实体对象。

255、20.根据实施例19所述的系统，其中为了生成所述3d世界地图，所述计算机硬件被编程为不将所述对象的反射图像解释为所述环境中的实际对象。

256、21.根据实施例19或20所述的系统，其中为了生成所述3d世界地图，所述计算机硬件被编程为排除所述世界地图中的所述对象的反射图像。

257、22.根据实施例19所述的系统，其中为了生成所述3d世界地图，所述计算机硬件被编程为包括所述世界地图中的所述对象的反射图像，并将所述对象的反射图像标记为反射图像。

258、23.一种用于处理三维(3d)世界地图的方法，所述方法包括：在包括计算机硬件的增强现实(ar)系统的控制下，所述ar系统包括被配置为对用户周围的环境进行成像的面向外的相机，所述ar系统与存储所述3d世界地图的数据存储器通信：通过所述面向外的相机对所述用户的环境进行成像；检测所述用户的所述环境中的反射表面的存在；以及至少部分地基于所述反射表面的存在而处理所述3d世界地图。

259、24.根据实施例23所述的方法，其中处理所述3d世界地图包括：识别由先前未检测到的所述反射表面的存在引起的所述3d世界地图中的伪影；以及从所述3d世界地图中移除所述伪影。

260、25.根据实施例23或实施例24所述的方法，其中处理所述3d世界地图包括更新所述世界地图，使得所述3d世界地图不包括由所述反射表面的存在导致的伪影。

261、26.一种ar系统，其被配置为执行实施例8至11或实施例23至25中的任一项的方法。

262、以下是涉及增强现实远端临场(telepresence)的示例性实施例。

263、1.一种用于在增强现实远端临场会话中共享图像的方法，所述方法包括：在远端临场会话期间，在与第一通话者相关联的第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信连接，所述第一增强现实设备包括被配置为对所述第一增强现实设备前面的区域进行成像的第一面向外的相机；通过所述第一面向外的相机检测所述第一增强现实设备前面的区域中是否存在镜子；通过所述第一面向外的相机检测所述第一通话者在所述镜子中的第一图像；经由所述通信连接向所述第二增强现实设备传送所述第一通话者的所述第一图像的一部分；以及在所述远端临场会话期间通过所述第二增强现实设备向所述第二通话者显示所述第一通话者的所述第一图像的所述一部分。

264、2.根据实施例1所述的方法，其中响应于检测到所述镜子的存在而执行建立所述双向通信连接。

265、3.根据实施例1或实施例2所述的方法，进一步包括：识别所述第一图像的一区域，所述区域包括遮挡所述第一用户的面部的所述第一增强现实设备的图像；取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供未被遮挡的面部图像，其中传送所述第一图像的所述一部分包括传送所述未被遮挡的面部图像。

266、4.根据实施例3所述的方法，其中所述第一增强现实设备包括被配置为对所述第一用户的眼睛进行成像的眼睛跟踪相机，并且其中取代所述第一用户的面部的未被遮挡部分的图像包括在所识别的区域中插入所述第一用户的眼睛的图像。

267、5.根据实施例1至4中任一项所述的方法，进一步包括：经由所述通信连接从所述第二增强现实设备接收所述第二通话者的第二图像；以及在所述远端临场会话期间通过所述第一增强现实设备向所述第一通话者显示所述第二通话者的所述第二图像。

268、6.根据实施例5所述的方法，其中显示所述第二通话者的所述第二图像包括显示所述第二图像，使得其遮挡所述镜子中的所述第一通话者的所述第一图像。

269、7.根据实施例5或实施例6所述的方法，其中显示所述第二通话者的所述第二图像包括向所述第一通话者显示额外的虚拟内容。

270、8.根据实施例1至7中任一项所述的方法，其中显示所述第一通话者的第一图像的一部分包括向所述第二通话者显示额外的虚拟内容。

271、9.根据实施例7或实施例8所述的方法，其中所显示的额外的虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。

272、10.根据实施例1至9中任一项所述的方法，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括头戴式显示器。

273、11.根据实施例1至10中任一项所述的方法，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括被配置为在多个深度平面处呈现图像的光场显示器。

274、12.一种用于在增强现实远端临场会话中共享图像的方法，所述方法包括：在与第一通话者相关联的第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信，所述第一增强现实设备包括被配置为对所述第一增强现实设备前面的区域进行成像的第一面向外的相机；检测所述第一增强现实设备前面的区域中是否存在反射表面；通过所述第一面向外的相机捕获从所述反射表面反射的所述第一通话者的第一图像；以及向所述第二增强现实设备发送所述第一通话者的所述第一图像的至少一部分。

275、13.根据实施例12所述的方法，进一步包括：通过所述第一增强现实设备接收所述第二通话者的第二图像；以及通过所述第一增强现实设备显示所述第二通话者的所述第二图像的至少一部分。

276、14.根据实施例13所述的方法，其中显示所述第二通话者的所述第二图像的至少一部分包括显示所述第二图像，使得其遮挡所述镜子中的所述第一通话者的所述第一图像。

277、15.根据实施例13所述的方法，进一步包括通过所述第一增强现实设备处理所述第二通话者的所述第二图像。

278、16.根据实施例12所述的方法，进一步包括通过所述第一增强现实设备处理所述第一通话者的所述第一图像。

279、17.根据实施例12所述的方法，其中将所述第一通话者的所述第一图像发送到所述第二增强现实设备包括：将所述第一通话者的所述第一图像发送到服务器计算机系统；通过所述服务器计算机系统处理所述第一通话者的所述第一图像；以及将所述第一通话者的所述第一图像发送到所述第二增强现实设备。

280、18.根据实施例12至17中任一项所述的方法，其中所述第一通话者的所述第一图像的处理包括以下至少一者：将虚拟内容应用于所述第一通话者的所述第一图像；裁剪所述第一通话者的所述第一图像的一部分；将背景应用于所述第一通话者的所述第一图像；调整所述第一通话者的所述第一图像的大小；识别所述第一通话者的所述第一图像的一区域，所述区域包括遮挡所述第一通话者的面部的所述第一增强现实设备的图像，并取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供所述第一通话者的面部的未被遮挡的图像；或者识别未被所述第一增强现实设备捕获的所述第一通话者的身体的一区域获并将所识别的区域添加到所述第一通话者的所述第一图像。

281、19.根据实施例18所述的方法，其中所述虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。

282、20.根据实施例18所述的方法，其中所述背景包含与游戏、电影、书籍、艺术、音乐、现有物理元素或虚拟对象相关联的元素。

283、21.根据实施例18至20中任一项所述的方法，其中所述背景是动画。

284、22.一种用于在第一通话者与第二通话者之间进行电话会议的增强现实系统，所述系统包括：与第一通话者相关联的第一增强现实设备，所述第一增强现实设备包括第一面向外的相机以及计算机处理器，所述第一面向外的相机被配置为对所述第一增强现实设备前面的区域进行成像，所述计算机处理器被配置为与网络通信并被编程为：在所述第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信；检测所述第一增强现实设备前面的区域中是否存在反射表面；通过所述第一面向外的相机检测从所述反射表面反射的所述第一通话者的第一图像；向所述第二增强现实设备发送所述第一通话者的所述第一图像的至少一部分；通过所述第一增强现实设备接收所述第二通话者的第二图像；以及通过所述第一增强现实设备显示所述第二通话者的所述第二图像的至少一部分。

285、23.根据实施例22所述的系统，其中所述计算机处理器被进一步编程为通过所述第一增强现实设备显示所述第二通话者的所述第二图像的至少一部分，使得其遮挡所述镜子中的所述第一通话者的所述第一图像。

286、24.根据实施例22所述的系统，其中所述计算机处理器被进一步编程为通过所述第一增强现实设备处理所述第二通话者的所述第二图像。

287、25.根据实施例22所述的系统，其中所述计算机处理器被进一步编程为通过所述第一增强现实设备处理所述第一通话者的所述第一图像。

288、26.根据实施例22所述的系统，其中将所述第一通话者的所述第一图像的至少一部分发送到所述第二增强现实设备包括：将所述第一通话者的所述第一图像发送到服务器计算机系统；通过所述服务器计算机系统处理所述第一通话者的所述第一图像；以及将所述第一通话者的所述第一图像发送到所述第二增强现实设备。

289、27.根据实施例24至26中任一项所述的系统，其中所述第一通话者的所述第一图像的处理包括以下至少一者：将虚拟内容应用于所述第一通话者的所述第一图像；裁剪第一通话者的所述第一张图像的一部分；将背景应用于所述第一通话者的所述第一图像；调整所述第一通话者的所述第一图像的大小；识别所述第一通话者的所述第一图像的一区域，所述区域包括遮挡所述第一通话者的面部的所述第一增强现实设备的图像，并取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供所述第一通话者的面部的未被遮挡的图像；或者识别未被所述第一增强现实设备捕获的所述第一通话者的身体的一区域并将所识别的区域添加到所述第一通话者的所述第一图像。

290、28.根据实施例27所述的系统，其中所述虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。

291、29.根据实施例27所述的系统，其中所述背景包含与游戏、电影、书籍、艺术、音乐、现有物理元素或虚拟对象相关联的元素。

292、30.根据实施例22至29中任一项所述的系统，其中所述背景是动画。

293、31.一种用于在第一通话者与第二通话者之间进行电话会议的增强现实系统，所述系统包括：与第一通话者相关联的第一增强现实设备和与第二通话者相关联的第二增强现实设备，所述第一增强现实设备包括第一面向外的相机以及计算机处理器，所述第一面向外的相机被配置为对所述第一增强现实设备前面的区域进行成像，所述计算机处理器被配置为与网络通信并被编程为：在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信连接；通过所述第一面向外的相机检测所述第一增强现实设备前面的区域中是否存在镜子；通过所述第一面向外的相机检测所述第一通话者在所述镜子中的第一图像；经由所述通信连接向所述第二增强现实设备传送所述第一通话者的所述第一图像的一部分；以及在所述远端临场会话期间通过所述第二增强现实设备向所述第二通话者显示所述第一通话者的所述第一图像的所述一部分。

294、32.根据实施例31所述的系统，其中响应于检测到所述镜子的存在而执行建立所述双向通信连接。

295、33.根据实施例31或实施例32所述的系统，所述计算机处理器被进一步编程为：识别所述第一图像的一区域，所述区域包括遮挡所述第一用户的面部的所述第一增强现实设备的图像；取代所识别的区域中的所述第一用户的面部的未被遮挡部分的图像以提供未被遮挡的面部图像，其中传送所述第一图像的所述一部分包括传送所述未被遮挡的面部图像。

296、34.根据实施例33所述的系统，其中所述第一增强现实设备包括被配置为对所述第一用户的眼睛进行成像的眼睛跟踪相机，并且其中取代所述第一用户的面部的未被遮挡部分的图像包括在所识别的区域中插入所述第一用户的眼睛的图像。

297、35.根据实施例31至34中任一项所述的系统，所述计算机处理器被进一步编程为：经由所述通信连接从所述第二增强现实设备接收所述第二通话者的第二图像；在所述远端临场会话期间通过所述第一增强现实设备向所述第一通话者显示所述第二通话者的所述第二图像。

298、36.根据实施例35所述的系统，其中显示所述第二通话者的所述第二图像包括显示所述第二图像，使得其遮挡所述第一通话者在所述镜子中的所述第一图像。

299、37.根据实施例35或实施例36所述的系统，其中显示所述第二通话者的所述第二图像包括向所述第一通话者显示额外的虚拟内容。

300、38.根据实施例31至37中任一项所述的系统，其中显示所述第一通话者的所述第一图像的所述一部分包括向所述第二通话者显示额外的虚拟内容。

301、39.根据实施例37或实施例38所述的系统，其中所显示的额外的虚拟内容包括混合效果、羽化效果、发光效果或特殊特征效果。

302、40.根据实施例31至39中任一项所述的系统，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括头戴式显示器。

303、41.根据实施例31至40中任一项所述的方法，其中所述第一增强现实设备、所述第二增强现实设备、或者所述第一增强现实设备和所述第二增强现实设备两者都包括被配置为在多个深度平面处呈现图像的光场显示器。

304、42.一种用于进行电话会议的增强现实系统，所述系统包括：计算机系统，其被配置为同与第一用户相关联的第一增强现实设备和与第二用户相关联的第二增强现实设备进行通信，所述计算机系统包括：网络接口；非暂时性数据存储器；以及被配置为与所述网络接口和所述非暂时性数据存储器通信的硬件处理器，所述处理器被编程为：从所述第一增强现实设备接收第一消息，所述第一消息包括建立与所述第二增强现实设备的双向通信的请求；在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信；从所述第一增强现实设备接收第二消息，所述第二消息包括由所述第一增强现实设备从所述第一增强现实设备前面的反射表面捕获的所述第一通话者的图像；将所述第二消息发送到所述第二增强现实设备；从所述第二增强现实设备接收第三消息，所述第三消息包括由所述第二增强现实设备从所述第二增强现实设备前面的反射表面捕获的所述第二通话者的图像；以及将所述第三消息发送到所述第一增强现实设备。

305、43.一种生成自拍照的方法，所述方法包括：在头戴式设备的控制下，所述头戴式设备包括被配置为对所述头戴式设备前面的区域进行成像的面向外的相机：检测所述头戴式设备的穿戴者的环境中是否存在反射表面；通过所述面向外的相机检测从所述反射表面反射的所述穿戴者的反射图像；通过所述面向外的相机获取包括所述穿戴者的反射图像的所述反射表面的一部分的图像；以及识别所述图像的一区域，所述区域包括至少部分地遮挡所述穿戴者的面部的所述头戴式设备的图像，并取代所识别的区域中的所述穿戴者的面部的未被遮挡部分的图像以提供所述穿戴者的面部的未被遮挡的图像。

306、44.根据实施例43所述的方法，进一步包括以下至少一者：将虚拟内容应用于所述穿戴者的未被遮挡的图像；裁剪所述穿戴者的未被遮挡的图像的一部分；将背景应用于所述穿戴者的未被遮挡的图像；调整所述穿戴者的未被遮挡的图像的大小；或者识别未被所述面向外的相机获取的图像捕获的所述穿戴者的身体的一区域，并将所识别的区域添加到所述穿戴者的未被遮挡的图像。

307、45.一种用于在第一增强现实设备与第二增强现实设备之间进行远端临场会话的增强现实系统，所述增强现实系统包括：与第一通话者相关联的第一增强现实设备的头戴式显示器，其中所述第一头戴式显示器被配置为在多个深度平面处呈现虚拟内容，所述显示器的至少一部分是透明的，使得所述透明部分透射来自所述第一通话者的环境的一部分的光；面向外的成像系统，其被配置为对所述头戴式显示器前面的区域进行成像；以及计算机处理器，其被编程为与网络通信并且：至少部分地基于由所述面向外的成像系统获取的图像检测所述第一增强现实设备附近是否存在反射表面；在所述第一增强现实设备和与第二通话者相关联的第二增强现实设备之间建立双向通信；通过所述面向外的成像系统检测由所述反射表面反射的第一通话者的第一图像；将所述第一通话者的所述第一图像的至少一部分发送到所述第二增强现实设备；通过所述第一增强现实设备接收所述第二通话者的第二图像；以及通过所述第一增强现实设备的所述头戴式显示器显示所述第二通话者的所述第二图像的至少一部分。

308、46.根据实施例45所述的增强现实系统，其中所述计算机处理器被编程为处理以下至少一者：所述第一通话者的所述第一图像或所述第二通话者的所述第二图像。

309、47.根据实施例46所述的增强现实系统，其中为了处理至少所述第一图像或所述第二图像，所述计算机处理器被编程为执行以下至少一者：将虚拟内容应用于所述第一图像或所述第二图像，其中所述虚拟内容包括以下至少一者：混合效果、羽化效果、发光效果或另一特殊特征效果；裁剪所述第一图像或所述第二图像的一部分；将背景应用于所述第一图像或所述第二图像；调整所述第一图像或所述第二图像的大小；识别所述第一图像的一区域，该区域包括遮挡所述第一通话者的面部的所述第一增强现实设备的图像，并取代所识别的区域中的所述第一通话者的面部的未被遮挡部分的图像以提供所述第一通话者的面部的未被遮挡的图像；识别所述第二图像的一区域，该区域包括遮挡所述第二通话者的面部的所述第二增强现实设备的图像，并取代所识别的区域中的所述第二通话者的面部的未被遮挡部分的图像以提供所述第二通话者的面部的未被遮挡的图像；识别未被所述第一增强现实设备捕获的所述第一通话者的身体的区域并将所识别的区域添加到所述第一通话者的所述第一图像；或者识别未被所述第二增强现实设备捕获的所述第二通话者的身体的区域并将所识别的区域添加到所述第二通话者的所述第二图像。

310、48.根据实施例45所述的增强现实系统，其中使用以下至少一者检测所述反射表面：面部识别、关键点识别、第一增强现实设备的一部分的识别、深度不连续性、镜子形状、或与所述反射表面相关联的光学标签的识别。

311、49.根据实施例45所述的增强现实系统，其中为了显示所述第二图像的至少一部分，所述计算机处理器被编程为：投射所述第二图像的所述一部分，使得所述第二图像的所述一部分遮挡由所述反射表面反射的所述第一通话者的所述第一图像。

312、50.根据实施例45所述的增强现实系统，其中所述第一增强现实设备包括被配置为跟踪所述第一通话者的眼睛移动的眼睛跟踪相机，并且所述计算机处理器被进一步编程为将所述第一通话者的所述眼睛移动发送到所述第二增强现实设备。

313、51.一种用于在第一增强现实设备与第二增强现实设备之间进行远端临场会话的方法，所述方法包括：从所述第一增强现实设备接收消息，所述消息包括建立与所述第二增强现实设备的双向通信的请求；在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信；从所述第一增强现实设备接收第一图像，所述第一图像包括由所述第一增强现实设备从所述第一增强现实设备附近的反射表面捕获的所述第一通话者的反射图像；将所述第一图像发送到所述第二增强现实设备；从所述第二增强现实设备接收第二图像，所述第二图像包括由所述第二增强现实设备从所述第二增强现实设备附近的反射表面捕获的所述第二通话者的一部分；至少部分地基于所述第二图像生成所述第二通话者的图像；以及将所述第二通话者的图像发送到所述第一增强现实设备以在三维环境中显示。

314、52.根据实施例51所述的方法，其中所述第一增强现实设备或所述第二增强现实设备中的至少一者包括被配置为在多个深度平面处呈现图像的光场显示器。

315、53.根据实施例51所述的方法，其中所述第二通话者的图像包括多个补片(patch)，并且所述第二图像包括未被所述第二增强现实设备遮挡的所述第二通话者的面部的一部分。

316、54.根据实施例51所述的方法，进一步包括：接收被所述第二增强现实设备遮挡的所述第二通话者的眼睛区域的补片，并且其中生成所述第二通话者的图像包括基于未被所述第二增加现实设备遮挡的所述第二通话者的面部的所述一部分和被所述第二增强现实设备遮挡的所述眼睛区域的所述补片合成所述第二通话者的图像。

317、55.根据实施例51所述的方法，进一步包括：接收所述第二通话者的眼睛区域的移动；访问所述第二通话者的面部模型；以及基于所述眼睛区域的移动和所述面部模型更新所述第二通话者的图像。

318、56.根据实施例51所述的方法，其中至少部分地基于所述第二图像生成所述第二通话者的图像包括以下至少一者：裁剪所述第二图像的一部分，调整所述第二图像的大小，或将背景应用于所述第二图像。

319、57.根据实施例51所述的方法，其中生成所述第二通话者的图像包括：识别未被所述第一增强现实设备捕获的所述第二通话者的身体的一区域；检索包括所述第二通话者的身体的所述区域的第三图像；以及至少部分地基于从所述第二增强现实设备接收的所述第二图像和所述第三图像生成所述第二通话者的图像。

320、58.一种用于在第一增强现实设备与第二增强现实设备之间进行远端临场会话的增强现实系统，所述增强现实系统包括：计算机系统，其被配置为同与第一用户相关联的第一增强现实设备和与第二用户相关联的第二增强现实设备进行通信，所述计算机系统包括：网络接口；非暂时性数据存储器；以及计算机处理器，所述计算机处理器被编程为与所述网络接口和所述非暂时性数据存储器通信并且：从所述第一增强现实设备接收消息，所述消息包括建立与所述第二增强现实设备的双向通信的请求；在所述第一增强现实设备与所述第二增强现实设备之间建立双向通信；从所述第一增强现实设备接收第一图像，所述第一图像包括由所述第一增强现实设备从所述第一增强现实设备附近的反射表面捕获的所述第一通话者的反射图像；将所述第一图像发送到所述第二增强现实设备；从所述第二增强现实设备接收第二图像，所述第二图像包括由所述第二增强现实设备从所述第二增强现实设备附近的反射表面捕获的所述第二通话者的一部分；至少部分地基于所述第二图像生成所述第二通话者的图像；以及将所述第二通话者的图像发送到所述第一增强现实设备以在三维环境中显示。

321、59.根据实施例58所述的系统，其中所述第一增强现实设备或所述第二增强现实设备中的至少一者包括被配置为在多个深度平面处呈现图像的光场显示器。

322、60.根据实施例58所述的系统，其中所述第二通话者的图像包括多个补片，并且所述第二图像包括未被所述第二增强现实设备遮挡的所述第二通话者的面部的一部分。

323、61.根据实施例60所述的系统，所述计算机处理器被进一步编程为：接收被所述第二增强现实设备遮挡的所述第二通话者的眼睛区域的补片，并且其中为了生成所述第二通话者的图像，所述计算机处理器被编程为基于未被所述第二增加现实设备遮挡的所述第二通话者的面部的一部分和被所述第二增强现实设备遮挡的所述眼睛区域的所述补片合成所述第二通话者的图像。

324、62.根据实施例58所述的系统，所述计算机处理器被进一步编程为：接收所述第二通话者的眼睛区域的移动；访问所述第二通话者的面部模型；以及基于所述眼睛区域的移动和所述面部模型更新所述第二通话者的图像。

325、63.根据实施例58所述的系统，其中为了至少部分地基于所述第二图像生成所述第二通话者的图像，所述计算机处理器被编程为执行以下至少一者：裁剪所述第二图像的一部分，调整所述第二图像的大小，或将背景应用于所述第二图像。

326、64.根据实施例58所述的系统，其中为了生成所述第二通话者的图像，所述计算机处理器被编程为：识别未被所述第一增强现实设备捕获的所述第二通话者的身体的一区域；检索包括所述第二通话者的身体的所述区域的第三图像；以及至少部分地基于从所述第二增强现实设备接收的所述第二图像和所述第三图像生成所述第二通话者的图像。