为多用户通信会话对准扫描环境的制作方法

本公开整体涉及使用传感器在通信会话期间提供视图的电子设备，这些视图包括包含参与会话的用户中的一个或多个用户的表示的视图。

背景技术：

1、使用各种技术来表示通信会话的参与者，例如视频会议、交互式游戏会话以及其他交互式社交体验。例如，参与者可以看到参与会话的用户的逼真或不逼真表示(例如，头像)。用户表示可基于空间约束和空间关系来定位并且根据空间约束和空间关系而移动。

技术实现思路

1、本文所公开的各种具体实施包括在通信会话期间提供在扩展现实(xr)体验内的用户的至少一部分的表示(例如，头像)的设备、系统和方法。xr体验在通信会话期间呈现多个用户的表示，其中每个表示的定位基于空间约束以及环境的先前获取的扫描与当前物理环境之间的空间关系。空间约束(在本文中也被称为空间实况)是指xr体验中内容元素之间的相对定位以及它们随时间的相对移动对于参与多用户通信会话的所有用户而言是相同的要求。空间约束可提供自然且期望的体验，其中一致的空间定位和移动得到期望的特性。例如，xr环境可包括第一用户、第二用户和虚拟电视，其中第一用户正面向并查看虚拟电视。空间约束可确保对于第二用户而言，第一用户看起来正面向虚拟电视，而不是面向另一方向。

2、本文的某些具体实施基于将第一用户的当前物理环境的三维(3d)表示(例如，3d扫描，诸如先前捕获的点云)与当前物理环境对准并且确定第一用户在当前物理环境内的定位来提供第一用户相对于该3d表示的定位。例如，在多用户通信会话期间，可提供此类定位信息以在提供给第二用户的3d表示的视图内定位第一用户的头像，在该多用户通信会话中，第二用户查看扫描环境，第一用户的头像准确地定位在该扫描环境内。例如，如果第一用户定位在第一用户的当前物理环境中的桌子后面，则第二用户将在其3d表示的视图中看到定位在桌子的表示后面的相同相对定位中的第一用户的头像。基于检测到第一用户位于与3d表示相关联的物理环境内并且将3d表示相对于物理环境对准来实现将第一用户定位在桌子的表示后面的相同相对定位中，例如，使得第一用户在物理环境内的当前定位可用于识别第一用户相对于3d表示的对应定位。

3、一般来讲，本说明书中描述的主题的一个创新方面可具体体现于方法中，在包括一个或多个处理器的第一设备处，该方法包括以下动作：确定环境的三维(3d)表示对应于第一设备的当前物理环境；确定3d表示与当前物理环境之间的空间关系；基于第一设备在当前物理环境中的位置以及3d表示与当前物理环境之间的空间关系来确定对应于第一设备相对于3d表示的定位的定位数据；以及在第一设备与第二设备之间的通信会话期间提供定位数据，其中在通信会话期间向第二设备的用户呈现3d表示的视图，该视图包括基于定位数据定位的第一设备的用户的表示。

4、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

5、在一些方面，确定3d表示与当前物理环境之间的空间关系包括基于视觉匹配来对准特征。在一些方面，3d表示包括特征图，该特征图包括与物理环境相关联的特征，并且视觉匹配基于将与3d表示相关联的特征图和在当前物理环境中识别的特征进行匹配。在一些方面，3d表示包括锚定点，每个锚定点与物理环境内的特定位置相关联，并且视觉匹配基于锚定点。

6、在一些方面，确定3d表示与当前物理环境之间的空间关系基于视觉即时定位和地图构建(slam)。在一些方面，确定3d表示与当前物理环境之间的空间关系基于将3d表示的wifi签名和在当前物理环境中的第一设备的wifi签名进行匹配。在一些方面，确定3d表示与当前物理环境之间的空间关系基于3d表示与在当前物理环境中的第一设备的传感器数据之间的最佳拟合分析。在一些方面，确定3d表示与当前物理环境之间的空间关系基于将与由3d表示表示的物理环境中的对象相关联的语义数据和在当前物理环境中的对象相关联的语义数据进行匹配。

7、在一些方面，第一设备和第二设备在不同的物理环境中。在一些方面，在扩展现实(xr)体验中呈现通信会话的视图。在一些方面，第一设备或第二设备是头戴式设备(hmd)。

8、在一些方面，基于在通信会话期间获得的传感器数据来生成第一设备的用户的至少一部分的表示。在一些方面，该方法还包括基于在第一设备处的用户输入来更新在第二设备处的视图的至少一部分。

9、在一些方面，3d表示包括表示物理环境的至少一部分的点云。在一些方面，在第一设备处的3d表示的视图包括对在第二设备处的3d表示的视图的指示。

10、一般来讲，本说明书中描述的主题的一个创新方面可具体体现于方法中，在包括一个或多个处理器的第一设备处，该方法包括以下动作：获得对环境的三维(3d)表示的选择；确定环境的所选择的3d表示是否对应于第一设备的当前物理环境；以及根据对环境的3d表示对应于当前物理环境的确定，确定3d表示与当前物理环境之间的空间关系；以及呈现当前物理环境的视图，同时放弃环境的3d表示的视图。

11、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

12、在一些方面，根据对环境的3d表示不对应于当前物理环境的确定，该方法还包括获得3d表示与当前物理环境之间的空间关系的近似值。

13、在一些方面，获得3d表示与当前物理环境之间的空间关系的近似值包括确定3d表示与当前物理环境之间的最佳拟合对准。在一些方面，获得3d表示与当前物理环境之间的空间关系的近似值基于用户输入。

14、在一些方面，该方法还包括根据对环境的3d表示不对应于当前物理环境的确定，基于3d表示之间的空间关系的近似值来呈现3d表示的视图，并且呈现当前物理环境的视图。在一些方面，3d表示的视图呈现为叠置在当前物理环境的视图上。

15、在一些方面，该方法还包括：基于第一设备在当前物理环境中的位置以及3d表示与当前物理环境之间的空间关系或3d表示与当前物理环境之间的空间关系的近似值来确定对应于第一设备相对于3d表示的定位的定位数据，以及在第一设备与第二设备之间的通信会话期间提供定位数据，其中在通信会话期间向第二设备的用户呈现通信会话的视图，该视图包括基于定位数据定位的第一设备的用户的表示。

16、在一些方面，基于在通信会话期间获得的传感器数据来生成第一设备的用户的至少一部分的表示。在一些方面，该方法还包括基于在第一设备处的用户输入来更新在第二设备处的通信会话的视图的至少一部分。在一些方面，在第一设备处的3d表示的视图或当前物理环境的视图包括对在第二设备处的3d表示的视图的指示。

17、在一些方面，确定3d表示与当前物理环境之间的空间关系包括基于视觉匹配来对准特征。在一些方面，3d表示包括特征图，该特征图包括与物理环境相关联的特征，并且视觉匹配基于将与3d表示相关联的特征图和在当前物理环境中识别的特征进行匹配。在一些方面，3d表示包括锚定点，每个锚定点与物理环境内的特定位置相关联，并且视觉匹配基于锚定点。

18、在一些方面，确定3d表示与当前物理环境之间的空间关系基于视觉即时定位和地图构建(slam)。在一些方面，确定3d表示与当前物理环境之间的空间关系基于将3d表示的wifi签名和在当前物理环境中的第一设备的wifi签名进行匹配。在一些方面，确定3d表示与当前物理环境之间的空间关系基于3d表示与在当前物理环境中的第一设备的传感器数据之间的最佳拟合分析。在一些方面，确定3d表示与当前物理环境之间的空间关系基于将与由3d表示表示的物理环境中的对象相关联的语义数据和在当前物理环境中的对象相关联的语义数据进行匹配。

19、在一些方面，第一设备和第二设备在不同的物理环境中。在一些方面，在扩展现实(xr)体验中呈现通信会话的视图。在一些方面，第一设备或第二设备是头戴式设备(hmd)。

20、在一些方面，基于在通信会话期间获得的传感器数据来生成第一设备的用户的至少一部分的表示。在一些方面，该方法还包括基于在第一设备处的用户输入来更新在第二设备处的视图的至少一部分。

21、在一些方面，3d表示包括表示物理环境的至少一部分的点云。在一些方面，在第一设备处的3d表示的视图包括对在第二设备处的3d表示的视图的指示。

22、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令当由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一者。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一者的装置。