将媒体内容与三维场景整合的制作方法

本公开一般涉及提供位置的沉浸式视图。例如，本公开涉及用于通过将先前获得的图像与媒体(例如，图像、声音等)整合以指示位置在各种条件下的状态来提供位置的沉浸式视图的方法和系统。

背景技术：

1、用户使用相机或配备有相机的电话(例如，智能电话)捕获包括餐馆或公园的兴趣点的图像。兴趣点的图像可以用于虚拟地导航和体验空间，然而图像可能无法向观看者提供兴趣点的状态的准确表示。另外，由于图像中缺少人或动态对象，对兴趣点的环境或氛围的感觉可能不准确。

技术实现思路

1、本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过示例实施例的实践来学习。

2、在一个或多个示例实施例中，提供了一种用于将媒体内容与三维场景整合以提供位置的沉浸式视图的计算机实现的方法。例如，该方法包括获得基于多个图像生成的位置的三维(3d)场景，接收在时间上与所述位置相关联的媒体内容，将媒体内容的至少一部分与该位置的3d场景整合，以及基于媒体内容与该位置的时间关联，提供具有与该位置的3d场景整合的媒体内容的至少一部分的该位置的整合3d场景，以表示该位置的状态。

3、在一些实施方式中，媒体内容包括由一个或多个用户捕获的用户生成的媒体内容。

4、在一些实施方式中，用户生成的媒体内容包括用户生成的视觉内容或用户生成的音频内容中的至少一个。

5、在一些实施方式中，用户生成的媒体内容包括位置的图像，该位置的图像包括一个或多个现实世界动态对象，并且将媒体内容的至少一部分与位置的3d场景整合包括：从位置的图像中提取一个或多个现实世界动态对象并确定3d场景内的一个或多个位置以放置一个或多个现实世界动态对象。

6、在一些实施方式中，包括一个或多个现实世界动态对象的位置的图像包括：所述位置的第一图像和所述位置的第二图像，所述第一图像包括由所述一个或多个用户在第一时间在所述位置处捕获的所述一个或多个现实世界动态对象的第一部分，所述第二图像包括由所述一个或多个用户在第二时间在所述位置处捕获的所述一个或多个现实世界动态对象的第二部分。提供具有与该位置的3d场景整合的媒体内容的至少一部分的该位置的3d场景可以包括：提供与第一时间相关联的该位置的第一3d场景，该第一3d场景具有与该位置的第一3d场景整合的一个或多个现实世界动态对象的第一部分，以及提供与第二时间相关联的该位置的第二3d场景，该第二3d场景具有与该位置的第二3d场景整合的一个或多个现实世界动态对象的第二部分。

7、在一些实施方式中，用户生成的媒体内容包括由一个或多个用户在第一时间在该位置处捕获的第一音频和由一个或多个用户在第二时间在该位置处捕获的第二音频，并且提供具有与该位置的3d场景整合的媒体内容的至少一部分的该位置的3d场景包括：提供与第一时间相关联的该位置的第一3d场景，该第一3d场景具有与该位置的第一3d场景整合的第一音频；以及提供与所述第二时间相关联的所述位置的第二3d场景，所述第二3d场景具有与所述位置的所述第二3d场景整合的所述第二音频。

8、在一些实施方式中，媒体内容包括机器生成的媒体内容。

9、在一些实施方式中，机器生成的媒体内容包括机器生成的视觉内容或机器生成的音频内容中的至少一个。

10、在一些实施方式中，基于由一个或多个用户捕获的用户生成的媒体内容来合成机器生成的媒体内容。

11、在一些实施方式中，用户生成的媒体内容包括包括一个或多个现实世界动态对象的位置的图像。在一些实施方式中，该方法还包括：从图像中提取一个或多个现实世界动态对象，并将一个或多个现实世界动态对象转换为一个或多个现实世界动态对象的对应图形表示，并且将媒体内容的至少一部分与位置的3d场景整合包括确定3d场景内的一个或多个位置以放置一个或多个现实世界动态对象的对应图形表示。

12、在一些实施方式中，一个或多个现实世界动态对象包括一个或多个人，并且一个或多个现实世界动态对象的对应图形表示包括一个或多个人的对应3d数字化身。

13、在一些实施方式中，包括一个或多个现实世界动态对象的位置的图像包括：所述位置的第一图像和所述位置的第二图像，所述第一图像包括由所述一个或多个用户在第一时间在所述位置处捕获的所述一个或多个现实世界动态对象的第一部分，所述第二图像包括由所述一个或多个用户在第二时间在所述位置处捕获的所述一个或多个现实世界动态对象的第二部分。提供具有与该位置的3d场景整合的媒体内容的至少一部分的该位置的3d场景可以包括：提供与所述第一时间相关联的所述位置的第一3d场景，所述第一3d场景具有对应于与所述位置的所述第一3d场景整合的所述一个或多个现实世界动态对象的所述第一部分的第一图形表示，以及提供与所述第二时间相关联的所述位置的第二3d场景，所述第二3d场景具有对应于与所述位置的所述第二3d场景整合的所述一个或多个现实世界动态对象的所述第二部分的第二图形表示。

14、在一些实施方式中，用户生成的媒体内容包括由一个或多个用户在第一时间在该位置处捕获的第一音频和由一个或多个用户在第二时间在该位置处捕获的第二音频。在一些实施方式中，该方法还包括：基于第一音频合成第一合成音频记录，以及基于第二音频合成第二合成音频记录。提供具有与该位置的3d场景整合的媒体内容的至少一部分的该位置的3d场景包括：提供与第一时间相关联的该位置的第一3d场景，该第一3d场景具有与该位置的第一3d场景整合的第一合成音频记录，以及提供与第二时间相关联的该位置的第二3d场景，该第二3d场景具有与该位置的第二3d场景整合的第二合成音频记录。

15、在一些实施方式中，该方法还包括基于由设置在该位置处的一个或多个传感器获得的传感器数据来合成机器生成的媒体内容。

16、在一些实施方式中，基于由设置在该位置处的一个或多个传感器获得的传感器数据来合成机器生成的媒体内容包括：基于由一个或多个传感器获得的传感器数据来确定在第一时间在该位置处的人数，基于由一个或多个传感器获得的传感器数据来确定关于在第一时间在该位置处的人的特征，根据人数并且根据关于在第一时间在该位置处的人的特征来生成在该位置处的人的图形表示，以指示在第一时间该位置的状态，并且将媒体内容的至少一部分与该位置的3d场景整合包括确定在3d场景内放置人的图形表示的一个或多个位置。

17、在一个或多个示例实施例中，提供了一种计算设备(例如，膝上型计算机、桌子、智能电话等)。计算设备可以包括输入设备、显示设备、用于存储指令的至少一个存储器、以及被配置为执行指令以执行操作的至少一个处理器。操作可以包括：经由输入设备接收请求位置的第一沉浸式视图的第一输入，该第一沉浸式视图表示位置在第一时间的第一状态，提供位置的第一沉浸式视图以用于在显示设备上呈现，该第一沉浸式视图包括：基于多个图像生成的位置的三维(3d)场景，以及与位置的3d场景整合的第一媒体内容，第一媒体内容表示位置在第一时间的第一状态。该操作还可以包括经由输入设备接收请求该位置的第二沉浸式视图的第二输入，该第二沉浸式视图表示该位置在第二时间的第二状态，并且提供该位置的第二沉浸式视图用于在显示设备上呈现，该第二沉浸式视图包括：基于多个图像生成的该位置的3d场景，以及与该位置的3d场景整合的第二媒体内容，该第二媒体内容表示该位置在第二时间的第二状态。

18、在一些实施方式中，第一媒体内容包括由一个或多个用户捕获的用户生成的媒体内容或机器生成的媒体内容中的至少一个，用户生成的媒体内容包括用户生成的视觉内容或用户生成的音频内容中的至少一个，并且机器生成的媒体内容包括机器生成的视觉内容或机器生成的音频内容中的至少一个。

19、在一些实施方式中，操作还包括：经由输入设备接收第三输入，提供由计算设备的用户捕获的用户生成的媒体内容，用户生成的媒体内容在时间上与第一时间相关联，将用户生成的媒体内容发送到服务器计算系统或数据库中的至少一个，服务器计算系统被配置为提供表示位置在第一时间的第一状态的位置的第一沉浸式视图，经由所述输入设备接收请求所述位置的所述第一沉浸式视图的第四输入，所述第一沉浸式视图表示所述位置在所述第一时间的所述第一状态，提供所述位置的所述第一沉浸式视图以用于在所述显示设备上呈现，所述第一沉浸式视图包括：基于所述多个图像生成的所述位置的所述3d场景，以及与所述位置的所述3d场景整合的更新的第一媒体内容，所述更新的第一媒体内容表示所述位置在所述第一时间的所述第一状态，并且包括由所述计算设备的所述用户捕获的所述用户生成的媒体内容的至少一部分。

20、在一个或多个示例实施例中，提供了一种服务器系统(例如，服务器)。服务器系统可以包括：至少一个存储器，用于存储指令；以及至少一个处理器，其被配置为执行所述指令以执行操作，所述操作包括：获得基于多个图像生成的位置的三维(3d)场景，接收与所述位置在时间上相关联的媒体内容，将所述媒体内容的至少一部分与所述位置的3d场景整合，以及基于媒体内容与位置的时间关联，提供具有与位置的3d场景整合的媒体内容的至少一部分的位置的3d场景，以表示位置的状态。

21、在一些实施方式中，媒体内容包括由一个或多个用户捕获的用户生成的媒体内容或机器生成的媒体内容中的至少一个，用户生成的媒体内容包括用户生成的视觉内容或用户生成的音频内容中的至少一个，并且机器生成的媒体内容包括机器生成的视觉内容或机器生成的音频内容中的至少一个。

22、在一个或多个示例实施例中，提供了一种存储可由计算系统的一个或多个处理器执行的指令的计算机可读介质(例如，非暂时性计算机可读介质)。在一些实施方式中，计算机可读介质存储指令，该指令可以包括使一个或多个处理器执行与本文描述的任何方法相关联的一个或多个操作(例如，服务器计算系统的操作和/或计算设备的操作)的指令。计算机可读介质可以存储附加指令以执行服务器计算系统和计算设备的其他方面以及相应的操作方法，如本文所述。

23、参考以下描述、附图和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与说明书一起用于解释相关原理。