直播控制方法、装置、计算机设备及存储介质与流程

1.本公开涉及增强现实(augmented reality，ar)技术领域，具体而言，涉及一种直播控制方法、装置、计算机设备及存储介质。


背景技术：

2.在虚拟直播等场景下，真实人物可以控制虚拟角色执行相关动作，并将虚拟角色渲染显示出。在一些情况下，在对虚拟角色进行渲染显示时，可以将虚拟角色以ar的形式展示出，但由于虚拟角色并不在现实场景中实际存在，一般在呈现的ar场景下，虚拟角色并不能操控现实场景中的物品，这种方式下虚拟角色与现实场景之间的交互性较差。


技术实现要素：

3.本公开实施例至少提供一种直播控制方法、装置、计算机设备及存储介质。
4.第一方面，本公开实施例提供了一种直播控制方法，用于控制展示增强现实ar直播场景的直播画面；所述直播控制方法包括：获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据；基于所述第一交互行为数据，生成待融入第二现实场景中的虚拟主播与第二现实场景对象对应的第一三维模型之间的第二交互行为数据；所述第一三维模型采用透明材质；基于所述第二交互行为数据，以及所述第二现实场景的场景数据，生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的直播画面数据。
5.一种可选的实施方式中，在生成所述第二交互行为数据之后，所述方法还包括：响应于所述第一现实场景对象或第二现实场景对象发生状态变化，更新所述第一三维模型；其中更新后的第一三维模型相比更新前的第一三维模型的状态数据发生更新。
6.一种可选的实施方式中，获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据，包括：获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据；所述第一交互行为数据包括所述第一现实场景工具相对所述第一现实场景对象的第一动作数据和第一状态数据；所述基于所述第一交互行为数据，生成所述第二交互行为数据，包括：基于所述第一交互行为数据，生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据；所述第二交互行为数据包括所述第一虚拟场景工具相对所述第一三维模型的第二动作数据和第二状态数据。
7.一种可选的实施方式中，所述获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据，包括：获取所述真实主播使用第一现实场景工具，从所述第一现实场景对象中拣取第一现实场景物品的第一交互行为数据；所述生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据，包括：生成所述虚拟主播使用第一虚拟场景工具，从所述第二现实场景对象中拣取与第二现实场景物品对应的第二三维模型的第二交互行为数据。
8.一种可选的实施方式中，所述方法还包括：获取所述真实主播使用所述第一现实场景工具，将拣取的所述第一现实场景物品与所述第一现实场景中的第三现实场景物品进行交互的第三交互行为数据；基于所述第三交互行为数据，生成所述虚拟主播使用所述第一虚拟场景工具，将所述第二三维模型与所述第二现实场景中的第四现实场景物品对应的第三三维模型进行交互的第四交互行为数据，以及交互后所述第二三维模型的状态变化特效；基于所述第四交互行为数据，以及所述第二三维模型的状态变化特效，生成第二三维模型与所述第三三维模型之间进行交互的第二直播画面数据；将所述第二直播画面数据与所述第二现实场景的场景数据融合后，生成第四直播画面数据。
9.一种可选的实施方式中，所述第一现实场景对象和第二现实场景对象为火锅；所述第一虚拟场景工具与所述第一现实场景工具为餐具；所述第一现实场景物品和第二现实场景物品为食材；所述第三现实场景物品和第四现实场景物品为蘸料。
10.一种可选的实施方式中，所述生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的第二直播画面数据，包括：响应于所述第二三维模型与所述ar直播场景对应的虚拟相机的距离小于设定阈值，生成与所述第二现实场景对象对应的特效数据，并确定包含所述特效数据的所述第二直播画面数据。
11.第二方面，本公开实施例还提供一种直播控制装置，包括：获取模块，用于获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据；第一生成模块，用于基于所述第一交互行为数据，生成待融入第二现实场景中的虚拟主播与第二现实场景对象对应的第一三维模型之间的第二交互行为数据；所述第一三维模型采用透明材质；第二生成模块，用于基于所述第二交互行为数据，以及所述第二现实场景的场景数据，生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的直播画面数据。
12.一种可选的实施方式中，所述第一生成模块在生成所述第二交互行为数据之后，还用于：响应于所述第一现实场景对象或第二现实场景对象发生状态变化，更新所述第一三维模型；其中更新后的第一三维模型相比更新前的第一三维模型的状态数据发生更新。
13.一种可选的实施方式中，所述获取模块在获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据时，用于：获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据；所述第一交互行为数据包括所述第一现实场景工具相对所述第一现实场景对象的第一动作数据和第一状态数据；所述第一生成模块在基于所述第一交互行为数据，生成所述第二交互行为数据时，用于：基于所述第一交互行为数据，生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据；所述第二交互行为数据包括所述第一虚拟场景工具相对所述第一三维模型的第二动作数据和第二状态数据。
14.一种可选的实施方式中，所述获取模块在获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据时，用于：获取所述真实主播使用第一现实场景工具，从所述第一现实场景对象中拣取第一现实场景物品的第一交互行为数据；所述第一生成模块在生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据时，用于：生成所述虚拟主播使用第一虚拟场景工具，从所述第二现实场景对象中拣取与第二现实场景物品对应的第二三维模型的
第二交互行为数据。
15.一种可选的实施方式中，所述获取模块还用于：获取所述真实主播使用所述第一现实场景工具，将拣取的所述第一现实场景物品与所述第一现实场景中的第三现实场景物品进行交互的第三交互行为数据；基于所述第三交互行为数据，生成所述虚拟主播使用所述第一虚拟场景工具，将所述第二三维模型与所述第二现实场景中的第四现实场景物品对应的第三三维模型进行交互的第四交互行为数据，以及交互后所述第二三维模型的状态变化特效；基于所述第四交互行为数据，以及所述第二三维模型的状态变化特效，生成第二三维模型与所述第三三维模型之间进行交互的第二直播画面数据；将所述第二直播画面数据与所述第二现实场景的场景数据融合后，生成第四直播画面数据。
16.一种可选的实施方式中，所述第一现实场景对象和第二现实场景对象为火锅；所述第一虚拟场景工具与所述第一现实场景工具为餐具；所述第一现实场景物品和第二现实场景物品为食材；所述第三现实场景物品和第四现实场景物品为蘸料。
17.一种可选的实施方式中，所述获取模块在生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的第二直播画面数据时，用于：响应于所述第二三维模型与所述ar直播场景对应的虚拟相机的距离小于设定阈值，生成与所述第二现实场景对象对应的特效数据，并确定包含所述特效数据的所述第二直播画面数据。
18.第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
19.第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
20.本公开实施例提供的直播控制方法、装置、计算机设备及存储介质，在获取到真实主播与第一现实场景对象之间的第一交互行为数据后，可以利用第一交互行为数据，生成融入第二现实场景的虚拟主播与采用透明材质制作的、模拟第二现实场景对象的第一三维模型之间的第二交互行为数据，如此，在将该第二交互行为数据融入第二现实场景时，就可以呈现出虚拟主播在第二现实场景中与第二现实场景对象进行交互的直播画面数据，从而实现对虚拟角色与现实场景对象之间的交互控制，增强ar场景下的真实交互效果。
21.关于上述直播控制装置、计算机设备、及计算机可读存储介质的效果描述参见上述直播控制方法的说明，这里不再赘述。
22.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
23.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人
员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
24.图1为本公开实施例提供的一种直播控制方法的流程图；
25.图2为本公开实施例提供的一种第一现实场景的示意图；
26.图3为本公开实施例提供的一种真实主播在第一现实场景中与第一现实场景对象进行交互时的示意图；
27.图4为本公开实施例提供的一种利用直播画面数据渲染显示出的直播画面的示意图；
28.图5为本公开实施例提供的一种直播控制装置的示意图；
29.图6为本公开实施例提供的一种计算机设备结构示意图。
具体实施方式
30.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
31.利用ar技术可以控制虚拟角色渲染显示在现实场景的场景画面上，而由于虚拟角色并不能实际操控现实场景中的现实场景对象，比如虚拟角色并不能对现实场景中实际存在的物品进行拾取、移动等操作，也不能使物品的状态发生变化，因此缺少虚拟角色与现实场景对象之间的交互性。
32.基于上述研究，本公开实施例提供了一种直播控制方法，在第一现实场景中，存在真实存在的真实主播以及第一现实场景对象；在获取到真实主播与第一现实场景对象之间的第一交互行为数据后，可以利用第一交互行为数据，生成融入第二现实场景的虚拟主播与采用透明材质制作的、模拟第二现实场景对象的第一三维模型之间的第二交互行为数据；将该第二交互行为数据与第二现实场景数据融合，就可以呈现出虚拟主播在第二现实场景中与第二现实场景对象进行交互的直播画面数据，从而实现对虚拟角色与现实场景对象之间的交互控制。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
34.为便于对本实施例进行理解，首先对本公开实施例所公开的一种直播控制方法进行详细介绍，本公开实施例所提供的直播控制方法的执行主体一般为具有一定计算能力的计算机设备。具体地，由于本公开实施例提供的直播控制方法可以应用于ar场景，因此计算机设备例如可以包括但不限于可以支持ar显示的设备，例如手机、平板电脑等移动设备；或者ar穿戴设备，例如ar眼镜。在一些可能的实现方式中，该直播控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
35.下面对本公开实施例的直播控制方法做详细说明。本公开实施例提供的直播控制方法可以用于展示ar直播场景的直播画面。在一种可能的情况下，在将本公开实施例提供
的直播控制方法应用于虚拟直播的场景下，直播画面可以在观看虚拟直播的用户对应的用户端进行展示。
36.本公开实施例中的ar直播场景，在一种情况下，可以是1)基于直播服务器的视频直播场景，比如，在生成3d视频画面数据(比如下述实施例中描述的虚拟主播在第二现实场景中与第二现实场景对象进行交互的直播画面数据)后，通过直播服务器直接推流到各个观众端进行显示。在另一种情况下，也可以是2)在应用(application，app)内利用三维(threedimensions，3d)引擎进行的应用内直播，比如，应用服务器可以将待渲染的3d视频数据(比如下述实施例中描述的第二交互行为数据 第二现实场景的场景数据)发送到各个用户的应用客户端，应用客户端可以利用3d引擎，对3d视频数据进行本地渲染，从而展示出3d视频画面。
37.如图1所示，为本公开实施例提供的一种直播控制方法的流程图，主要包括以下步骤s101～s103：
38.s101：获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据；
39.s102：基于所述第一交互行为数据，生成待融入第二现实场景中的虚拟主播与第二现实场景对象对应的第一三维模型之间的第二交互行为数据；所述第一三维模型采用透明材质；
40.s103：基于所述第二交互行为数据，以及所述第二现实场景的场景数据，生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的直播画面数据。
41.针对上述s101，首先对第一现实场景、以及在第一现实场景中的真实主播与第一现实场景对象进行说明。
42.其中，真实主播包括真实存在的人，除进行直播的职能工作外，还可以在第一现实场景中移动。第一现实场景，包括真实主播所在的现实场景，例如餐厅、厨房等。另外，在第一现实场景中还包括有真实存在的第一现实场景对象，例如为火锅，因此真实主播还可以通过拾取、移动等不同的动作变化，与第一现实场景对象进行交互。例如，虚拟主播可以夹取火锅中的食物。
43.示例性的，参见图2所示，为本公开实施例提供的一种第一现实场景的示意图。在第一现实场景中包括真实主播21，以及可以作为第一现实场景对象、且真实存在的物品22，其为一个火锅。在火锅中22有汤料。
44.在第一现实场景中，真实主播操控第一现实场景对象时，相应的可以产生真实主播与第一现实场景对象之间的第一交互行为数据。基于得到的第一交互行为数据，可以生成虚拟主播在第二现实场景中、与其中的第二现实场景对象对应的第一三维模型之间执行交互行为时的第二交互行为数据。第一现实场景对象和第二现实场景对象为同一类型对象，比如都为火锅。
45.其中，在获取第一交互行为数据时，具体可以获取通过行为捕捉设备捕捉虚拟主播的行为数据，以及所述虚拟主播所操控的所述第一现实场景对象的状态数据。其中，行为数据包括捕捉的动作数据和/或音频数据。
46.这里，行为数据也即通过各种动作捕捉设备捕捉的指示虚拟主播发生的一系列行为的数据，状态数据可以是控制现实场景对象的监控设备(摄像装置、各种检测设备等)监
控到的指示第一现实场景对象发生的状态变化的数据，比如在夹取出火锅中的食物后，火锅的水位变化等等。此处，对于水位变化的状态变化，在下文中具体进行介绍，在此不再赘述。
47.其中，用于获取行为数据的动作捕捉设备，具体可以包括感应虚拟主播的身体各部位动作的传感器设备，比如动捕手套、动捕头盔(用于捕捉面部表情动作)、以及发声捕捉设备(比如捕捉嘴部发声的麦克风和捕捉发声动作的喉麦)等。行为数据包括动作捕捉设备对虚拟主播捕捉的动作数据和/或音频数据。这样，利用动作捕捉设备对虚拟主播的动作、音频等进行捕捉，可以生成虚拟主播的行为数据。或者，动作捕捉设备也可以包括摄像头，通过摄像头拍摄虚拟主播得到视频帧图像，并对视频帧图像进行人体动作的语义特征识别，也可以相应地确定虚拟主播的行为数据。
48.下面，对于在本公开实施例中获取第一交互行为数据的具体方式进行说明。
49.在具体实施中，在获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据时，具体可以采用下述方式：获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据；所述第一交互行为数据包括所述第一现实场景工具相对所述第一现实场景对象的第一动作数据和第一状态数据。
50.此处，对于上述说明的真实主播与第一现实场景对象之间的交互，还可以通过第一现实场景工具辅助进行。以上述示例中说明的虚拟主播与火锅之间的交互包括夹取火锅中的食物为例，在第一现实场景中按照生活中惯常食用火锅的方式，并不会直接用手抓取火锅中的食物，而是会借助于筷子、漏勺等工具从火锅中取出食物。此处说明的筷子、漏勺等餐具，也即上述说明的真实主播所使用的第一现实场景工具；真实主播利用第一现实场景工具与第一现实场景对象之间的交互，例如包括上述说明的真实主播手持筷子从火锅中夹取食物。
51.示例性的，参见图3所示，为本公开实施例提供的一种真实主播在第一现实场景中与第一现实场景对象进行交互时的示意图。在该示意图中，真实主播31手持筷子32，并将筷子插入火锅33中。
52.具体地，在获取第一交互数据时，可以获取的第一交互数据具体包括真实主播利用餐具与火锅进行交互时的第一交互行为数据。相应的，第一交互行为数据包括第一现实场景工具-餐具，相对于第一现实场景对象-火锅的第一动作数据，比如餐具插入火锅时的动作数据；以及，第一现实场景工具-餐具相对于第一现实场景对象-火锅而言对应的第一状态数据，比如由于餐具插入火锅而造成的餐具的一部分被遮挡的状态数据。
53.其中，针对上述说明的第一状态数据。参见图3所示，在真实主播31手持筷子32插入火锅33后，在图3中示出的拍摄视角下，由于火锅33的遮挡，筷子32中填充方格的部分并不能被看到。在获取第一交互行为数据时，可以得到这样反应第一现实场景工具与第一现实场景对象之间的第一状态数据。
54.这样，即可以获取到第一交互行为数据。
55.针对上述s102，在获取得到第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据后，还可以利用第一交互行为数据确定第二交互行为数据。第二交互行为数据用于渲染显示出虚拟主播与第二现实场景对象之间的交互动作。
56.承接上述s101中的示例，若第一交互行为数据包括真实主播使用第一现实场景工具与第一现实场景对象之间进行交互时产生的交互行为数据，则在基于第一交互行为数据生成第二交互行为数据时，可以基于所述第一交互行为数据，生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据。
57.其中，第一虚拟场景工具与第一现实场景工具对应，两者可以为同一类型道具，比如都为虚拟的餐具。若在第一现实场景中真实主播手持餐具，并将餐具插入火锅时，对应的第二交互行为数据可以渲染显示出虚拟主播手持第一虚拟场景工具，并将第一虚拟场景工具插入第一三维模型。在第二现实场景中真实存在的物品包括第二现实场景对象，第二现实场景对象与第一现实场景对象种类相同，进一步的，第二现实场景中第二现实场景对象摆放的位置，也可以与第一现实场景对象在第一现实场景中的摆放位置相同。第一三维模型则包括第二现实场景对象对应的三维模型，其为透明材质，也即在叠加在第二现实场景对象上渲染显示时，并不能被肉眼看到，但是第二交互行为数据可以反映出第一三维模型与虚拟主播/第一虚拟场景工具之间的遮挡关系，比如筷子位于透明的火锅三维模型之内时，被火锅中的水遮挡的部分是看不见的。
58.与上述第一交互行为数据相对应地，所述第二交互行为数据包括所述第一虚拟场景工具相对所述第一三维模型的第二动作数据和第二状态数据。其中，第二动作数据可以用于渲染显示出虚拟主播持有第一虚拟场景工具，并将第一虚拟场景工具插入第一三维模型的动作。第二状态数据，可以反应出第一三维模型对第一虚拟场景工具的遮挡状态。
59.此处，利用第二状态数据可以提高虚拟主播与第二现实场景对象进行交互时的真实性，具体体现在渲染显示虚拟主播和第一三维模型时，渲染显示出的直播画面真实性较高。具体地，由于第一三维模型采用透明材质，因此在进行渲染显示时，并不会对第二现实场景中的第二现实场景对象火锅产生遮挡。但由于第二状态数据可以反应出第二现实场景对象应当对第一虚拟场景工具的遮挡关系，因此在渲染显示出第一虚拟场景工具时，还可以呈现出其插入第一三维模型中而被遮挡的效果，这符合在真实世界中物品之间由于位置的变化而存在的遮挡逻辑，因此更能够提升在渲染显示时的真实性。
60.在本公开另一实施例中，针对上述s101，在获取真实主播使用第一现实场景工具与第一现实场景对象之间进行交互的第一交互行为数据时，还可以获取所述真实主播使用第一现实场景工具，从所述第一现实场景对象中拣取第一现实场景物品的第一交互行为数据。
61.此处，真实主播使用第一现实场景工具，从第一现实场景对象中可捡取的第一现实场景物品可以包括食材。第一交互行为数据也可以包括有反应第一现实场景物品相对第一三维模型的第三动作数据、以及第三状态数据。此处，第一现实场景物品相对第一三维模型的第三动作数据，例如可以表征第一现实场景物品相对于第一现实场景对象中提升出的动作；第三状态数据可以表征第一现实场景物品由被第一现实场景对象遮挡的状态，至逐渐减少遮挡的状态，并随着第一现实场景工具的抬升而最终向上被捡取出的状态。
62.相应的，对于虚拟主播与第一三维模型之间的交互，也还可以包括虚拟主播相似的利用第一虚拟场景工具从第一三维模型中捡取“食材”。由于虚拟主播、第一三维模型均为虚拟的，并不实际存在，因此此处说明的“食材”对应于第二现实场景物品，但实际上是虚拟的三维模型，此处将其称为第二三维模型。
63.这里，对于第一现实场景中的真实主播而言，可以捡取的第一现实场景物品食材的种类可以较为丰富，例如蔬菜、豆制品、肉制品等等。若虚拟主播与第一三维模型之间的交互可以尽量真实的模拟反映出第一现实场景中真实主播与第一现实场景对象之间的交互，采用的第二三维模型的种类可以与第一现实场景物品的种类一一对应，例如预先准备好蔬菜、豆制品、肉制品等分别对应的第二三维模型。在确定第一现实场景中真实主播捡取的第一现实场景物品的种类后，即可以从预先确定的多种第二三维模型中确定与第一现实场景物品对应的第二三维模型，从而更能真实的反应出的第一现实场景中真实主播与第一现实场景对象在交互时的细节。
64.在确定第一交互行为数据后，也可以生成第二交互行为数据。具体地，可以生成所述虚拟主播使用第一虚拟场景工具，从所述第二现实场景对象中拣取与第二现实场景物品对应的第二三维模型的第二交互行为数据。
65.这样，利用第二交互行为数据，即可以渲染显示出得虚拟主播使用的第一虚拟场景工具，从第二现实场景对象中捡取出第二三维模型的效果。其中，第二现实场景对象在被捡取出时，也可以显示出开始被第二现实场景对象所遮挡，然后遮挡逐渐减少，并随着第一虚拟场景工具的抬升而被捡取出的状态。
66.在确定第二交互行为数据后，还可以响应于所述第一现实场景对象或第二现实场景对象发生状态变化，更新所述第一三维模型；其中更新后的第一三维模型相比更新前的第一三维模型的状态数据发生更新。
67.此处，第一现实场景对象或第二现实场景对象发生的状态变化，可以包括其中的水位发生的变化。例如，在将第一现实场景工具插入第一现实场景对象，或者利用第一现实场景工具将第一现实场景物品捡取出，或者随着时间的推移，第一现实场景对象中的水分被蒸发等的情况下，第一现实场景中的水位均会发生变化。在这种情况下，可以对第一三维模型进行更新，例如根据第一现实场景对象中水位的变化，确定第一三维模型中可以渲染显示出的水位变化，以提高渲染显示出的画面的真实性。
68.针对上述s103，在根据上述方式获取到第二交互行为数据后，还可以利用获取到的第二现实场景的场景数据，生成虚拟主播在第二现实场景中与第二现实场景对象进行交互的直播画面数据。
69.此处，可以通过的图像采集的方式，获取到第二现实场景的影像数据，作为第二现实场景的场景数据。根据上述s102中说明的实施例，第二交互行为数据可以用于渲染显示出待融入第二现实场景中的虚拟主播与第一三维模型之间的交互行为，因此利用第二交互行为数据、以及第二现实场景的场景数据，可以在直播画面中渲染显示出虚拟主播在第二现实场景中与第一三维模型之间的交互，从而达到ar显示的效果。
70.针对生成直播画面数据的方式，可以包括但不限于下述(a)和(b)说明的两种具体方式：
71.(a)：采用叠加的方式生成直播画面数据。
72.在该种方式中，第二交互行为数据和场景数据各自独立，并均作为直播画面数据的一部分。在后续利用直播画面数据渲染展示出直播画面时，利用第二交互行为数据可以渲染显示出虚拟主播与第一三维模型进行交互的画面；利用场景数据渲染展示出直播画面时，则可以显示出与其中真实存在的第二现实场景对象。由于第一三维模型与第二现实场
景对象对应，且为透明材质，因此在将的两种数据叠加展示时，第一三维模型与第二现实场景对象对齐展示，但并不被肉眼可见，因此不会出现重影，并且可以反应出虚拟主播与第二现实场景对象之间进行交互的效果。
73.(b)：采用融合的方式生成直播画面数据。
74.在该种方式中，可以先将第二交互行为数据与场景数据进行融合，融合的结果即为待渲染显示的直播画面数据。在融合时，也需要将其中的数据执行“对齐”操作，比如将直播画面数据中第一三维模型对应的数据，与场景数据中第二现实场景对象对应的数据“对齐”，在渲染显示出的直播画面上表现为第一三维模型叠加在第二现实场景对象上。这样，在进行渲染显示时，可以直接渲染显示出在第二现实场景中虚拟主播与第二现实场景对象之间的交互效果，与上述(a)中达到的效果相同。
75.示例性的，参见图4所示，为本公开实施例提供的一种利用直播画面数据渲染显示出的直播画面的示意图。在直播画面中，与上述图3相似的，图4中第二现实场景对象41与图3中第一现实场景对象33相同种类，第二现实场景对象41对应的第一三维模型由于是透明材质而并不显示出，虚拟主播42通过第一虚拟场景工具43进行与第二现实场景对象之间的交互。此处，虚拟主播42和第一虚拟场景工具43均为不真实存在的、渲染显示出的图像。
76.在本公开另一实施例中，对于在第一现实场景中被捡取出的第一现实场景物品，还可以与在第一现实场景中存在的其他现实场景物品进行交互，例如蘸料。此处，将蘸料这种可以与第一现实场景物品产生交互的其他现实场景物品称为第三现实场景物品；以及，将第一现实场景物品与第三现实场景物品之间进行交互产生的交互行为数据称为第三交互行为数据。
77.在具体实施中，可以获取所述真实主播使用所述第一现实场景工具，将拣取的所述第一现实场景物品与所述第一现实场景中的第三现实场景物品进行交互的第三交互行为数据。
78.此处，第一现实场景物品与第三现实场景物品之间的交互行为，一方面包括第一现实场景物品没入第三现实场景物品中后，重新从第三现实场景物品中取出的动作数据。另一方面，还可以包括第一现实场景物品蘸取到第三现实场景物品后，在第一现实场景物品上挂留有第三现实场景物品的状态数据，以及第三现实场景物品变少的状态数据。
79.相应的，基于所述第三交互行为数据，可以生成所述虚拟主播使用所述第一虚拟场景工具，将所述第二三维模型与所述第二现实场景中的第四现实场景物品对应的第三三维模型进行交互的第四交互行为数据，以及交互后所述第二三维模型的状态变化特效。
80.其中，第四现实场景物品为在第二现实场景中与第三现实场景物品对应的、实际存在的同一类型物品，例如与上述示例中第三现实场景物品相同，也包括蘸料，或者包括放置蘸料的蘸料碟。相应的，第四现实场景物品对应的第三三维模型包括蘸料模型，或者蘸料碟模型。
81.示例性的，若第三三维模型包括蘸料模型，则控制第二三维模型与第三三维模型进行交互的第四交互行为数据，包括将第二三维模型深入至第三三维模型中并取出，以及对于第三三维模型进行更新，以显示出其中的蘸料变少。另外，在第二三维模型与第三三维模型进行交互后，第二三维模型的状态变化特效，例如可以包括第二三维模型中挂留蘸料的状态变化特效，或者进一步的显示出挂留的蘸料因为重力的原因在第二三维模型上缓缓
下流的效果。
82.在得到第四交互行为数据、以及第二三维模型的状态变化特效后，可以生成第二三维模型与第三三维模型之间进行交互的第二直播画面数据。
83.此处，在获取第二直播画面数据时，还可以响应于所述第二三维模型与所述ar直播场景对应的虚拟相机的距离小于设定阈值，生成与所述第二现实场景对象对应的特效数据，并确定包含所述特效数据的所述第二直播画面数据。
84.此处，虚拟相机可以理解为虚拟出的用于拍摄虚拟场景的相机。若真实主播控制虚拟主播将第二三维模型靠近虚拟相机，并确定第二三维模型与虚拟相机之间的距离小于设定阈值，例如10厘米，则可以显示出第二三维模型更多的细节，例如确定显示出雾气特效，并根据第二现实场景对象的位置，相应的生成对应位置的雾气特效数据。利用这样确定的雾气特效数据，可以进一步确定第二直播画面数据。另外，也可以在将所述第二直播画面数据与所述第二现实场景的场景数据融合后，生成第四直播画面数据。
85.此处，进行场景数据融合的方式，可以参考上述(b)中说明的方式，在此不再赘述。这样，得到的第四直播画面数据中，还可以显示出虚拟主播控制第二三维模型与第三三维模型进行交互的行为。
86.本公开实施例提供的直播控制方法，在获取到真实主播与第一现实场景对象之间的第一交互行为数据后，可以利用第一交互行为数据，生成融入第二现实场景的虚拟主播与采用透明材质制作的、模拟第二现实场景对象的第一三维模型之间的第二交互行为数据，如此，在将该第二交互行为数据融入第二现实场景时，就可以呈现出虚拟主播在第二现实场景中与第二现实场景对象进行交互的直播画面数据，从而实现对虚拟角色与现实场景对象之间的交互控制，增强ar场景下的真实交互效果。
87.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
88.基于同一发明构思，本公开实施例中还提供了与直播控制方法对应的直播控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟角色控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
89.如图5所示，为本公开实施例提供的一种直播控制装置的示意图，包括：获取模块51、第一生成模块52、以及第二生成模块53；其中，
90.获取模块51，用于获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据；
91.第一生成模块52，用于基于所述第一交互行为数据，生成待融入第二现实场景中的虚拟主播与第二现实场景对象对应的第一三维模型之间的第二交互行为数据；所述第一三维模型采用透明材质；
92.第二生成模块53，用于基于所述第二交互行为数据，以及所述第二现实场景的场景数据，生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的直播画面数据。
93.一种可选的实施方式中，所述第一生成模块52在生成所述第二交互行为数据之后，还用于：响应于所述第一现实场景对象或第二现实场景对象发生状态变化，更新所述第
一三维模型；其中更新后的第一三维模型相比更新前的第一三维模型的状态数据发生更新。
94.一种可选的实施方式中，所述获取模块51在获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据时，用于：获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据；所述第一交互行为数据包括所述第一现实场景工具相对所述第一现实场景对象的第一动作数据和第一状态数据；所述第一生成模块52在基于所述第一交互行为数据，生成所述第二交互行为数据时，用于：基于所述第一交互行为数据，生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据；所述第二交互行为数据包括所述第一虚拟场景工具相对所述第一三维模型的第二动作数据和第二状态数据。
95.一种可选的实施方式中，所述获取模块51在获取所述真实主播使用第一现实场景工具与所述第一现实场景对象之间进行交互的所述第一交互行为数据时，用于：获取所述真实主播使用第一现实场景工具，从所述第一现实场景对象中拣取第一现实场景物品的第一交互行为数据；所述第一生成模块52在生成所述虚拟主播使用第一虚拟场景工具与所述第一三维模型之间进行交互的所述第二交互行为数据时，用于：生成所述虚拟主播使用第一虚拟场景工具，从所述第二现实场景对象中拣取与第二现实场景物品对应的第二三维模型的第二交互行为数据。
96.一种可选的实施方式中，所述获取模块51还用于：获取所述真实主播使用所述第一现实场景工具，将拣取的所述第一现实场景物品与所述第一现实场景中的第三现实场景物品进行交互的第三交互行为数据；基于所述第三交互行为数据，生成所述虚拟主播使用所述第一虚拟场景工具，将所述第二三维模型与所述第二现实场景中的第四现实场景物品对应的第三三维模型进行交互的第四交互行为数据，以及交互后所述第二三维模型的状态变化特效；基于所述第四交互行为数据，以及所述第二三维模型的状态变化特效，生成第二三维模型与所述第三三维模型之间进行交互的第二直播画面数据；将所述第二直播画面数据与所述第二现实场景的场景数据融合后，生成第四直播画面数据。
97.一种可选的实施方式中，所述第一现实场景对象和第二现实场景对象为火锅；所述第一虚拟场景工具与所述第一现实场景工具为餐具；所述第一现实场景物品和第二现实场景物品为食材；所述第三现实场景物品和第四现实场景物品为蘸料。
98.一种可选的实施方式中，所述获取模块51在生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的第二直播画面数据时，用于：响应于所述第二三维模型与所述ar直播场景对应的虚拟相机的距离小于设定阈值，生成与所述第二现实场景对象对应的特效数据，并确定包含所述特效数据的所述第二直播画面数据。
99.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
100.本公开实施例还提供了一种计算机设备，如图6所示，为本公开实施例提供的一种计算机设备结构示意图，包括：
101.处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
102.获取位于第一现实场景中的真实主播与第一现实场景对象之间的第一交互行为数据；基于所述第一交互行为数据，生成待融入第二现实场景中的虚拟主播与第二现实场景对象对应的第一三维模型之间的第二交互行为数据；所述第一三维模型采用透明材质；基于所述第二交互行为数据，以及所述第二现实场景的场景数据，生成所述虚拟主播在所述第二现实场景中与所述第二现实场景对象进行交互的直播画面数据。
103.上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。
104.上述指令的具体执行过程可以参考本公开实施例中所述的控制方法的步骤，此处不再赘述。
105.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的直播控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
106.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的直播控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
107.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
108.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
109.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
110.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
111.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所
述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
112.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。