一种智能体控制方法、装置及系统与流程

本发明涉及计算机，特别是涉及一种智能体控制方法、装置及系统。

背景技术：

1、在游戏领域中，npc(non-player character，非玩家角色)是游戏中不可缺少的智能体。npc这种智能体用于与作为阵营的玩家进行交互，向玩家提供背景信息、奖励、玩法、协同对抗等功能。其中，npc在游戏中的意图和行为需要合乎常理，或者npc的表现要与玩家一致，且不能影响玩家的游戏体验。

2、相关技术中，采用深度学习的方式训练神经网络，训练完成的神经网络可以根据当前的对局状态直接预测出npc所需执行的各个对局动作，使得npc依次执行各个对局动作，实现npc的控制。

3、然而，采用相关技术，神经网络需要根据当前对局状态的各种复杂数据直接生成npc所需执行的各个对局动作，神经网络所需执行的任务十分复杂，并且，神经网络的训练也非常复杂，导致在实现智能体控制时，存在算力资源消耗过大的问题。

技术实现思路

1、本发明实施例的目的在于提供一种智能体控制方法、装置及系统，以在实现智能体控制时，减少算力资源的消耗。具体技术方案如下：

2、第一方面，本发明实施例提供了一种智能体控制系统，所述系统包括：对局预测层、智能体调度层、智能体决策层以及智能体动作库；

3、所述对局预测层，用于针对虚拟场景中的任一阵营，周期性获取关于该阵营的实时对局的对局数据，响应于获取到所述对局数据，确定所述对局数据对应的、该阵营在下一周期内的阵营对局任务；其中，所述对局数据至少包括该阵营的状态数据；

4、所述智能体调度层，用于基于所述阵营对局任务，以及所述虚拟场景中的智能体的目标属性数据，确定该阵营中待被调度以完成所述阵营对局任务的各个第一智能体，并为各个第一智能体生成在下一周期内所需执行的任务，得到各个第一智能体对应的子任务；

5、所述智能体决策层，用于响应于下一周期的到达，针对每一第一智能体，根据该第一智能体的关于实时对局的目标描述数据，确定用于完成对应的子任务所需的实时决策；调用所述智能体动作库以获取该第一智能体执行所述实时决策时所需的对局动作，并控制该第一智能体执行所述对局动作。

6、可选地，所述智能体决策层针对每一第一智能体，根据该第一智能体的关于实时对局的目标描述数据，确定用于完成对应的子任务所需的实时决策，包括：

7、针对每一第一智能体，响应于该第一智能体的关于实时对局的目标描述数据表征第一类信息内容，则确定用于阻拦其他阵营的决策以及用于执行所对应的子任务的决策，得到用于完成对应的子任务所需的实时决策；其中，所述第一类信息内容为该第一智能体在执行对应的子任务时，存在其他阵营阻拦该第一智能体；

8、响应于该第一智能体的关于实时对局的目标描述数据表征第二类信息内容，则确定用于执行所对应的子任务的决策，得到用于完成对应的子任务所需的实时决策；其中，所述第二类信息内容为该第一智能体在执行对应的子任务时，不存在其他阵营阻拦该第一智能体。

9、可选地，所述智能体调度层基于所述阵营对局任务，以及所述虚拟场景中的智能体的目标属性数据，确定该阵营中待被调度以完成所述阵营对局任务的各个第一智能体，包括：

10、确定所述阵营对局任务对应的目标对象；其中，所述目标对象为其他阵营的待对抗的智能体、待救援的智能体或者所述虚拟场景中的位置元素；

11、基于所述虚拟场景中的智能体的目标属性数据，确定在对局过程中能够应对所述目标对象的多个候选智能体，得到所述目标对象对应的多个候选智能体；

12、从所述目标对象对应的多个候选智能体中，确定所述目标对象对应的、该阵营中待被调度以完成所述阵营对局任务的第一智能体。

13、可选地，所述目标对象为其他阵营的待对抗的智能体，在对局过程中能够应对所述目标对象的多个候选智能体为：与所述目标对象存在克制关系的、该阵营的智能体；

14、所述目标对象为待救援的智能体，在对局过程中能够应对所述目标对象的多个候选智能体为：存在救援属性、该阵营的智能体；

15、所述目标对象为所述虚拟场景中的位置元素，在对局过程中能够应对所述目标对象的多个候选智能体为：针对所述虚拟场景中的位置元素进行阵营对局的、该阵营的智能体。

16、可选地，所述目标对象为其他阵营的待对抗的智能体时，在对局过程中能够应对所述目标对象的多个候选智能体的确定方式，包括：

17、基于所述虚拟场景中的智能体的目标属性数据，确定所述目标对象的属性数据；

18、确定所具有的属性数据与所述目标对象的属性数据存在克制关系的、属于该阵营的智能体。

19、可选地，所述智能体调度层为各个第一智能体生成在下一周期内所需执行的任务，得到各个第一智能体对应的子任务，包括：

20、针对每一第一智能体，为该第一智能体生成在下一周期内所需执行的、应对相对应的目标对象的任务，得到该第一智能体对应的子任务。

21、可选地，所述对局预测层响应于获取到所述对局数据，确定所述对局数据对应的、该阵营在下一周期内的阵营对局任务，包括：

22、响应于获取到所述对局数据，基于预先训练的用于预测阵营对局任务的神经网络模型，对所述对局数据进行分析，生成所述对局数据对应的、该阵营在下一周期内的阵营对局任务。

23、第二方面，本发明实施例提供了一种智能体控制方法，所述方法包括：

24、针对虚拟场景中的任一阵营，周期性获取关于该阵营的实时对局的对局数据，响应于获取到所述对局数据，确定所述对局数据对应的、该阵营在下一周期内的阵营对局任务；其中，所述对局数据至少包括该阵营的状态数据；

25、基于所述阵营对局任务，以及所述虚拟场景中的智能体的目标属性数据，确定该阵营中待被调度以完成所述阵营对局任务的各个第一智能体，并为各个第一智能体生成在下一周期内所需执行的任务，得到各个第一智能体对应的子任务；

26、响应于下一周期的到达，针对每一第一智能体，根据该第一智能体的关于实时对局的目标描述数据，确定用于完成对应的子任务所需的实时决策；调用所述智能体动作库以获取该第一智能体执行所述实时决策时所需的对局动作，并控制该第一智能体执行所述对局动作。

27、第三方面，本发明实施例提供了一种智能体控制装置，所述装置包括：

28、第一确定模块，用于针对虚拟场景中的任一阵营，周期性获取关于该阵营的实时对局的对局数据，响应于获取到所述对局数据，确定所述对局数据对应的、该阵营在下一周期内的阵营对局任务；其中，所述对局数据至少包括该阵营的状态数据；

29、第二确定模块，用于基于所述阵营对局任务，以及所述虚拟场景中的智能体的目标属性数据，确定该阵营中待被调度以完成所述阵营对局任务的各个第一智能体，并为各个第一智能体生成在下一周期内所需执行的任务，得到各个第一智能体对应的子任务；

30、控制模块，用于响应于下一周期的到达，针对每一第一智能体，根据该第一智能体的关于实时对局的目标描述数据，确定用于完成对应的子任务所需的实时决策；调用所述智能体动作库以获取该第一智能体执行所述实时决策时所需的对局动作，并控制该第一智能体执行所述对局动作。第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

31、存储器，用于存放计算机程序；

32、处理器，用于执行存储器上所存放的程序时，实现任一所述的智能体控制方法。

33、第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的智能体控制方法。

34、本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的智能体控制方法。

35、本发明实施例有益效果：

36、本发明实施例提供的智能体控制系统，将智能体的控制分为了多层，每一层可以理解为针对智能体控制的部分阶段，对局预测层基于对局数据预测阵营对局任务；智能体调度层根据阵营对局任务以及目标属性数据对智能体进行调度并赋予对应的子任务；智能体决策层根据智能体实时对局的目标描述数据确定用于完成对应的子任务所需的实时决策，并调用智能体动作库获取对局动作，以及控制智能体执行对局动作；智能体动作库中包括各种决策对应的对局动作。本发明的智能体控制系统中，每一层执行的任务是整体智能体控制任务的子任务，各层之间互不干扰，可以根据需求并行开发；这样，每一层的任务执行逻辑相对于整体任务的执行逻辑简单，且每一层可以具有与其他层的解耦的任务执行逻辑，从而开发过程中针对任一层的任务执行逻辑，通过较少的算力资源，即可快速满足开发需求。可见，本发明通过多层划分的方式，各层级之间的开发互不影响，可通过较少的算力资源简便且并行的快速开发，在实现智能体控制时，减少算力资源的消耗。

37、另外，本技术通过多层级的智能体控制系统控制智能体，当虚拟场景的游戏对局发生变化时，可以直接从中间层对智能体的控制进行调整，例如：第一智能体关于实时对局的目标描述数据发生变化时，可以直接利用智能体决策层，利用变化后的目标描述数据对第一智能体进行控制，而采用相关技术的方式则必须重新利用各种复杂数据直接生成智能体所需执行的各个对局动作。可见，本发明提供的智能体控制系统，在游戏对局发生变化时，还可以更为简单、快速的实现智能体的控制。

38、当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。