使用游戏控制台的训练架构的制作方法

背景技术：

1、1、技术领域

2、本发明的实施例总体上涉及人工智能训练。更具体来说，本发明涉及用于使用游戏控制台来训练人工代理的系统。

3、2、现有技术的描述和相关信息

4、以下背景信息可能给出了现有技术的具体方面(例如(但不限于)方法、事实或普遍认知)，所述方面预期有助于进一步教导读者关于现有技术的附加方面，但是不应当被解释为将本发明或其任何实施例限制到其中或陈述或暗示或者从中推断出的任何内容。

5、视频游戏玩家常常希望通过练习和与其他玩家进行对抗来改进其游戏技巧。但是一旦游戏玩家在给定的游戏中开发出超常的技巧，适合的挑战者就会大大减少。虽然这样的玩家可能能够通过与技巧较低的玩家进行对抗来改进其游戏技巧，但是通常更有帮助的做法是与可以提供显著挑战的玩家进行对抗。

6、许多游戏提供可以参与的游戏提供玩家。但是这些玩家可能是简单地遵循特定的编程，熟练的玩家可以弄明白并且击败这样的编程。

7、鉴于前述内容，需要一种用于将人工智能代理训练为有能力挑战甚至技巧最好的视频游戏玩家的系统和方法。

技术实现思路

1、本发明的实施例提供一种训练系统计算架构，包括：允许用户构建数据收集器、训练器和实验定义程序的构建环境，所述数据收集器被配置为与基于云的游戏控制台上的游戏进行交互，所述训练器被配置为审查来自数据收集器的经验并且改进数据收集器与游戏进行交互的策略；用于管理用于数据收集器、训练器和实验定义程序的代码并且创建其集装箱(docker)镜像的开发源代码控制服务；管理开发源代码控制服务并且构建用于实验的集装箱镜像的生产源代码控制服务；被配置为监测实验的状态并且一旦实验处于调度中状态则确定是否要运行实验的实验管理器组件，所述实验管理器组件利用预定数量的数据收集器在预定数量的基于云的游戏控制台上开始实验；以及允许用户监测实验的监测服务。

2、本发明的实施例还提供一种用于训练人工智能代理在基于云的游戏控制台上玩视频游戏的方法，包括：将人工智能代理编程为在视频游戏中进行交互；配置训练器以审查来自人工智能代理的经验，并且改进人工智能代理与视频游戏进行交互的策略；存储并且与开发源代码控制服务共享用于人工智能代理、训练器和实验定义程序的代码，并且创建其集装箱镜像；在游戏控制台系统构建环境内利用生产源代码控制服务管理开发源代码控制服务。在一些示例性实施例中，开发源代码控制服务和生产源代码控制服务可以是同一个。所述方法还可以包括：构建用于实验的集装箱镜像；利用实验管理器组件监测实验的状态，并且一旦实验处于调度中状态则确定是否要运行实验；利用预定数量的数据收集器在预定数量的基于云的游戏控制台上开始实验；从数据收集器接收关于玩视频游戏的经验；以及执行一个或多个人工智能学习算法以更新数据收集器的游戏策略。

3、本发明的实施例还提供一种被配置为在视频游戏中进行竞争的人工智能代理，所述人工智能代理在基于云的游戏控制台上被训练，通过包括以下步骤的方法来训练所述人工智能代理：将人工智能代理编程为在视频游戏中进行交互；配置训练器以审查来自人工智能代理的经验，并且改进人工智能代理与视频游戏进行交互的策略；利用开发源代码控制服务审查用于人工智能代理、训练器和实验定义程序的代码，并且创建其集装箱镜像；在游戏控制台系统构建环境内利用生产源代码控制服务镜像开发源代码控制服务，并且构建用于实验的集装箱镜像；利用实验管理器组件监测实验的状态，并且一旦实验处于调度中状态则确定是否要运行实验；利用预定数量的数据收集器在预定数量的基于云的游戏控制台上开始实验；从数据收集器接收关于玩视频游戏的经验；以及执行一个或多个人工智能算法以更新数据收集器的游戏策略。

4、参照下面的附图、描述和权利要求将会更好地理解本发明的这些和其他特征、方面和优点。

技术特征：

1.一种训练系统计算架构，包括：

2.根据权利要求1所述的训练系统，还包括：

3.根据权利要求1所述的训练系统计算架构，其中，实验定义程序定义将要使用多少数据收集器，对于数据收集器和训练器需要多少计算能力，训练器应当使用什么算法，以及训练器使得数据收集器在游戏中实施的任务集合。

4.根据权利要求1所述的训练系统计算架构，其中，与玩游戏的人类用户共享基于云的控制台。

5.根据权利要求1所述的训练系统计算架构，其中，数据收集器和训练器被部署在一个或多个环境处。

6.根据权利要求1所述的训练系统计算架构，其中，实验管理器组件审查实验的优先级、实验的龄期和/或实验所需的资源是否在任何可接受的环境中可用，以确定是否要运行实验。

7.根据权利要求1所述的训练系统计算架构，其中，训练器被编程为具有用于对应的其中一个数据收集器的一项或多项任务。

8.根据权利要求7所述的训练系统计算架构，其中，当对于每一个数据收集器完成所述一项或多项任务中的每一项任务时，实验完成。

9.根据权利要求1所述的训练系统计算架构，还包括用于存储关于针对实验所玩的游戏的信息的运行和量度数据库，所述信息包括人工产物、神经网络、重玩缓冲器和算法状态的至少其中之一。

10.根据权利要求1所述的训练系统计算架构，还包括由训练器使用的一个或多个人工智能学习算法，所述算法接收来自数据收集器的经验以更新数据收集器的游戏策略。

11.一种用于训练人工智能代理在基于云的游戏控制台上玩视频游戏的方法，包括：

12.根据权利要求11所述的方法，还包括：

13.根据权利要求11所述的方法，还包括通过实验定义程序定义将要使用多少数据收集器，对于数据收集器和训练器需要多少计算能力，训练器应当使用什么算法，以及训练器使得数据收集器在视频游戏中实施的任务集合和课程类型。

14.根据权利要求11所述的方法，其中与玩游戏的人类用户共享基于云的游戏控制台。

15.根据权利要求11所述的方法，还包括将数据收集器和训练器部署在一个或多个环境处。

16.根据权利要求11所述的方法，还包括通过实验管理器组件审查实验的优先级、实验的龄期、实验配额和/或实验所需的资源是否在任何可接受的环境中可用，以确定是否要运行实验。

17.根据权利要求11所述的方法，还包括将训练器编程为具有用于对应的其中一个数据收集器的一项或多项任务。

18.根据权利要求11所述的方法，还包括将关于针对实验所玩的游戏的信息存储在运行和量度数据库中，所述信息包括人工产物、神经网络、重玩缓冲器和算法状态的至少其中之一。

19.一种被配置为在视频游戏中进行竞争的人工智能代理，所述人工智能代理在与人类玩家共享的基于云的游戏控制台上被训练，通过包括以下步骤的方法来训练所述人工智能代理：

20.根据权利要求19所述的人工智能代理，其训练方法还包括通过实验管理器组件审查实验的优先级、实验的龄期和/或实验所需的资源是否在任何可接受的环境中可用，以确定是否要运行实验。

技术总结人工智能代理可以充当视频游戏中的玩家，比如赛车视频游戏。所述代理可以对抗并且常常击败世界上最好的玩家。游戏可以完全处于代理的外部，并且可以实时运行。通过这种方式，训练系统更类似于真实世界系统。游戏在其上运行以训练代理的控制台被提供在云计算环境中。代理和训练器可以在云中的其他计算设备上运行，其中系统例如可以基于与控制台的邻近度来选择训练器和代理计算。用户可以选择他们想要玩的游戏，并且提交可以被构建并且部署到云系统的代码。来自游戏的量度和日志和人工产物可以被发送到云存储。技术研发人员：P·沃尔曼,L·巴雷特,P·坎德尔瓦尔,D·怀特海德,R·道格拉斯,H·阿格哈博佐吉,J·V·贝尔特兰,R·A·阿哈德,B·阿扎姆受保护的技术使用者：索尼集团公司技术研发日：技术公布日：2024/4/24