用于确定针对一组消息的响应策略的系统和方法与流程

本公开的各个方面涉及一种用于确定针对由多个智能体中的至少一个智能体接收的一组消息的响应策略的系统、用于所述系统的控制设备以及操作用于确定响应策略的系统的方法。

背景技术：

1、以下对背景技术的讨论仅旨在促进对本公开的理解。应当意识到，讨论并不承认或认可所提及的任何材料在本公开的优先权日时在任何司法管辖权中是公开的、已知的或者是本领域技术人员的公知常识的一部分。

2、多智能体强化学习(marl)传统上被用作复杂机器人和战略领域的工具。然而，部署marl来解决合作任务具有挑战性，这主要是由于智能体的局部观察，这导致智能体对全局状态的不确定性和不了解。

3、为了解决marl中的通信问题而开发的常规解决方案主要集中于设计有效的通信模型以改进通信增益，但在很大程度上忽略marl系统中存在的异步通信问题。在异步通信中，消息不是以固定间隔传输的并且智能体以各个时间延迟相互通信，导致低效和不安全的合作。例如，在仓库中转移多个物品的任务中，多个智能体需要就它们的位置和意图相互通信。由于发送者和接收者之间的物理距离不断改变，智能体总是接收过时的消息。此类延迟的消息可指示错误的位置，导致错误的或甚至灾难性的响应。

4、因此，存在对于寻求解决上述问题中的至少一个的改进的系统的需求。

技术实现思路

1、本公开被概念化以提供一种用于确定针对由多个智能体中的至少一个智能体接收的一组消息的响应策略的改进的系统。为此，改进的系统考虑异步通信设置，其中智能体以各个时间延迟相互通信。改进的系统的特征在于一种通信系统，其中智能体之间交换的消息包括发送者的标识、发送向量时间戳和消息的内容，以便使得智能体能够识别发送者的身份，并且通过检测过时的消息来检测因果违逆。改进的系统通过结合信息论轨迹嵌入(ite)来处理异步性而进一步使得智能体能够推断消息中的有用信息。改进的系统还结合动态图神经网络模型来处理智能体通信情况的类型。因此，改进的系统使得智能体能够以通信的益处和延迟消息的成本之间的良好折衷合作。当与忽略异步问题并且导致通信混乱的常规marl系统相比时，本公开的发明人还证明改进的系统的性能和益处。

2、根据本公开的第一方面，提供一种用于确定针对由多个智能体中的至少一个智能体接收的一组消息的响应策略的系统，该系统包含处理器，该处理器被配置成：获得由至少一个智能体接收的一组消息，一组消息内的每条消息是从多个智能体中的至少一个其它智能体接收的，每条消息包含指示用于至少一个智能体的指令的接收内容参数；将一组消息内的每条消息分类为包含至少两条异步消息的异步类别或包含至少一条同步消息的同步类别；确定指示异步类别中的至少两条异步消息中的每一条的接收内容参数的重要性的显著性参数；以及为至少一个智能体确定与响应策略相关的响应信号，响应信号是基于指示对应于异步类别中的至少两条异步消息中的每一条的接收内容参数的重要性的显著性参数来确定的。

3、在各种实施例中，一组消息中的每条消息还包含指示向至少一个智能体发送相应消息的至少一个其它智能体中的一个的身份的接收标识参数，其中处理器进一步被配置成基于对应于异步类别中的至少两条异步消息中的每一条的标识参数来为至少一个智能体确定与响应策略相关的响应信号。

4、在各种实施例中，每个智能体包含具有对应于多个智能体中的数个智能体的多个元素的本地向量时钟，每个元素包含指示与多个智能体中的相应智能体相关的一个或多个对应事件的事件参数；其中一组消息内的每条消息还包含指示当消息被发送时的发送时间点的发送向量时间戳，发送向量时间戳对应于发送相应消息的至少一个其它智能体中的相应一个的本地向量时钟；其中处理器进一步被配置成将一组消息内的每条消息的发送向量时间戳与至少一个智能体的本地向量时钟进行比较；以及基于一组消息内的每条消息的发送向量时间戳与至少一个智能体的本地向量时钟的比较来将一组消息内的每条消息分类为包含至少两条异步消息的异步类别或包含至少一条同步消息的同步类别。

5、在各种实施例中，将一组消息内的每条消息的发送向量时间戳与至少一个智能体的本地向量时钟进行比较包含将发送向量时间戳中的至少一个元素与至少一个智能体的本地向量时钟中的对应至少一个元素进行比较；为一组消息内的每条消息确定发送向量时间戳中的至少一个元素是否小于至少一个智能体的本地向量时钟中的对应至少一个元素；以及如果确定发送向量时间戳中的至少一个元素小于至少一个智能体的本地向量时钟中的对应至少一个元素，那么将一组消息内的消息分类为异步类别内的异步消息。

6、在各种实施例中，处理器进一步被配置成为一组消息内的每条消息确定发送向量时间戳中的至少一个元素是否等于至少一个智能体的本地向量时钟中的对应至少一个元素；以及如果确定发送向量时间戳中的至少一个元素等于至少一个智能体的本地向量时钟中的对应至少一个元素，那么将一组消息内的另一条消息分类为同步类别内的同步消息。

7、在各种实施例中，处理器进一步被配置成为异步类别中的至少两条异步消息确定指示至少两条异步消息由至少一个其它智能体中的相应一个发送到至少一个智能体的顺序的排序参数。

8、在各种实施例中，排序参数包含第一异步消息相对于第二异步消息的较早顺序，第一异步消息和第二异步消息在异步类别内，其中处理器进一步被配置成将第一异步消息的发送向量时间戳中的至少一个元素与第二异步消息的发送向量时间戳中的对应至少一个元素进行比较，确定第一异步消息的发送向量时间戳中的至少一个元素是否小于第二异步消息的发送向量时间戳中的对应至少一个元素，以及如果确定第一异步消息的发送向量时间戳中的至少一个元素小于第二异步消息的发送向量时间戳中的对应至少一个元素，那么确定第一异步消息相对于第二异步消息的较早顺序。

9、在各种其它实施例中，排序参数包含第三异步消息和第四异步消息的并发顺序，第三异步消息和第四异步消息在异步类别内，其中处理器进一步被配置成将第三异步消息的发送向量时间戳中的至少一个元素与第四异步消息的发送向量时间戳中的对应至少一个元素进行比较，确定第三异步消息的发送向量时间戳中的至少一个元素是否小于第四异步消息的发送向量时间戳中的对应至少一个元素，并且第三异步消息的发送向量时间戳中的至少一个元素是否大于第四异步消息的发送向量时间戳中的对应至少一个元素，以及如果确定第三异步消息的发送向量时间戳中的至少一个元素小于第四异步消息的发送向量时间戳中的对应至少一个元素，并且第三异步消息的发送向量时间戳中的至少一个元素大于第四异步消息的发送向量时间戳中的对应至少一个元素，那么确定第三异步消息和第四异步消息的并发顺序。

10、在各种实施例中，处理器进一步被配置成基于对应于异步类别中的至少两条异步消息中的每一条的排序参数来为至少一个智能体确定与响应策略相关的响应信号。

11、在各种实施例中，处理器进一步被配置成确定由至少一个智能体接收的一组消息内的消息的数量、由至少一个智能体发送的消息的数量和/或指示其中至少一个智能体正在接收一组消息并且发送至少一条发送消息的第一模式的第一模式参数；以及基于由至少一个智能体接收的一组消息内的消息的数量和/或由至少一个智能体发送的消息的数量来在指示一组消息内的至少一条消息将被传递到至少一个其它智能体的时间的传递时间点在多个智能体中的至少一个智能体和至少一个其它智能体之间适配通信拓扑。

12、在各种实施例中，当适配通信拓扑时，处理器进一步被配置成确定指示至少一个其它智能体的身份的发送标识参数，其中在传递时间点一组消息内的消息中的至少一条将被传递到；确定指示在传递时间点将被传递到至少一个其它智能体的一组消息内的消息中的至少一条的指令的发送内容参数；确定指示第二模式的第二模式参数，其中在传递时间点一组消息内的消息中的至少一条将被传递到至少一个其它智能体；以及基于发送标识参数、发送内容参数和/或模式参数中的至少一个来适配通信拓扑。

13、在各种实施例中，当确定指示接收内容参数的重要性的显著性参数时，处理器进一步被配置成为至少一个智能体获得指示关于指令的信息的信息参数；为至少一个智能体获得指示指令的不确定性的度量的不确定性参数；以及基于信息参数和/或不确定性参数来确定指示接收内容参数的重要性的显著性参数。

14、在各种实施例中，与响应策略相关的响应信号包含由至少一个智能体执行在异步消息的接收内容参数中含有的指令，或不由至少一个智能体执行在异步消息的接收内容参数中含有的指令。

15、在各种实施例中，多个智能体各自包含另一个处理器，并且其中该处理器进一步被配置成向至少一个智能体的另一个处理器传输与响应策略相关的响应信号。

16、根据本公开的第二方面，提供一种分配设施，其包含第一方面的系统。

17、根据本公开的第三方面，提供一种控制设备，其包含用于确定针对由至少一个智能体接收的一组消息的响应策略的处理器，处理器与其中存储有指令的存储器进行数据通信，指令在由处理器执行时使处理器：获得由至少一个智能体接收的一组消息，一组消息内的每条消息是从多个智能体中的至少一个其它智能体接收的，每条消息包含指示用于至少一个智能体的指令的接收内容参数；将一组消息内的每条消息分类为包含至少两条异步消息的异步类别或包含至少一条同步消息的同步类别；确定指示异步类别中的至少两条异步消息中的每一条的接收内容参数的重要性的显著性参数；和为至少一个智能体确定与响应策略相关的响应信号，响应信号是基于指示对应于异步类别中的至少两条异步消息中的每一条的接收内容参数的重要性的显著性参数来确定的。

18、根据本公开的第四方面，提供一种用于确定针对由至少一个智能体接收的一组消息的响应策略的方法，所述方法包含处理器，该处理器用于：获得由至少一个智能体接收的一组消息，一组消息内的每条消息是从多个智能体中的至少一个其它智能体接收的，每条消息包含指示用于至少一个智能体的指令的接收内容参数；将一组消息内的每条消息分类为包含至少两条异步消息的异步类别或包含至少一条同步消息的同步类别；确定指示异步类别中的至少两条异步消息中的每一条的接收内容参数的重要性的显著性参数；和为至少一个智能体确定与响应策略相关的响应信号，响应信号是基于指示对应于异步类别中的至少两条异步消息中的每一条的接收内容参数的重要性的显著性参数来确定的。

19、根据本公开的第五方面，提供一种计算机可读介质，其包含指令，该指令在由处理器执行时使处理器执行本公开的第四方面的方法。