一种基于物理智能主动感知的具身智能体及其控制方法

本发明涉及具身智能，尤其是涉及一种基于物理智能主动感知的具身智能体及其控制方法。

背景技术：

1、随着人工智能技术的井喷式的迭代，具身智能作为人工智能时代典型方法技术，迎来了巨大的发展契机。具身智能是指将智能系统与物理实体相结合的方法，能够让物理实体使感知环境、进行决策并执行相应动作，因此和具身智能集合的物理实体也称作为智能体。“具身”不仅是抽象的算法和数据，更要通过物理形态与世界进行交互。具身智能的应用场景也极为广泛，可以把智能体融合到智能制造、服务业等各个垂直领域，比如工业巡检、家政服务等，让具身智能引领全新的制造业、服务业等产业升级。

2、而大模型赋能机器人智能体，使其拥有“具身”的能力和特性，成为了具身智能技术研究的重要范式之一。基于大语言模型驱动的具身智能的研究热度不减，正从初步应用转向深度融合，尤其是机器人运动控制的集成。在多种复杂场景任务下，单一模态不足以应对复杂的实际场景，而多种极大地提升了机器人的感知与理解能力，使机器人能够更准确、全面地理解复杂场景和任务，多模态大模型在大规模数据预训练后学习到了丰富的人类知识，赋予了机器人自主规划决策的能力。

3、目前针对大预言模型和具身智能体结合的研究，偏向高语义任务规划方面，从而忽视了底层运动控制层面，导致智能体虽能快速做出任务规划但在实际执行过程中会出现偏差或动作延迟等问题。同时，在数据处理方面大多数侧重于视觉数据，忽视因智能体运动对环境造成的改变，无法精准的对环境变化做出精准感知，缺少实现更深层次的物理交互，缺少泛化性能。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种基于物理智能主动感知的具身智能体及其控制方法。

2、本发明的目的可以通过以下技术方案来实现：

3、根据本发明的一个方面，提供了一种基于物理智能主动感知的具身智能体控制方法，该方法基于多模态具身大模型控制具身智能体，所述多模态具身大模型包括数据处理模块、感知规划模块、物理智能模块、信息输出模块、环境交互模块和运动控制执行模块；

4、作为优选技术方案，所述方法包括以下步骤：

5、模型构建：基于预训练模型进行微调训练得到多模态具身大模型，所述多模态具身大模型还包括信息输出模块；

6、数据采集和处理：数据处理模块采集初始环境中的多模态数据和接收语义信息，对所述多模态数据和语义信息进行对齐融合操作得到已处理数据；

7、任务规划：感知规划模块接收已处理数据，依据所述已处理数据对环境进行推理和感知得到感知信息，根据所述感知信息生成任务规划指令，结束后向外输出感知信息和任务规划指令；

8、运动规划：物理智能模块接收已处理数据、感知信息和任务规划指令，依据所述已处理数据、感知信息和任务规划指令结合底层运动策略输出运动动作规划指令；

9、运动校正：信息输出模块接收感知信息和运动动作规划指令，将感知信息分送至环境交互模块，环境交互模块实时检测智能体所处环境得到实时环境信息，将实时环境信息与所述感知信息进行比对；运动控制执行模块接收运动动作规划指令并依据比对结果进行动作校正，当动作完成输出到位信号；所述实时环境信息为智能体运动过程中采集到的多模态数据以及到位信号；

10、用户反馈：用户交互模块接收运动控制模块输出的到位信号，基于到位信号向用户回复文本信息。

11、作为优选技术方案，所述的模型构建具体包括：依据具身智能体所处的任务场景创建指令调整数据集；依据所述指令调整数据集对预训练模型进行模型底座的检验和选取；对选定的模型底座使用检索增强生成和监督微调方法进行训练。

12、作为优选技术方案，所述的对齐融合操作包括以下步骤：

13、对多模态数据和文本指令进行转换或归一化处理得到第一数据，所述多模态数据包括场景图片、语音指令、末端执行器上力觉传感器数据以及文本数据；

14、相同类型第一数据选取同一种特征提取器进行特征提取，对提取后的特征选取深度耦合自动编码器转换为高层次的特征表示；

15、通过耦合多个不同的深度耦合自动编码器的隐藏层进行共享和融合信息，提取出第一数据的联合特征得到第二数据；

16、将第二数据进行空间匹配得到已处理数据。

17、作为优选技术方案，所述第二数据在特征空间中以tokens的形式表现。

18、作为优选技术方案，所述的运动规划具体包括：基于底层运动策略结合感知信息和任务规划指令生成底层运动控制指令和数据；对所述底层运动控制指令和数据进行封装，将有效信息经过线性层投影到所在的空间中，输出相应时刻运动指令序列。

19、作为优选技术方案，所述的底层运动策略包括从多次时序性的物理仿真器中学习得到的物理规律和运动姿态数据。

20、作为优选技术方案，所述有效信息包括符合运动策略的待执行的物理对象的状态、运动规律、姿态变化数据。

21、作为优选技术方案，所述运动校正具体包括：环境交互模块实时检测运动过程中环境内容，输出t时刻的实时环境信息；

22、将t时刻的实时环境信息与预测得到的t时刻的感知信息进行比对，若比对出现误差，环境交互模块将实时环境信息输送至感知规划模块，感知规划模块依据实时环境信息修正任务规划指令得到任务指令，并输出实时环境信息和任务指令至物理智能模块；

23、物理智能模块接收实时环境信息和任务指令，基于所述实时环境和任务指令校正运动动作规划指令得到运动动作指令；

24、所述运动动作指令通过信息输出模块输送至运动控制执行模块，该模块接收运动动作指令并执行；

25、若比对未出现误差，则运动控制执行模块执行t时刻的运动动作规划指令。

26、根据本发明的另一个方面，提供了一种基于物理智能主动感知的具身智能体，该智能体包括数据处理模块、感知规划模块、物理智能模块、信息输出模块、环境交互模块、运动控制执行模块和用户交互模块，通过上述方法实现控制。

27、与现有技术相比，本发明具有以下优点：

28、1)、本发明中将感知信息、任务规划指令与底层运动策略相结合，并依据结合结果针对该任务规划指令生成精准的运动动作规划指令，避免了任务规划指令与智能体运动脱节或动作执行延迟等问题的发生，使得具身智能体能更准确的执行任务；

29、2)、本发明设立环境交互模块，在智能体运动时实时监测因智能体运动带来的环境变化，并将检测到的环境信息反馈至感知规划模块进行任务规划校正，并依据校正后的任务指令校正具身智能体的运动动作，能够精准的对环境变化做出感知，实现了更深层次的物理交互，具备较强泛化性能。

技术特征：

1.一种基于物理智能主动感知的具身智能体控制方法，其特征在于，

2.根据权利要求1所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述方法包括以下步骤：

3.根据权利要求2所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述的模型构建具体包括：

4.根据权利要求2所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述的对齐融合操作包括以下步骤：

5.根据权利要求4所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述第二数据在特征空间中以tokens的形式表现。

6.根据权利要求2所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述的运动规划具体包括：

7.根据权利要求6所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述的底层运动策略包括从多次时序性的物理仿真器中学习得到的物理规律和运动姿态数据。

8.根据权利要求6所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述有效信息包括符合运动策略的待执行的物理对象的状态、运动规律和姿态变化数据。

9.根据权利要求2所述的一种基于物理智能主动感知的具身智能体控制方法，其特征在于，所述运动校正具体包括：

10.一种基于物理智能主动感知的具身智能体，其特征在于，所述智能体包括：

技术总结本发明涉及一种基于物理智能主动感知的具身智能体及其控制方法，该方法基于多模态具身大模型控制具身智能体，所述多模态具身大模型包括数据处理模块、感知规划模块、物理智能模块、信息输送模块、环境交互模块和运动控制执行模块；该方法包括：所述感知规划模块接收数据处理模块处理后的数据，依据该数据输出感知信息和任务规划指令；物理智能模块接收所述感知信息和任务规划指令并输出运动动作规划指令，环境交互模块实时采集环境信息并与感知信息进行比对，运动控制模块接收运动动作规划指令，结合比对结果进行动作校正，实现具身智能体控制。与现有技术相比，本发明具有泛化性能高以及执行任务准确性更高等优点。技术研发人员：王志鹏,杨超允,何斌,周艳敏,蒋烁,程斌受保护的技术使用者：同济大学技术研发日：技术公布日：2024/12/2