机器人的控制方法、系统、电子设备及可读存储介质与流程

本申请涉及机器人，尤其涉及一种机器人的控制方法、系统、电子设备及可读存储介质。

背景技术：

1、现有技术中，由于机器人手眼协调操作中要应对多种复杂的场景，需要采用多个大模型协同对场景进行感知和决策。多个大模型协同工作工程化方法，直接影响人形机器人操作的效率及实时性，目前机器人的操作速度比较低。

技术实现思路

1、为了解决上述技术问题，本申请实施例提供了一种机器人的控制方法、系统、电子设备及可读存储介质。

2、第一方面，本申请实施例提供了一种机器人的控制方法，所述方法包括：

3、机器人的语音识别模型对用户语音指令进行自动语音识别，得到用户文本指令，向服务器发送所述用户文本指令；

4、所述服务器的大型语言模型根据所述用户文本指令及视频检测分割结果生成任务列表，向所述机器人发送所述任务列表；

5、所述机器人的视觉语言模型根据所述视频检测分割结果获取所述机器人的操作结果；

6、所述机器人的运动控制模型根据所述任务列表、所述操作结果及所述视频检测分割结果生成运动控制指令。

7、在一实施方式中，所述机器人的视觉语言模型根据所述视频检测分割结果获取所述机器人的操作结果，包括：

8、所述视觉语言模型将所述视频检测分割结果与当前任务对应的预设视频检测分割结果进行对比；

9、若比对通过，则确定当前任务操作成功；

10、若比对不通过，则确定当前任务操作失败。

11、在一实施方式中，所述机器人的运动控制模型根据所述任务列表、所述操作结果及所述视频检测分割结果生成运动控制指令，包括：

12、若所述操作结果为当前任务操作成功，则所述运动控制模型从所述任务列表获取下一次任务；

13、根据所述下一次任务及所述视频检测分割结果生成所述运动控制指令。

14、在一实施方式中，所述方法还包括：

15、若所述操作结果为当前任务操作失败，则所述运动控制模型终止当前任务，向所述服务器发送所述当前任务操作失败；

16、所述服务器获取所述机器人的当前状态信息，根据所述当前状态信息生成新任务列表，向所述机器人发送所述新任务列表。

17、在一实施方式中，获取所述视频检测分割结果，包括：

18、实时视频分析平台对视频流进行分析，得到所述视频检测分割结果。

19、在一实施方式中，所述方法还包括：

20、第一优化器对初始大型语言模型进行优化训练，并将优化后的大型语言模型部署于所述服务器。

21、在一实施方式中，所述方法还包括：

22、第二优化器分别对初始视觉语言模型及初始运动控制模型进行优化训练，得到优化后的视觉语言模型及优化后的运动控制模型，并将优化后的视觉语言模型、优化后的运动控制模型部署于所述机器人。

23、第二方面，本申请实施例提供了一种机器人的控制系统，所述机器人的控制系统包括：

24、机器人的语音识别模型，用于对用户语音指令进行自动语音识别，得到用户文本指令，向服务器发送所述用户文本指令；

25、所述服务器的大型语言模型，用于根据所述用户文本指令及视频检测分割结果生成任务列表，向所述机器人发送所述任务列表；

26、所述机器人的视觉语言模型，用于根据所述视频检测分割结果获取所述机器人的操作结果；

27、所述机器人的运动控制模型，用于根据所述任务列表、所述操作结果及所述视频检测分割结果生成运动控制指令。

28、第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的机器人的控制方法。

29、第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的机器人的控制方法。

30、上述本申请提供的机器人的控制方法、系统、电子设备及可读存储介质，机器人的语音识别模型对用户语音指令进行自动语音识别，得到用户文本指令，向服务器发送所述用户文本指令；所述服务器的大型语言模型根据所述用户文本指令及视频检测分割结果生成任务列表，向所述机器人发送所述任务列表；所述机器人的视觉语言模型根据所述视频检测分割结果获取所述机器人的操作结果；所述机器人的运动控制模型根据所述任务列表、所述操作结果及所述视频检测分割结果生成运动控制指令。这样，通过在机器人和服务器部署不同模型，可以提高机器人手眼协调操作端到端执行的速度和控制准确度。

技术特征：

1.一种机器人的控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述机器人的视觉语言模型根据所述视频检测分割结果获取所述机器人的操作结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述机器人的运动控制模型根据所述任务列表、所述操作结果及所述视频检测分割结果生成运动控制指令，包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，获取所述视频检测分割结果，包括：

6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

8.一种机器人的控制系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的机器人的控制方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的机器人的控制方法。

技术总结本申请实施例提供了一种机器人的控制方法、系统、电子设备及可读存储介质，属于机器人技术领域。该方法包括：机器人的语音识别模型对用户语音指令进行自动语音识别，得到用户文本指令，向服务器发送所述用户文本指令；所述服务器的大型语言模型根据所述用户文本指令及视频检测分割结果生成任务列表，向所述机器人发送所述任务列表；所述机器人的视觉语言模型根据所述视频检测分割结果获取所述机器人的操作结果；所述机器人的运动控制模型根据所述任务列表、所述操作结果及所述视频检测分割结果生成运动控制指令。这样，通过在机器人和服务器部署不同模型，可以提高机器人手眼协调操作端到端执行的速度。技术研发人员：宫明广,黄东延受保护的技术使用者：深圳市优必选科技股份有限公司技术研发日：技术公布日：2024/6/11