一种具身机器人视觉交互方法、系统、终端及介质与流程

本技术涉及电机控制的，尤其是涉及一种具身机器人视觉交互方法、系统、终端及介质。

背景技术：

1、目前，随着机器人技术的快速发展，具身机器人已在多个领域得到应用。在具身智能机器人的发展过程中，视觉系统作为其核心组成部分，对机器人的环境感知、场景理解和智能交互起着至关重要的作用。传统机器人视觉系统多采用平面成像技术，面临空间感知精度低、复杂场景理解受限等问题，影响了用户体验。

2、上述中的现有技术方案存在以下缺陷：目前，市场上主流的具身机器人通常采用基于传统计算机视觉算法进行交互，这些算法在处理复杂场景时的识别精度低，因此存在改善空间。

技术实现思路

1、为了提高具身机器人视觉交互的准确性，本技术提供一种具身机器人视觉交互方法、系统、终端及介质。

2、本技术的上述发明目的一是通过以下技术方案得以实现的：

3、一种具身机器人视觉交互方法，所述一种具身机器人视觉交互方法包括：

4、获取机器人的视觉图像数据，所述视觉图像数据包括rgb图像、深度图像和红外图像；

5、将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理，得到所述得到所述视觉图像数据的特征点数据；

6、使用多模态特征融合算法对所述视觉图像数据的特征点数据进行深度融合，生成所述机器人周围环境的空间感知数据；

7、基于所述空间感知数据，进行三维重建和场景分析，识别所述机器人所处环境中的关键交互对象和障碍物，得到识别分析结果；

8、根据所述识别分析结果，生成所述机器人的交互方案，所述交互方案包括路径规划、与物体的交互动作和语音语调；

9、根据所述机器人的交互方案，调整所述机器人的行为策略

10、通过采用上述技术方案，通过获取机器人的视觉图像数据，能够捕捉环境中的多种图像信息，包括rgb图像、深度图像和红外图像，从而提高了对机器人周围环境的感知精度和深度；同时，将视觉图像数据输入预先训练好的图像处理模型进行处理，能够基于丰富的特征点数据进行环境理解和分析，从而提高了机器人的环境感知能力；通过使用多模态特征融合算法对特征点数据进行深度融合，能够全面整合不同传感器的数据，从而提高了机器人在复杂环境中的空间感知能力；最后，基于空间感知数据进行三维重建和场景分析，能够更精确地识别机器人周围的关键交互对象和障碍物，从而提高了机器人与环境的互动效率和安全性。

11、本技术在一较佳示例中可以进一步配置为：所述获取机器人的视觉图像数据包括：

12、获取外界环境条件，基于所述外界环境条件，使用视觉传感器采集数据，得到传感器数据；

13、将所述传感器数据进行同步校准和对齐，得到所述机器人的视觉图像数据。

14、通过采用上述技术方案，通过获取外界环境条件，能够根据不同的环境条件动态调整视觉传感器的采集方式，从而提高了数据采集的适应性；通过使用视觉传感器采集数据，并将传感器数据进行同步校准和对齐，能够确保获取的数据具有一致性和准确性，从而提高了机器人视觉图像数据的质量；最终得到的视觉图像数据能够为后续的图像处理步骤提供准确可靠的数据基础，从而提高了机器人在复杂环境中的视觉处理效果。

15、本技术在一较佳示例中可以进一步配置为：在所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理，得到所述得到所述视觉图像数据的特征点数据之前，所述一种具身机器人视觉交互方法还包括：

16、收集多模态数据，对所述多模态数据进行预处理和标注，得到训练集；

17、使用所述训练集对基于卷积神经网络和自注意力机制构建的图像处理模型进行正向传播和反向传播训练，并应用迁移学习技术对经正向传播和反向传播训练后的所述图像处理模型进行优化，得到所述预先训练好的图像处理模型。

18、通过采用上述技术方案，通过收集多模态数据并对其进行预处理和标注，能够为图像处理模型的训练提供高质量的训练集，从而提高了模型训练的有效性和精度；使用基于卷积神经网络和自注意力机制构建的图像处理模型进行正向传播和反向传播训练，能够通过大量数据的训练使模型学习到更多的特征，从而提高了模型对视觉图像数据的处理能力；通过迁移学习技术优化图像处理模型，能够加快模型的训练速度并提高模型的泛化能力，从而使机器人在不同环境中均能保持较高的图像处理精度。

19、本技术在一较佳示例中可以进一步配置为：所述将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理，得到所述得到所述视觉图像数据的特征点数据包括：

20、利用多模态特征提取算法对所述视觉图像数据进行特征点提取，得到提取特征点数据集，所述提取特征点数据集包括边缘特征、纹理特征、深度边界和热感区域；

21、通过多层融合网络对所述提取特征点数据集中的数据进行匹配和融合，得到所述视觉图像数据的特征点数据。

22、通过采用上述技术方案，通过利用多模态特征提取算法对视觉图像数据进行特征点提取，能够提取到边缘特征、纹理特征、深度边界和热感区域等多种信息，从而提高了对环境的感知维度和准确性；通过多层融合网络对特征点数据集进行匹配和融合，能够充分整合不同模态的数据，提高了机器人对复杂环境的理解能力；最终得到的视觉图像数据的特征点数据，能够为机器人后续的交互策略提供更加准确的环境感知信息，从而提高了机器人与环境交互的智能性和适应性。

23、本技术在一较佳示例中可以进一步配置为：所述基于所述空间感知数据，进行三维重建和场景分析，识别所述机器人所处环境中的关键交互对象和障碍物，得到识别分析结果包括：

24、基于所述空间感知数据，通过三维点云生成算法，将所述机器人所处环境中的物体和障碍物的深度信息转化为三维模型；

25、对所述三维模型进行语义分割，得到语义分割数据；

26、对所述语义分割数据进行分析，得到所述识别分析结果。

27、通过采用上述技术方案，基于空间感知数据进行三维重建和场景分析，能够将机器人所处环境中的物体和障碍物的深度信息转化为直观的三维模型，从而提高了对环境的精确感知能力；对三维模型进行语义分割，能够自动化地识别出不同物体和障碍物的类别与位置，从而提高了对环境的理解深度；通过对语义分割数据的分析，能够快速准确地获得机器人环境中的识别分析结果，从而提高了机器人的场景识别和决策能力。

28、本技术在一较佳示例中可以进一步配置为：所述根据所述识别分析结果，生成所述机器人的交互方案包括：

29、根据所述识别分析结果，确定交互策略的优先级，所述识别分析结果包括交互对象、障碍物以及周围环境的空间分布；

30、基于所述交互策略的优先级，利用实时路径规划算法计算生成所述交互方案。

31、通过采用上述技术方案，根据识别分析结果生成机器人的交互方案，能够根据环境中的交互对象、障碍物以及空间分布情况，快速制定适应当前场景的交互策略，从而提高了机器人在复杂环境中的交互效率；基于实时路径规划算法计算生成交互方案，能够保证机器人在路径规划和与物体的交互动作中保持高效和安全，从而提高了机器人执行任务的成功率和用户体验。

32、本技术在一较佳示例中可以进一步配置为：所述一种具身机器人视觉交互方法还包括：

33、获取交互反馈信息，根据所述交互反馈信息对所述机器人的行为策略进行实时调整和优化；

34、在执行用户指令时，获取用户的任务要求，根据所述任务要求生成任务执行方案；

35、在任务执行过程中，实时监控任务进展，当检测到任务偏差时，获取偏差数据，并根据所述偏差数据调整所述任务执行方案，同时通过显示界面向用户反馈任务状态。

36、通过采用上述技术方案，获取交互反馈信息，根据交互反馈信息对所述机器人的行为策略进行实时调整和优化，通过实时调整，机器人能够更好地适应环境变化和用户需求，提高交互的效率和质量；在执行用户指令时，获取用户的任务要求，根据任务要求生成任务执行方案，任务执行方案为机器人提供了明确的行动指南，确保任务能够有序地进行；在任务执行过程中，实时监控任务进展，当检测到任务偏差时，获取偏差数据，并根据偏差数据调整任务执行方案，同时通过显示界面向用户反馈任务状态，通过调整，机器人能够纠正偏差，回到正确的任务执行轨迹上，保证任务目标的实现，且用户能够及时了解任务执行情况，增强用户体验和满意度。

37、本技术的上述发明目的二是通过以下技术方案得以实现的：

38、一种具身机器人视觉交互系统，所述一种具身机器人视觉交互系统包括：

39、获取图像模块，用于获取机器人的视觉图像数据，所述视觉图像数据包括rgb图像、深度图像和红外图像；

40、模型分析模块，用于将所述视觉图像数据输入至预先训练好的图像处理模型中进行处理，得到所述得到所述视觉图像数据的特征点数据；

41、融合模块，用于使用多模态特征融合算法对所述视觉图像数据的特征点数据进行深度融合，生成所述机器人周围环境的空间感知数据；

42、识别分析模块，用于基于所述空间感知数据，进行三维重建和场景分析，识别所述机器人所处环境中的关键交互对象和障碍物，得到识别分析结果；

43、得到交互方案模块，用于根据所述识别分析结果，生成所述机器人的交互方案，所述交互方案包括路径规划、与物体的交互动作和语音语调；

44、调整模块，用于根据所述机器人的交互方案，调整所述机器人的行为策略。

45、通过采用上述技术方案，通过获取机器人的视觉图像数据，能够捕捉环境中的多种图像信息，包括rgb图像、深度图像和红外图像，从而提高了对机器人周围环境的感知精度和深度；同时，将视觉图像数据输入预先训练好的图像处理模型进行处理，能够基于丰富的特征点数据进行环境理解和分析，从而提高了机器人的环境感知能力；通过使用多模态特征融合算法对特征点数据进行深度融合，能够全面整合不同传感器的数据，从而提高了机器人在复杂环境中的空间感知能力；最后，基于空间感知数据进行三维重建和场景分析，能够更精确地识别机器人周围的关键交互对象和障碍物，从而提高了机器人与环境的互动效率和安全性。

46、本技术的上述目的三是通过以下技术方案得以实现的：

47、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种具身机器人视觉交互方法的步骤。

48、本技术的上述目的四是通过以下技术方案得以实现的：

49、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种具身机器人视觉交互方法的步骤。

50、综上所述，本技术包括以下至少一种有益技术效果：

51、1、获取机器人的视觉图像数据，能够捕捉环境中的多种图像信息，包括rgb图像、深度图像和红外图像，从而提高了对机器人周围环境的感知精度和深度；同时，将视觉图像数据输入预先训练好的图像处理模型进行处理，能够基于丰富的特征点数据进行环境理解和分析，从而提高了机器人的环境感知能力；

52、2、通过使用多模态特征融合算法对特征点数据进行深度融合，能够全面整合不同传感器的数据，从而提高了机器人在复杂环境中的空间感知能力；最后，基于空间感知数据进行三维重建和场景分析，能够更精确地识别机器人周围的关键交互对象和障碍物，从而提高了机器人与环境的互动效率和安全性。