一种基于多模态信息融合的智能局部路径规划方法及系统与流程

本发明涉及路径规划，尤其是涉及一种基于多模态信息融合的智能局部路径规划方法及系统。

背景技术：

1、随着机器人和智能设备的广泛应用，局部路径规划成为实现高效、安全导航的关键。然而，现有的局部路径规划方法往往仅依赖于单一类型的信息，如环境地图或传感器数据。机器人和智能设备在复杂环境中，如环境中存在动态障碍物或未知区域时，单一信息源难以提供足够准确的导航依据，这导致规划的路径往往不够精确或适应性差。

技术实现思路

1、为了解决规划的路径不够精准或适应性差的问题，本发明提供一种基于多模态信息融合的智能局部路径规划方法及系统。

2、第一方面，本发明提供的一种基于多模态信息融合的智能局部路径规划方法，采用如下的技术方案：

3、一种基于多模态信息融合的智能局部路径规划方法，包括以下步骤：

4、s1，获取多模态信息；

5、s2，采用不同的特征提取方法分别对每种模态信息进行特征向量提取；

6、s3，将提取出的特征向量进行融合并根据融合后的特征向量建立深度学习模型；

7、s4，基于深度学习模型对环境信息进行理解评估；

8、s5，基于环境信息的理解评估结果，利用动态窗口算法进行局部路径规划。

9、可选的，所述多模态信息包括图像信息、声音信息和激光雷达信息。

10、可选的，步骤s2中，采用不同的特征提取方法分别对多模态信息进行特征提取的具体步骤包括：

11、采用卷积神经网络提取图像信息的图像特征；

12、采用音频处理技术提取声音信息的频谱特征；

13、将激光雷达数据转换为点云图并提取距离和形状特征。

14、可选的，步骤s3中，将提取出的特征向量进行融合的步骤包括：

15、将所有特征向量按照顺序依次拼接成一个长向量；

16、根据不同特征重要程度为每个特征向量配置不同的权重；

17、将不同的权重应用到长向量的对应元素中。

18、可选的，所述环境信息包括静态障碍物信息和动态障碍物信息，对所述环境信息的理解评估步骤包括：

19、基于深度学习模型构建静态环境地图并标记静态障碍物；

20、通过运动检测算法识别并追踪动态障碍物；

21、利用轨迹预测算法估计其未来位置。

22、可选的，步骤s5中，进行局部路径规划的步骤包括：

23、计算机器人与障碍物间的潜在碰撞概率，并确定安全距离；

24、基于机器人的信息、环境信息的理解评估结果和安全距离生成多条路径；

25、根据成本函数评估各路径的优劣以获取最佳路径。

26、可选的，局部路径规划完成后，实时监测路径执行情况和环境变化，根据监测结果对局部路径规划进行动态调整。

27、第二方面，一种基于多模态信息融合的智能局部路径规划系统，包括：

28、信息获取模块，获取多模态信息；

29、多模态融合处理模块，与信息获取模块连接，采用不同的特征提取方法分别对每种模态信息进行特征向量提取；将提取出的特征向量进行融合并根据融合后的特征向量建立深度学习模型；基于深度学习模型对环境信息进行理解评估；

30、智能路径规划模块，与多模态融合处理模块连接，基于环境信息的理解评估结果，利用动态窗口算法进行局部路径规划。

31、可选的，所述多模态信息包括图像信息、声音信息和激光雷达信息。

32、采用不同的特征提取方法分别对多模态信息进行特征提取的具体步骤包括：

33、采用卷积神经网络提取图像信息的图像特征；

34、采用音频处理技术提取声音信息的频谱特征；

35、将激光雷达数据转换为点云图并提取距离和形状特征。

36、可选的，还包括实时反馈调整模块，与智能路径规划模块连接，实时监测路径执行情况和环境变化，根据监测结果对局部路径规划进行动态调整。

37、综上所述，本发明具有如下的有益技术效果：

38、本发明通过对多模态信息进行特征融合，实现对多种类型信息的综合利用，以结合环境信息对周围环境实现更精准的理解评估，从而提高局部路径规划的精确性和适应性。

技术特征：

1.一种基于多模态信息融合的智能局部路径规划方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态信息融合的智能局部路径规划方法，其特征在于，所述多模态信息包括图像信息、声音信息和激光雷达信息。

3.根据权利要求2所述的方法，其特征在于，步骤s2中，采用不同的特征提取方法分别对多模态信息进行特征提取的具体步骤包括：

4.根据权利要求1所述的基于多模态信息融合的智能局部路径规划方法，其特征在于，步骤s3中，将提取出的特征向量进行融合的步骤包括：

5.根据权利要求1所述的基于多模态信息融合的智能局部路径规划方法，其特征在于，所述环境信息包括静态障碍物信息和动态障碍物信息，对所述环境信息的理解评估步骤包括：

6.根据权利要求1所述的基于多模态信息融合的智能局部路径规划方法，其特征在于，步骤s5中，进行局部路径规划的步骤包括：

7.根据权利要求1或6所述的基于多模态信息融合的智能局部路径规划方法，其特征在于，局部路径规划完成后，实时监测路径执行情况和环境变化，根据监测结果对局部路径规划进行动态调整。

8.一种基于多模态信息融合的智能局部路径规划系统，其特征在于，包括：

9.根据权利要求8所述的基于多模态信息融合的智能局部路径规划系统，其特征在于，所述多模态信息包括图像信息、声音信息和激光雷达信息。

10.根据权利要求8所述的基于多模态信息融合的智能局部路径规划系统，其特征在于，还包括实时反馈调整模块，与智能路径规划模块连接，实时监测路径执行情况和环境变化，根据监测结果对局部路径规划进行动态调整。

技术总结本发明涉及路径规划技术领域，尤其涉及一种基于多模态信息融合的智能局部路径规划方法，包括以下步骤：S1，获取多模态信息；S2，采用不同的特征提取方法分别对每种模态信息进行特征向量提取；S3，将提取出的特征向量进行融合并根据融合后的特征向量建立深度学习模型；S4，基于深度学习模型对环境信息进行理解评估；S5，基于环境信息的理解评估结果，利用动态窗口算法进行局部路径规划。本发明通过对多模态信息进行特征融合，实现对多种类型信息的综合利用，以结合环境信息对周围环境实现更精准的理解评估，从而提高局部路径规划的精确性和适应性。技术研发人员：庞先昂,杨克显,孙振行受保护的技术使用者：山东博昂信息科技有限公司技术研发日：技术公布日：2024/9/26