一种机器人导航避障方法及装置

本发明涉及机器人，尤其涉及一种机器人导航避障方法及装置。

背景技术：

1、近年来，移动机器人自主导航技术由于具有多方面的应用价值和巨大的商业潜力引起了人们的广泛关注。连续环境中的视觉和语言导航任务是这一领域中的一项特定任务，旨在训练移动机器人使用视觉观察和自然语言指令在3d连续环境中导航。虽然目前存在许多旨在提高vln-ce性能的工作，但很少有人研究其避障和导航安全问题。碰撞情况在vln-ce中普遍存在，这是由连续环境设置带来的挑战所引起的。首先，与离散环境中的航路点位置相比，由于对周围环境的不正确感知，航路点预测器会将候选航路点预测在障碍区，导致航路点不可达。其次，在连续环境中，没有了相邻节点之间的完美导航，当涉及到具有重建误差的障碍物时，机器人容易被障碍物干扰导航路线，从而无法到达下一个子目标。虽然在机器人自主导航中存在许多避障研究，然而，由于vln-ce中较长的导航路径、更复杂的环境以及额外的指令对齐等难度，处理避障的难度大大提升。因此，提供一种机器人导航避障方法及装置，以解决连续环境下自主机器人视觉语言导航安全避障的问题，进而提高机器人导航避障精度和效率，从而提高机器人工作效能。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种机器人导航避障方法及装置有利于解决连续环境下自主机器人视觉语言导航安全避障的问题，进而提高机器人导航避障精度和效率，从而提高机器人工作效能。

2、为了解决上述技术问题，本发明实施例第一方面公开了一种机器人导航避障方法，所述方法包括：

3、获取环境状态信息和输入指令信息；所述环境状态信息包括第一环境图像信息和第二环境图像信息；

4、对所述环境状态信息进行编码预测处理，得到候选航路点信息；

5、利用导航规划模型对所述环境状态信息、所述候选航路点信息和所述输入指令信息进行导航规划处理，得到目标导航信息。

6、作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述环境状态信息进行编码预测处理，得到候选航路点信息，包括：

7、基于所述第一环境图像信息，确定出航路导航点信息；所述航路导航点信息包括若干个航路导航点；

8、对所述第二环境图像信息进行残差特征提取，得到第一图像特征信息；

9、基于所述航路导航点信息和所述第一图像特征信息，确定出候选航路点信息。

10、作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述第一环境图像信息，确定出航路导航点信息，包括：

11、利用第一特征提取模型对所述第一环境图像信息进行特征提取，得到第二图像特征信息；

12、对所述第一环境图像信息和所述第二图像特征信息进行航路点预测处理，得到航路导航点信息。

13、作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述第一环境图像信息和所述第二图像特征信息进行航路点预测处理，得到航路导航点信息，包括：

14、利用角度计算模型对所述第一环境图像信息进行图像角度计算，得到图像角度信息；所述图像角度信息包括若干个图像角度；

15、其中，所述角度计算模型为：

16、θi＝30°×(i-1)；

17、式中，θi为所述第一环境图像信息中第i张第一环境图像对应的所述图像角度；

18、对所述图像角度信息和所述第二图像特征信息进行航路点预测处理，得到航路导航点信息。

19、作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述航路导航点信息和所述第二环境图像信息，确定出候选航路点信息，包括：

20、对于任一所述航路导航点，获取该航路导航点对应的导航概率值；

21、基于掩码计算模型对该航路导航点进行分析处理，得到该航路导航点对应的导航掩码值；

22、其中，所述掩码计算模型为：

23、

24、式中，hdt(a,b)为第t个坐标为(a,b)的所述航路导航点；yt为第t个导航掩码值；

25、利用导航正则处理模型对所有所述航路导航点对应的所述导航概率值和所述导航掩码值进行正则化处理，得到优化导航点信息；所述优化导航点信息包括若干个优化导航点概率值；

26、其中，所述导航正则处理模型为：

27、

28、式中，为第t个为优化导航点概率值；gt为第t个导航概率值；δ为导航优化系数；

29、对所述优化导航点信息进行筛选处理，得到候选航路点信息。

30、作为一种可选的实施方式，在本发明实施例第一方面中，所述利用导航规划模型对所述环境状态信息、所述候选航路点信息和所述输入指令信息进行导航规划处理，得到目标导航信息，包括：

31、基于所述第一环境图像信息和所述候选航路点信息，确定出航路点特征信息；

32、对所述输入指令信息进行文本编码处理，得到指令文本特征信息；

33、利用导航规划模型对所述航路点特征信息和所述指令文本特征信息进行导航规划处理，得到目标导航信息。

34、作为一种可选的实施方式，在本发明实施例第一方面中，所述导航规划模型包括多模态处理模块、多头注意力机制模块、第一融合模块、第二融合模块、第三融合模块、第四融合模块、第五融合模块、归一化模块、前馈神经网络、时间卷积网络、第一自注意力模块、第二自注意力模块和预测模块；其中，

35、所述多模态处理模块的输入端连接所述导航规划模型输入，所述多模态处理模块的输出端分别连接所述多头注意力机制模块的输入端、所述第一融合模块的输入端、所述第三融合模块的输入端和所述第四融合模块的输入端；所述多头注意力机制模块的输出端连接所述第一融合模块的输入端；所述第一融合模块的输出端分别连接所述归一化模块的输入端和所述第二融合模块的输入端；所述归一化模块的输出端连接所述前馈神经网络的输入端；所述前馈神经网络的输出端连接所述第二融合模块的输入端；所述第二融合模块的输出端连接所述时间卷积网络的输入端；所述时间卷积网络的输出端连接所述第三融合模块的输入端；所述第三融合模块的输出端连接所述第四融合模块的输入端；所述第四融合模块的输出端分别连接所述第一自注意力模块的输入端和所述第五融合模块的输入端；所述第一自注意力模块的输出端连接所述第五融合模块的输入端；所述第五融合模块的输出端连接所述第二自注意力模块的输入端；所述第二自注意力模块的输出端连接所述预测模块的输入端；所述预测模块的输出端连接所述导航规划模型输出。

36、本发明实施例第二方面公开了一种机器人导航避障装置，装置包括：

37、获取模块，用于获取环境状态信息和输入指令信息；所述环境状态信息包括第一环境图像信息和第二环境图像信息；

38、第一处理模块，用于对所述环境状态信息进行编码预测处理，得到候选航路点信息；

39、第二处理模块，用于利用导航规划模型对所述环境状态信息、所述候选航路点信息和所述输入指令信息进行导航规划处理，得到目标导航信息。

40、本发明第三方面公开了另一种机器人导航避障装置，所述装置包括：

41、存储有可执行程序代码的存储器；

42、与所述存储器耦合的处理器；

43、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的机器人导航避障方法中的部分或全部步骤。

44、本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的机器人导航避障方法中的部分或全部步骤。

45、与现有技术相比，本发明实施例具有以下有益效果：

46、本发明实施例中，获取环境状态信息和输入指令信息；环境状态信息包括第一环境图像信息和第二环境图像信息；对环境状态信息进行编码预测处理，得到候选航路点信息；利用导航规划模型对环境状态信息、候选航路点信息和输入指令信息进行导航规划处理，得到目标导航信息。可见，本技术有利于解决连续环境下自主机器人视觉语言导航安全避障的问题，进而提高机器人导航避障精度和效率，从而提高机器人工作效能。