一种基于类别注意力的轻量化地形分割方法、系统及终端

本发明涉及机器人视觉导航，尤其涉及一种基于类别注意力的轻量化地形分割方法、系统、终端及计算机可读存储介质。

背景技术：

1、环境感知是视觉导航的重要组成部分，涉及对机器人周边环境图像信息的捕捉分析，这一过程包括对图像进行分析处理，提取相关特征，识别障碍物所在区域等。在机器人视觉导航领域，结合深度学习进行环境感知已经成为主流研究方向之一，其中道路分割是环境感知的关键环节，其主要目的在于区分可行驶的安全区域，为机器人决策系统提供安全可靠的导航依据。现有的一些分割工作重心在于处理像cityscapes（城市景观）这样的结构化场景，而针对非结构化场景则存在以下几个方面的问题。

2、首先，相较于结构化场景，户外非结构化场景存在许多边界相互交错且外观高度相似的地形类别，针对这类地形进行精确划分极具挑战性。人工制作标签时，误差亦难以避免。尤其当这类地形环境在图像中仅占据一小部分，精细化分割的难度进一步加大。现有的方法在处理此类场景时，往往因类间特征交错性而导致分类误差较大。在机器视觉导航中，若机器人错误地将危险区域与安全区域混淆，将会造成不可挽回的损失。其次，之前有研究工作已经指出，在非结构化地形中，由于地形呈现出复杂交错的特性，机器视觉导航系统进行精细化的分割是一种低效率的行为，而完成导航任务仅需粗粒度的分类即可。例如，导航系统只需要将所有的树木、石头以及房屋划分为不可通行的障碍物即可，而无需将其单独划分为各自所属的类别。

3、最后，由于机器人设备通常是一种嵌入式计算机，其计算资源和内存空间均受到一定程度的限制，因为无法承载大模型进行测试。在进行模型轻量化的过程中，尽管能有效降低资源占用，却也难免带来性能的损失。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于类别注意力的轻量化地形分割方法、系统、终端及计算机可读存储介质，旨在解决现有技术中非结构化语义分割工作少、精细化分割效率低以及计算资源不足，导致无法提供有效的地形分割结果进行导航的问题。

2、为实现上述目的，本发明提供一种基于类别注意力的轻量化地形分割方法，所述基于类别注意力的轻量化地形分割方法包括如下步骤：

3、获取rgb原始图像，将所述rgb原始图像输入到多尺度特征提取器层进行特征提取，得到多层特征图，将每层特征图进行融合处理得到多个融合特征，并输入到解码器模块；

4、所述解码器模块按照导航区域种类设置多头注意力的头部个数，将每个融合特征通过注意力计算获取对应的预测特征图，根据每个预测特征图和对应的标签计算类别损失，并根据每个预测特征图和原始标签计算辅助损失，根据类别损失和辅助损失计算得到整体损失，当整体损失符合要求时得到训练好的语义分割框架；

5、获取非结构化户外地形环境信息，将非结构化户外地形环境信息输入到语义分割框架，生成地形分割结果图，所述地形分割结果图用于局部导航规划。

6、可选地，所述的基于类别注意力的轻量化地形分割方法，其中，所述多尺度特征提取器包括轻量化transformer模块；所述轻量化transformer模块包括轻量化多头注意力模块和轻量化前向反馈模块；

7、所述解码器模块包括类别注意力模块，所述类别注意力模块包括多头注意力模块。

8、可选地，所述的基于类别注意力的轻量化地形分割方法，其中，所述轻量化多头注意力模块由多个注意力头部组成，注意力机制公式如下：

9、；（1）

10、其中，为三个可学习的矩阵，为对应的维度，softmax表示激活函数，t表示转置；

11、多头注意力计算定义如式下：

12、；（2）

13、；（3）

14、其中，表示多头注意力计算，表示第i个注意力头部，m表示注意力头部的个数，为第i个注意力头部对应的特征矩阵，表示注意力计算。

15、可选地，所述的基于类别注意力的轻量化地形分割方法，其中，所述获取rgb原始图像，将所述rgb原始图像输入到多尺度特征提取器层进行特征提取，得到多层特征图，将每层特征图进行融合处理得到多个融合特征，并输入到解码器模块，具体包括：

16、所述轻量化多头注意力模块将所述rgb原始图像的序列特征划分成k组，对于k组不同序列特征分别经过注意力操作后再堆叠拼接在一起得到堆叠特征；

17、所述轻量化前向反馈模块将所述轻量化多头注意力模块输出的堆叠特征分成组，将分组后的特征进行维度扩张后送入卷积层，压缩回原来的大小并将组特征进行拼接得到拼接特征，将提取到的各层次拼接特征按预设分辨率进行特征融合得到融合特征。

18、可选地，所述的基于类别注意力的轻量化地形分割方法，其中，所述轻量化多头注意力模块将所述rgb原始图像的序列特征划分成k组，对于k组不同序列特征分别经过注意力操作后再堆叠拼接在一起得到堆叠特征，具体包括：

19、对于任一输入的序列特征，的分组转换操作定义为：

20、；（4）

21、；（5）

22、其中，表示分组之前的序列特征，表示第i组注意力计算后的序列特征，表示输入特征，表示对输入特征进行卷积操作，表示对特征图按某一维度进行展开，表示分组后的注意力计算，表示特征拼接操作，表示分组计算完成后进行特征堆叠得到的堆叠特征；

23、计算复杂度为，参数量从下降到，其中，代表学习向量的维度，为通道数。

24、可选地，所述的基于类别注意力的轻量化地形分割方法，其中，所述轻量化前向反馈模块将所述轻量化多头注意力模块输出的堆叠特征分成组，将分组后的特征进行维度扩张后送入卷积层，压缩回原来的大小并将组特征进行拼接得到拼接特征，将提取到的各层次拼接特征按预设分辨率进行特征融合得到融合特征，具体包括：

25、所述轻量化前向反馈模块的具体定义如下：

26、；（6）

27、；（7）

28、其中，表示输入的序列化特征，表示特征分割，表示维度大小调整，为定义的卷积层操作，为输出的序列化特征，表示特征拼接操作，表示进行轻量化前向反馈操作；

29、将各层次拼接特征按预设分辨率进行特征融合得到融合特征；

30、轻量化前向反馈模块使得参数量从原来的下降到，计算复杂度从下降到。

31、可选地，所述的基于类别注意力的轻量化地形分割方法，其中，所述解码器模块按照导航区域种类设置多头注意力的头部个数，将每个融合特征通过注意力计算获取对应的预测特征图，根据每个预测特征图和对应的标签计算类别损失，并根据每个预测特征图和原始标签计算辅助损失，根据类别损失和辅助损失计算得到整体损失，当整体损失符合要求时得到训练好的语义分割框架，具体包括：

32、按照提前划分好的导航区域种类设置多头注意力的头部个数，每一个头部用于根据每个融合特征为产生一个类别的特征图；

33、调整每个特征图的维度，通过注意力计算获取每个特征图对应的预测特征图，从对应的每个原始标签中提取对应类别重新制作二分类标签；

34、计算预测特征图与原始标签的交叉熵损失，对每一个计算出来的损失进行求和得到类别损失；

35、交叉熵损失的定义如下：

36、；（8）

37、其中，表示特征图的维度，表示类别数量，表示每个类别对应的输出概率，表示标签真值；

38、类别损失的定义如下：

39、；（9）

40、采用深度监督的方法，对生成的预测特征图与原始标签计算交叉熵损失，获得辅助损失；

41、则根据类别损失和辅助损失计算整体损失：

42、；（10）

43、当整体损失符合要求时得到训练好的语义分割框架。

44、此外，为实现上述目的，本发明还提供一种基于类别注意力的轻量化地形分割系统，其中，所述基于类别注意力的轻量化地形分割系统包括：

45、特征提取与融合模块，用于获取rgb原始图像，将所述rgb原始图像输入到多尺度特征提取器层进行特征提取，得到多层特征图，将每层特征图进行融合处理得到多个融合特征，并输入到解码器模块；

46、损失计算与模型训练模块，用于所述解码器模块按照导航区域种类设置多头注意力的头部个数，将每个融合特征通过注意力计算获取对应的预测特征图，根据每个预测特征图和对应的标签计算类别损失，并根据每个预测特征图和原始标签计算辅助损失，根据类别损失和辅助损失计算得到整体损失，当整体损失符合要求时得到训练好的语义分割框架；

47、地形分割与导航规划模块，用于获取非结构化户外地形环境信息，将非结构化户外地形环境信息输入到语义分割框架，生成地形分割结果图，所述地形分割结果图用于局部导航规划。

48、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于类别注意力的轻量化地形分割程序，所述基于类别注意力的轻量化地形分割程序被所述处理器执行时实现如上所述的基于类别注意力的轻量化地形分割方法的步骤。

49、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于类别注意力的轻量化地形分割程序，所述基于类别注意力的轻量化地形分割程序被处理器执行时实现如上所述的基于类别注意力的轻量化地形分割方法的步骤。

50、本发明中，获取rgb原始图像，将所述rgb原始图像输入到多尺度特征提取器层进行特征提取，得到多层特征图，将每层特征图进行融合处理得到多个融合特征，并输入到解码器模块；所述解码器模块按照导航区域种类设置多头注意力的头部个数，将每个融合特征通过注意力计算获取对应的预测特征图，根据每个预测特征图和对应的标签计算类别损失，并根据每个预测特征图和原始标签计算辅助损失，根据类别损失和辅助损失计算得到整体损失，当整体损失符合要求时得到训练好的语义分割框架；获取非结构化户外地形环境信息，将非结构化户外地形环境信息输入到语义分割框架，生成地形分割结果图，所述地形分割结果图用于局部导航规划。本发明通过建立全局依赖关系，更有效地捕获图像中的全局信息，并生成具有全局感受野的特征图，通道分解通道维度的相关性，从而减少自注意力计算过程中的参数数量，提高了语义分割框架在非结构地形分割的性能以及效率，生成的地形分割结果图可应用于局部导航规划。