一种用于无人船环境理解的边界驱动神经网络结构

本发明公开一种用于无人船环境理解的边界驱动神经网络结构，属于神经网络结构。

背景技术：

1、无人水面航行器(usv)体积较小，便携型强，且通常配备功耗较低的传感器，可以进行自主导航，因此usv主要被应用在各种场景下进行科学探索，环境信息收集，搜救与巡检等。在进行自主导航时，usv必须能够感知周边环境，了解障碍物位置与可行驶水域，提前进行路径规划与避障。由于usv尺寸受限、负载能力小、能源供应有限和成本限制等因素，常见的船舶传感器，如雷达，声纳等，在usv上无法安装。相机具有省电轻便的特点，能够提供丰富的环境信息。在许多应用场景下，人们通常通过使用相机结合深度学习网络来替代雷达等传感器，usv也不例外，因此从相机的原始图片信息中提取与航行相关的信息对于无人船实现自主导航这项任务至关重要。

2、在无人车与自主导航车(agv)领域，利用传感器进行自主导航的研究在近几年已经有了快速的发展。但由于agv与usv在应用场景的环境上存在诸多差异，因此在agv上应用的网络无法轻易应用在usv上。在无人船行驶过程中，由于周边的海洋背景不断变化，基于传统视觉方法难以有效的处理这类情况，基于船舶硬件设备的方法也面临较大的困难。随着新型深度学习网络架构的兴起，无人船视角下海洋环境特征信息提取技术也在不断完善，同时，为了对目标物体进行更加精确的分割，出现了引入边缘信息辅助无人船进行海上环境特征提取的研究。其中包括将惯性测量单元(imu)的惯性数据与解码器的视觉信息融合，以提高了水面边界分割的准确性的方法，以及使用最小二乘法与中值滤波用于水面边界的估计，提高了分割准确性的方法。以上研究均通过预估水面边界位置，辅助网络进行海洋环境特征信息提取，但在复杂海上环境下，对于水面边界的预测往往存在较大误差，而且usv在行驶过程中，所捕获的边缘信息不只有水面边界，还涉及天空与障碍物的边界，水中障碍物的边界等，使用现有方法进行无人船视角下的海洋环境特征信息提取存在较大挑战。

技术实现思路

1、本发明的目的在于提供一种用于无人船环境理解的边界驱动神经网络结构，以解决现有技术中，海洋环境特征信息提取精度低的问题。

2、一种用于无人船环境理解的边界驱动神经网络结构，包括网络主分支、边缘提取模块、边缘强化模块和损失函数；网络主分支包括编码器和解码器，编码器采用resnet101结构，包括五个残差卷积块、一个最大值池化层和一个平均池化层，解码器包括两个注意力细化模块、一个特征融合模块和一个空洞卷积金字塔池化模块；边缘提取模块包括三个串联的边界注意力流、多个卷积核大小为1×1的卷积层和上采样层；边缘强化模块包括空洞卷积金字塔模块、通道注意力模块和一个卷积核大小为1×1的卷积层；

3、将无人船拍摄的海上环境图像划分为若干数据集，将数据集导入神经网络结构进行海上环境信息特征提取。

4、编码器的五个残差卷积块中分别存在1、9、12、69、9个卷积层，卷积层的卷积核大小包括7×7、1×1、3×3三种，第一个残差卷积块中，卷积层的步长为2，其余残差卷积块的卷积层步长均为1。

5、解码器中，注意力细化模块包括下采样层、卷积核大小为1×1的卷积层、归一化层和sigmoid激活层，一个注意力细化模块接受编码器池化层的输出，另一个注意力细化模块接受编码器第二个残差卷积块的输出。

6、特征融合模块包括一个卷积核大小为3×3的卷积层、两个卷积核大小为1×1的卷积层、归一化与relu激活函数层、下采样层和sigmoid激活函数层，将两个注意力细化模块的输出进行concat拼接，特征融合模块接受拼接结果和第二个残差卷积块的输出结果；

7、空洞卷积金字塔池化模块包括四个空洞卷积层、一个池化层、两个卷积核大小为1×1的卷积层和一个上采样层，四个空洞卷积层的卷积核大小分别为1×1、3×3、3×3、3×3，膨胀率分别为1、6、12、18，空洞卷积金字塔池化模块接收来自特征融合层的输出，并通过上采样操作处理后作为主分支的输出结果。

8、边界注意力流包括三个卷积核大小为1×1的卷积层、relu激活函数层和sigmoid激活函数层构成；

9、第一个边界注意力流的输入是经过1×1卷积层处理的输入图像和经过上采样层处理的主分支第一个残差卷积块的输出，第二个边界注意力流的输入是经过了1×1卷积层处理的第一个边界注意力流的输出和经过上采样层处理的主分支最大池化层的输出，第三个边界注意力流的输入是经过了1×1卷积层处理的第二个边界注意力流的输出和经过上采样层处理的主分支第三个残差卷积块的输出，将三个边界注意力流进行concat拼接作为边缘提取模块的最终输出。

10、空洞卷积金字塔模块包括四个空洞卷积层构成，卷积核大小分别为1×1、3×3、3×3、3×3，膨胀率分别为1、1、4、8；空洞卷积金字塔模块的输入为网络主分支输出与边缘提取模块输出经过concat拼接后的结果，空洞卷积金字塔模块的结果经过concat拼接并输出。

11、通道注意力模块包括最大池化层、平均池化层、多层感知机和sigmoid激活函数层，接受空洞卷积金字塔模块的输出作为输入，通过一个卷积核大小为1×1的卷积层输出，作为边缘强化模块的最终输出。

12、损失函数包括特征分割损失、边界损失和焦点损失；

13、通过主分支第四个残差卷积块的输出计算得到特征分割损失，通过第三个边缘注意力流的输出与边界真值计算得到边界损失，通过边缘强化模块的输出与特征真值计算得到焦点损失，网络总损失函数由三者加权求和得到：

14、；

15、、、分别是三种损失对应的权重。

16、训练神经网络结构，通过随机梯度下降法进行迭代并优化网络参数，使用构建的数据集对神经网络结构进行预训练；

17、使用训练集和验证集进行网络训练，设置预训练超参数与损失函数权重，预训练超参数包括最大迭代次数、初始学习率、权重衰减率和批次大小。

18、训练神经网络结构后，测试神经网络结构，验证环境信息提取效果。

19、相对比现有技术，本发明具有以下有益效果：本发明训练的神经网络结构能够快速进行水面边界的提取，提取精度高且误检率低，边缘分割效果较好，提高海上环境特征信息中边界特征提取的准确性。

技术特征：

1.一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，包括网络主分支、边缘提取模块、边缘强化模块和损失函数；网络主分支包括编码器和解码器，编码器采用resnet101结构，包括五个残差卷积块、一个最大值池化层和一个平均池化层，解码器包括两个注意力细化模块、一个特征融合模块和一个空洞卷积金字塔池化模块；边缘提取模块包括三个串联的边界注意力流、多个卷积核大小为1×1的卷积层和上采样层；边缘强化模块包括空洞卷积金字塔模块、通道注意力模块和一个卷积核大小为1×1的卷积层；

2.根据权利要求1所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，编码器的五个残差卷积块中分别存在1、9、12、69、9个卷积层，卷积层的卷积核大小包括7×7、1×1、3×3三种，第一个残差卷积块中，卷积层的步长为2，其余残差卷积块的卷积层步长均为1。

3.根据权利要求2所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，解码器中，注意力细化模块包括下采样层、卷积核大小为1×1的卷积层、归一化层和sigmoid激活层，一个注意力细化模块接受编码器池化层的输出，另一个注意力细化模块接受编码器第二个残差卷积块的输出。

4.根据权利要求3所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，特征融合模块包括一个卷积核大小为3×3的卷积层、两个卷积核大小为1×1的卷积层、归一化与relu激活函数层、下采样层和sigmoid激活函数层，将两个注意力细化模块的输出进行concat拼接，特征融合模块接受拼接结果和第二个残差卷积块的输出结果；

5.根据权利要求4所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，边界注意力流包括三个卷积核大小为1×1的卷积层、relu激活函数层和sigmoid激活函数层构成；

6.根据权利要求5所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，空洞卷积金字塔模块包括四个空洞卷积层构成，卷积核大小分别为1×1、3×3、3×3、3×3，膨胀率分别为1、1、4、8；空洞卷积金字塔模块的输入为网络主分支输出与边缘提取模块输出经过concat拼接后的结果，空洞卷积金字塔模块的结果经过concat拼接并输出。

7.根据权利要求6所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，通道注意力模块包括最大池化层、平均池化层、多层感知机和sigmoid激活函数层，接受空洞卷积金字塔模块的输出作为输入，通过一个卷积核大小为1×1的卷积层输出，作为边缘强化模块的最终输出。

8.根据权利要求7所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，损失函数包括特征分割损失、边界损失和焦点损失；

9.根据权利要求8所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，训练神经网络结构，通过随机梯度下降法进行迭代并优化网络参数，使用构建的数据集对神经网络结构进行预训练；

10.根据权利要求9所述的一种用于无人船环境理解的边界驱动神经网络结构，其特征在于，训练神经网络结构后，测试神经网络结构，验证环境信息提取效果。

技术总结本发明公开一种用于无人船环境理解的边界驱动神经网络结构，属于神经网络结构技术领域，用于无人船视角下环境信息提取，包括网络主分支、边缘提取模块、边缘强化模块和损失函数；网络主分支包括编码器和解码器，包括五个残差卷积块、一个最大值池化层和一个平均池化层，解码器包括两个注意力细化模块、一个特征融合模块和一个空洞卷积金字塔池化模块；边缘提取模块包括三个串联的边界注意力流、多个卷积层和上采样层；边缘强化模块包括空洞卷积金字塔模块、通道注意力模块和一个卷积层；本发明解决无人船视角下对海上环境信息提取在各类别边界上的分割模糊的问题，提高海上环境信息提取的准确性，能更有效的指导无人船进行路径规划与自主导航。技术研发人员：孔栋,孙晓宇,刘纪刚,张立业,李中正受保护的技术使用者：山东科技大学技术研发日：技术公布日：2024/7/29