一种基于改进卷积神经网络的行车障碍检测方法

本发明属于计算机视觉目标检测，具体涉及一种基于改进卷积神经网络的行车障碍检测方法。

背景技术：

1、近年来，随着我国经济和科技的飞速发展，人民生活水平得到了显著提高，而汽车作为代步工具，也走进了千家万户之中。随着机动车数量的逐年增加，所引起的交通安全问题也备受关注。

2、随着计算机视觉的兴起，将计算机视觉与智能交通行业相结合实现辅助驾驶是各大汽车厂商不断深入研究的领域。行车障碍检测可以帮助提醒驾驶员及时发现道路上的障碍物，如其他车辆、行人、动物、路障等，从而及时采取避让或制动等措施，避免交通事故的发生，提高行车安全性。

技术实现思路

1、发明目的：本发明提出一种基于改进卷积神经网络的行车障碍检测方法，检测速度快、准确率高、帮助提醒驾驶员及时采取避让或制动等措施，避免交通事故的发生，提高行车安全性。

2、技术方案：本发明所述的一种基于改进卷积神经网络的行车障碍检测方法，具体包括以下步骤：

3、(1)采集并保存车辆行驶过程中常见的行车障碍图像；

4、(2)将采集的行车障碍图像数据进行预处理，并划分数据集；

5、(3)构建基于改进卷积神经网络的行车障碍检测模型，包括主干网络、特征融合模块和检测头；所述主干网络包括编码模块encode_block、浅层特征信息提取模块sbr、轻量化特征提取模块rep_block、下采样模块ds_block、迭代模块stage；所述特征融合模块是将yolov8的特征融合模块中的c2f模块替换为rep_block模块；所述检测头为多尺度解耦检测头；

6、(4)对构建的行车障碍检测模型进行训练，优化损失函数，通过多次迭代得到最好的预训练模型权重，然后对测试集的样本数据进行验证。

7、进一步地，所述步骤(2)实现过程如下：

8、收集到的图片数据进行数据清洗，包括去除重复数据、去除损坏数据、去除脏数据；对数据集样本进行数据增强，包括图片的裁剪和拼接、几何变换、高斯模糊、亮度和对比度提升；将数据增强后的图片按照一定比例划分为训练集，验证集和训练集。

9、进一步地，所述步骤(3)所述编码模块encode_block实现过程如下：

10、将输入图片进行邻近下采样，将图片中宽和高的特征信息集中到通道空间提高后续卷积运算速度，再经过一次卷积操作进行特征信息的初步提取。

11、进一步地，所述步骤(3)所述浅层特征信息提取模块sbr实现过程如下：

12、sbr将输入的特征信息经过卷积核为13和膨胀因子为2的空洞卷积，利用大卷积核的空洞卷积增强感受野，进一步增强浅层特征信息提取能力，再将特征向量经过归一化和非线性激活后进行残差连接。

13、进一步地，所述步骤(3)所述轻量化特征提取模块rep_block实现过程如下：

14、训练阶段输入特征图先经过1×1的卷积将特征图通道进行升维，然后采用4分支结构，组成多尺度特征提取模块，再将4个分支的特征图进行拼接，最后将拼接后的特征图经过1×1卷积将特征图通道进行降维和残差连接；预测阶段利用卷积的可加性将4个分支的卷积和batchnorm的权重进行融合，融合成一个7×7的大卷积核提高预测效率。

15、进一步地，步骤(3)所述所述迭代模块包括stage1、stage2、stage3迭代模块，每个迭代模块是由n个轻量化特征提取模块组成，n为可变参数，通过调整n改变模型复杂度。

16、进一步地，步骤(3)所述下采样模块实现过程如下：

17、首先利用大小为3×3的卷积和maxpool进行下采样，再将maxpool层和卷积连接起来；再经过agentattention注意力机制有效提取全局信息。

18、进一步地，步骤(3)所述特征融合模块实现过程如下：

19、将sbr层的浅层特征提取结果经过三次下采样，与待融合特征信息保存维度一致，将三次下采样结果分别在rep_block1、rep_block2和rep_block3前与深层特征信息融合，增强模型对小目标的特征信息提取能力，将结果进一步输入到检测头中输出预测结果。

20、进一步地，步骤(3)所述检测头模块一共有三个不同尺度的检测头，分别负责大目标、中目标和小目标的检测；特征向量先经过两组卷积核为3×3的卷积、归一化和relu6激活函数，进一步分别经过两个卷积调整输出通道大小，用于分类的输出通道数为分类类别个数，用于预测边框的特征向量。

21、进一步地，所述步骤(4)所述损失函数如下：

22、将yolov8的损失函数ciou替换为mpdiou，使预测框和真实框的左上角和右下角点之间的距离最小化，用于边界框回归，充分利用边界框回归的几何特性。

23、有益效果：与现有技术相比，本发明的有益效果：

24、本发明采用多分支结构提取不同尺度和层次的特征并利用结构重参数化思想将多分支结构在预测阶段融合成为1个7×7的大卷积核提高卷积运算效率，从而提高检测速度；而且大核设计可以大幅提升感受野，而感受野对于下游任务非常重要；其次，大核设计可以为网络带来更多的形状偏置，使模型具有更强的表达能力；

25、本发明在下采样是采用卷积核池化结合的方式可以更完整地保留上下文信息后，并在下采样之后加入agent attention注意力机制，通过将softmax注意力机制核线性注意力机制进行融合，有效的提取全局语义信息的同时提高运算效率；

26、本发明在特征融合中将c2f模块替换为reb_block模块提高了模型的推理时间，并将sbr输出的浅层特征信息与深层特征信息进行融合，增强模型对小目标的特征信息提取能力，提高小目标的检测精准度；

27、本发明将yolov8的边界框损失函数ciou替换为mpdiou使预测框和真实框的左上角和右下角点之间的距离最小化并获得更快的收敛速度和更准确的回归结果。

技术特征：

1.一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，所述步骤(2)实现过程如下：

3.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，所述步骤(3)所述编码模块encode_block实现过程如下：

4.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，所述步骤(3)所述浅层特征信息提取模块sbr实现过程如下：

5.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，所述步骤(3)所述轻量化特征提取模块rep_block模块实现过程如下：

6.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，步骤(3)所述所述迭代模块包括stage1、stage2、stage3迭代模块，每个迭代模块是由n个轻量化特征提取模块组成，n为可变参数，通过调整n改变模型复杂度。

7.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，步骤(3)所述下采样模块实现过程如下：

8.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，步骤(3)所述特征融合模块实现过程如下：

9.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，步骤(3)所述检测头模块一共有三个不同尺度的检测头，分别负责大目标、中目标和小目标的检测；特征向量先经过两组卷积核为3×3的卷积、归一化和relu6激活函数，进一步分别经过两个卷积调整输出通道大小，用于分类的输出通道数为分类类别个数，用于预测边框的特征向量。

10.根据权利要求1所述的一种基于改进卷积神经网络的行车障碍检测方法，其特征在于，所述步骤(4)所述损失函数如下：

技术总结本发明公开了一种基于改进卷积神经网络的行车障碍检测方法，采集并保存常见的行车过程中的障碍图像；进行数据处理并制作成数据集；构建基于改进卷积神经网络的行车障碍检测模型，包括主干网络、特征融合模块和检测头；所述主干网络包括编码模、浅层特征信息提取模块、轻量化特征提取模块、下采样模块、迭代模块；所述特征融合模块是将Yolov8的特征融合模块中的c2f模块替换为Rep_block模块；所述检测头为多尺度解耦检测头；引入了MPDIoU损失函数来提高模型的回归和分类精度，并获得更快的收敛速度和更准确的回归结果。本发明能在不降低行车障碍精度的同时，提高检测速度，提高了行车障碍检测的实时性。技术研发人员：李明辉,邱军林,雷恒聃,杨健,秦雨新,侍磊磊,张硕,邵鹤帅,高丽,蒋晓玲受保护的技术使用者：淮阴工学院技术研发日：技术公布日：2024/8/1