一种基于改进YOLOV7的桥梁构件目标检测方法

本发明涉及计算机视觉，具体涉及一种基于改进yolov7的桥梁构件目标检测方法。

背景技术：

1、截止到2023年末我国共有公共桥梁103.32万座、其中特大桥梁8816座，由于桥梁数量众多如何快速分辨桥梁的构件进而对其进行定位以及分类是桥梁运维阶段的重要工作之一。在实践中，为了评估桥梁的当前状况，人工目视检查通常用于维护目的。由于人工视觉检测费时、费钱、费力，近年来，基于深度学习技术的计算机视觉被认为是一种很有前途的自动损伤检测和分类工具。然而，由于特写图像不包含整体结构背景，因此很难确定损伤的局部位置，而了解损伤位置和相关的结构组件对于解释整体结构健康状况至关重要。与二维图像数据相比，三维空间中具有额外维度的点云可以用于桥梁构件的识别。然而三维点云的获取通常需要特殊设备，如激光雷达或深度摄像头等。这些设备的使用可能受到环境条件的限制，如天气、光照等因素。

2、深度学习被广泛应用于计算机视觉、自然语言处理等领域，将其应用于桥梁构件的检测，是一种理想的智能检测途径。相较于传统数字图像处理，深度学习算法可以自动学习和提取图像中的抽象特征，无需手动设计，从而提高了处理效率和准确性。此外在涉及复杂场景、多个目标或变化较大的任务中，传统数字图像处理方法往往难以提供令人满意的结果。这是因为传统方法的性能受限于手动设计的规则和基于像素的处理方式。而深度学习方法可以通过深层神经网络的处理能力，从大量的数据中学习并建模复杂的场景和模式，更适合处理多目标、复杂背景等情况。

3、近年来，基于深度学习的目标检测算法的出现带来了革命性的突破，具有更强大和智能的检测能力。首先区域提取方法是基于深度学习的目标检测的先驱之一。这种方法利用深度卷积神经网络(cnn)生成候选目标区域，并通过对这些区域进行分类来确定目标的位置和类别。代表性的算法包括r-cnn、fast r-cnn和faster r-cnn。r-cnn首先使用选择性搜索算法生成候选框，然后将每个候选框转换为固定大小的输入图像，然后使用cnn对每个图像进行特征提取和分类。fast r-cnn通过共享特征提取步骤来加速检测过程，而faster r-cnn引入区域提议网络(rpn)来实现端到端的目标检测。近年来以yolo为代表的单阶段检测算法迅速兴起。相较于需要对图像进行候选区域提取，然后再进行分类以及边界回归的两阶段检测算法，单阶段算法具有更多优点。首先目标检测速度更快，单阶段目标检测算法通常只需要一次前向传播即可完成目标的检测，而两阶段检测算法则需要两次前向传播。因此，单阶段目标检测算法在速度上表现更优，特别适用于实时场景和对检测速度要求较高的应用；其次模型更简单：单阶段目标检测算法通常采用单一的网络结构，将目标检测过程简化为回归问题。相比之下，两阶段检测算法需要分为候选框生成和候选框分类两个阶段，增加了模型的复杂度和训练过程。最后单阶段检测算法拥有更强的泛化能力，单阶段目标检测算法没有候选框生成的过程，直接对整个图像进行预测。因此，它对于小目标的检测更有效，且对于不同尺寸、不同类别的目标具有较强的泛化能力。

4、工作是基于yolov7进行的，yolov7是目前最好的单阶段检测算法之一，为了获得更好的检测结果，尝试在bc-dataset上对其进行训练。bc-dataset是花费大量时间从各处进行拍摄、标注的数据集，它包含从各种不同角度拍摄的桥梁。我们进行了大量的数据统计和基准测试，确保了数据集的质量，提供了可靠的训练数据。进行实验后，我们发现最初版本的yolov7在训练后仍有一些改进的空间——例如，在场景比较复杂或者桥梁有遮挡的区域，算法往往会出现一些错误。

技术实现思路

1、本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于改进yolov7的桥梁构件目标检测方法，本研究对于桥梁结构的安全和监测具有重要意义，可以为相关领域的研究和应用提供有力的支持。

2、为达到上述目的，本发明实施例提出了一种基于改进yolov7的桥梁构件目标检测方法，包括：

3、(1)创造了一个桥梁构件的数据集，有助于更好地研究桥梁构件组成的检测。此外bc-dataset填补了计算机视觉与桥梁工程交叉研究数据集的空白；

4、(2)提出了一种改进的模型yolov7+bra，在该模型中添加了一个双层路由注意模块(bra)，使其具有动态感知查询的稀疏性。实验结果表明，该方法成功地提高了检测准确率，降低了误检率；

5、(3)提出了一种改进的模型yolov7+wise-iou，该模型集成了wise-iou损失函数，提高了模型在数据质量不均匀的数据集上的性能，wise-iou通过基于锚盒质量动态分配梯度增益，减少了所需的训练迭代次数，并在bc-dataset上实现了比现有损失函数更高的精度，实验结果表明，wise-iou v1、v2和v3都优于现有的损失函数，其中wise-iou v3的整体性能最好。

6、(4)对改进的yolov7网络模型进行迭代训练，在收敛后选取精度最高的改进yolov7网络模型作为桥梁构件目标检测网络模型。

技术特征：

1.一种基于改进yolov7的桥梁构件目标检测方法，该方法的发起点是解决传统的目标检测方法存在着在复杂背景下定位和分类性能下降的问题，对计算机视觉与桥梁工程的交叉研究起到重要的应用价值。

2.根据权利要求1创建了一个桥梁数据集-bc-dataset，它含有1.2k图片，包括三种结构：桥梁、桥墩、盖梁，它有助于更好地研究桥梁构件组成的检测，此外bc-dataset填补了计算机视觉与桥梁工程交叉研究数据集的空白。

3.根据权利要求1，首先确定主干网络，yolov7是目前最好的单阶段检测算法之一，它有如下优点：

4.根据权利要求2和3对yolov7进行了改进：

5.根据权利要求4对改进的yolov7网络模型进行迭代训练，在收敛后选取精度最高的改进yolov7网络模型作为桥梁构件目标检测网络模型，包括：

6.根据权利要求5，在对网络进行迭代训练之前，需要对输入的数据集进行预处理，包括：

技术总结本发明提出了一种基于改进YOLOv7的桥梁构件目标检测方法，为解决这个问题，对YOLOv7进行了改进，首先创建桥梁构件数据集(BC‑Dataset)，它含有1.2k图片，包括三种结构：桥梁、桥墩、盖梁，为了提高复杂场景下的检测精准度，将动态稀疏注意力(the biformer attention)模块和Wise‑IoU融入到YOLOv7网络中，最后，在BC‑Dataset进行了实验，模型的的准确率达到91.19％，实验结果表明，本发明的方法在桥梁构件目标检测任务上取得了优于传统方法的精度和准确度，本研究对于桥梁结构的安全和监测具有重要意义，可以为相关领域的研究和应用提供有力的支持。技术研发人员：章登勇,张全景受保护的技术使用者：长沙理工大学技术研发日：技术公布日：2024/7/29