一种基于矩阵结构深度神经网络的公路路面裂缝检测系统的制作方法

1.本发明涉及公路路面裂缝检测领域，尤其是涉及一种基于矩阵结构的多层次特征提取的裂缝检测系统。


背景技术：

2.公路网的基本构建推动了我国交通运输行业的快速发展，给人们的出行带来了极大的便利。于此相对的是对于安全隐患路段治理以及提高国省道安全性和抗灾能力和行车舒适性的要求也在提高。由于道路使用年限的不断增加，道路路面在各型重载车辆的长期碾压下受损，导致路面内部的结构层难以承担负荷，主要以路面损伤初期的裂缝形式显现。强化干线公路养护，加强公路安全隐患治理在现今公路网建设“保量增质”的大环境下主体作用显著增强。若能够在公路路面破损初期就对其进行道路养护工作，将大大减少工作量并减少相关费用。对于道路养护工作者来说，若能够在路面损伤初期就进行及时的路况检测可以有效提高预防性养护的水平。相反，由于路面养护的封闭维修模式而导致损伤处理不及时，风险评估不到位，在各种外在因素的影响下会进而引发损伤二次加剧，严重干扰正常的交通秩序，危害驾驶人的安全。目前，随着我国公路里程数与日俱增，道路养护任务量不断加大，传统的养护方式严重依赖一些专业的养护和检测设备，价格高且操作专业性强，导致相关任务完成难度大。相比之下，自动路面检测系统在设计和应用得当的情况下，能够快速、准确地完成任务，同时降低人为主观性因素产生的影响。因此，公路养护工作应该朝着更加智能化、高效化的方向发展。
3.在公路的养护任务中，关键的一步便是对路面裂缝的检测和识别。传统的人工检测方式完全依赖于检测人员个人的相关经验和知识背景，在在定量分析中缺乏客观性。基于数字图像处理技术以及边缘检测算法的裂缝检测方法虽然相对于人工检测可以在一定程度上提高检测效率，但其处理模式单一，且没有考虑到实际环境下的路面噪声情况，其检测准确性不高。并且在实际情况下混凝土路面具有光照强度不均匀、拓扑结构复杂、对比度低、纹理背景复杂、噪声干扰大等特点。
4.综上所述，设计高效、准确的公路路面裂缝检测系统，成为路面裂缝检测领域亟待攻克的技术难题。


技术实现要素：

5.本发明目的在于，提供一种基于矩阵结构深度神经网络的自动化裂缝检测系统，可以针对现有技术难以解决的检测效率和检测精度等问题，提供一种解决方案。
6.为了实现上述目的，本发明提供以下技术方案：
7.一种基于矩阵结构深度神经网络的公路路面裂缝检测方法，该方法具体包括以下步骤：
8.s1、利用搭载高清摄像装置的公路路面裂缝采集系统采集公路路面的裂缝图像，标注建立深度学习的路面裂缝数据集；
9.s2、搭建包含矩阵网络、主干网络、检测网络和编解码网络的深度学习裂缝检测网络；
10.s3、将数据集划分为训练集、验证集和测试集训练神经网络模型；
11.s4、优化模型以及进行实际路面图像的测试。
12.进一步地，所述步骤s1具体包括：
13.s11、所使用的公路路面裂缝采集系统的采集模式为连续捕获模式，可以人为操控，采集到的图像尺寸为2000
×
2000像素。
14.s12、对采集到的裂缝图像进行预处理，预处理过程包括图像的标注和数据增强，增强手段包括图像的随机裁剪、旋转变换、以及通过随机因子对图像进行颜色抖动调整图像的饱和度、亮度、对比度和锐度。
15.进一步地，所述步骤s2具体包括：
16.s21、搭建矩阵网络特征提取模块，矩阵网络模块的搭建首先需要确定矩阵结构的尺度范围，设定为具有奇数层个数的方阵结构，其次根据裂缝特征以及分布范围确定每个矩阵层的层生成过程以及层范围；
17.s22、主干网络部分包括主干网络的卷积层的数目，卷积核的大小，每个卷积层产生特征图的大小；
18.s23、检测网络对图像中的裂缝区域进行框选标记，网络基于矩阵网络的输出，包括对各矩阵层的层内对象的左上角和右下角进行预测获得热图和偏移量以及目标区域的中心点，利用中心点匹配同层内的角点坐标，再将所有层的输出与平滑非极大值抑制算法结合后得到最终的裂缝区域检测框。
19.s24、编解码网络的搭建包括编码部分与矩阵网络的特征图融合衔接，解码部分根据特征图的信息对裂缝区域进行分割。
20.进一步地，所述步骤s3具体包括：
21.s31、对利用公路路面裂缝采集系统构建并预处理的裂缝数据集按照6：1：3的比例划分为训练集、验证集和测试集。
22.s32、训练过程可分为裂缝目标的检测分支和裂缝区域的分割分支，针对各分支分别设计不同的损失函数，在矩阵网络模块和主干网络中使用relu作为激活函数，在编解码网络中使用sigmoid作为激活函数。
23.s33、矩阵网络中，在对角线上的各个层使用一系列步长为1
×
2的共享3
×
3卷积来得到上三角层，下三角层使用步长为2
×
1的共享3
×
3卷积获得。
24.s34、预先设定分配给矩阵网络中每一层裂缝尺寸比例变化的范围，表示的是各层中特征向量的接受域，各层的接受域都是按倍数规律变化的。同时为了防止边界上的裂缝发生中断，设定一个冗余量来放宽边界范围，设定0.8和1.3作为区间两端的松弛变量。
25.进一步地，所述步骤s4具体包括：
26.s41、路面裂缝检测网络的检测分支所使用的损失函数如下所示：
27.28.其中：α＝|x1‑
x2|
29.式中：l
dec
为检测分支的损失函数，x1为裂缝图像的真实值的张量形式，x2为裂缝区域预测框的张量形式，α为真实值与预测值之间差值的绝对值。β为差值限制系数，设置为0.1。
30.s42、路面裂缝检测网络的裂缝分割分支所使用的损失函数如下所示：
[0031][0032]
其中，l
seg
为分割分支的损失函数，y为真实值，y'为预测值，n为样本数量，ω为模型参数，λ为权重衰减系数。
[0033]
s43、所述深度神经网络中的训练过程中使用的优化算法为adam算法，在优化算法中调整参数alpha，beta1，beta2，epsilon分别为0.003，0.99，0.9999，1e
‑
9。
[0034]
在得到裂缝图像的二值化区域分割输出图像后，利用图像细化的方法对裂缝区域进行骨架提取，并通过算法计算出裂缝的长度、宽度、面积等形态信息和实际参数。
[0035]
一种基于矩阵结构深度神经网络的公路路面裂缝检测采集系统，该系统主要包含以下模块：
[0036]
搭载仪器的固定支架，用于固定其他设备组件；高清图像采集设备，用于获取路面裂缝图像；控制开关，用于控制采集模式；激光测距仪，用于测定每帧图像中镜头与路面的距离；裂缝测宽仪，用于测定实际的裂缝宽度参数；传输线缆，用于将图像采集设备与个人电脑连接进行信号传输。
[0037]
本发明公开的基于矩阵结构深度神经网络的公路路面裂缝检测系统，通过设计矩阵网络特征提取模块并和编解码网络进行融合，简化模型结构，从而降低模型的参数量，在保持模型识别精确度的前提下，提高识别效率。同时充分利用提取到的特征信息，在检测分支中通过预测匹配角点坐标框选裂缝区域。与现有技术相比，本发明的有益效果是：训练得到的裂缝检测模型具有轻量化，检测精度高、检测速度快等优点，并可结合硬件设备进行即时检测，能够显著提高公路路面裂缝检测的精度和效率。
附图说明
[0038]
图1为本发明实施例一种基于矩阵结构深度神经网络的公路路面裂缝检测系统的裂缝识别流程示意图；
[0039]
图2为本发明实施例中矩阵结构网络的结构示意图；
[0040]
图3为本发明实施例一种基于矩阵结构深度神经网络的公路路面裂缝检测采集系统的结构框图；
[0041]
图4为本发明实施例中原始裂缝图像，标注图像，裂缝分割图像和裂缝骨架化结果实例图。
具体实施方式
[0042]
以下将结合具体实施例和附图对本发明公开的路面裂缝检测方法、采集系统的具体结构以及产生的技术效果进行清楚、完整的描述，以充分地理解本发明公开的目的、方案和效果。本发明实施例的测试环境为某条在役高速公路。在本实施例中，裂缝图像的选取为
室外环境的公开区域。
[0043]
本实施例的模型搭建平台为安装有win10系统并搭载nvidia独立显卡的个人电脑，并采用了pytorch的开源软件库。
[0044]
如图1所示，一种基于矩阵结构深度神经网络的公路路面裂缝检测系统的裂缝识别流程，包括以下步骤：
[0045]
s1、利用搭载高清摄像装置的公路路面裂缝采集系统采集公路路面的裂缝图像，标注建立深度学习的路面裂缝数据集；
[0046]
所使用的高清摄像装置固定于支架上，并且垂直于路面距离为100mm,采集的图像范围为 120mm
×
120mm，采集的高清摄像装置为nikon d5100。采集模式为连续捕获模式，可以人为操控，采集到的图像尺寸为2000
×
2000像素。预处理过程包括图像的标注和数据增强，增强手段包括图像的随机裁剪、旋转变换、以及通过随机因子对图像进行颜色抖动调整图像的饱和度、亮度、对比度和锐度。
[0047]
本发明实例中采用采集到的裂缝图片作为数据集的原始图像，将原始图像使用滑动窗口法裁剪为256
×
256像素的图像，得到包含1000张原始彩色图像和对应的人工标注的标签数据的原始数据集，并通过顺时针旋转90
°
、180
°
、水平镜像、在图像中心点随即裁剪一个尺寸为20
×
20像素的框并以255白色像素进行填充等数据增强操作进一步扩充数据集，降低过拟合风险。
[0048]
s2、搭建包含矩阵网络、主干网络、检测网络和编解码网络的深度学习裂缝检测网络；
[0049]
本发明实施例中所采用的深度神经网络的核心为矩阵网络模块，并以此为基础，选择 resnet152作为主干网络的基本结构搭建特征提取网络。检测网络分支目的为对图像中的裂缝区域进行框选标记，利用角点检测的方法，网络基于矩阵网络的输出，包括对各矩阵层的层内对象的左上角和右下角进行预测获得热图和偏移量以及目标区域的中心点，利用中心点匹配同层内的角点坐标，再将所有层的输出与平滑非极大值抑制算法结合后得到最终的裂缝区域检测框。
[0050]
编解码网络的搭建分为两个部分，首先为编码部分与矩阵网络的融合衔接以完成特征图的传递和下采样操作，其次为解码部分对特征图进行上采样以恢复到原图大小，并保留解码部分所有特征图以提高裂缝区域边缘部分的描述效果。
[0051]
s3、将数据集划分为训练集、验证集和测试集训练神经网络模型；
[0052]
对利用公路路面裂缝采集系统构建并预处理的裂缝数据集按照6：1：3的比例划分为训练集、验证集和测试集。训练过程可分为裂缝目标的检测分支和裂缝区域的分割分支，针对各分支分别涉及不同的损失函数，在矩阵网络模块和主干网络中使用relu作为激活函数，在编解码网络中使用sigmoid作为激活函数。
[0053]
矩阵网络中，在对角线上的各个层使用一系列步长为1
×
2的共享3
×
3卷积来得到上三角层，下三角层使用步长为2
×
1的共享3
×
3卷积获得。搭建矩阵网络特征提取模块，矩阵网络模块的搭建首先需要确定矩阵结构的尺度范围，设定为具有奇数层个数的方阵结构，在本实施例中采用的规模大小有3
×
3，5
×
5，7
×
7等，其次根据裂缝特征以及分布范围确定每个矩阵层的层生成过程以及层范围。如图2所示为本发明实施例中所使用的矩阵结构网络结构图。
[0054]
预先设定分配给矩阵网络中每一层裂缝尺寸比例变化的范围，表示的是各层中特征向量的接受域，各层的接受域都是按倍数规律变化的。同时为了防止边界上的裂缝发生中断，设定一个冗余量来放宽边界范围，设定0.8和1.3作为区间两端的松弛变量。
[0055]
s4、优化模型以及进行实际路面图像的测试。
[0056]
在所述的深度神经网络中的训练过程中使用的优化算法为adam算法，在优化算法中根据训练效果调整参数alpha，beta1，beta2，epsilon分别为0.003，0.99，0.9999，1e
‑
9。本发明实例所述的路面裂缝检测网络的检测分支所使用的损失函数为：
[0057][0058]
其中：α＝|x1‑
x2|
[0059]
式中：l
dec
为检测分支的损失函数，x1为裂缝图像的真实值的张量形式，x2为裂缝区域预测框的张量形式，α为真实值与预测值之间差值的绝对值。β为差值限制系数，设置为 0.1。
[0060]
路面裂缝检测网络的裂缝分割分支所使用的损失函数为：
[0061][0062]
其中，l
seg
为分割分支的损失函数，y为真实值，y'为预测值，n为样本数量，ω为模型参数，λ为权重衰减系数。
[0063]
在得到裂缝图像的二值化裂缝区域分割输出图像后，利用图像细化的方法如中轴变换法对裂缝区域进行骨架提取，并通过算法计算出裂缝在像素级别的长度、宽度、面积等形态信息。再通过相机参数和实际距离参数使用opencv开源计算机视觉软件库将像素坐标转换到世界坐标系，求得裂缝的实际参数。
[0064]
如图3所示，本发明实施例还提供一种基于矩阵结构深度神经网络的公路路面裂缝检测采集系统；，该采集系统包括：搭载仪器的固定支架，用于固定其他设备组件；高清图像采集设备，用于获取路面裂缝图像；控制开关，用于控制采集模式；激光测距仪，用于测定每帧图像中镜头与路面的距离；裂缝测宽仪，用于测定实际的裂缝宽度参数；传输线缆，用于将图像采集设备与个人电脑连接进行信号传输。
[0065]
以上该实施例仅仅只是本发明的最优实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域内的普通技术人员来说，在不脱离本发明技术架构的前提下，还可以做出若干处变形和优化，这些均属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为基准。