基于图像识别的道路安全检测方法、系统及装置与流程

本发明属于道路巡检，具体是涉及到一种基于图像识别的道路安全检测方法、系统及装置。

背景技术：

1、在智能交通系统中，道路安全检测是一个关键环节，旨在通过先进的传感技术和数据处理方法，实时监控道路状况，及时发现和处理潜在的安全隐患。随着城市化进程的加快和机动车数量的增加，道路交通状况变得更加复杂多变，传统的检测方法已经难以满足实际需求。与此同时，随着人工智能、物联网和大数据技术的迅猛发展，越来越多的智能设备和系统被应用于交通管理中，为提高道路安全提供了新的技术手段和解决方案。在这一背景下，开发一种能够高效、准确检测道路安全状况的技术方案，成为了智能交通系统发展的重要方向。

2、现有技术中通过无人检测装置并采用图像识别技术实现道路安全检测，然而在大规模道路安全检测中，传统的图像处理和检测算法在处理大量实时图像信息时，需要消耗大量的计算资源。这不仅增加了系统的硬件成本，同时也降低了检测的实时性和效率。此外，传统的检测系统通常在中心服务器上进行数据处理，这种方式在数据传输和处理上存在一定的延迟，对于需要快速响应的道路安全检测任务来说，可能无法满足需求。因此，如何在保证检测精度的同时，降低算力需求，提升系统检测效率，成为了一个亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于图像识别的道路安全检测方法、系统及装置，以解决在大规模道路安全检测中需要消耗大量的计算资源的问题。

2、第一方面，本发明提供一种基于图像识别的道路安全检测方法，应用于道路安全检测装置，所述道路安全检测装置搭载有北斗定位模块、高清摄像模块和边缘计算模块，所述方法包括如下步骤：

3、在所述边缘计算模块中构建共享特征提取网络和多个道路检测分支网络，多个所述道路检测分支网络均与所述共享特征提取网络中最后一层门控机制层连接，所有所述道路检测分支网络均包括感兴趣区域池化层；

4、获取道路检测图像训练集，并利用所述道路检测图像训练集完成所述共享特征提取网络和所有所述道路检测分支网络的训练，所述道路检测图像训练集中的所有训练图像均具有预先标记的特征类别标识和任务类别标识；

5、接收道路检测任务列表并基于所述道路检测任务列表获取当前所需执行的检测任务标识；

6、在所述道路安全检测装置按照所述道路检测任务列表执行道路检测任务的过程中，通过所述高清摄像模块采集周围道路环境的实时图像信息；

7、预处理所述实时图像信息，将所述检测任务标识和预处理后的所述实时图像信息传输至所述边缘计算模块中的所述共享特征提取网络，通过一个或多个所述道路检测分支网络输出道路检测结果；

8、若所述道路检测结果中存在道路异常结果，则通过所述北斗定位模块获取所述道路安全检测装置的实时定位信息；

9、结合所述道路异常结果和所述实时定位信息生成道路缺陷反馈信息。

10、可选的，所述共享特征提取网络还包括共享特征提取层，所述共享特征提取层包括依次连接的图像输入层、第一卷积层、第一全连接层和任务分类输出层，所述任务分类输出层连接于所述门控机制层；

11、所述道路检测分支网络还包括特征图像输入层和特征分类层，所述特征图像输入层与所述门控机制层连接，所述感兴趣区域池化层与所述特征图像输入层连接，所述特征分类层包括依次连接的第二卷积层、第二全连接层和特征分类输出层，所述第二卷积层与所述感兴趣区域池化层连接。

12、可选的，所述特征类别标识包括多个异常特征大类标识，每个所述异常特征大类标识中均包含多个异常特征小类标识。

13、可选的，所述利用所述道路检测图像训练集完成所述共享特征提取网络和所有所述道路检测分支网络的训练包括如下步骤：

14、初始化所述共享特征提取网络和所有所述道路检测分支网络的网络参数；

15、将所述道路检测图像训练集中的所有训练图像通过所述图像输入层输入至所述共享特征提取层，结合所述训练图像和所述特征类别标识训练所述共享特征提取层，并构建所述共享特征提取层训练过程的第一损失函数；

16、将所述共享特征提取层所输出的训练特征图像输入至所述门控机制层，结合所述训练特征图像和所述任务类别标识训练所述门控机制层，并构建所述门控机制层训练过程的第二损失函数；

17、通过所述门控机制层并根据所述任务类别标识将所述训练特征图像传递至对应类别的所述道路检测分支网络；

18、对于每个所述道路检测分支网络，结合所述异常特征大类标识和所述训练特征图像训练所述感兴趣区域池化层，并构建所述感兴趣区域池化层训练过程的第三损失函数；

19、将所述感兴趣区域池化层所输出的训练特征图像片段输入至所述特征分类层，结合所述训练特征图像片段和所述异常特征小类标识训练所述特征分类层，并构建所述特征分类层训练过程的第四损失函数；

20、结合所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数计算得到模型训练总损失，将所述模型训练总损失进行反向传播并迭代更新所有所述网络参数，重复上述所有训练步骤直至迭代更新次数达到预设的最大迭代次数。

21、可选的，所述第一损失函数为giou损失函数，所述第二损失函数为二元交叉熵损失函数，所述第三损失函数为l1损失函数，所述第四损失函数为多元交叉熵损失函数。

22、所述模型训练总损失的计算公式如下：

23、

24、式中：l0表示所述模型训练总损失，α表示所述第一损失函数的权重，l1表示所述第一损失函数计算得到第一损失，β表示所述第二损失函数的权重，l2表示所述第二损失函数计算得到第二损失，γi表示第i个所述道路检测分支网络中所述第三损失函数的权重，表示第i个所述道路检测分支网络中所述第三损失函数计算得到第三损失，δi表示第i个所述道路检测分支网络中所述第四损失函数的权重，表示第i个所述道路检测分支网络中所述第四损失函数计算得到第四损失，n表示所述道路检测分支网络的数量。

25、可选的，所述道路安全检测装置还搭载有激光雷达模块，所述道路检测任务列表中包括路面病害检测任务、道路安全设施检测任务和路面异物检测任务，所述方法还包括如下步骤：

26、在所述道路安全检测装置按照所述道路检测任务列表启动执行道路检测任务时，使用时间戳对齐技术同步所述激光雷达模块、所述北斗定位模块、所述高清摄像模块和所述边缘计算模块；

27、通过所述北斗定位模块获取所述道路安全检测装置的初始定位信息，并通过所述激光雷达模块采集所述周围道路环境的初始激光雷达数据，在采集到所述初始激光雷达数据后将所述激光雷达模块切换至待机状态；

28、获取所述道路安全检测装置的初始运行状态数据；

29、将所述初始运行状态数据、所述初始定位信息和所述初始激光雷达数据传输至所述边缘计算模块，利用所述边缘计算模块结合所述初始运行状态数据、所述初始定位信息和所述初始激光雷达数据生成所述周围道路环境的初始实际点云图；

30、在所述道路安全检测装置按照所述道路检测任务列表执行道路检测任务的过程中，获取所述道路安全检测装置的实时运行状态数据，并将所述实时运行状态数据传输至所述边缘计算模块；

31、利用所述边缘计算模块根据所述实时运行状态数据并采用卡尔曼滤波法对所述初始实际点云图进行点云状态预测，得到实时预测点云图；

32、若所述道路检测结果中存在道路异常结果，则将所述激光雷达模块切换至工作状态，通过所述激光雷达模块采集当前时刻所述周围道路环境的实时激光雷达数据，在采集到所述实时激光雷达数据后将所述激光雷达模块切换至待机状态；

33、将所述实时激光雷达数据传输至所述边缘计算模块，利用所述边缘计算模块结合所述实时运行状态数据、所述实时定位信息和所述实时激光雷达数据生成当前时刻所述周围道路环境的实时实际点云图；

34、采用点云配准算法计算所述实时实际点云图与所述实时预测点云图之间的点云差异；

35、利用所述点云差异验证所述道路异常结果，并去除验证失败的所述道路异常结果。

36、可选的，所述采用点云配准算法计算所述实时实际点云图与所述实时预测点云图之间的点云差异包括如下步骤：

37、预处理所述实时实际点云图和所述实时预测点云图；

38、采用基于点云特征的配准方法获取所述实时实际点云图和所述实时预测点云图之间的初始配准结果，并利用特征匹配算法获取初始配准结果对应的初始配准变换矩阵；

39、结合所述初始配准结果和所述初始配准变换矩阵并利用精细配准算法完成所述实时实际点云图和所述实时预测点云图之间的精细配准；

40、计算精细配准后所述实时实际点云图和所述实时预测点云图之间的点云差异，所述点云差异包括点云距离差异、点云密度差异和点云拟合表面差异。

41、第二方面，本发明还提供一种基于图像识别的道路安全检测系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的基于图像识别的道路安全检测方法。

42、第三方面，本发明还提供一种道路安全检测装置，包括：第二方面中所述的基于图像识别的道路安全检测系统；

43、北斗定位模块，与所述道路安全检测系统连接；

44、高清摄像模块，与所述道路安全检测系统连接；

45、激光雷达模块，与所述道路安全检测系统连接；

46、边缘计算模块，与所述道路安全检测系统连接。

47、本发明的有益效果是：

48、通过在边缘计算模块中构建共享特征提取网络和多个道路检测分支网络，可以实现对不同类型的道路异常的高效检测，同时，共享特征提取网络可以减少重复的计算，提高系统的运行效率。通过使用预先标记的道路检测图像训练集进行训练，可以提高道路检测的准确性和鲁棒性，从而能够在复杂的道路环境中进行准确的安全检测。通过接收道路检测任务列表并获取当前所需执行的检测任务标识，然后利用门控机制层为道路检测分支网络进行任务分配，可以实现对不同类型的道路检测任务的灵活选择道路检测分支网络，提高系统的应用范围和适应性，同时每个道路检测分支网络利用自身的感兴趣区域池化层筛除多余的图像数据，仅保留感兴趣的图像区域，因此在整体识别检测过程中不仅可以保证道路安全检测的检测精度，还可以大幅降低边缘计算模块的算力使用。