桥梁裂缝在线监测方法、装置及桥梁在线自动化监测系统与流程

本发明属于桥梁安全监控，具体涉及一种桥梁裂缝在线监测方法、装置及桥梁在线自动化监测系统。

背景技术：

1、桥梁作为公共交通的重要载体，对区域交通的通畅运行和社会经济发展起到至关重要的作用。随着社会经济的飞跃式发展，桥梁交通流量快速提升，桥梁安全危害影响加剧。桥梁因为恶劣使用环境、荷载作用和年限过长等因素导致桥梁损伤，产生病害，威胁桥梁安全，引起桥梁事故。

2、通过桥梁结构安全健康监测系统的建设及运行，可准确及全面掌握桥梁运营期的环境参数及结构响应参数，并通过数据的分析对桥梁的使用状态和力学行为进行预警和初步评估，为桥梁的安全运营提供有力的保障。桥梁结构安全健康监测系统主要分为：结构监测、环境监测、荷载监测及视频监测等四大部分功能数据监测，其中，结构监测又可细分为挠度监测、裂缝监测、振动监测、索力监测、位移监测及应变监测等类型。

3、目前，现有桥梁裂缝监测方案主要是采用裂缝计进行裂缝宽度测量，它通常由一个移动的测量标尺和一个固定的基座组成，并在使用裂缝计时,需要先将测量标尺放置在裂缝上并移动它,即可准确测量裂缝的宽度。但是这也存在需要先有裂缝才能再进行针对性测量的问题，无法适用于从无裂缝阶段到有裂缝阶段的完整在线监测场景，因此有待进一步改进。

技术实现思路

1、本发明的目的是提供一种桥梁裂缝在线监测方法、装置、桥梁在线自动化监测系统、计算机设备、计算机可读存储介质及计算机程序产品，用以解决现有桥梁裂缝监测方案所存在需要先有裂缝才能再进行针对性测量，使得无法适用于从无裂缝阶段到有裂缝阶段的完整在线监测场景的问题。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，提供了一种桥梁裂缝在线监测方法，包括：

4、获取由在线摄像头对桥梁裂缝呈现建筑面实时采集的建筑面图像，其中，所述桥梁裂缝呈现建筑面是指位于目标桥梁上的且预计在所述目标桥梁出现结构变形时会呈现桥梁裂缝的建筑体外表面；

5、将所述建筑面图像导入已完成预训练的裂缝检测模型，输出得到能够展示在所述建筑面图像上有无裂缝标识框的裂缝检测结果，其中，所述裂缝检测模型采用包括有第一阶段网络、第二阶段网络和第三阶段网络的三阶段网络结构，所述第一阶段网络、所述第二阶段网络和所述第三阶段网络分别采用resnet50网络作为骨干网络，并分别采用空洞率依次增加的不同空洞卷积算法，使所述第一阶段网络、所述第二阶段网络和所述第三阶段网络是按照深度卷积层的特征从粗到细顺序依次逆级联；

6、若根据所述裂缝检测结果发现有至少一个裂缝标识框，则针对在所述至少一个裂缝标识框中的各个裂缝标识框，从所述建筑面图像中截取到对应的裂缝图像；

7、针对所述各个裂缝标识框，根据对应的裂缝图像，提取得到对应的裂缝参数，其中，所述裂缝参数包含有裂缝宽度、裂缝长度和/或裂缝面积；

8、若根据所述各个裂缝标识框的裂缝参数发现有任一裂缝参数满足某个预警级别的预设报警条件，则触发执行与所述某个预警级别对应的报警动作。

9、基于上述技术实现要素：，提供了一种基于视频监控图像进行桥梁裂缝完整监测的新方案，即先将由在线摄像头对桥梁裂缝呈现建筑面实时采集的建筑面图像导入已完成预训练的裂缝检测模型，输出得到能够展示在建筑面图像上有无裂缝标识框的裂缝检测结果，然后若发现有至少一个裂缝标识框，则针对各个裂缝标识框，从建筑面图像中截取到对应的裂缝图像以及提取得到对应的裂缝参数，最后根据裂缝参数判断是否触发报警动作，如此可以完美规避需要先有裂缝才能再进行针对性测量的问题，完全适用于从无裂缝阶段到有裂缝阶段的完整在线监测场景，便于实际应用和推广。

10、在一个可能的设计中，在所述第一阶段网络的最后一层使用具有不同尺寸大小的m1个滑动窗口来对所述建筑面图像进行窗口扫描，以便得到多个第一标记框，并根据对所述多个第一标记框的且包含目标裂缝的概率的归一化结果，使用第一非极大值抑制算法从所述多个第一标记框中筛选出n1个最佳第一标记框，其中，m1表示大于等于30的正整数，n1表示大于等于3500的正整数；

11、在所述第二阶段网络的最后一层使用具有不同尺寸大小的m2个滑动窗口来对所述建筑面图像进行在所述n1个最佳第一标记框内的窗口扫描，以便得到多个第二标记框，并根据对所述多个第二标记框的且包含目标裂缝的概率的归一化结果，使用第二非极大值抑制算法从所述多个第二标记框中筛选出n2个最佳第二标记框，以及还使用第三非极大值抑制算法将所述n2个最佳第二标记框聚合并筛选出n3个最佳第三标记框，其中，m2表示小于m1的正整数，n2表示小于n1的正整数，n3表示小于n2的正整数；

12、在所述第三阶段网络的最后一层使用该最后一层的卷积特征训练一个结构化的随机森林来估计目标裂缝的边缘轮廓，并根据所述边缘轮廓，使用贪婪迭代算法搜索尝试在所述n3个最佳第三标记框内的不同位置及长宽比上具有包含目标裂缝的概率最大值的裂缝标识框。

13、在一个可能的设计中，所述第一阶段网络、所述第二阶段网络和所述第三阶段网络还分别采用focal loss损失函数作为损失函数。

14、在一个可能的设计中，所述第一阶段网络采用空洞率为2的空洞卷积算法，所述第二阶段网络采用空洞率为8的空洞卷积算法，所述第三阶段网络采用空洞率为16的空洞卷积算法。

15、第二方面，提供了一种桥梁裂缝在线监测装置，包括有依次通信连接的图像获取单元、模型应用单元、图像截取单元、参数提取单元和报警触发单元；

16、所述图像获取单元，用于获取由在线摄像头对桥梁裂缝呈现建筑面实时采集的建筑面图像，其中，所述桥梁裂缝呈现建筑面是指位于目标桥梁上的且预计在所述目标桥梁出现结构变形时会呈现桥梁裂缝的建筑体外表面；

17、所述模型应用单元，用于将所述建筑面图像导入已完成预训练的裂缝检测模型，输出得到能够展示在所述建筑面图像上有无裂缝标识框的裂缝检测结果，其中，所述裂缝检测模型采用包括有第一阶段网络、第二阶段网络和第三阶段网络的三阶段网络结构，所述第一阶段网络、所述第二阶段网络和所述第三阶段网络分别采用resnet50网络作为骨干网络，并分别采用空洞率依次增加的不同空洞卷积算法，使所述第一阶段网络、所述第二阶段网络和所述第三阶段网络是按照深度卷积层的特征从粗到细顺序依次逆级联；

18、所述图像截取单元，用于若根据所述裂缝检测结果发现有至少一个裂缝标识框，则针对在所述至少一个裂缝标识框中的各个裂缝标识框，从所述建筑面图像中截取到对应的裂缝图像；

19、所述参数提取单元，用于针对所述各个裂缝标识框，根据对应的裂缝图像，提取得到对应的裂缝参数，其中，所述裂缝参数包含有裂缝宽度、裂缝长度和/或裂缝面积；

20、所述报警触发单元，用于若根据所述各个裂缝标识框的裂缝参数发现有任一裂缝参数满足某个预警级别的预设报警条件，则触发执行与所述某个预警级别对应的报警动作。

21、第三方面，本发明提供了一种桥梁在线自动化监测系统，包括有桥梁裂缝在线监测子系统和监测数据展示看板，其中，所述桥梁裂缝在线监测子系统包括有边缘计算设备和多个在线摄像头，所述多个在线摄像头分别布置在目标桥梁的多个不同位置；

22、所述在线摄像头，通信连接所述边缘计算设备，用于实时采集桥梁裂缝呈现建筑面的建筑面图像，并将采集结果实时传送至所述边缘计算设备，其中，所述桥梁裂缝呈现建筑面是指位于目标桥梁上的且预计在所述目标桥梁出现结构变形时会呈现桥梁裂缝的建筑体外表面；

23、所述边缘计算设备，通信连接所述监测数据展示看板，用于执行如第一方面或第一方面中任意可能设计所述的桥梁裂缝在线监测方法，并将实时得到的裂缝检测结果和各个裂缝标识框的裂缝参数实时传送至所述监测数据展示看板；

24、所述监测数据展示看板，用于输出展示所述裂缝检测结果和所述裂缝参数，并在根据所述各个裂缝标识框的裂缝参数发现有任一裂缝参数满足某个预警级别的预设报警条件时，输出展示与所述某个预警级别对应的报警内容。

25、在一个可能设计中，还包括有分别通信连接所述监测数据展示看板的桥梁挠度在线监测子系统、桥梁位移在线监测子系统、桥梁振动在线监测子系统、桥梁索力在线监测子系统、桥梁应变在线监测子系统、桥梁工作环境空气温湿度在线监测子系统、桥梁工作环境风力在线监测子系统、桥梁工作环境雨量在线监测子系统和基于雷视融合技术的过桥车辆在线监测子系统；

26、所述监测数据展示看板，还用于输出展示来自所述桥梁挠度在线监测子系统、所述桥梁位移在线监测子系统、所述桥梁振动在线监测子系统、所述桥梁索力在线监测子系统、所述桥梁应变在线监测子系统、所述桥梁工作环境空气温湿度在线监测子系统、所述桥梁工作环境风力在线监测子系统、所述桥梁工作环境雨量在线监测子系统和所述过桥车辆在线监测子系统的监测数据的实时值、变化趋势及变化速度。

27、第四方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的桥梁裂缝在线监测方法。

28、第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的桥梁裂缝在线监测方法。

29、第六方面，本发明提供了一种计算机程序产品，包括计算机程序或指令，所述计算机程序或所述指令在被计算机执行时实现如第一方面或第一方面中任意可能设计所述的桥梁裂缝在线监测方法。

30、上述方案的有益效果：

31、(1)本发明创造性提供了一种基于视频监控图像进行桥梁裂缝完整监测的新方案，即先将由在线摄像头对桥梁裂缝呈现建筑面实时采集的建筑面图像导入已完成预训练的裂缝检测模型，输出得到能够展示在建筑面图像上有无裂缝标识框的裂缝检测结果，然后若发现有至少一个裂缝标识框，则针对各个裂缝标识框，从建筑面图像中截取到对应的裂缝图像以及提取得到对应的裂缝参数，最后根据裂缝参数判断是否触发报警动作，如此可以完美规避需要先有裂缝才能再进行针对性测量的问题，完全适用于从无裂缝阶段到有裂缝阶段的完整在线监测场景，便于实际应用和推广。