一种基于路面病害对齐的病害时空追溯方法、产品、介质及设备与流程

本发明涉及道路病害检测，特别是涉及一种基于路面病害对齐的病害时空追溯方法、产品、介质及设备。

背景技术：

1、随着道路交通建设的飞速发展，现已建成庞大的市政、高速、中低道路网。随着路网的迅速扩大，对道路养护的研究也越来越深入。目前通常通过智能设备采集路面健康状况，以及时发现并处理路面病害。在维修处理路面病害时，除了及时做表观的路面维修，研究人员往往需要追溯病害的历史情况，分析病害的成因，根据病害成因定制更有效的维修方案并为后面的路面建造提供更可信的数据支撑。此外也希望通过病害追溯的方式，监控病害的变化情况。

2、道路病害时空追溯是指通过某种方式，将同一个病害不同时间、不同角度采集的图像归并到一起，清晰地展示该病害的演变过程，帮助研究人员分析病害的形成原因和危险程度，制定针对性强且有效的维修方案。除了传统的人工观察方法，通过人工将不同时间、不同设备、不同角度拍摄的同一个病害图像归并在一起；也可以通过病害特征匹配的方式提取病害特征，根据病害特征自动匹配，将不同时间、不同设备、不同角度拍摄的同一个病害图像归并在一起。

3、传统的通过人工匹配的方式完成病害时空追溯的过程中，通常根据定位信息和病害名称搜索出目标病害附近的历史所有相同类别的病害，然后通过人眼，一一校核对比，找出目标病害所有历史采集的信息，完成病害时空追溯。但是该方法人工成本高，需求时间长，不能自动化操作，难以普及到所有病害。

4、目前比较流行的是通过病害特征匹配的方式完成的病害时空追溯，该方法在搜索出目标病害附近的历史同类型病害后，根据病害区域的图像和病害特征提取算法提取病害特征，然后计算目标病害的特征和历史附近同类型的病害特征的相似度，根据相似度自动匹配。该方法不需要人工干预，自动进行匹配。但是该方法严重依赖病害特征提取情况，由于同一个病害在不同角度、不同位置拍摄的图像中的位置不同、成像不同，使得根据病害在原始路面图像中的成像直接提取病害特征进行病害匹配的难度较大，病害特征匹配的准确率不高，从而导致病害时空追溯的准确性和效率较低。

技术实现思路

1、本发明的目的是提供一种基于路面病害对齐的病害时空追溯方法、产品、介质及设备，可有效提高病害时空追溯效率和准确性。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于路面病害对齐的病害时空追溯方法，包括：

4、获取待检测道路的原始路面图像及图像信息，并保存在原始路面图像信息库中；所述图像信息包括图像名称、采集时间以及gps定位信息；所述gps定位信息包括经度、纬度以及方位角；

5、对原始路面图像进行路面病害识别，得到病害信息，并将病害信息与对应的原始路面图像及图像信息一同保存在病害库中；所述病害信息包括病害坐标、病害名称以及病害id；

6、基于病害信息计算病害中心点坐标并确定原始病害图像；

7、根据原始病害图像确定病害俯视图像；

8、旋转病害俯视图像的方位角，得到路面病害对齐后的病害对齐图像；

9、根据病害对齐图像进行病害匹配，基于病害匹配结果进行病害时空追溯。

10、可选地，所述基于病害信息计算病害中心点坐标并确定原始病害图像之前，还包括：

11、采集原始路面图像上已知尺寸的棋盘格角点坐标信息和俯视图像上已知尺寸的棋盘格角点坐标信息，采用opencv中的getperspectivetransform方法得到原始路面图像到俯视图像的投影映射矩阵pmat。

12、可选地，所述基于病害信息计算病害中心点坐标并确定原始病害图像之前，还包括：

13、采用numpy中的np.linalg.inv方法计算原始路面图像到俯视图像的投影映射矩阵pmat矩阵的逆矩阵，得到俯视图像到原始图像的映射矩阵invpmat；或根据俯视图像上已知尺寸的棋盘格角点坐标信息和原始路面图像上已知尺寸的棋盘格角点坐标信息，利用opencv中的getperspectivetransform方法得到俯视图像到原始图像的映射矩阵invpmat。

14、可选地，所述基于病害信息计算病害中心点坐标并确定原始病害图像，具体包括：

15、基于病害信息中的病害坐标box计算病害中心点坐标point_center；

16、基于病害中心点坐标point_center和投影映射矩阵pmat，采用opencv中的cv2.perspectivetransform方法得到病害中心点在俯视图像上的坐标bev_point_center；

17、在俯视图像上确定以病害中心点为中心，边长2米范围内的正方形区域bev_box；

18、基于正方形区域bev_box和逆变换矩阵invpmat，采用opencv中的cv2.perspectivetransform方法得到正方形区域在原始路面图像上的区域mbox；

19、将区域mbox从原始路面图像上裁剪下，得到原始病害图像boximage。

20、可选地，所述根据原始病害图像确定病害俯视图像，具体包括：

21、基于原始病害图像boximage的左上、右上、左下和右下四个角点坐标以及原始病害图像boximage转换后的俯视图像的左上、右上、左下和右下四个角坐标，使用opencv中的cv2.getperspectivetransform方法计算病害区域原始路面图像到俯视图像的投影映射矩阵newpmat；

22、根据投影映射矩阵newpmat和原始病害图像boximage，采用cv2.warpperspective方法得到病害俯视图像boximagebev。

23、可选地，所述旋转病害俯视图像的方位角，得到路面病害对齐后的病害对齐图像，具体包括：

24、根据病害俯视图像boximagebev对应的gps定位信息中的方位角azimuth，利用opencv中的cv2.getrotationmatrix2d(image_center，0-azimuth)方法得到旋转矩阵tmat；其中，image_center为病害俯视图像boximagebev的中心点坐标；

25、基于病害俯视图像boximagebev和旋转矩阵tmat，通过opencv中的cv2.warpaffine方法计算得到方位角为0度时的病害俯视图像作为病害对齐图像damage_align_image。

26、可选地，所述根据病害对齐图像进行病害匹配，具体包括：

27、采用病害特征提取算法对病害对齐图像damage_align_image进行病害特征提取，得到病害特征vector；

28、将病害id和病害特征vector存入病害特征库damagevectorlib中；

29、根据当前病害的gps定位信息，查询病害库damagedatabase，搜索附近的历史病害中是否存在相同类别的病害；

30、若附近的历史病害中不存在相同类别的病害，则为当前病害生成新的病害归属id；

31、若附近的历史病害中存在相同类别的病害，则根据不同病害id从病害特征库damagevectorlib中提取出对应的病害特征；

32、分别计算提取出的病害特征与当前病害的病害特征的相似度，若各个相似度中的最大相似度小于相似度阈值，则为当前病害生成新的病害归属id；若最大相似度大于或等于相似度阈值，则确定当前病害和最大相似度对应的病害属于同一病害，将最大相似度对应的病害的病害归属id作为当前病害的病害归属id，并将病害归属id存入病害库damagedatabase中。

33、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述基于路面病害对齐的病害时空追溯方法。

34、一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于路面病害对齐的病害时空追溯方法。

35、一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现所述基于路面病害对齐的病害时空追溯方法。

36、根据本发明提供的具体实施例，本发明公开了以下技术效果：

37、本发明提供了一种基于路面病害对齐的病害时空追溯方法、产品、介质及设备，结合人脸匹配中人脸对齐的思路，引入病害对齐的思想。在进行病害特征提取前，先将不同位置、不同角度拍摄的病害区域对齐到同一视角，通过对齐的病害图像减少由于拍摄角度和拍摄位置对病害成像的影响，使得同一病害成像的相似度较高，从而在进行病害特征提取和匹配时能够提高病害匹配的准确率。因此，本发明提供的基于路面病害对齐的病害时空追溯方法、产品、介质及设备可有效提高病害时空追溯效率和准确性。