一种视觉标识引导的轨道可视化巡检系统的制作方法

1.本发明涉及轨道巡检装置技术领域，具体涉及一种视觉标识引导的轨道可视化巡检系统。


背景技术：

2.视觉成像技术被广泛应用于轨道巡检技术领域，将线阵摄像机和/或3d摄像机安装于轨道巡检平台底部，对轨道表面进行2d和/或3d成像，获取轨道表面2d和/或3d成像数据，可为轨道病害检测提供数据。
3.在获取轨道可视化数据后，再通过模式识别技术对获取的数据进行处理，以实现轨道病害可视化自动检测。
4.根据不同的用途，轨道可分为城市轨道(地铁)、大铁(有砟低速铁路)、高铁(无砟高速铁路)。这些轨道具有以下特点：其中，大铁、高铁，里程长，转弯半径大，线路平直性好，某一区段线路中扣件类型较少，拍摄的轨道表面可视化图像内容较为简单；城市轨道(地铁)，里程短、转弯半径大，线路状态复杂(施工标段多，导致存在多种扣件、轨枕、道床类型)，使获取的轨道表面可视化图像内容非常复杂，给基于模式识别的轨道病害检测方法带来巨大挑战，因此，现有面向大铁、高铁研制的轨道表面可视化巡检系统，难以在城市轨道中推广使用，因线路情况的复杂，导致轨道病害检测率大幅降低。


技术实现要素：

5.针对轨道病害检测问题，本发明拟采用数据比对方法，用于轨道病害快速有效检测。数据比对方法用于轨道可视化巡检的基本原理是：先人工核对整个线路状态，确保线路中无病害；再对整个轨道进行可视化成像，获取整个轨道的图像数据，作为背景数据；检测时，采集轨道表面图像数据，通过背景减方法，找到当前轨道相比建模阶段的变化，在这些变化区域中，就包含了轨道病害，再通过一些模式识别方法，比如分类方法，判定轨道病害类型。这里的图像数据，包括二维纹理图像和/或三维深度图像，已经二维与三维融合图像。但是，因为整个轨道的里程较长，城市轨道一般都在40km左右，按1m采集一幅图像计算，有40000幅图像，系统检测时，每一次的起点都不一样。在大量数据中实现背景减方法的前提时，找到当前图像与背景图像的对应关系。
6.为解决上述问题，需对采集的图像，沿轨道延伸方向，按扣件或轨枕为单位进行切割，建立扣件或轨枕序号，对所采集的图像进行管理，在背景减的时候，直接根据扣件或轨枕序号，实现图像粗对齐，再通过图像匹配，实现精细对齐，采用背景减实现轨道病害检测。要实现上述基于背景减的轨道病害可视化检测，必须获取相关数据，并解决图像初始对齐的问题。为此，本发明提供一种视觉引导轨道可视化巡检系统，用于获取进行背景减所需要的轨道表面二维或三维或二维与三维融合数据，以及用于里程定位的有效信息，实现基于数据比对的轨道病害检测。
7.本发明的技术方案是：一种视觉标识引导的轨道可视化巡检系统，该系统由运载
平台、成像模块、数据采集与处理模块和成像控制模块，以及轨道上的视觉标识组成；
8.所述运载平台为巡检小车或机器人或巡检车或电客车，用于巡检系统安装支撑与供电；
9.所述成像模块为线阵二维成像或三维成像或二维与三维融合成像单元；沿轨巡检平台行驶方向，对轨道表面进行线扫描成像，获取轨道表面二维纹理或三维深度或二维与三维融合的图像；
10.所述数据采集与处理模块为计算平台，与成像模块通讯连接，用于成像数据采集与处理；
11.所述成像控制模块与成像模块连接，用于产生线扫描成像控制脉冲信号；
12.所述线扫描成像控制脉冲信号由巡检平台车轴上安装的光电编码器产生的里程编码信号或采用测速单元对巡检平台运动速度进行测量后产生与速度匹配的脉冲信号；
13.所述视觉标识为轨道上已有的或人工设定的具有特定图案或形状的对象；
14.所述视觉标识位于成像模块的视场中。
15.进一步地，所述视觉标识包括：进出站区域的安全门、应答器、信号设备，和人工设定的视觉标识。
16.所述视觉标识选定或设定的方法是：对于短里程轨道，在进站、出站口，和/或百米标处选定或人工设定视觉标识；对于长里程轨道，按n公里间隔设置视觉标识，n的取值范围为0.5-10。
17.进一步地，所述视觉标识为二维码或文字或数字或文字与数字组合，所述文字用于表示线路信息，所述数字用于表示里程信息。
18.进一步地，所述视觉标识为具有唯一图案的二维特征标记或唯一形状的三维特征标记。
19.进一步地，所述视觉标识安装平面超出道床面k毫米，标牌上的文字、数字以镂空方式呈现，k的取值范围为50～100；所述视觉标识安装位置紧邻扣件，沿钢轨延伸方向，视觉标识中心区域距离扣件中心区域不超过d毫米，d的取值为前后两个扣件中心距离的1/3。
20.上述轨道可视化巡检系统的工作流程如下：
21.第一步：数据采集：对拟检测的轨道，在起点和终点，选择或设置具有唯一特征的视觉标识，从起点到终点采集整个线路的图像数据；
22.第二步：背景建模：对采集的图像数据进行处理，构建轨道背景模型
23.第2.1步：沿轨道延伸方向、以扣件或轨枕为单位，对采集的图像数据进行切割；
24.第2.2步：从轨道的起点出发，检测采集图像中视觉标识，根据记录的视觉标识里程信息，计算出未包含视觉标识的图像里程信息；
25.第2.3步：以包含第1个视觉标识的图像为背景建模图像第1幅图像b1，按顺序、以扣件或轨枕为单位对切割后图像进行编号存储，作为参考背景图像；
26.第2.4步：对参考背景图像进行语义标注，标注内容包括:钢轨、道床、水沟、轨枕、扣件弹条、扣件螺栓或螺帽、轨距片、信号设备、线缆、钢轨鱼尾板、钢轨接头、钢轨鱼尾板螺栓、道岔连接螺栓、可动心轨、尖轨区域；并将标记区域进行标号，存储为与参考背景图像相同大小的标记图像；其中，包含起点标记区域f的标记图像，记为第1幅标记图像l1；
27.第2.5步：构建数据库，建立图像序号到里程的映射关系；
28.第三步：数据比对：采用数据比对方法检测轨道变化区域，根据标记图像判定病害类型第3.1步：轨道可视化巡检系统，从检测轨道的起始点出发，对轨道进行成像采集；
29.第3.2步：在采集的图像中，检测、识别视觉标识，找到第1个视觉标识，取出第1幅背景图像b1，使第1幅背景图像b1与采集图像对齐，根据第1幅背景图像b1的高度，切割出与第1幅背景图像匹配的待检测图像c1；
30.第3.3步：采用数据比对方法，找出待检测图像c1与第一幅背景图像b1的变化区域；
31.第3.4步：取出第1幅标记图像l1,根据变化区域在标记图像中位置，判定变化区域属于轨道哪个部件；根据部件信息，初步判定轨道哪个部件出现病害；再结合相关部件病害判定规则，判定该部件区域的病害类型；
32.第3.5步：取出下一幅背景图像bi、标注图像li,使bi与采集图像匹配、对齐，并切割出待检测图像ci；
33.第3.6步：采用数据比对方法，找出待检测图像ci与第i幅背景图像bi的变化区域；
34.第3.7步：根据变化区域在标记图像中位置，判定变化区域属于轨道哪个部件；根据部件信息，初步判定轨道哪个部件出现病害；再结合相关部件病害判定规则，判定该部件区域的病害类型；
35.第3.8步：循环执行第3.4-3.7步，直到完成所有图像的检测。
36.进一步地，所述检测采集图像中视觉标识的方法包括：图像模板匹配或ncc或形状匹配或目标检测方法。
37.所述目标检测方法为fasterrcnn或yolov3或yolov5或yolox；所述ocr方法为基于crnn或lstm字符串识别模型。
38.当视觉标识为人工设定的视觉标识时，先检测、定位视觉标识，再截取视觉标识图像，采用ocr方法，识别文字与数字，根据文字与数字，唯一确定视觉标识信息。
39.进一步地，当视觉标识为三维特征标记时，采用深度图像进行视觉标识检测：首先，根据视觉标识的高度先验，对深度图像进行阈值分割，找到视觉标识区域候选区域；然后，训练一个视觉标识分类器，剔除误检测区域；接着，对视觉标识区域，根据文字、数字镂空的高度先验，进行阈值分割，得到文字、数字区域；最后，采用分类器对文字、数字区域进行分类，完成文字、数字识别。
40.进一步地，将拟检测线路划分为k个区段，k的取值范围为1-100；以区段为单位进行数据采集、背景建模、数据比对；所述区段划分方法是：对于短里程轨道，如地铁，按站点区间进行分段，以站点起点区域内视觉标识，如安全门或应答器或道岔组件或其他人工设定对象，作为起点标记区域f；对于长里程轨道，按一定间隔设置视觉视觉标识，作为起点标记区域f；所述间隔为d公里，d的取值范围为0-5。
41.与现有技术相比，本发明有益效果如下：
42.1)通过轨道上选定或人工设定的视觉标识，可在不依赖任何第三方定位装置(比如gps、rfid)的条件下，直接利用可视化成像自身数据，实现精准的里程定位、关联，更具灵活性，且可在地铁、隧道等无gps信号的场景下应用；进一步地，与gps相比，本发明方法具有更高定位精度，对拓展轨道可视化巡检系统的应用领域具有重要意义。
43.2)通过选定或在轨道上设置具有三维特征的视觉标识，并结合三维成像技术，可
消除二维纹理标记随时间积累后被灰尘污染，无法识别的问题。
44.3)视觉标识安装位置超出道床面，视觉标识上文字和数字信息以镂空方式呈现，有利于防止灰尘污染，更有利于采用深度图像，快速、准确地检测、识别视觉标识信息。
45.4)视觉标识安装位置紧邻扣件，沿钢轨延伸方向，视觉标识中心区域距离扣件中心区域不超过d毫米，d的取值为前后两个扣件中心距离的1/3；以及安装于左右两侧钢轨扣件的连线上；可确保在进行基于扣件或轨枕图像切割时，视觉标识图像的完整性，更有利于对视觉标识进行识别与处理。
46.5)视觉标识由文字 数字组成，文字采用字母序列，用于表示特定含义，比如道岔等信息，有利于快速确定当前线路的状态，便于算法系统，选择合适的算法；数字为里程信息，有利于进行里程对齐、定位。
47.6)采用基于深度学习的视觉标识检测与识别方法，具有较高的准确率和鲁棒性；并针对三维形状视觉标识，采用基于高度信息的阈值分割方法，可进一步提升视觉标识检测与识别的准确率。
附图说明
48.图1轨道可视化巡检系统组成图
49.图2视觉标识示意图
50.图3视觉标识超出道床面安装示意图
51.图4镂空文字与数字视觉标识示意图
52.图5实施例7视觉标识安装示意图
53.图6视觉标识引导检测算法流程图
54.其中，1是钢轨、2是扣件、3是视觉标识，4是检测支架，5是成像模块，6是成像控制模块，7是数据采集与处理模块，8是道床，9是供电模块，10视觉标识安装支架，11视觉标识平板，12镂空制作的视觉标识。
具体实施方式
55.为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合附图及实施例，对本发明进行进一步详细说明。
56.实施例1
57.一种视觉标识引导的轨道可视化巡检系统，该系统由运载平台、成像模块、数据采集与处理模块和成像控制模块，以及轨道上的视觉标识组成；
58.所述运载平台为巡检小车或机器人或巡检车或电客车，用于巡检系统安装支撑与供电；
59.所述成像模块为线阵二维成像或三维成像或二维与三维融合成像单元；沿轨巡检平台行驶方向，对轨道表面进行线扫描成像，获取轨道表面二维纹理或三维深度或二维与三维融合的图像；
60.所述数据采集与处理模块为计算平台，与成像模块通讯连接，用于成像数据采集与处理；
61.所述成像控制模块与成像模块连接，用于产生线扫描成像控制脉冲信号；
62.所述线扫描成像控制脉冲信号由巡检平台车轴上安装的光电编码器产生的里程编码信号或采用测速单元对巡检平台运动速度进行测量后产生与速度匹配的脉冲信号；
63.所述视觉标识为轨道上已有的或人工设定的具有特定图案或形状的对象；
64.所述视觉标识位于成像模块的视场中。
65.实施例2
66.如图1所示，一种视觉标识引导的轨道可视化巡检系统，包括安装于检测支架4上面的成像模块5、数据采集与处理模块7、成像控制模块6、供电模块9，以及安装于道床8上的视觉标识3组成。
67.所述成像模块5，由2台线阵成像单元组成，分别安装两侧钢轨上方，1台线阵成像单元由1台线阵摄像机和1台线光源组成；
68.所述成像控制模块6为基于光电编码器的里程计数轮，可以采用等间距的成像触发脉冲，用于控制成像模块，沿轨道纵向进行扫描成像。
69.所示供电模块为电池组。
70.视觉标识3安装于成像模块视场中，沿轨道纵向，距离前一个扣件中心区域距离小于100mm，一般而言扣件间距为600mm，不超过扣件间距的1/3。
71.如图2所示，视觉标识3由文字 数字组成，文字表示线路信息，比如道岔等，数字表示里程，通过具有唯一编号的数字，实现整个线路具有唯一性标识，有利于视觉标识识别和里程定位。
72.视觉标识紧贴道床面安装。视觉标识材料为金属平板，文字和数字为涂料。
73.所述成像模块5与成像控制模块6连接，接收成像控制信号，采集的数据输入到数据采集与处理模块7，供电模块为成像模块5、数据采集与处理模块7、成像控制模块6供电。
74.实施例3
75.与实施例2不同之处在于，再增加1套二维成像单元，该成像单元放置于道床正上方，三台线阵成像单元，通过视场拼接，实现对整个轨道表面扫描成像。
76.实施例4
77.与实施例2不同之处在于，将2台二维成像单元换为三维扫描成像单元，获取轨道表面三维深度图像。图2所示的视觉标识中文字和数字，具有一定的高度，超出视觉标识平板10mm。文字、数字同样采用金属材料制作。
78.在实施例2和3中，平板上印刷的文字、数字标识信息，容易受到灰尘干扰，导致长时间使用后，被轨道表面的灰尘遮挡，无法有效识别的问题。这里采用具有三维形状的文字和数字构成的视觉标识标识信息，可以有效解决该问题。
79.实施例5
80.与实施例4不同之处在于，如图3所示，采用抬高的方式安装视觉标识，视觉标识安装平面距离道床面高度h为50mm，并且，将图2所示的文字、数字，采用镂空方式制作。即：视觉标识平板上的空洞区域展现为文字、数字图案。
81.与实施例4相比，采用镂空方式形成文字、数字标识信息，更不容易受到灰尘干扰。且更有利于基于三维深度图像的视觉标识检测与识别。更容易采用简单的阈值分割方法，实现视觉标识信息识别。此外，与实施例4的标识信息制作方式相比，更加节省材料，有利于降低成本。
82.实施例6
83.与实施例5不同之处在于，采用3台二维与三维融合成像装置，对整个轨道进行二维与三维扫描成像。所述二维与三维融合成像装置为：1台线阵成像单元 1台三维成像单元，通过数据对齐操作，实现二维与三维图像融合。
84.实施例7
85.与实施例6不同之处在于，所述二维与三维融合成像装置，为基于线结构光的三维摄像机，通过在提取深度图像的同时，根据线结构光中心线坐标和线结构光照明亮度或与整个场景的亮度比值作为灰度值，同时获取像素级对齐的二维纹理图像，进而实现更高精度(物理上像素级对齐)的二维与三维融合成像。
86.实施例8
87.与实施例7不同之处在于，如图4所示，将视觉标识3安装于道床中间区域，位于两侧扣件的连线上。
88.实施例9
89.与前述实施例不同之处在于，所述成像模块固定于检测梁上，可挂载于巡检平台上，增加使用灵活性。此时，供电模块变更为供电接口，直接与相关巡检平台连接，由相关巡检平台供电。所述巡检平台包括：轮式小车或电客车或巡检车或巡检机器人。
90.实施例10
91.上述轨道可视化巡检系统的工作流程如下：
92.第一步：数据采集：对拟检测的轨道，在起点和终点，选择或设置具有唯一特征的视觉标识，从起点到终点采集整个线路的图像数据；
93.第二步：背景建模：对采集的图像数据进行处理，构建轨道背景模型
94.第2.1步：沿轨道延伸方向、以扣件或轨枕为单位，对采集的图像数据进行切割；
95.第2.2步：从轨道的起点出发，检测采集图像中视觉标识，根据记录的视觉标识里程信息，计算出未包含视觉标识的图像里程信息；
96.第2.3步：以包含第1个视觉标识的图像为背景建模图像第1幅图像b1，按顺序、以扣件或轨枕为单位对切割后图像进行编号存储，作为参考背景图像；
97.第2.4步：对参考背景图像进行语义标注，标注内容包括:钢轨、道床、水沟、轨枕、扣件弹条、扣件螺栓或螺帽、轨距片、信号设备、线缆、钢轨鱼尾板、钢轨接头、钢轨鱼尾板螺栓、道岔连接螺栓、可动心轨、尖轨区域；并将标记区域进行标号，存储为与参考背景图像相同大小的标记图像；其中，包含起点标记区域f的标记图像，记为第1幅标记图像l1；
98.第2.5步：构建数据库，建立图像序号到里程的映射关系；
99.第三步：数据比对：采用数据比对方法检测轨道变化区域，根据标记图像判定病害类型第3.1步：轨道可视化巡检系统，从检测轨道的起始点出发，对轨道进行成像采集；
100.第3.2步：在采集的图像中，检测、识别视觉标识，找到第1个视觉标识，取出第1幅背景图像b1，使第1幅背景图像b1与采集图像对齐，根据第1幅背景图像b1的高度，切割出与第1幅背景图像匹配的待检测图像c1；
101.第3.3步：采用数据比对方法，找出待检测图像c1与第一幅背景图像b1的变化区域；
102.第3.4步：取出第1幅标记图像l1,根据变化区域在标记图像中位置，判定变化区域
属于轨道哪个部件；根据部件信息，初步判定轨道哪个部件出现病害；再结合相关部件病害判定规则，判定该部件区域的病害类型；
103.第3.5步：取出下一幅背景图像bi、标注图像li,使bi与采集图像匹配、对齐，并切割出待检测图像ci；
104.第3.6步：采用数据比对方法，找出待检测图像ci与第i幅背景图像bi的变化区域；
105.第3.7步：根据变化区域在标记图像中位置，判定变化区域属于轨道哪个部件；根据部件信息，初步判定轨道哪个部件出现病害；再结合相关部件病害判定规则，判定该部件区域的病害类型；
106.第3.8步：循环执行第3.4-3.7步，直到完成所有图像的检测。
107.所述检测采集图像中视觉标识的方法包括：图像模板匹配或ncc或形状匹配或目标检测方法。
108.所述目标检测方法为fasterrcnn或yolov3或yolov5或yolox；所述ocr方法为基于crnn或lstm字符串识别模型。
109.当视觉标识为人工设定的视觉标识时，先检测、定位视觉标识，再截取视觉标识图像，采用ocr方法，识别文字与数字，根据文字与数字，唯一确定视觉标识信息。
110.当视觉标识为三维特征标记时，采用深度图像进行视觉标识检测：首先，根据视觉标识的高度先验，对深度图像进行阈值分割，找到视觉标识区域候选区域；然后，训练一个视觉标识分类器，剔除误检测区域；接着，对视觉标识区域，根据文字、数字镂空的高度先验，进行阈值分割，得到文字、数字区域；最后，采用分类器对文字、数字区域进行分类，完成文字、数字识别。
111.将拟检测线路划分为k个区段，k的取值范围为1-100；以区段为单位进行数据采集、背景建模、数据比对；所述区段划分方法是：对于短里程轨道，如地铁，按站点区间进行分段，以站点起点区域内视觉标识，如安全门或应答器或道岔组件或其他人工设定对象，作为起点标记区域f；对于长里程轨道，按一定间隔设置视觉视觉标识，作为起点标记区域f；所述间隔为d公里，d的取值范围为0-5。
112.本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。