一种轨道车辆轮对踏面3D图像检测方法与流程

一种轨道车辆轮对踏面3d图像检测方法
技术领域
1.本发明具体涉及踏面图像检测技术领域，尤其涉及一种轨道车辆轮对踏面3d图像检测方法。


背景技术：

2.轨道交通以其运输量大、快捷、安全可靠性高等优点，在货运及客运领域占据着较为重要的位置。近年来，我国轨道交通产业得到了迅猛的发展，轨道交通网络的建设成为了城市发展的一张名片，轨道交通也逐渐成为了市民出行的首选，有效地解决了各大城市公共交通拥堵的问题。
3.列车作为轨道交通的核心部分，在运行过程中可能会出现车体零部件异常情况，这严重威胁到列车的安全行驶。其中，列车的车轮直接运行在列车轨道上，车轮的工作状态将会直接影响到列车的运行速度和安全。列车运行中车轮踏面常因磕碰、制动或空转打滑等原因产生局部损伤，踏面损伤的车轮在运行过程中会引起整个车辆轨道系统的耦合震动等异常状态从而危及行车安全。因此，对列车车轮踏面异常检测对于保证列车的安全运行至关重要。
4.现阶段，针对车轮踏面的检测方法大多仍以人工目测为主，需要将车辆停到检修库中，然后安排检修人员单独对每个车轮进行踏面检测，人工检测不仅存在效率低、劳动强度大、检测精度和稳定性受人主观因素影响等问题，而且静态检测过程中车轮踏面被车体遮挡以及轨道遮挡将近一半，从而难以检查到全部车轮踏面区域的状况。另外，市面上还存在使用图像检测车轮踏面损伤的设备，但这些设备多以2d相机采集平面图像，虽然获得了直观的2d图像，但由于缺陷的不规则性、形状大小等各异、缺陷种类之间的界限不明显等客观因素，使得通过二维图像数据的分析识别并检测三维物体的缺陷难度较大，导致检出率低、重复精度低等缺点，而且无法有效区分踏面上污渍、擦痕及其他干扰和真实损伤，极易造成误报，反而影响工作人员的检测效率。
5.因此，如何对现有的车轮踏面检测技术进行改进，或者提出一种新的车轮踏面检测技术成为了本领域技术人员亟待解决的课题之一。


技术实现要素：

6.针对目前车轮踏面检测技术的不足，本发明的目的在于提供一种轨道车辆轮对踏面3d图像检测方法，其中踏面图像采集设备中的3d相机利用激光三角法的拍摄方式和ccd复眼技术，实现全面获取车轮踏面图像以及图像上各点对应的深度信息，即一台3d相机同时获取车轮踏面的2d图像和3d图像，从而更全面准确地了解车轮台面的损伤情况，通过多组相机协调工作实现列车车轮全周踏面的不停车在线实时检测。
7.本发明为解决上述技术问题采用以下技术方案：
8.一种轨道车辆轮对踏面3d图像检测方法，包括：
9.(1)当列车车辆接近进线传感器，获得列车进线信号，进入接车状态；测速雷达获
得列车实时过车速度，车号识别机构获得本次过车的车号，定位装置获得每个车轮的位置并启动对应踏面图像采集设备采集车轮踏面图像；单侧每个车轮经过多对踏面图像采集设备采集组合从而获得覆盖完整踏面的车轮踏面图像，并将采集的车轮踏面图像信息与车号的匹配；
10.(2)通过对采集的图像处理，形成车轮踏面的2d图像和对应区域的3d图像，通过对3d图像数据的分析计算可以得到轮缘厚度、qr值、踏面磨耗信息。
11.进一步地，所述步骤(2)，通过图像处理技术和深度学习技术对2d图像和3d图像智能识别分析，可检测出车轮踏面的表面剥离、表面空腔、鳞片伤、材料堆积、平轮缺陷，并对检出的缺陷按照车号、车轮位置、缺陷类型、缺陷级别进行定位报警，通知人工确认并检修。
12.进一步地，所述通过图像处理技术和深度学习技术对2d图像和3d图像智能识别分析包括图像预处理和3d图像缺陷检测：其中，图像预处理：采集的2d图像和3d图像无需配准且尺寸相同，将3d图像的深度数据进行归一化处理，生成单通道灰度图，对2d数据进行gamma变换，提升图像的清晰度；其中，3d图像缺陷检测：将3d图像归一化处理后得到的单通道灰度图进行标注，采用labelme进行图像语义分割标注，将收集的有缺陷的踏面图像中缺陷区域进行标注，将缺陷区域用闭合多边形圈出，闭合多边形及内部区域为标注出的缺陷并填充对应缺陷的标签序号作为该区域的每个像素点的分类值，其他区域作为背景填充背景值零，采用u-net神经网络训练采用交叉熵作为损失函数训练；训练完成后，将待检测的3d图像归一化处理后得到的单通道灰度图的数据输入u-net神经网络，输出的检测结果为一张与原图同尺寸的灰度分割图，其样式与标注图相似，灰度图中非零值的像素点区域即为检出的各种缺陷区域；通过3d图像归一化处理后得到的单通道灰度数据检测出缺陷区域不便于直观观测，将上述缺陷区域与原始的2d图像叠加可以直观的看出2d图像中对应的缺陷区域，并根据缺陷类型及大小分级报警。
13.进一步地，当列车车辆接近进线传感器，获得列车进线信号，则踏面图像采集设备打开保护舱门，进行吹风除尘，同时踏面图像采集设备的窗口玻璃会加热去除水雾。
14.进一步地，所述测速雷达对车速检测，并根据车速计算匹配的踏面图像采集设备的相机采集帧率，发送相应频率的脉冲给踏面图像采集设备采集踏面图像。
15.进一步地，过车的车轮触发离线传感器并且离线传感器触发轮次数与进线传感器一致，则完成图像采集，列车离线，踏面图像采集设备关闭。
16.进一步地，多个所述定位装置等间距设在单根轨道的内侧，定位装置用于定位车轮位置并控制所述踏面图像采集设备进行图像采集；轨道外侧并排等间距地设置多对踏面图像采集设备，组合实现对整个车轮的踏面圆周图像采集；位于首位的踏面图像采集设备至位于末位的踏面图像采集设备之间的距离大于等于单个车轮的周长；踏面图像采集设备包括面阵相机和线激光，二者的拍摄方向与其靠近的轨道呈锐角或钝角，采集生成3d图像和2d图像。
17.进一步地，所述线激光与面阵相机的视野重叠区域为所述踏面图像采集设备的采集数据区域，即踏面图像采集设备的景深为700mm-1400mm区域。
18.进一步地，所述景深与踏面图像采集设备的对数的乘积大于等于单个车轮周长。
19.进一步地，所述定位装置之间的间隔与所述踏面图像采集设备之间的间隔相同，且位于首位的定位装置与位于第二位的踏面图像采集设备平行。
20.轨道车辆轮对踏面3d图像检测系统具备的系统功能如下：
21.(1)非接触式车轮踏面擦伤、表面剥离、表面空腔、鳞片伤、材料堆积、平轮自动检测；
22.(2)非接触式检测通过车辆的轮对踏面磨耗、轮缘厚度、qr值；
23.(3)自动图像分析处理并记录列车车号及端位识别；
24.(4)提供检测项目的图像及数据报表输出；
25.(5)提供检测结果的查询、统计、综合分析、打印、故障预警及网络共享管理。(6)具有对检测出的数据进行分析、判断、整理的能力，具有历史数据统计分析功能。
26.(7)具有网络功能，能提供与车辆段信息管理系统的接口。
27.(8)提供丰富的数据接口：基本信息输入接口、走行公里数输入接口、人工反馈信息输入接口、车辆段的网络访问接口等。
28.(9)系统具有防伤害及防误操作功能。
29.(10)系统具有防雷、防水、防大电流冲击及接地保护功能。
30.(11)系统适应轨道交通复杂电磁环境，适应轨旁振动干扰。
31.(12)系统具有远程操作功能，实现异地查看数据及操作。
附图说明
32.图1为本发明工作流程图；
33.图2为缺陷检测的流程图；
34.图3为本发明方法涉及的检测系统的布局示意图；
35.图4为踏面图像采集设备的拍摄视野示意图；
36.图5为踏面图像采集设备的拍摄控制示意图；
37.图6是吹风除尘舱门装置的示意图；
38.其中，1-第一支轨，2-第二支轨，3-进线传感器，4-测速雷达，5-车号识别机构，6-踏面图像采集设备，61-镜头，7-定位装置，8-离线传感器，9-吹风除尘舱门装置，91-暴力风扇，92-风道，93-防护板，94-外防护罩，95-导轨支架，96-压缩弹簧，97-滑块，98-导轨，99-防撞垫，911-内防护罩。
具体实施方式
39.下面结合附图和实施例对本发明做进一步的说明。
40.本实施例的轨道车辆轮对踏面3d图像检测系统的工作流程如图1所示：无列车进线时检测系统处于休眠等待接车状态；当列车进线，车轮经过进线传感器3，进线传感器3触发有效进线信号则检测系统启动进入接车状态，踏面图像采集设备6打开保护舱门，开启窗口玻璃上的吹风除尘装置，同时窗口玻璃会加热去除水雾。检测系统启动测速雷达4对过车车速检测，并根据车速计算匹配的相机采集帧率，发送相应频率的脉冲给踏面图像采集设备6采集踏面图像，检测系统将采集的3d和2d图像数据分析处理并上传客户端。过车结束列车离线，车轮触发离线传感器8并且离线传感器8触发轮次数与进线传感器3一致，检测系统完成图像采集，列车离线，踏面图像采集设备6关闭，检测系统进入休眠等待接车状态。
41.其中，踏面图像采集设备6对列车车轮踏面进行图像采集，通过获取3d和2d图像数
据作为踏面异常分析的基础，相对于背景技术中的单2d图像检测的方式，获得直观的2d数据和真实精确的3d数据，更直观的获得缺陷区域的深度信息，通过3d数据的深度信息检测三维的缺陷，更加直接准确，能够提高踏面异常检测的精度。
42.在实际图像获取的过程中，由于采用激光三角法采集3d图像数据，设备有效的拍摄景深如图4所示，线激光与相机视野的重叠区域为踏面图像采集设备6采集数据区域，踏面图像采集设备6的景深为700mm-1400mm区域。
43.在实际图像采集时，由于踏面为圆柱面，每个踏面图像采集设备6仅能够拍摄部分踏面区域，为了保证拍摄图像覆盖完整的踏面，本实施例的踏面图像采集设备6为多对，且呈按轨道延伸方向分布，该种方式采用多个踏面图像采集设备6的相机实现对整个踏面圆周的扫描，具体的相机沿轨道方向上根据车轮周长等距分布，多个相机组合实现对整个踏面圆周图像拍摄。例如单侧踏面图像采集设备数量为5时，采集的车轮踏面周长不大于景深区间700mm的5倍即不大于3500mm。
44.本实施例的踏面图像采集设备6的拍摄控制如图5所示，列车车轮进线之后系统启动工作，列车车轮抵达定位装置7的第一个定位点处时，对应的第一个踏面图像采集设备6开始拍摄，该车轮抵达定位装置7的第二个点位点处时，对应第一个踏面图像采集设备停止拍摄，第二个踏面图像采集设备6开始拍摄，依次至第六个定位点处时，第五个踏面图像采集设备6停止拍摄，单个车轮的完整一周的踏面图像采集完成。优选的，如定位装置7之间的间隔为700mm，踏面图像采集设备6之间的间隔也为700mm，第一个定位装置7距离第一个踏面采集设备6的距离为700mm，且车轮是先经过第一个踏面采集设备6后经过定位装置7的。
45.具体的，上述检测方法的工作流程中关于踏面图像采集设备6采集、分析踏面图像进行具体缺陷检测，如图2所示，包括如下：
46.1)图像采集：踏面图像采集设备6用于图像采集的部件为面阵相机和线激光，共计10个踏面图像采集设备6完成覆盖完整踏面区域的图像采集，生成2d和3d图像。
47.2)踏面损伤检测系统对采集到的踏面图像进行处理，利用图像处理算法识别车轮踏面损伤位置，判断车轮踏面损伤等级，具体流程如图5缺陷检测方法流程图所示：
48.第一步：图像采集，采集得到2d和3d图像。
49.第二步：图像预处理，踏面图像采集装置采用复眼技术一个相机同时采集2d和3d图像，且采集的2d和3d图像无需配准尺寸相同，将3d图像的深度数据进行归一化处理，生成单通道灰度图，对2d数据进行gamma变换，提升图像的清晰度。
50.第三步：3d图像缺陷检测：
51.将3d图像归一化处理后得到的单通道灰度图进行标注，采用labelme进行图像语义分割标注，将收集的有缺陷的踏面图像中缺陷区域进行标注，将缺陷区域用闭合多边形圈出，闭合多边形及内部区域为标注出的缺陷并填充对应缺陷的标签序号作为该区域的每个像素点的分类值，其他区域作为背景填充背景值零，采用u-net神经网络训练采用交叉熵作为损失函数训练。训练完成后，将待检测的3d图像归一化处理后得到的单通道灰度图的数据输入u-net神经网络，输出的检测结果为一张与原图同尺寸的灰度分割图，其样式与标注图相似，灰度图中非零值的像素点区域即为检出的各种缺陷区域。
52.通过3d图像归一化处理后得到的单通道灰度数据检测出缺陷区域不便于直观观测，将上述缺陷区域与原始的2d图像叠加可以直观的看出2d图像中对应的缺陷区域，并根
据缺陷类型及大小分级报警。
53.本实施例的轨道车辆轮对踏面3d检测方法涉及到检测系统包括轨旁设备、现场控制中心和远程控制中心，现场控制中心与轨旁设备和远程控制中心通信连接，轨旁设备包括进线传感器3、测速雷达4、车号识别机构5、定位装置7、踏面图像采集设备6和离线传感器8，轨旁设备通过轨道两侧的混凝土基础组成的安装基座进行安装。
54.其中，六组定位装置7与十个踏面图像采集设备6组合安装，六组定位装置7通过安装支架等间距的抱装在单根轨道的内侧，用于定位车轮位置；十个踏面图像采集设备6安装在轨道两侧的安装基座上，两根轨道外侧并排等间距地安装五对踏面图像采集设备6；六组定位装置7分别控制五对踏面图像采集设备6进行图像采集。
55.每个踏面图像采集设备6用于对列车车轮踏面进行图像采集，踏面图像采集设备6包括面阵相机和线激光，线激光和相机的拍摄方向与相对应的支轨(第一支轨1或第二支轨2)呈锐角或钝角，在列车经过线激光光源时候线激光透射到列车车轮踏面上，便于面阵相机采集投射到踏面上的激光线，进而生成3d图像和2d图像。自列车运行方向上，位于首位的踏面图像采集设备6至位于末位的踏面图像采集设备6之间的距离为单个列车车轮的周长，保证列车车轮经过所有的踏面图像采集设备6时整个车轮踏面全部被拍摄。
56.轨旁设备还包括吹风除尘舱门装置9，吹风除尘舱门装置位于踏面图像采集设备6的镜头61上。参照图6所示，吹风除尘舱门装置9包括暴力风扇91、风道92、外防护罩94、内防护罩911、防护板93、滑块97、导轨支架95、导轨98、压缩弹簧96和防撞垫99。其中，外防护罩94和内防护罩911之间的空腔成为风力行走的通道，通道的一端设有出风口，通道的另一端与风道92的尾端连通，其余无出风空隙；风道92的前端连接有暴力风扇91。外防护罩94上设有供镜头61拍摄到达列车情况而使用的窗口，内防护罩11上对应设有放置镜头61的前端的孔洞，镜头61的前端放置在孔洞上且不凸出于孔洞。优选的，外防护罩94和内防护罩911材质为防锈金属，如铝合金材质。在上述外防护罩94和内防护罩911之间的风力行走的通道内设有防护板93，该防护板93与滑块97固定连接，滑块97套设在导轨98上，滑块97带动防护板93在导轨98上前后移动。导轨98沿风力行走方向布置。防护板93的端面正对风道92的尾端，从风道92吹出的风力正对着防护板3的端面，从而将防护板93借助滑块97和导轨98的相互作用而推动移动，从而将防护板93从镜头61上方移开并除尘清洁。导轨98的后端设有压缩弹簧96，该压缩弹簧96的两端分别连接导轨98的后端和滑块97的后端。优选的，导轨98的前端设有防撞垫99(如橡胶防撞垫)。
57.本发明已以较佳实施例公开如上，但它们并不是用来限定本发明，任何熟悉此技艺这，在不脱离本发明之精神和范围内，自当可作各种变化或者润饰，因此本发明的保护范围应当以本发明的权利要求保护范围所界定的为准。