一种异物入侵监测装置的制作方法

本技术涉及铁路工程监测，尤其涉及一种基于图像识别的异物入侵监测装置。

背景技术：

1、我国高速铁路运营里程不断增长，遍布大江南北，地质条件复杂，铁路沿线山体落石、泥石流、地质沉降等自然灾害时有发生，严重影响高速铁路行车安全。近年来，已多次发生泥石流等异物入侵导致列车脱轨、人员伤亡等事故，对社会和人民都是不可估量的损失。为及时发布铁路沿线存在的灾害预警，需要对铁路异物入侵进行实时监测，特别是对容易发生事故的桥梁、隧道口等关键位置进行重点监测。

2、目前，国内外进行了包括超声、红外、激光、分布式光纤、视频在内的各种铁路周界入侵监测方法的研究。超声、红外、激光、分布式光纤能检测出指定区域存在入侵物并发起警报，但相关工作人员难以获知确切的入侵信息，不便针对性地采取安全措施。而视频图像由于其直观性，工作人员可以通过图像来决策后续安全措施。同时，目前主流的异物入侵监测系统是在一个站点布设多个监控相机，通过外接电源为相机供电、千兆网线传输视频图像数据到机房服务器进行智能分析监测异物入侵情况。由于铁路线路的特殊性，现场改造施工布设光纤和监控相机非常麻烦，电源线路、数据传输线路布设的复杂性不利于全国地区大范围推广。

3、在现有技术中，主要有以下文献与本技术相关：

4、现有技术1为宁波正业自动化科技有限公司于2019年01月10日申请，并于2020年03月31日公告，公告号为cn210222274u的中国实用新型专利。该实用新型专利公开了一种基于分布式光纤传感的铁路异物入侵安全感知与识别系统，基于两种分布式光纤传感技术和视频联动技术：利用相位光时域分析技术监测非法人员、车辆、施工入侵高速铁路时，产生的振动入侵信号，并给出入侵信号的位置和事件等信息；利用布里渊光时域分析技术监测大型落石、泥石流入侵高速铁路时，产生的高速铁路栅栏形变信号，并给出入侵信号的位置等信息；当上述两个光纤传感系统中的任意一个系统或者两个系统产生报警时，会联动布设于高速铁路塔杆上的摄像头，调取入侵事件的监控画面。该三个子系统同步工作，相互学习，层层入侵监测，共同实现高速铁路异物入侵的预警和识别。该实用新型专利虽然通过布设两个光纤传感系统感应入侵情况，再调取相应的监控界面展示，解决了报警后人员决策问题，但是系统布设复杂，振动光纤检测无法指定区域且容易受到干扰，未利用视频图像进行智能分析。

5、现有技术2为北京交通大学、中国铁路总公司于2018年10月25日申请，并于2019年03月01日公开，公开号为cn109410496a的中国发明申请。该发明申请公开了一种入侵预警方法、装置及电子设备，该方法包括：根据视频帧图像判断指定区域内是否存在异常目标；如果是，确定异常目标的目标信息；该目标信息包括目标类别、目标位置、目标大小、目标速度、目标轨迹中的一种或多种；通过预先训练得到的分级预警模型生成目标信息对应的预警级别；其中，分级预警模型为一种深度神经网络模型；按照预警级别进行预警。该发明申请能够较好地确定出入侵物信息，并基于入侵物信息进行分级报警，有助于相关人员有针对性地采取措施，进一步保障铁路运营的安全性。该发明申请提供了一种根据视频帧图像与预设图像是否存在差异来判断指定区域内是否存在异常目标，首先通过googlenet网络模型识别目标类别，再通过lstm单元得到预警等级。该发明申请虽然解决了指定目标区域及安全决策问题，但是过度依赖预设图像导致系统配置繁琐且图像识别效果不好，因为不同时段不同天气等环境因素下的预设图像是不同的，而且googlenet分类效果和效率均不佳。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种异物入侵监测装置，以解决现有异物入侵监测系统布设复杂，异物入侵监测识别效果不好，效率不高的技术问题。

2、为了实现上述发明目的，本技术具体提供了一种异物入侵监测装置的技术实现方案，包括：

3、摄像模块，获取图像数据；

4、处理模块，对所述摄像模块获取的图像数据进行处理，得到异物图像数据及预警信息；

5、通信模块，传输所述处理模块输出的图像数据及预警信息。

6、进一步的，所述装置还包括存储模块，用于存储所述处理模块输出的压缩图像数据及预警信息。

7、进一步的，所述处理模块包括图像处理单元、图像压缩单元及图像存储单元。所述图像处理单元将接收的原始图像数据送入智能识别模型进行分析，获取异物信息生成预警信息。所述图像压缩单元将接收的原始图像数据进行编码得到压缩数据，并通过所述图像存储单元存放于存储模块中。

8、进一步的，所述图像处理单元包括：

9、目标检测器，用于确定原始图像中的异物类别及所在矩形框的图像坐标；

10、距离估计器，用于根据异物所在矩形框的图像坐标获取异物距离；

11、目标跟踪器，用于根据所述距离估计器对前后帧图像的异物检测结果进行跟踪融合配对；

12、行为分析器，综合异物位置、距离及状态判断异物的行为趋势，并生成预警信息。若满足警报条件，则将预警信息及对应的图像通过所述通信模块发出。

13、进一步的，所述异物信息包括异物的类别、位置、大小、状态及距离。

14、进一步的，所述异物位置为异物与预警区域在平面图像上的相对距离，采用n个点集{pw1，pw2，pw3，…pwn}为边界的多边形表示预警区域pw，异物在图像上的矩形框表示为r(x1，y1，x2，y2)，则异物位置为r与pw之间的最短距离。

15、进一步的，所述异物状态包括异物的运动状态、运动方向、运动速度及行为趋势。若异物在连续帧图像之间的位置是变化的，则其运动状态设置为1，表示异物是运动的。反之，则其运动状态设置为0，表示异物是静止的。

16、进一步的，所述异物距离为异物距离摄像模块之间的距离，若预警区域与摄像模块的距离为d1，检测得到的异物距离为d，设置误差偏置为b，若|d-d1|<b，则认为遮挡引起入侵误报警。

17、进一步的，所述目标检测器基于深度学习目标检测网络模型，用于定位图像中异物的类别、所在矩形框图像坐标。所述目标检测器首先构造训练数据集，数据集中每一张图像通过标注得到包含图像中对应异物的类别、矩形框坐标的标签文件，再使用yolov5目标检测网络在数据集上训练获取得到异物检测模型。当利用异物检测模型进行检测时，图像数据输入至所述异物检测模型中，得到异物的类别、置信度、位置及尺寸信息。

18、进一步的，所述距离估计器采用基于卷积神经网络的单目深度估计模型，用于获取异物距离，所述单目深度估计模型通过构建单目深度估计数据集训练得到。对于单目深度估计数据集中的每一张图像都标注一张与该张图像像素一一对应的深度值标签图像，再使用单目深度估计算法训练得到距离估计器，采用基于拉普拉斯金字塔深度残差的单目深度估计算法估计监测场景中的目标深度信息，从而得到精确的异物距离。

19、进一步的，所述目标跟踪器采用卡尔曼滤波器轨迹预测进行估计，并根据前后帧异物检测结果通过deepsort算法进行跟踪融合配对。

20、进一步的，所述行为分析器通过异物位置判断异物是否已经进入预警区域，若异物位置<t，且异物距离|d-d1|<b，b为误差偏置值，则认为异物已经进入预警区域并发起一级警报。反之则未进入预警区域，并进入异物是否静止判断逻辑。若根据异物位置判定为已经进入到预警区域，则后续根据异物距离判断是否是遮挡引起的误判，若是误判，则进入异物是否静止判断逻辑。针对进入到预警区域的异物，若是运动状态，则判断其是否具有远离预警区域的趋势，若跟踪到某异物离开预警区域，则解除该异物的报警信息。对于在预警区域外的异物，根据其状态判断其是否具有威胁。首先判断是否是静止状态，是静止状态则不进行预警，若是运动状态，则判断其运动轨迹方向是否朝着预警区域前进，若是则标记该异物为潜在威胁，若否则不进行预警。继续跟踪，若该异物运动到与预警区域的距离小于安全距离时，则判断其即将进入预警区域，发出二级警报，若未进入预警区域则不进行预警。上述预警信息及对应的图像数据本地保存一份至存储模块并通过通信模块发出。

21、进一步的，所述通信模块基于4g或5g等无线通信，所述装置还包括与通信模块相连的天线，所述通信模块用于传输预警信息及图像数据，并能通过云端控制配置更新所述装置。

22、进一步的，所述装置还包括用于为摄像模块、处理模块、通信模块及存储模块提供电能的电源模块。所述电源模块包括太阳能板及蓄电池，所述太阳能板在光照下进行光电转换，其中一部分电能为摄像模块、处理模块、通信模块及存储模块供电，另一部分电能存储在蓄电池中。在无光照环境下，所述摄像模块、处理模块、通信模块及存储模块的供电由蓄电池提供。

23、进一步的，所述摄像模块具备夜视功能，白天光照正常情况下摄像模块的工作模式为彩色模式，采集rgb图像数据，夜晚光照弱时自动进入夜视模式，采集黑白图像数据。

24、进一步的，所述摄像模块、处理模块、通信模块、存储模块及蓄电池封装于密闭的壳体中。

25、通过实施上述本技术提供的异物入侵监测装置的技术方案，具有如下有益效果：

26、(1)本技术异物入侵监测装置，具有小型化、分布式、易布设的优点，无需线路改造，解决了多个摄像头连接外部电源，以及通过千兆网线共同连接一台处理服务器的传统方案布线改造困难，尤其是铁路线路长时无法获取外部电源或机房距离遥远的技术问题，同时提升了异物入侵监测识别效果和效率；

27、(2)本技术异物入侵监测装置，集成了功耗低、性能佳的嵌入式推理芯片，并搭载性能最优的目标检测模型、深度估计模型及目标跟踪模型，实现了异物入侵监测的实时处理；

28、(3)本技术异物入侵监测装置，不仅获取了异物的类别、位置、大小等信息，还得到了异物距离信息，可解决因透视成像情况下，近距离物体遮挡而误判为入侵的技术问题；

29、(4)本技术异物入侵监测装置，对于部分线路相机安装角度受限的情况，无需通过改变相机安装角度，也可分辨出需要侧重分析的运动方向；特别是，不仅能检测出异物左右、上下移动，同时还能检测出前后移动，能更高维度地分析异物的行为趋势，充分保证了系统的可靠性。