一种基于计算机视觉的工程车辆碰撞检测预警系统及方法

本发明属于图像识别，具体涉及一种基于计算机视觉的工程车辆碰撞检测预警系统及方法。

背景技术：

1、工程施工环境中，工程车辆投入量大，施工环境复杂多变，具有机械设备流动量大、交叉作业多等特点，且工程车辆受车型大、自重高、负载运行时稳定性差等因素影响，施工现场的工程车辆碰撞事故频发。目前，工程车辆的安全管控主要包括管理人员现场巡检及查看监控视频的方式，存在耗时费力、人工成本高、检测效率低等问题，且工程车辆在运行过程是高度动态的，不断变化的工作空间及复杂多变的施工环境加剧了碰撞风险识别的难度。如果能够准确地判断出可能存在的碰撞风险，并提前做出预警，则在很大程度上能规避掉碰撞事故的发生，因此，在建筑施工过程中进行工程车辆的实时碰撞检测及预警具有重要意义。

2、近年来，利用人工智能技术进行目标物体的智能识别得到迅速发展，无人化的智能检测方法凭借成本低、效率高等优点受到人们重视。深度学习(deep learning,dl)属人工智能领域中的一种高级别、复杂化的机器学习算法，该方法利用端对端的学习方式，通过深度神经网络提取更为丰富、更加深层的特征信息，在各类计算机视觉任务中均展现出了较高的鲁棒性，为工程车辆的碰撞检测及预警提供了新的视角。

3、目前，基于计算机视觉及深度学习的车辆识别、跟踪及预警研究成果丰富且形式多样，但这些方法基本都是在城市道路环境下开展的，针对工程建筑领域施工环境下的工程车辆预警策略尚未有深入研究，而工程施工环境的道路与城市道路有很大不同，施工道路更加封闭和复杂，且多为临时性道路，路面平整度较差、斜坡较多，传统的道路标线识别定位与距离测定方法在施工道路中难以实行。因此，不能直接使用现有的城市道路碰撞检测及预警技术方案。

技术实现思路

1、为解决上述问题，本发明提供了一种基于计算机视觉的工程车辆碰撞检测预警系统及方法，以解决现有技术中无法对工程车碰撞进行预警的问题。

2、为了达到上述的发明目的，本发明提出一种基于计算机视觉的工程车辆碰撞检测预警方法，包括以下步骤：

3、每间隔第一时间获取由不同图像采集模块采集的第一视频，所述第一视频为施工现场的监控视频，将所述第一视频拆分为多张静态图像，训练并建立第一模型，使用所述第一模型对每张所述静态图像进行识别，以获取每张所述静态图像中目标车辆；

4、对各张所述静态图像中的所述目标车辆进行编号，各个所述目标车辆具有唯一编号，若同一所述目标车辆在多张所述静态图像均有出现，定义出现同一编号所述目标车辆的所述静态图像为第一图像，在所述第一图像中生成所述目标车辆的行驶轨迹，通过所述行驶轨迹和坐标变换计算所述目标车辆行驶的实际距离；

5、获取所述第一图像之间的时间间隔，基于所述实际距离和所述第一图像之间的所述时间间隔计算所述目标车辆的行驶速度；

6、将由不同所述第一视频抽取的所述静态图像合成为第二图像，所述第二图像为全景鸟瞰图，设置第一阈值和第二阈值，若两个不同编号的所述目标车辆质心之间的车间距离小于第一阈值，则将两辆目标车辆以第一颜色突出显示并生成第一警告，并将其中所述行驶速度大于第二阈值的所述目标车辆以第二颜色突出显示并生成第二警告。

7、进一步的，若两个不同编号的所述目标车辆质心之间的车间距离大于等于第一阈值，则还包括以下步骤：

8、基于所述行驶轨迹确定所述第二图像中各个所述目标车辆的行驶方向，基于所述行驶方向生成第一路线，所述第一路线与所述行驶方向平行；

9、在每条所述第一路线上选取判断区域，定义所述目标车辆与所述判断区域之间的距离为第一距离，基于所述行驶速度和所述第一距离，计算各个所述目标车辆到达所述判断区域所需的第一时间，将不同目标车辆的所述第一时间相减，获得各个所述目标车辆到达所述判断区域的时间差，设置第三阈值和第四阈值，若存在所述时间差小于第三阈值，计算所述目标车辆在所述判断区域发生碰撞的第一概率，若所述第一概率大于第四阈值，则生成第三警告。

10、进一步的，所述步骤中，计算所述第一概率包括以下步骤：

11、设定第二距离，所述第二距离小于所述第一距离，在所述第一路线以所述第二距离间隔选取多个基点，以每个所述基点为圆心，以所述第二距离为半径，在所述第二图像中生成两个第一监测区域，若目标车辆在该区域形成相互重叠，则将两个第一监测区域定义为判断区域，定义生成出现重叠的、所述第一监测区域的所述基点为目标点，计算所述目标车辆到达所述目标点的第二概率，将不同所述目标点的所述第二概率累加，以获得所述第一概率，若所述第一概率超过所述第四阈值，则判定各个所述目标车辆在所述判断区域存在碰撞风险。

12、进一步的，获取所述目标车辆到达所述目标点的所述第二概率包括以下步骤：

13、将所述第二图像划分为m个网格区域，对每个网格区域进行编号，获取所述目标车辆的第一特征数据，所述第一特征数据包括所述目标车辆当前位置的所述网格区域的编号、所述行驶速度和所述行驶方向，所述行驶方向与所述行驶轨迹平行，获取与所述目标车辆的所述第一特征数据相同的历史数据，基于所述历史数据和第一公式计算所述目标车辆从当前位置前往所述编号n网格区域的第三概率pn，编号n网格区域为所述目标点所在的网格区域，所述第一公式为：其中，an为所述历史数据中各个所述目标车辆经过所述编号n网格区域的次数，a为所述历史数据的数量；

14、将满足第二公式的所述网格区域保留，其余的所述网格区域删除，所述第二公式为：pn＞max(αt，m％)，其中，α为第一预设数值，t为所述目标车辆从当前位置前往所述编号n网格区域所需时间，m为第二预设数值，max(x，y)为输出x和y两个数值中的最大值；

15、以所述基点为中心生成第二监测区域，获取所述第二监测区域内每个所述网格区域的所述第三概率，基于第三公式计算所述目标车辆从当前位置前往所述编号n网格区域的所述第二概率，所述第三公式为：其中，pn为所述目标车辆在第一路线方向上经过的所述网格区域的概率，u为所述第二监测区域内所有网格区域的所述第三概率之和。

16、本发明还提供了一种基于计算机视觉的工程车辆碰撞检测预警系统，该系统主要包括：

17、采集模块，在每间隔第一时间获取由不同图像采集模块采集的第一视频，所述第一视频为施工现场的监控视频，将所述第一视频按照预设时间间隔拆分为多张静态图像，训练并建立第一模型，使用所述第一模型对每张所述静态图像进行识别，以获取每张所述静态图像中目标车辆；

18、分析模块，用于对各张所述静态图像中的所述目标车辆进行编号，其中，若同一所述目标车辆在多张所述静态图像均有出现，该所述目标车辆具有唯一编号，定义出现同一编号所述目标车辆的所述静态图像为第一图像，基于所述第一图像中各个所述目标车辆轮廓的质心连线，生成所述目标车辆的行驶轨迹，通过所述行驶轨迹和坐标变换计算所述目标车辆行驶的实际距离；

19、速度计算模块，用于获取所述第一图像之间的时间间隔，基于所述实际距离和所述第一图像之间的所述时间间隔计算所述目标车辆的行驶速度；

20、预警模块，用于将由不同所述第一视频抽取的所述静态图像合成为第二图像，所述第二图像为全景鸟瞰图，设置第一阈值和第二阈值，若两个不同编号的所述目标车辆质心之间的车间距离小于第一阈值，则将两辆目标车辆以第一颜色突出显示并生成第一警告，并将其中所述行驶速度大于第二阈值的所述目标车辆以第二颜色突出显示并生成第二警告。

21、与现有技术相比，本发明的有益效果至少如下所述：

22、本发明首先通过第一模型对所取得的视频图像拆分后的静态图像进行识别，获得工程车辆的轮廓及质心定位，通过自动检测跟踪算法对工程车辆进行编号并实现实时跟踪，基于车辆位置生成车辆的行驶轨迹，进而计算出车辆行驶的实际距离；通过工程车辆的速度检测与车间距离检测，生成第一警告和第二警告，实现工程车辆的速度预警、车间距离预警以及基于速度和车间距离的热力图碰撞预警；同时基于工程车辆在该区域的第一特征数据，得出工程车辆在该区域网格上的历史概率统计数据，结合工程车辆行驶轨迹，分析其历史数据，进而得出工程车辆在当前行驶轨迹上的碰撞概率，生成第三警告；实现根据施工现场图像信息的视频帧图像的实时采集，检测评估分析后，生成风险预警信息，反馈给系统监测者及驾乘人员，提前做出风险规避，有效避免碰撞事故的发生。