一种基于深度学习与图神经网络的工业抛洒物监测方法与流程

本发明涉及智能监控和计算机视觉领域，特别是一种基于深度学习与图神经网络的工业抛洒物监测方法。背景技术：：：1、随着工业自动化和智能监控技术的不断发展，针对工业场景中工程车辆的监控与管理变得愈发重要。现有的监控系统通常依赖于固定摄像头和传感器，通过人工监控或简单的图像处理技术对车辆的进入和离开进行记录。然而，这种方法存在显著的局限性，尤其是在涉及车辆抛洒物的检测和管理时。传统的监控系统难以实时、高效地检测和跟踪工程车辆的抛洒行为，主要原因在于它们无法有效应对复杂多变的工业环境和动态的车辆行为。近年来，随着深度学习和计算机视觉技术的迅猛发展，基于视频流的智能监控系统逐渐成为研究热点。这些系统能够通过对视频数据的实时处理，实现对目标物体的检测、识别和跟踪，极大地提高了监控的自动化程度和准确性。2、尽管现有的智能监控技术在车辆检测和跟踪方面取得了一定的进展，但在车辆抛洒物检测和信息关联上仍存在诸多不足。首先，现有技术在抛洒物检测的准确性和鲁棒性上存在较大问题，尤其是在复杂的工业场景下，抛洒物与环境背景易产生混淆，导致高误检率和漏检率。其次，在车辆信息和抛洒物信息的关联上，现有方法大多依赖简单的时空匹配算法，无法充分利用深度学习和图神经网络的优势，导致信息关联的准确性和效率不高。此外，现有系统在处理多目标跟踪和实时性方面也存在明显不足，难以应对工业场景中多车辆同时作业的复杂情况。相比之下，本发明提出了一种基于深度学习与图神经网络的工业抛洒物监测方法，利用深度学习模型和图神经网络关联算法，通过多次检测和信息关联，实现对工程车辆抛洒物的高效、准确检测和预警。技术实现思路1、鉴于现有的智能监控系统在车辆抛洒物检测和信息关联方面存在的问题，提出了本发明。2、因此，本发明所要解决的问题在于如何在复杂工业场景中实现工程车辆抛洒物的精准检测和信息的有效关联。3、为解决上述技术问题，本发明提供如下技术方案：4、第一方面，本发明实施例提供了一种基于深度学习与图神经网络的工业抛洒物监测方法，其包括，基于视频流进行工程车辆进入特定区域的分析和目标第一次检测；基于第一次检测结果，使用深度学习模型识别和跟踪工程车辆，并利用ocr技术提取车牌信息；对识别和跟踪工程车辆扩展检测区域，利用抛洒物识别模型进行第二次检测车辆区域的疑似抛洒物；基于疑似抛洒物的区域进行第三次检测，判断是否有抛洒物；基于三次检测结果，使用图神经网络关联算法关联抛洒物信息和车辆信息；根据关联结果生成报警信息等级和处理优先级。5、作为本发明所述基于深度学习与图神经网络的工业抛洒物监测方法的一种优选方案，其中：所述目标第一次检测包括以下步骤：对输入的视频流进行帧提取；对提取的帧进行对比度调整和去噪，以增强图像，并将图像调整为深度学习模型所需的输入尺寸；所述对比度调整的相关公式如下：6、；7、其中，为增强后的图像，为对比度增益因子，为原始图像，为亮度调整因子。8、使用预训练的深度学习模型进行车辆检测，并设置检测阈值，输出第一次检测结果；通过resnet50分类模型对工程车辆分类，保留被分类为工程车辆的检测结果；预定义监控区域的多边形坐标，进行区域进入判定，检查工程车辆边界框的中心点是否在此多边形内；当工程车辆边界框的中心点在此多边形内，则记录为进入事件；当工程车辆边界框的中心点在此多边形外，则重新校正工程车辆边界框的中心点。9、作为本发明所述基于深度学习与图神经网络的工业抛洒物监测方法的一种优选方案，其中：使用deepsort算法进行车辆跟踪，并为每个被跟踪的车辆分配唯一id；所述车辆跟踪包括以下步骤：所述车辆跟踪的相关公式如下：10、；11、其中，为k时刻的状态向量，为k时刻的状态转移矩阵，为k时刻的控制输入矩阵，为k时刻的控制向量，为k时刻的过程噪声。12、使用卡尔曼滤波算法预测车辆在下一帧中的位置，同时使用匈牙利算法将预测位置和第一次检测结果进行匹配；在车辆边界框内使用深度学习模型定位车牌区域；对定位结果进行倾斜校正，使用crnn模型进行端到端的车牌ocr并通过ctc解码获取最终的车牌字符串；所述倾斜校正的相关公式如下：13、；14、其中，为倾斜角度，和为车牌边缘两点坐标。15、使用正则表达式验证车牌格式，过滤错误的识别结果；将识别出的车牌信息和车辆跟踪id关联，并存储在临时数据库中。16、作为本发明所述基于深度学习与图神经网络的工业抛洒物监测方法的一种优选方案，其中：检测区域扩展，根据车辆大小和速度动态调整扩展范围和扩展范围的标准差的值；所述检测区域扩展包括以下步骤：所述检测区域扩展的相关公式如下：17、；18、其中，为扩展后的检测区域，为扩展范围，为扩展范围的标准差，为随机变量，为车辆面积，为车辆速度，和为调整系数。19、使用针对抛洒物训练的mask r-cnn模型在扩展区域内进行实例分割，并设置初始检测阈值；对检测到的每个抛洒物实例进行分类，并记录疑似抛洒物的相关特征；所述相关特征包括出现时间、位置、大小以及形状；计算疑似抛洒物和车辆的相对位置关系；基于预定义规则对疑似抛洒物进行初步筛选；将筛选后的结果暂存，等待进行第三次检测。20、作为本发明所述基于深度学习与图神经网络的工业抛洒物监测方法的一种优选方案，其中：所述第三次检测包括以下步骤：计算等待时间，根据车辆离开监控区域的时间和计算出的等待时间，具体公式如下：21、；22、其中，为等待时间，为检测到的车辆高度，为重力加速度，为监控区域长度，为车辆面积，为车辆速度，为调整系数。23、使用图像配准技术将之前记录的疑似抛洒物位置映射到当前帧，进行区域重定位，适当扩大检测范围；使用mask r-cnn模型进行第三次检测；对检测结果进行形状和纹理分析，排除误检，并比较两次检测结果；所述误检包括树叶和阴影。24、作为本发明所述基于深度学习与图神经网络的工业抛洒物监测方法的一种优选方案，其中：所述比较两次检测结果包括，当检测到车辆进入监控区域时，则启动车辆分类流程；若车辆被分类为工程车辆，则进行车牌定位和识别；若车牌识别成功，则将车牌信息和车辆id关联并存储；若车牌识别失败，则标记此车辆为未识别车牌，并继续跟踪；当工程车辆在监控区域内行驶时，则持续更新工程车辆位置信息；若工程车辆停留时间大于预设阈值，则触发停车事件警告；当检测到多辆工程车辆同时在监控区域内时，则启动多目标跟踪算法；若多目标跟踪出现id切换，则使用外观特征重新关联；当工程车辆即将离开监控区域时，则标记此工程车辆为待观察状态；若待观察状态持续超过预设时间，则将此过程车辆从跟踪列表中移除；当工程车辆进入监控区域核心位置时，则扩大检测范围；若检测范围超出摄像头视野，则自动调整为最大可见范围；若在扩展区域内检测到物体，则启动抛洒物分类模型；若物体被分类为潜在抛洒物，则记录潜在抛洒物的相关特征；当检测到若干潜在抛洒物时，则根据抛洒物的相关特征进行优先级排序；若优先级最高的抛洒物超过危险阈值，则立即触发预警；当第三次检测结果和第二次检测结果一致时，则将此物体标记为确认抛洒物；若第三次检测结果和第二次检测结果不一致，则进行人工复查；当确认抛洒物存在时，则立即启动图神经网络关联算法；若关联算法输出若干责任车辆，则列出所有车辆和车辆概率；当抛洒物被确认且责任车辆被识别时，则生成完整的事件报告；若无法确定责任车辆，则生成一般性抛洒物警报；当生成事件报告后，则根据评分系统计算事件严重程度；若严重程度超过预设阈值，则启动紧急响应流程；当完成所有检测和报告生成后，则重置系统状态，进行下一轮检测；若系统内存占用超过阈值，则触发垃圾回收程序释放资源。25、作为本发明所述基于深度学习与图神经网络的工业抛洒物监测方法的一种优选方案，其中：通过抛洒物信息和车辆信息构建异构图；所述异构图的节点包括车辆、车牌和抛洒物；所述构建异构图的包括以下步骤：将异构图边的权重基于时空proximity和特征相似度计算，为节点提取相关特征；所述相关特征包括车辆轨迹和抛洒物特征；使用自编码器对特征进行降维，得到统一维度的节点，并使用gat模型学习节点间的关系；使用人工标注的关联样本进行训练，并通过交叉验证优化模型超参数；通过训练好的gat模型，计算抛洒物节点和车辆节点之间的关联概率，使用匈牙利算法进行最优匹配，得到最终的关联结果；所述gat模型的相关公式如下：26、<mstyledisplaystyle="true"mathcolor="#000000"><mtable><mtr><mtd><msub><mi>υ</mi><mi>ij</mi></msub><mi>=</mi><mfrac><mrow><mi>exp</mi><mrow><mo>(</mo><mrow><mi>leaky</mi><mi>re</mi><mi>lu</mi><mrow><mo>(</mo><mrow><mi>a</mi><mrow><mo>[</mo><mrow><msub><mi>wh</mi><mi>i</mi></msub><mrow><mo>|</mo><msub><mi>wh</mi><mi>j</mi></msub></mrow></mrow><mo>]</mo></mrow></mrow><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><mrow><mstyledisplaystyle="true"><mo>∑</mo><mrow><mi>j</mi><mi>∈</mi><msub><mi>ς</mi><mi>i</mi></msub><mi>exp</mi></mrow></mstyle><mi>leaky</mi><mi>re</mi><mi>lu</mi><mrow><mo>(</mo><mrow><mi>a</mi><mrow><mo>[</mo><mrow><msub><mi>wh</mi><mi>i</mi></msub><mrow><mo>|</mo><msub><mi>wh</mi><mi>j</mi></msub></mrow></mrow><mo>]</mo></mrow></mrow><mo>)</mo></mrow></mrow></mfrac></mtd></mtr><mtr><mtd><msub><mi>h</mi><mi>i</mi></msub><mi>=</mi><mi>σ</mi><mrow><mo>(</mo><mrow><mstyledisplaystyle="true"><mo>∑</mo><mrow><mi>j</mi><mi>∈</mi><msub><mi>ς</mi><mi>i</mi></msub><msub><mi>υ</mi><mi>ij</mi></msub></mrow></mstyle><msub><mi>wh</mi><mi>j</mi></msub></mrow><mo>)</mo></mrow></mtd></mtr></mtable></mstyle>；27、其中，为节点i对节点j的注意力系数，为指数函数，用于将注意力分数转换为正值， 为带泄漏的线性整流单元激活函数，用于引入非线性，为注意力向量，对输入特征进行线性变换，和分别为节点i和节点j的特征向量，为节点i的邻居集合，为权重矩阵，为relu激活函数。28、第二方面，本发明实施例提供了一种基于深度学习与图神经网络的工业抛洒物监测系统，其包括：目标第一次检测模块，基于视频流进行工程车辆进入特定区域的分析和目标第一次检测；识别模块，基于第一次检测结果，使用深度学习模型识别和跟踪工程车辆，并利用ocr技术提取车牌信息；第二次检测模块，用于对识别和跟踪工程车辆扩展检测区域，利用抛洒物识别模型进行第二次检测车辆区域的疑似抛洒物；第三次检测模块，基于疑似抛洒物的区域进行第三次检测，判断是否有抛洒物；关联模块，基于三次检测结果，使用图神经网络关联算法关联抛洒物信息和车辆信息；生成模块，根据关联结果生成报警信息等级和处理优先级。29、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序指令被处理器执行时实现如本发明第一方面所述的基于深度学习与图神经网络的工业抛洒物监测方法的步骤。30、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序指令被处理器执行时实现如本发明第一方面所述的基于深度学习与图神经网络的工业抛洒物监测方法的步骤。31、本发明有益效果为：本发明通过视频流的帧提取、图像增强和深度学习模型，识别进入特定区域的工程车辆；使用deepsort算法和卡尔曼滤波进行车辆跟踪，并通过ocr技术提取车牌信息，关联车辆身份和轨迹；动态调整检测区域并使用mask r-cnn模型进行第二次检测，识别疑似抛洒物并记录特征；通过计算等待时间和图像配准技术进行第三次检测，排除误检；通过图神经网络算法构建异构图，提取特征并优化模型，生成报警等级和处理优先级，提升工业场景下的安全监控能力。当前第1页12当前第1页12