基于光影信息的非流体溢出检测方法和系统

本发明涉及计算机视觉，具体的说，涉及了一种基于光影信息的非流体溢出检测方法和系统。

背景技术：

1、随着社会发展脚步的加快，水泥、石子、煤炭等非流体物已经成为城市建设和发展不可或缺的材料或资源。利用交通工具装载及运输这些物品是确保它们在城市建设中应用的不可或缺的环节。其中，在利用机械化手段进行非流体物品装载过程中，常常发生非流体溢出现象，这不仅污染了装载环境，也浪费了资源。

2、目前，为了防止装载过程中非流体溢出，通常采用设置摄像装置来拍摄非流体装载情况，并由视频监控人员观察视频中非流体装载情况来移动装载设备以避免非流体溢出。这一过程要求视频监控人员时刻保持高度集中的注意力，导致人力成本较高。另外，由于现场环境复杂，尤其是部分非流体装载物装载过程中灰尘较大，极易出现误检。

3、随着深度学习的快速发展和广泛应用，现阶段已有基于深度学习的溢出检测方法，以替代人工作业，降低装载成本；如cn116052071a提出的一种基于场景结构信息的非流体溢出检测方法和系统，然而该方法需要利用深度相机获取深度图像。

4、实际中很多场景中的摄像装置仍为普通相机，无法获得深度信息，如需要采用前述专利中的方法，则需要在不同的位置设置多个深度获取装置如激光距离检测仪来获取不同位置处装载货物的深度，成本高且布置不方便；另外，当处于灰尘大等复杂场景时，普通相机采集的照片清晰度不够，也会影响到非流体溢出检测结果；如何在不额外增加其他深度获取装置的前提下，基于普通相机准确检测出灰尘大等复杂场景下的非流体物的装载程度，成了亟待解决的问题。

5、为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

技术实现思路

1、本发明的目的是针对现有技术的不足，从而提供一种基于光影信息的非流体溢出检测方法和系统。

2、为了实现上述目的，本发明所采用的技术方案是：一种基于光影信息的非流体溢出检测方法，包括以下步骤：

3、非流体装载场景光影形成设置：在非流体下料口一侧设置光源，并利用遮光材料遮挡除非流体下料口以外的区域，使光源仅照射非流体下料口与装载容器区域；

4、装载场景光影信息采集：在非流体下料口与光源相对的一侧安装视频传感器，利用该视频传感器采集非流体下料口与装载容器之间的光影视频；

5、感兴趣区域检测及去雾处理：利用目标光影区域检测模型对光影视频中的每帧光影图像进行目标检测获取感兴趣区域，并对感兴趣区域进行去雾处理；

6、非流体装载程度判断：将去雾后的感兴趣区域送入至训练好的量化模型中进行处理，获得装载程度量化值；统计预设时间段内不同装载程度量化值出现的次数，并依次判断装载程度量化值为2出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为全溢出；若不大于，则继续判断装载程度量化值为1出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为半溢出；若仍不大于，则判定为不溢出。

7、进一步的，量化模型的获取步骤为：

8、在每一辆车装载过程中拍摄光影视频；并针对每一段光影视频，截取视频监控人员发出装满信号前一秒，到视频监控人员发出装满信号后一秒这一时间段内的光影视频作为训练数据，构建初始数据集；

9、对初始数据集中的每帧光影图像进行感兴趣区域检测和去雾处理；

10、对于去雾后的感兴趣区，进一步进行非流体装载程度的量化处理，获得训练数据集；

11、其中，非流体装载程度的量化处理包括：依据装载知识设计装载程度量化标签，其中未溢出情况对应的装载程度量化标签值为0、半溢出对应的装载程度量化标签值为1、全部溢出对应的装载程度量化标签值为2；根据去雾后的感兴趣区域及非流体实际装载情况，为感兴趣区域添加装载程度量化标签；

12、量化模型的训练：构建感兴趣区域与装载程度之间的映射模型，并利用训练数据集对映射模型进行训练，获得量化模型。

13、本发明第二方面提供一种基于光影信息的非流体溢出检测系统，包括：

14、非流体装载场景光影形成装置，包括设置在在非流体下料口一侧的光源，以及设置在非流体下料口以外的遮光材料，所述遮光材料使得光源仅照射非流体下料口与装载容器区域；

15、装载场景光影信息采集装置，包括设置在在非流体下料口与光源相对的一侧的视频传感器，所述视频传感器用于采集非流体下料口与装载容器之间的光影视频；

16、图像处理装置，包括：

17、感兴趣区域检测模块，利用目标光影区域检测模型对待检测光影视频中的每帧光影图像进行目标检测获取感兴趣区域；

18、图像去雾模块，用于对获取的感兴趣区域进行去雾处理；

19、非流体装载程度判断模块：用于调用训练好的映射模型对去雾后的感兴趣区域进行处理，获得装载程度量化值；统计预设时间段内不同装载程度量化值出现的次数，并依次判断装载程度量化值为2出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为全溢出；若不大于，则继续判断装载程度量化值为1出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为半溢出；若仍不大于，则判定为不溢出；

20、非流体装载程度判断模块：用于调用训练好的映射模型对去雾后的感兴趣区域进行处理，获得装载程度量化值；统计预设时间段内不同装载程度量化值出现的次数，并依次判断装载程度量化值为2出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为全溢出；若不大于，则继续判断装载程度量化值为1出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为半溢出；若仍不大于，则判定为不溢出。

21、本发明第三方面提供一种基于光影信息的非流体溢出检测装置，包括：

22、感兴趣区域检测模块，利用目标光影区域检测模型对待检测光影视频中的每帧光影图像进行目标检测获取感兴趣区域；

23、图像去雾模块，用于对获取的感兴趣区域进行去雾处理；

24、非流体装载程度判断模块：用于调用训练好的映射模型对去雾后的感兴趣区域进行处理，获得装载程度量化值；统计预设时间段内不同装载程度量化值出现的次数，并依次判断装载程度量化值为2出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为全溢出；若不大于，则继续判断装载程度量化值为1出现的次数是否大于该装载程度量化值对应的预设次数阈值，若大于，则判定为半溢出；若仍不大于，则判定为不溢出。

25、本发明第四方面提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的感兴趣区域检测及去雾处理步骤、量化模型的训练步骤以及非流体装载程度判断步骤。

26、本发明第五方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的感兴趣区域检测及去雾处理步骤、量化模型的训练步骤以及非流体装载程度判断步骤。

27、本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明利用遮光材料遮挡除下料口以外的区域，使灯光仅照射非流体下料口与装载器区域从而获得光影视频；通过利用目标光影区域检测模型对光影视频中的每帧光影图像进行目标检测获取感兴趣区域，并对感兴趣区域进行去雾处理，以减少灰尘过大对检测结果的影响；并进一步为感兴趣区域添加装载程度量化标签以进行量化模型训练；从而在获取新的光影视频后通过进行感兴趣区域检测及去雾处理后，利用量化模型对去雾后的感兴趣区域进行处理，获得装载程度量化值；并将装载程度量化值与预设溢出阈值进行比较判断是否溢出；

28、该方案利用遮光材料遮挡除下料口以外的区域，使光线更集中于感兴趣区域，减少了其他区域的干扰；采用的是光影图像中的光影信息，光影信息比普通图像更能聚焦细节特征，提高了装载程度检测精准度，且无需额外设置深度获取装置，成本低安装方便；另外，还设置有去雾处理步骤，即使是处于灰尘大等复杂场景也不影响其装载程度检测精准度。