传送带的信息检测方法、设备和存储介质与流程

本技术涉及信息处理，尤其涉及一种传送带的信息检测方法、设备和存储介质。

背景技术：

1、传送带是矿产资源开采和加工作业短距离运输的最常用方式，矿产的井下作业大部分都是通过传送带来传输物料，在矿物的深加环节(例如煤矿厂，水泥厂等)也大量使用传送带进行物料的运输。传送带的正常运转是保证整条业务线安全运行的关键，一旦出现任何问题都会严重影响生产，轻则造成设备损坏，重则导致生产线停工停产。在实际的作业中，传送带上发生故障也是最常见的故障之一。传统的保障方法是通过人工巡视进行排查，但这种方法难以做到全天时，传送带出现异常被成功发现的频率低、时效性差，往往在故障已经出现后才能被发现，难以达到事先预警和提前挽损的目的。对于封闭式运输廊道，环境潮湿、阴暗、噪声大、粉尘大，人工巡查还存在一定的安全隐患。

2、当前大型的矿业生产线已经实现了相当水平的数字化改造，以摄像头为载体的安全监控成为主流手段。在传送带作业车间或者隧道内，通常都会布控多个摄像头用于生产环境的监控。然而，目前的巡查方式多数还是通过工作人员在中控室进行人眼观察来开展，故障发现率低，动作不及时，难以有效的避免故障的发生。

技术实现思路

1、本技术实施例的主要目的在于提供一种传送带的信息检测方法、设备和存储介质，实现了通过对图像采集设备的当前视域范围进行校验，保证传送带的标定区域与监控视频帧对应的视域范围匹配，进而提高传送带异常状态检测的精度和效率。

2、第一方面，本技术实施例提供一种传送带的信息检测方法，包括：响应于对传送带的检测指令，获取关于所述传送带的监控视频帧，所述监控视频帧由预设图像采集设备采集得到，所述传送带配置有标定区域，所述标定区域是根据所述图像采集设备的预设视域范围确定的；根据所述监控视频帧检测所述图像采集设备的当前视域范围是否偏离所述预设视域范围；若图像采集设备的当前视域范围未偏离所述预设视域范围，对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别；根据所述监控视频帧中的所述对象类别和所述标定区域，确定所述传送带是否存在异常状态。

3、于一实施例中，还包括：若所述图像采集设备的所述当前视域范围偏离所述预设视域范围，根据所述当前视域范围调整所述传送带的所述标定区域。

4、于一实施例中，所述根据所述监控视频帧检测所述图像采集设备的当前视域范围是否偏离所述预设视域范围，包括：提取所述监控视频帧中当前帧图像与预设基准图像的匹配关键点对；根据所述匹配关键点对确定所述当前帧图像与所述预设基准图像之间的变换矩阵；根据所述变换矩阵计算预设参考点在所述当前帧图像与所述预设基准图像之间的偏移量；若所述偏移量大于预设偏移阈值，确定所述图像采集设备的所述当前视域范围偏离所述预设视域范围，否则，若所述偏移量小于或等于所述预设偏移阈值，确定所述图像采集设备的所述当前视域范围未偏离所述预设视域范围。

5、于一实施例中，所述提取所述监控视频帧中当前帧图像与预设基准图像的匹配关键点对，包括：分别计算所述预设基准图像的第一关键点集合和所述当前帧图像的第二关键点集合，并分别确定所述第一关键点和所述第二关键点的尺度不变特征；针对每个所述第一关键点，根据对应的所述尺度不变特征，在所述第二关键点集合中查找与所述第一关键点相似度最大的目标关键点，所述匹配关键点对包括所述第一关键点和匹配的所述目标关键点。

6、于一实施例中，所述匹配关键点对的数量至少为三个；所述根据所述匹配关键点对确定所述当前帧图像与所述预设基准图像之间的变换矩阵，包括：根据至少三个所述匹配关键点对计算所述当前帧图像与所述预设基准图像之间的放射变换矩阵。

7、于一实施例中，所述预设参考点为所述预设基准图像中的四个角点；所述根据所述变换矩阵计算预设参考点在所述当前帧图像与所述预设基准图像之间的偏移量，包括：根据所述变换矩阵分别将所述四个角点投影到所述当前帧图像中，分别得到所述四个角点在所述当前帧图像中的投影点；分别计算所述四个角点与对应所述投影点之间的相对偏移量，并将所述四个角点中所述相对偏移量的最大值确定为所述预设参考点在所述当前帧图像与所述预设基准图像之间的偏移量。

8、于一实施例中，在所述对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别之前，还包括：获取所述监控视频帧中具备预设时间间隔的两帧图像；计算所述两帧图像中所述标定区域之间的相似度；判断所述相似度是否小于预设相似度阈值；若所述相似度小于所述预设相似度阈值，执行所述对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别的步骤；和/或，若所述相似度大于或等于所述预设相似度阈值，确定所述传送带未开启。

9、于一实施例中，所述对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别，包括：采用预设图像分割模型对所述监控视频帧进行语义分割，确定所述监控视频帧中存在的对象类别，所述对象类别包括：传送带、物料、异物和背景中的一种或多种。

10、于一实施例中，在所述采用预设图像分割模型对所述监控视频帧进行语义分割之前，还包括：获取预设样本图像集，所述预设样本图像中标注了不同的样本对象类别，所述样本对象类别包括传送带、物料、异物和背景中的一种或多种；采用所述预设样本图像集训练预设神经网络模型，得到所述图像分割模型。

11、于一实施例中，所述标定区域包括所述传送带的预设边线围成的区域；所述根据所述监控视频帧中的所述对象类别和所述标定区域，确定所述传送带是否存在异常状态，包括：若所述监控视频帧中的对象类别包括背景，并且所述预设边线全部在所述背景区域中，确定所述传送带处于跑偏异常状态。

12、于一实施例中，所述标定区域包括所述传送带的承压面区域；所述根据所述监控视频帧中的所述对象类别和所述标定区域，确定所述传送带是否存在异常状态，包括：检测所述承压面区域的对象类别是否包括物料，若所述承压面区域的对象类别不包括物料，并且所述承压面区域的对象类别不包括物料这一状态在所述监控视频帧中的第一持续时长大于第一预设时长，确定所述传送带处于空转异常状态；若所述承压面区域的对象类别包括物料，分别计算所述监控视频帧中每帧图像中所述承压面区域内的物料占比；若所述物料占比小于预设占比，并且所述物料占比小于预设占比这一状态在所述监控视频帧中的第二持续时长大于第二预设时长，确定所述传送带处于断料异常状态；和/或，若所述承压面区域的对象类别包括物料，根据所述监控视频帧记录所述传送带上各个时刻的物料占用率，并根据所述物料占用率和所述传送带的运行参数，确定所述传送带的物料流量。

13、于一实施例中，所述根据所述对象类别和所述标定区域，确定所述传送带是否存在异常状态，包括：若所述对象类别包括异物，计算所述监控视频帧中存在的异物面积；若所述异物面积超过预设面积，并且所述监控视频帧中连续预设帧图像均检测出异物，确定所述传送带处于安全异常状态。

14、第二方面，本技术实施例提供一种传送带的信息检测装置，包括：

15、获取模块，用于响应于对传送带的检测指令，获取关于所述传送带的监控视频帧，所述监控视频帧由预设图像采集设备采集得到，所述传送带配置有标定区域，所述标定区域是根据所述图像采集设备的预设视域范围确定的；

16、检测模块，用于根据所述监控视频帧检测所述图像采集设备的当前视域范围是否偏离所述预设视域范围；

17、识别模块，用于若图像采集设备的当前视域范围未偏离所述预设视域范围，对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别；

18、确定模块，用于根据所述监控视频帧中的所述对象类别和所述标定区域，确定所述传送带是否存在异常状态。

19、于一实施例中，该装置还包括：调整模块，用于若所述图像采集设备的所述当前视域范围偏离所述预设视域范围，根据所述当前视域范围调整所述传送带的所述标定区域。

20、于一实施例中，所述检测模块，用于提取所述监控视频帧中当前帧图像与预设基准图像的匹配关键点对；根据所述匹配关键点对确定所述当前帧图像与所述预设基准图像之间的变换矩阵；根据所述变换矩阵计算预设参考点在所述当前帧图像与所述预设基准图像之间的偏移量；若所述偏移量大于预设偏移阈值，确定所述图像采集设备的所述当前视域范围偏离所述预设视域范围，否则，若所述偏移量小于或等于所述预设偏移阈值，确定所述图像采集设备的所述当前视域范围未偏离所述预设视域范围。

21、于一实施例中，所述检测模块，用于分别计算所述预设基准图像的第一关键点集合和所述当前帧图像的第二关键点集合，并分别确定所述第一关键点和所述第二关键点的尺度不变特征；针对每个所述第一关键点，根据对应的所述尺度不变特征，在所述第二关键点集合中查找与所述第一关键点相似度最大的目标关键点，所述匹配关键点对包括所述第一关键点和匹配的所述目标关键点。

22、于一实施例中，所述匹配关键点对的数量至少为三个；所述检测模块，用于根据至少三个所述匹配关键点对计算所述当前帧图像与所述预设基准图像之间的放射变换矩阵。

23、于一实施例中，所述预设参考点为所述预设基准图像中的四个角点；所述检测模块，用于根据所述变换矩阵分别将所述四个角点投影到所述当前帧图像中，分别得到所述四个角点在所述当前帧图像中的投影点；分别计算所述四个角点与对应所述投影点之间的相对偏移量，并将所述四个角点中所述相对偏移量的最大值确定为所述预设参考点在所述当前帧图像与所述预设基准图像之间的偏移量。

24、于一实施例中，还包括：判断模块，用于在所述对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别之前，获取所述监控视频帧中具备预设时间间隔的两帧图像；计算所述两帧图像中所述标定区域之间的相似度；判断所述相似度是否小于预设相似度阈值；若所述相似度小于所述预设相似度阈值，执行所述对所述监控视频帧进行对象识别，确定所述监控视频帧中存在的对象类别的步骤；和/或，若所述相似度大于或等于所述预设相似度阈值，确定所述传送带未开启。

25、于一实施例中，识别模块，用于采用预设图像分割模型对所述监控视频帧进行语义分割，确定所述监控视频帧中存在的对象类别，所述对象类别包括：传送带、物料、异物和背景中的一种或多种。

26、于一实施例中，还包括：训练模块，用于在所述采用预设图像分割模型对所述监控视频帧进行语义分割之前，获取预设样本图像集，所述预设样本图像中标注了不同的样本对象类别，所述样本对象类别包括传送带、物料、异物和背景中的一种或多种；采用所述预设样本图像集训练预设神经网络模型，得到所述图像分割模型。

27、于一实施例中，所述标定区域包括所述传送带的预设边线围成的区域；确定模块，用于若所述监控视频帧中的对象类别包括背景，并且所述预设边线全部在所述背景区域中，确定所述传送带处于跑偏异常状态。

28、于一实施例中，所述标定区域包括所述传送带的承压面区域；确定模块，用于检测所述承压面区域的对象类别是否包括物料，若所述承压面区域的对象类别不包括物料，并且所述承压面区域的对象类别不包括物料这一状态在所述监控视频帧中的第一持续时长大于第一预设时长，确定所述传送带处于空转异常状态；确定模块，还用于若所述承压面区域的对象类别包括物料，分别计算所述监控视频帧中每帧图像中所述承压面区域内的物料占比；若所述物料占比小于预设占比，并且所述物料占比小于预设占比这一状态在所述监控视频帧中的第二持续时长大于第二预设时长，确定所述传送带处于断料异常状态；和/或，确定模块，还用于若所述承压面区域的对象类别包括物料，根据所述监控视频帧记录所述传送带上各个时刻的物料占用率，并根据所述物料占用率和所述传送带的运行参数，确定所述传送带的物料流量。

29、于一实施例中，确定模块，还用于若所述对象类别包括异物，计算所述监控视频帧中存在的异物面积；若所述异物面积超过预设面积，并且所述监控视频帧中连续预设帧图像均检测出异物，确定所述传送带处于安全异常状态。

30、第三方面，本技术实施例提供一种电子设备，包括：

31、至少一个处理器；以及

32、与所述至少一个处理器通信连接的存储器；

33、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行上述任一方面所述的方法。

34、第四方面，本技术实施例提供一种云设备，包括：

35、至少一个处理器；以及

36、与所述至少一个处理器通信连接的存储器；

37、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述云设备执行上述任一方面所述的方法。

38、第五方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方面所述的方法。

39、第六方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方面所述的方法。

40、本技术实施例提供的传送带的信息检测方法、设备和存储介质，在接收到对传送带的检测指令时，获取图像采集设备采集的传送带的监控视频帧，传送带预先根据图像设备的预设视域范围配置了标定区域，在分析监控视频之前，先对图像采集设备的当前视域范围进行校验，判断当前视域范围是否偏离了预设视域范围，如果图像采集设备的当前视域范围没有偏离预设视域范围，说明传送带的标定区域是准确的，在此情况下对监控视频帧进行分析识别，进而确定监控视频中存在的对象类别，并根据对象类别和传送带的标定区域，来确定传送带是否存在异常，如此，通过对图像采集设备的当前视域范围进行校验，保证传送带的标定区域与监控视频帧对应的视域范围匹配，进而提高传送带异常状态检测的精度和效率。