一种斜坡落石实时监测方法、设备及介质与流程

本技术涉及目标检测领域，尤其涉及一种斜坡落石实时监测方法、设备及介质。

背景技术：

1、实时目标检测是一种利用目标检测网络进行物体实时跟踪、检测的方法，它在智能安防警报、交通监控检测、无人驾驶汽车等多方面都发挥着重要的作用。

2、专利cn116805365a实现了对工地落石的高精度识别，针对的是复杂的施工现场环境。岩石本身就处于静止状态，在即将发生滑落时，通过拍摄的图像对比历史的基准图像，判断岩石的锚框位置偏移是否超过预设阈值，超过阈值则有滑落的风险。

3、斜坡落石具有突发性，现有的工地落石的检测方法在复杂的斜坡背景干扰下，无法实现对斜坡落石的精准实时监测。复杂的斜坡背景包括：斜坡背景与落石纹理相近导致误检测、斜坡上存在与石头颜色相近的物体导致误检测、斜坡上存在其他运动的物体导致误检测等。

技术实现思路

1、本发明的目的在于：为了解决上述背景技术中所提到的问题，提供一种可以在复杂的斜坡背景干扰下，实现对斜坡落石的精准实时监测的斜坡落石实时监测方法、设备及介质。

2、本技术的上述目的是通过以下技术方案得以实现的：

3、s1：构建深度学习目标检测模型；

4、s2：获取图像信息，将图像信息输入深度学习目标检测模型的骨干网络，得到五层特征；

5、s3：将第一层特征输入深度学习目标检测模型的高速空间金字塔池化模块中，得到输出大小固定的顶层输出特征；

6、s4：根据顶层输出特征与第四层特征，得到深层预测结果；

7、s5：根据第三层特征、第四层特征与第五层特征，得到中层预测结果；

8、s6：根据第三层特征与第四层特征，得到浅层预测结果；

9、s7：通过深层预测结果、中层预测结果、浅层预测结果，提取目标框位置与坐标信息并进行分析，可视化显示分析结果。

10、可选的，步骤s2包括：

11、通过卷积核大小为3、步长为2、填充为1的卷积层生成第一层特征fp1，具体表示为：

12、fp1＝conv3×3(input)

13、通过卷积核大小为3、步长为2、填充为1的卷积层以及梯度卷积模块后，生成第二层特征fp2，具体表示为：

14、f2＝conv3×3(fp1)

15、fp2＝cconv(f2)

16、通过卷积核大小为3、步长为2、填充为1的卷积层以及梯度卷积模块，生成第三层特征fp3，具体表示为：

17、f3＝conv3×3(fp2)

18、fp3＝cconv(f3)

19、通过卷积核大小为3、步长为2、填充为1的卷积层以及梯度卷积模块后生成第四层特征fp3，具体表示为：

20、f4＝conv3×3(fp3)

21、fp3＝cconv(f4)

22、通过卷积核大小为3、步长为2、填充为1的卷积层以及梯度卷积模块后生成第五层特征fp3，具体表示为：

23、f5＝conv3×3(fp4)

24、fp3＝cconv(f5)。

25、可选的，步骤s3包括：

26、s31：对第一层特征进行1×1的卷积，得到fsp1∈r20×20×512，，具体表示如下：fsp1＝conv1×1(f5)

27、s32：将fsp1依次进行大小为5×5、9×9和13×13的最大池化，分别得到三个对应的输出特征为fsp5∈r20×20×512，fsp9∈r20×20×512和fsp13∈r20×20×512，具体表示如下：

28、fsp5＝maxpool5(fsp1)

29、fsp9＝maxpool9(fsp1)

30、fsp13＝maxpool13(fsp1)

31、s33：将fsp5、fsp9、fsp13与fsp1进行拼接得到fsppfcat∈r20×20×1536，具体表示如下：

32、fsppfcat＝cat(fsp1+fsp5+fsp9+fsp13)

33、将fsppfcat进行一次1×1的卷积，得到顶层输出特征fsppf∈r20×20×512，具体表示为：

34、fsppf＝conv1×1(fsppfcat)。

35、可选的，步骤s4包括：

36、将顶层输出特征fsppf∈r20×20×512与经过3×3卷积处理后的第四层特征fcc42∈r40×40×256进行拼接；通过卷积梯度模块处理拼接后的特征f5cat，得到fcc5∈r20×20×512；对fcc5进行检测操作后，得到深层预测结果fdh，具体表示为：

37、f5cat＝cat(fsppf+conv3×3(fcc42))

38、fcc5＝cconv(f5cat)

39、fdh＝detc(fcc5)

40、其中，cat表示拼接；conv3×3表示3×3卷积处理；cconv表示卷积梯度模块；detc表示检测操作。

41、可选的，步骤s5包括：

42、第四层特征fp4∈r20×20×256与经过上采样后的第五层特征fpup∈r40×40×512进行拼接，再经过卷积梯度模块后得到fcc4∈r40×40×256；

43、将fcc4与经过3×3卷积处理后的第三层特征fcc3∈r80×80×128进行拼接，得到特征fcc42；

44、通过卷积梯度模块处理拼接后的特征fcc42，得到fcc41∈r40×40×256，对fcc5进行检测操作后，得到中层预测结果fdm。

45、可选的，步骤s6包括：

46、将第三层特征经过与上采样后的第四层特征f4up∈r80×80×256进行拼接，再经过卷积梯度模块得到fcc3∈r80×80×128，最后经过检测操作得到浅层预测结果fdl。

47、可选的，步骤s7包括：

48、若目标框位置的图像为石块且坐标信息出现连续性变化，则判断有落石现象，并将分析结果可视化显示至显示屏上。

49、一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行一种斜坡落石实时监测方法。

50、一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行一种斜坡落石实时监测方法。

51、本技术提供的技术方案带来的有益效果是：

52、1.将整个图像划分为相同大小尺寸的网格，在经过演算后，将每个部分的位置信息以向量的形式作为输出，通过多尺度特征图来达到高精度检测的目的，通过对不同尺度特征图的信息提取，提高检测精度。采用的深度学习目标检测模型采用了全卷积神经网络，可同时预测多个落石的位置与类别，在保证准确率的同时实现了实时的目标检测。

53、2.通过深层预测结果、中层预测结果、浅层预测结果，提取目标框位置与坐标信息并进行分析，本技术提出的目标框追踪方法，准确获取落石的滚动、运动状态以及其位置信息的变化。