基于旋转椭圆目标检测的矿石面积测量方法及相关装置与流程

本发明涉及人工智能，尤其涉及一种基于旋转椭圆目标检测的矿石面积测量方法及相关装置。

背景技术：

1、矿石是一种重要的基础工业原材料，采矿和选矿的工艺包括爆破、破碎和浮选等。其中，将不同工艺进行连接的工具是输送皮带，它能将上一工艺结束后的矿石运输到下一工艺的初始位置。可见，皮带输送在整个采、选矿工业中起着至关重要的作用。然而，在该环节存在因矿石尺寸过大而导致发生堵料事故的风险。堵料会带来损害输送设备、给周围工作人员带来安全隐患和造成整个输送过程停运等危害，严重影响选矿工艺的产品质量、安全和效率。

2、传统依靠人工对传送速度较快的皮带进行大块检测的方法存在随机性强、准确率低和危险系数高等问题，而基于机器视觉的方法能弥补以上不足。近年来，深度学习凭借其强大的自动特征提取能力逐渐取代了传统图像算法在包括矿石图像分析在内的多个领域的主导地位。其中，用于矿石大块识别与定位的技术多为语义分割和目标检测。然而，当面向矿石这种密集场景，语义分割在预测相互粘连的目标时较难取得良好的分离效果，而常规的目标检测预测的水平框由于包含了较多的背景也无法准确估算矿石面积。基于这两种视觉技术得到的矿石面积均要大于真实值。

技术实现思路

1、本发明的目的在于克服现有技术的不足，本发明提供了一种基于旋转椭圆目标检测的矿石面积测量方法及相关装置，实现自动和精确的大块矿石的面积估算。

2、为了解决上述技术问题，本发明实施例提供了一种基于旋转椭圆目标检测的矿石面积测量方法，所述方法包括：

3、采集位于矿山现场传送带上方的矿石图像，并基于采集的矿石图像构建训练数据集和验证数据集；

4、构建经典yolov3模型，并在所述经典yolov3模型的检测头部分中增加对旋转角度的预测模块，生成修改yolov3模型；

5、利用所述训练数据集对所述修改yolov3模型进行训练，生成训练后的yolov3模型，并利用验证数据集对训练后的yolov3模型进行验证处理，并在验证通过后，获得收敛yolov3模型；

6、获得待预测矿石图像数据，将待预测矿石图像数据输入所述收敛yolov3模型中进行矿石位置参数的预测处理，获得预测位置参数数据；

7、基于opencv库和所述预测位置参数数据进行可视化处理，并根据可视化结果利用椭圆计算公式对矿石面积进行预估计算处理，获得矿石的预估计算面积。

8、可选的，所述采集位于矿山现场传送带上方的矿石图像，并基于采集的矿石图像构建训练数据集和验证数据集，包括：

9、基于设置在所述传送带上的高清摄像设备对传送的矿石进行视频采集处理，获得矿石视频流；

10、按照预设帧间隔在所述矿石视频流中进行图像帧提取处理，获得提取图像帧；

11、基于视觉通大模型的点提示机制对所述提取图像帧进行语义分割处理，并调用opencv中的fitellipse函数对语义分割提取图像帧进行矿石目标检测标记处理，生成标记提取图像帧；

12、对所述标记提取图像帧填充为正方形并将原有分辨率缩放至预设分辨率处理，获得标记处理图像帧；

13、对所述标记处理图像帧进行数据增强处理，获得标记增强图像帧，所述数据增强处理包括水平旋转和区间位于0至15度的随机旋转；

14、将所述标记增强图像帧按照预设比例划分为训练数据集和验证数据集。

15、可选的，所述经典yolov3模型包括用于特征提取的主干网络部分、用于汇聚多尺度特征的颈部网络部分和在多个尺度对目标进行识别于定位的检测头部分；

16、所述主干网络部分为darknet53网络，按照分辨率从上到下可分为5个阶段，共下采样32倍；所述颈部网络部分为feature pyramid network网络结构，用于将深层语义信息逐级向上传递，并与浅层细节信息融合；feature pyramid network网络结构中每一级结构分别包含上采样、特征拼接和特征融合；所述检测头部分包括三个检测头，三个检测头的下采样倍率分别为8、16、和32；每个检测头由一个cbl3和一个核尺寸为1的convolution1组成。

17、可选的，所述修改yolov3模型输出的结果中包含置信度、类别、物体中心点坐标、物体短轴和长轴长度以及物体旋转角度。

18、可选的，所述利用所述训练数据集对所述修改yolov3模型进行训练，生成训练后的yolov3模型，并利用验证数据集对训练后的yolov3模型进行验证处理，并在验证通过后，获得收敛yolov3模型，包括：

19、将所述训练数据集中的图像依次输入所述修改yolov3模型进行训练处理，在训练处理过程中，采用二值交叉熵函数计算置信度损失和类别损失，采用均方损失误差函数计算位置回归损失，并根据置信度损失、类别损失和位置回归损失更新修改yolov3模型中的节点参数，获得训练后的yolov3模型；

20、将所述验证数据集中的图像依次输入训练后的yolov3模型中进行验证处理，在验证结果在预设范围时，获得收敛yolov3模型；

21、在验证结果不在预设范围时，采用反向传播和梯度下降算法更新训练后的yolov3模型中的参数权重，并返回进行训练，直至获得收敛yolov3模型为止。

22、可选的，所述将待预测矿石图像数据输入所述收敛yolov3模型中进行矿石位置参数的预测处理，获得预测位置参数数据，包括：

23、对所述待预测矿石图像数据按照预设正方形进行填充作业，获得填充后待预测矿石图像数据；

24、将填充后待预测矿石图像数据的分辨率缩放值预设分辨处理，获得缩放后待预测矿石图像数据；

25、将缩放后待预测矿石图像数据输入所述收敛yolov3模型中进行矿石位置参数的预测处理，获得预测位置参数数据，所述预测位置参数数据包括矿石的中心点坐标，矿石短轴长度、矿石长轴长度和矿石旋转角度。

26、可选的，所述基于opencv库和所述预测位置参数数据进行可视化处理，并根据可视化结果利用椭圆计算公式对矿石面积进行预估计算处理，获得矿石的预估计算面积，包括：

27、利用opencv库中的ellipse函数对所述预测位置参数数据采用椭圆进行表征处理，并根据表征结果对矿石形状进行近似拟合处理，生成可视的矿石拟合椭圆形；

28、利用椭圆面积计算公式对可视的矿石拟合椭圆形进行预估计算处理，获得矿石的预估计算面积。

29、另外，本发明实施例还提供了一种基于旋转椭圆目标检测的矿石面积测量装置，所述装置包括：

30、训练数据采集模块：用于采集位于矿山现场传送带上方的矿石图像，并基于采集的矿石图像构建训练数据集和验证数据集；

31、模型构建模块：用于构建经典yolov3模型，并在所述经典yolov3模型的检测头部分中增加对旋转角度的预测模块，生成修改yolov3模型；

32、模型训练模块：用于利用所述训练数据集对所述修改yolov3模型进行训练，生成训练后的yolov3模型，并利用验证数据集对训练后的yolov3模型进行验证处理，并在验证通过后，获得收敛yolov3模型；

33、参数预测模块：用于获得待预测矿石图像数据，将待预测矿石图像数据输入所述收敛yolov3模型中进行矿石位置参数的预测处理，获得预测位置参数数据；

34、面积估算模块：用于基于opencv库和所述预测位置参数数据进行可视化处理，并根据可视化结果利用椭圆计算公式对矿石面积进行预估计算处理，获得矿石的预估计算面积。

35、另外，本发明实施例还提供了一种电子设备，包括处理器和存储器，所述处理器运行存储于所述存储器中的计算机程序或代码，实现如上述中任一项所述的矿石面积测量方法。

36、另外，本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序或代码，当所述计算机程序或代码被处理器执行时，实现如上述中任一项所述的矿石面积测量方法。

37、在本发明实施例中，采集位于矿山现场传送带上方的矿石图像，并基于采集的矿石图像构建训练数据集和验证数据集；构建经典yolov3模型，并在所述经典yolov3模型的检测头部分中增加对旋转角度的预测模块，生成修改yolov3模型；利用所述训练数据集对所述修改yolov3模型进行训练，生成训练后的yolov3模型，并利用验证数据集对训练后的yolov3模型进行验证处理，并在验证通过后，获得收敛yolov3模型；获得待预测矿石图像数据，将待预测矿石图像数据输入所述收敛yolov3模型中进行矿石位置参数的预测处理，获得预测位置参数数据；基于opencv库和所述预测位置参数数据进行可视化处理，并根据可视化结果利用椭圆计算公式对矿石面积进行预估计算处理，获得矿石的预估计算面积；实现自动和精确的大块矿石的面积估算。