一种煤矸石的分拣方法、系统及存储介质与流程

本发明属于煤矸石分拣，尤其涉及一种煤矸石的分拣方法、系统及存储介质。

背景技术：

1、在煤炭开采过程中，会产生矸石，也被称为煤矸石，它是一种固体废物，碳含量较低，比煤更硬，燃烧利用率也较低。将煤矸石从煤炭中分离出来，可以提高煤炭的燃烧效率，同时减少燃烧时的污染物排放。

2、煤矸石分拣是一种煤炭燃前处理方法，是煤矿生产中不可或缺的环节，也是提高煤炭品质的有效方法之一。目前煤矸石的分拣主要有湿选法、干选法和人工分拣法。湿选法主要包括重介法、跳汰法，其特点是利用煤炭和矸石的密度不同，将原煤置入溶液中，进而实现煤与矸石的分层分离，该方法所采用的设备庞大、工艺复杂、分拣效率低下且对环境造成了污染；干选法利用煤炭与矸石对光的透射率不同而采用双能γ射线透射分拣，采用这种方法的设备昂贵、分拣效率低且存在辐射；另外，人工筛选矸石存在工作环境恶劣、劳动强度大、易误选或漏选的缺点。

技术实现思路

1、本发明在于提供一种煤矸石的分拣方法、系统及存储介质，通过训练好的目标检测模型对出煤区域的煤矸石进行检测以及分割，再通过映射现实出煤区域状况的虚拟世界系统对目标煤矸石进行抓取，实现了煤矸石的高效率、高精度检测，同时优化了生产流程并增强了作业安全。

2、为达到上述目的，本发明是采用下述技术方案实现的。

3、第一方面，本发明提供一种煤矸石的分拣方法，包括：

4、获取待检测出煤区域的可见光图像和深度图像；

5、将可见光图像输入预先训练的目标检测模型中得到目标煤矸石的检测及分割结果；

6、根据深度图像以及追踪算法获取目标煤矸石的实时3d融合模型；

7、将目标煤矸石的3d融合模型以及抓取设备的信息同步映射到虚拟世界系统，并通过虚拟世界系统控制抓取设备对现实出煤区域中目标煤矸石进行抓取。

8、可选地，所述目标检测模型进行周期性训练，所述周期性训练过程包括：

9、采用当前周期的训练样本集，训练当前周期的目标检测模型，其中，当前周期的训练样本集为获取到的当前可见光影像和深度影像中的视频帧；

10、将当前周期的目标检测模型与上一周期的目标检测模型的准确度进行对比，将其中准确度更高的目标检测模型作为下一周期的目标检测模型。

11、可选地，目标检测模型包括依次连接的改进的轻量级卷积神经网络、第一单级检测网络和第二单级检测网络，其中，改进的轻量级卷积神经网络为在现有轻量级卷积神经网络中对双卷积瓶颈层进行卷积层增设。

12、可选地，目标煤矸石的检测结果为煤矸石的矩形区域图，目标煤矸石的分割结果为煤矸石矩形区域图的分割图像；

13、所述将可见光图像输入预先训练的目标检测模型中得到目标煤矸石的检测及分割结果，包括：

14、通过改进的轻量级卷积神经网络对可见光图像进行图像特征提取，并对提取出的图像特征进行融合；

15、通过第一单级检测网络将融合后的图像特征映射为煤矸石的矩形区域图，通过第二单级检测网络对矩形区域图进行实例分割，区分不同的煤矸石实例，生成分割后的图像。

16、可选地，根据目标煤矸石的检测及分割结果以及追踪算法获取目标煤矸石的实时3d融合模型，包括：

17、根据目标煤矸石的矩形区域图，采用追踪算法对目标煤矸石的实时位置信息进行追踪，并根据目标煤矸石的分割图像获取目标煤矸石的深度信息以及速度信息，对实时位置信息、速度信息、深度信息进行融合，得到目标煤矸石的3d融合模型，其中，3d融合模型中包括目标煤矸石的速度信息、深度信息、位置信息。

18、可选地，所述通过虚拟世界系统控制抓取设备对现实出煤区域中目标煤矸石进行抓取，包括：

19、获取虚拟世界中各抓取机器人信息；

20、根据各抓取机器人信息获取当前抓取机器人的工作范围并在虚拟世界中广播；

21、根据虚拟世界中当前目标煤矸石的位置及大小信息判断当前抓取机器人是否能进行抓取，若能抓取，控制现实世界的抓取设备进行抓取工作并在虚拟世界中广播抓取信息，若不能抓取，根据虚拟世界中下一目标煤矸石的位置及大小信息继续判断循环。

22、第二方面，本发明提供一种煤矸石的分拣系统，包括：

23、图像获取模块：用于获取待检测出煤区域的可见光图像和深度图像；

24、目标检测与分割模块：用于将可见光图像输入预先训练的目标检测模型中得到目标煤矸石的检测及分割结果；

25、三维目标获取模块：用于根据深度图像以及追踪算法获取目标煤矸石的实时3d融合模型；

26、煤矸石抓取模块：用于将目标煤矸石的3d融合模型以及抓取设备的信息同步映射到虚拟世界系统，并通过虚拟世界系统控制抓取设备对现实出煤区域中目标煤矸石进行抓取。

27、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现第一方面中任一项所述的煤矸石的分拣方法。

28、第四方面，本发明提供一种电子终端，包括处理器以及与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行第一方面中任一项所述的煤矸石的分拣方法。

29、第五方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面中任一项所述的煤矸石的分拣方法。

30、与现有技术相比，本发明所达到的有益效果：本发明通过融合机器视觉技术、深度学习算法、3d重建技术以及虚拟世界系统，实现了煤矸石的高效率、高精度识别与分拣，与传统的人工检测方法相比，本发明有效避免了工作环境恶劣、劳动强度大、效率低下以及误选或漏选等问题，同时，与伽马射线检测和x射线检测相比，本发明避免了昂贵的设备成本、潜在的辐射危害以及对物料粒径大小的依赖；通过深度摄像头获取的可见光图像和深度信息，结合改进后的深度学习算法以及自训练模块的集成，使得系统具备了持续学习和自我优化的能力，能够根据实时数据不断调整和提升识别精度，能够准确识别并分割出煤矿、矸石和杂物，实现目标的快速检测与定位；通过3d重建技术进一步提高了目标识别的准确性，使得系统能够更加精确地处理复杂场景中的煤矸石分拣任务；通过虚拟世界系统的引入，为设备间的信息同步和相互合作提供了一个高性能的平台，极大地提高了作业的实时性和协同性。

技术特征：

1.一种煤矸石的分拣方法，其特征在于，包括：

2.根据权利要求1所述的煤矸石的分拣方法，其特征在于，所述目标检测模型进行周期性训练，所述周期性训练过程包括：

3.根据权利要求1或2所述的煤矸石的分拣方法，其特征在于，目标检测模型包括依次连接的改进的轻量级卷积神经网络、第一单级检测网络和第二单级检测网络；其中，改进的轻量级卷积神经网络为在现有轻量级卷积神经网络中对双卷积瓶颈层进行卷积层增设。

4.根据权利要求3所述的煤矸石的分拣方法，其特征在于，目标煤矸石的检测结果为煤矸石的矩形区域图，目标煤矸石的分割结果为煤矸石矩形区域图的分割图像；

5.根据权利要求4所述的煤矸石的分拣方法，其特征在于，根据目标煤矸石的检测及分割结果以及追踪算法获取目标煤矸石的实时3d融合模型，包括：

6.根据权利要求1所述的煤矸石的分拣方法，其特征在于，所述通过虚拟世界系统控制抓取设备对现实出煤区域中目标煤矸石进行抓取，包括：

7.一种煤矸石的分拣系统，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-6中任一项所述的煤矸石的分拣方法。

9.一种电子终端，其特征在于，包括处理器以及与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行如权利要求1-6中任一项所述的煤矸石的分拣方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-6中任一项所述的煤矸石的分拣方法。

技术总结本发明公开了一种煤矸石的分拣方法、系统及存储介质，属于煤矸石分拣技术领域，所述分拣方法包括：获取待检测出煤区域的可见光图像和深度图像；将可见光图像输入预先训练的目标检测模型中得到目标煤矸石的检测及分割结果；根据深度图像以及追踪算法获取目标煤矸石的实时3D融合模型，其中，3D融合模型中包括目标煤矸石的速度信息、深度信息、位置信息；将目标煤矸石的3D融合模型以及抓取设备的信息同步映射到虚拟世界系统，并通过虚拟世界系统控制抓取设备对现实出煤区域中目标煤矸石进行抓取，实现煤矸石的高效率、高精度检测，提高了煤炭的燃烧效率，减少了污染物排放，同时优化了生产流程并增强了作业安全。技术研发人员：王强受保护的技术使用者：南京博润类脑智能技术有限公司技术研发日：技术公布日：2024/9/9