杂物的分拣方法、装置、计算机程序产品和分检系统与流程

本技术涉及矿物分拣加工，具体而言，涉及一种杂物的分拣方法、装置、计算机程序产品和分检系统。

背景技术：

1、在煤、矸石、杂物分拣领域中多机器人系统是特种煤矸分拣设备，多机器人系统根据机器人结构不同分为关节型、直角坐标型、并联型等，主要负责煤矸杂分拣过程中多动态目标的分拣工作，避免大块矸石或硬质杂物进入后续洗选流程造成设备故障。

2、现有的在线识别、定位和分拣过程中，分拣机器人需要对每一块杂物检测结果进行任务分配，当开采地质条件变化，或者施工作业面条件变化导致煤中硬质杂物增多，一对一的杂物分拣策略效率低，难以满足生产需求。

技术实现思路

1、本技术的主要目的在于提供一种杂物的分拣方法、装置、计算机程序产品和分检系统，以至少解决现有技术中杂物的分拣策略效率较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种杂物的分拣方法，包括：获取第一图像，其中，所述第一图像为入料出的煤流的图像；构建第一检测模型，其中，所述第一检测模型是使用多组训练数据来通过faster r-cnn算法训练得到的，所述多组训练数据中的每一组训练数据均包括历史时间段内获取的历史第一图像、所述历史第一图像对应的历史第一识别结果，其中，所述历史第一识别结果至少包括历史杂物的历史体积；将所述第一图像输入至所述第一检测模型，得到所述第一图像对应的第一识别结果；在所有的杂物的体积均小于预设体积的情况下，控制第一机械臂将所有的所述杂物依次抓取至收集箱中，其中，所述杂物的体积大小和抓取的顺序呈正相关关系；在有部分所述杂物的体积大于或者等于所述预设体积的情况下，控制第二机械臂和第三机械臂将体积大于或者等于所述预设体积的所述杂物依次抓取至所述收集箱中，在体积大于或者等于所述预设体积的所述杂物已抓取完成的情况下，控制第四机械臂将体积小于所述预设体积的所述杂物依次抓取至所述收集箱中。

3、可选地，在控制第一机械臂将所有的所述杂物依次抓取至收集箱中之后，或者在控制第二机械臂和第三机械臂将体积大于或者等于所述预设体积的所述杂物依次抓取至所述收集箱中之后，或者在控制第四机械臂将体积小于所述预设体积的所述杂物依次抓取至所述收集箱中之后，所述方法还包括：获取第二图像，其中，所述第二图像为所述收集箱的图像；构建第二检测模型，其中，所述第二检测模型是使用多组训练数据来通过centroids算法和reid算法训练得到的，所述多组训练数据中的每一组训练数据均包括历史时间段内获取的历史第二图像、所述历史第二图像对应的历史第二识别结果，其中，所述历史第二识别结果至少包括历史杂物的历史体积、历史类型和历史数量；将所述第二图像输入至所述第二检测模型，得到所述第二图像对应的第二识别结果。

4、可选地，所述第一识别结果还包括所述杂物的类型和数量，在将所述第二图像输入至所述第二检测模型，得到所述第二图像对应的第二识别结果之后，所述方法还包括：根据第一公式计算单机抓取的第一成功率，其中，所述第一公式为：

5、

6、ai表示所述第一成功率，i表示类型，表示单机抓取时所述第一识别结果的第一数量，表示单机抓取时所述第二识别结果的第二数量；根据第二公式计算双机抓取的第二成功率，其中，所述第二公式为：

7、

8、b表示所述第二成功率，nf表示双机抓取时所述第一识别结果的第三数量，nd表示双机抓取时所述第二识别结果的第四数量。

9、可选地，在获取第一图像之后，所述方法还包括：获取二值掩码，其中，所述二值掩码为所述第一图像的实例掩码进行二值转换得到的，所述实例掩码为所述第一图像的像素级的掩码；采用satoshi-suzuki算法，确定所述二值掩码的外边缘轮廓；获取第一坐标值、第二坐标值、第三坐标值和第四坐标值，其中，所述第一坐标值为所述外边缘轮廓的最小横坐标值，所述第二坐标值为所述外边缘轮廓的最大横坐标值，所述第三坐标值为所述外边缘轮廓的最小纵坐标值，所述第四坐标值为所述外边缘轮廓的最大纵坐标值；根据第三公式计算所述外边缘轮廓的矩形包围框的长度，其中，所述第三公式为：hbox＝max(ymax,-ymin,xmax,-xmin)，hbox表示所述外边缘轮廓的所述矩形包围框的长度，ymax表示所述第四坐标值，ymin表示所述第三坐标值，xmax表示所述第二坐标值，xmin表示所述第一坐标值；根据第四公式计算所述外边缘轮廓的所述矩形包围框的宽度，其中，所述第四公式为：wbox＝min(ymax,-ymin,xmax,-xmin)，wbox表示所述外边缘轮廓的所述矩形包围框的宽度；根据第五公式计算所述外边缘轮廓的所述矩形包围框的面积，其中，所述第五公式为：abox＝hbox·wbox，abox表示所述外边缘轮廓的所述矩形包围框的面积；根据第六公式计算所述外边缘轮廓包围的杂物掩码的面积，其中，所述第六公式为：

10、

11、amask表示所述外边缘轮廓包围的杂物掩码的面积，d表示所述外边缘轮廓，l+表示d的取正向的边界曲线；根据第七公式计算所述杂物的所述体积，其中，所述第七公式为：

12、

13、f表示所述杂物的所述体积。

14、可选地，控制第一机械臂将所有的所述杂物依次抓取至收集箱中，包括：根据第八公式计算所述杂物的矩，其中，所述第八公式为：

15、

16、m01＝∑i∑jj·v(i,j)

17、m10＝∑i∑ji·v(i,j)，

18、v(i,j)表示(i,j)像素点的灰度值，i表示像素的x坐标，j表示像素的y坐标；根据第九公式计算所述杂物的质心坐标，其中，所述第九公式为：

19、

20、所述质心坐标为(xc,yc)；采用zhang-suen算法，提取所述杂物的所述二值掩码的骨架；根据所述骨架和所述质心坐标确定第一下手点，其中，所述第一下手点为以所述质心坐标作为圆心，作所述骨架的外切圆得到的切点；根据所述外切圆确定第一下手方向，其中，所述第一下手方向与所述外切圆的切线方向垂直；根据所述第一下手点和所述第一下手方向，控制所述第一机械臂将所有的所述杂物依次抓取至所述收集箱中。

21、可选地，控制第二机械臂和第三机械臂将体积大于或者等于所述预设体积的所述杂物依次抓取至所述收集箱中，包括：根据所述骨架和所述质心坐标确定第二下手点和第三下手点，其中，所述第二下手点和所述第三下手点为以所述质心坐标作为圆心，以半径r＝(1+a)lmin作圆，与所述骨架相交的两点，a表示预设参数，lmin表示机械臂的最小工作距离；获取第二下手方向，其中，所述第二下手方向为所述第二下手点和所述第三下手点的连线方向的垂直方向；根据所述第二下手点和所述第二下手方向，控制所述第二机械臂将所述杂物依次抓取至所述收集箱中，根据所述第三下手点和所述第二下手方向，控制所述第三机械臂将所述杂物依次抓取至所述收集箱中，其中，所述第二机械臂和所述第三机械臂协同抓取所述杂物。

22、可选地，在根据所述骨架和所述质心坐标确定第二下手点和第三下手点之前，所述方法还包括：根据第十公式计算平均长度，其中，所述第十公式为：

23、

24、表示所述平均长度，n表示抓取的所述杂物的数量；根据第十一公式计算平均宽度，其中，所述第十一公式为：

25、

26、表示所述平均宽度；在双机抓取的第二成功率小于预设成功率的情况下，根据第十二公式计算所述预设参数，其中，所述第十二公式为：

27、

28、所述预设参数的初始值为0。

29、根据本技术的另一方面，提供了一种杂物的分拣装置，包括：第一获取单元，用于获取第一图像，其中，所述第一图像为入料出的煤流的图像；第一构建单元，用于构建第一检测模型，其中，所述第一检测模型是使用多组训练数据来通过faster r-cnn算法训练得到的，所述多组训练数据中的每一组训练数据均包括历史时间段内获取的历史第一图像、所述历史第一图像对应的历史第一识别结果，其中，所述历史第一识别结果至少包括历史杂物的历史体积；第一处理单元，用于将所述第一图像输入至所述第一检测模型，得到所述第一图像对应的第一识别结果；第一控制单元，用于在所有的杂物的体积均小于预设体积的情况下，控制第一机械臂将所有的所述杂物依次抓取至收集箱中，其中，所述杂物的体积大小和抓取的顺序呈正相关关系；第二控制单元，用于在有部分所述杂物的体积大于或者等于所述预设体积的情况下，控制第二机械臂和第三机械臂将体积大于或者等于所述预设体积的所述杂物依次抓取至所述收集箱中，在体积大于或者等于所述预设体积的所述杂物已抓取完成的情况下，控制第四机械臂将体积小于所述预设体积的所述杂物依次抓取至所述收集箱中。

30、根据本技术的再一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任意一种所述杂物的分拣方法的步骤。

31、根据本技术的又一方面，提供了一种分检系统，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的杂物的分拣方法。

32、应用本技术的技术方案，基于计算机视觉技术，来确定杂物的体积，根据杂物的体积设置了不同的抓取策略，可以是单机携手抓取杂物，或者双机械手抓取杂物，比如体积较大的杂物用双机抓取，体积较小的杂物用单机抓取，这样可以精准地完成不同尺寸的杂物的分拣，提高了机械手的利用率和分拣效率。