一种成球机用矿球识别定位分拣系统及方法与流程

本发明涉及矿球分拣，尤其涉及一种成球机用矿球识别定位分拣系统及方法。

背景技术：

1、成球机用于将矿粉制成具有一定硬度的球体形状，且当球状颗粒直径达到一定程度后通过成球机中的筛网进行筛选和分级，将不同大小和质量的球形颗粒分别收集，不合格的颗粒可以返回重新加工。

2、成球机在制球过程中会产生个别直径超过阈值的球状颗粒，将直径超过阈值的球状颗粒称为超标球体，由于超标球体会在某一相对固定的小区域范围内来回摇摆，因此无法按照成球机规划路径流入筛网，且因超标球体质量较大，在摇摆过程中会撞击其他颗粒，导致其他颗粒出现不同程度的损伤，进而降低成球机的良品率。

3、目前主要依赖于人工方式解决上述技术问题，即通过生产工人定时巡防的方法，手动将超标球体取出，存在的弊端一是无法精准把控超标球体出现的时机，处理超标球体往往存在时间滞后性，导致人工处理方式及时性较差，二是由于成球机一般是24小时工作，维护成球机正常运转至少需要2-3人，导致人工成本较高，三是人工处理存在遗忘、误判和漏判等人为因素导致的意外情况，处理效率及准确率较低。

技术实现思路

1、为解决上述技术问题，本发明提供一种成球机用矿球识别定位分拣系统及方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

2、本发明采用如下技术方案：

3、本发明提供一种成球机用矿球识别定位分拣系统，包括：

4、摄像机，用于拍摄成球机内矿球的运行环境；

5、计算机，用于获取所述摄像机采集的图像数据，根据所述图像数据下发亮度调整要求信息，并对所述图像数据中的超标球体进行识别与定位，判定超标球体的运行轨迹，并控制机械组件按照超标球体的运行轨迹进行抓取；

6、光源组件，由可见光光源及红外光源组成，用于根据所述计算机下发的亮度调整要求信息，调节本端为成球机内矿球运行环境所提供的光源亮度。

7、其中，所述图像数据为帧率大于等于15hz的视频流；所述计算机包括：

8、图像增强模块，用于对所述视频流中的每一帧实时图像进行对比度增强处理以得到增强图像；

9、目标识别模块，用于基于深度神经网络的物体识别技术，分辨出所述增强图像中的矿球并估算出矿球直径，筛选出直径超过阈值的矿球作为超标球体；

10、目标跟踪模块，用于确定时序紧邻的下一帧增强图像的目标搜索区域，并判断目标搜索区域内是否存在超标球体，若存在则继续确定下一次的目标搜索区域，若不存在则扩大下一次的目标搜索区域范围，且当筛选出超标球体时计算出超标球体的预估坐标；

11、结果输出模块，用于将超标球体的预估坐标转换为物料表层的世界坐标系下的时空坐标，并将该时空坐标下发至机械组件，控制机械组件中的机械手移动至该时空坐标处抓取超标球体。

12、其中，所述目标跟踪模块包括：

13、运动域确定单元，用于确定超标球体在当前帧增强图像中的运动域，该运动域为符合高斯分布的不规则二维区域；

14、候选搜索区域确定单元，用于根据超标球体在当前帧增强图像中的运动域以及成球机的旋转角速度确定候选搜索区域，并将确定出的候选搜索区域作为时序紧邻的下一帧增强图像的目标搜索区域；

15、范围调整单元，用于当判定目标搜索区域内不存在超标球体时，则将候选搜索区域的高斯半径扩大至1.5倍。

16、其中，所述目标跟踪模块还包括：

17、图像坐标确定单元，用于根据检测框的矩形中心位置，得到超标球体在当前增强图像中的图像坐标；

18、移动时间确定单元，用于在筛选出超标球体后，确定机械组件中的机械手自启动至运动到目标位置所需要的时间t；

19、预估坐标确定单元，用于根据超标球体由t-1时刻至t时刻的x、y方向上的移动距离与移动方向，计算出超标球体在t+1时刻的预估坐标。

20、其中，所述的一种成球机用矿球识别定位分拣系统，还包括：通信链路，用于为所述计算机与其他计算机系统之间提供通信渠道。

21、其中，所述机械组件包括：第一液压推杆、第二液压推杆以及依次铰接的水平转盘、机械大臂、机械小臂及双向挖斗；所述第一液压推杆的固定端与所述机械大臂连接，所述第一液压推杆的活动端与所述机械小臂连接；所述第二液压推杆的固定端与所述机械小臂连接，所述第二液压推杆的活动端通过挖斗连接杆与所述双向挖斗连接；所述双向挖斗包括：挖斗斗体以及筛网，所述挖斗斗体的两侧均开设有入料口，所述挖斗斗体的底部开设通口，所述筛网设置于所述通口内。

22、本发明还提供一种成球机用矿球识别定位分拣方法，包括：

23、获取摄像机对成球机内矿球的运行环境进行拍摄时所得到的图像数据，根据所述图像数据下发亮度调整要求信息，并对所述图像数据中的超标球体进行识别与定位，判定超标球体的运行轨迹，并控制机械组件按照超标球体的运行轨迹进行抓取；

24、根据所述亮度调整要求信息，调节为成球机内矿球运行环境所提供的光源亮度。

25、其中，所述图像数据为帧率大于等于15hz的视频流；所述对图像数据中的超标球体进行识别与定位，判定超标球体的运行轨迹，并控制机械组件按照超标球体的运行轨迹进行抓取的过程包括：

26、对所述视频流中的每一帧实时图像进行对比度增强处理以得到增强图像；

27、基于深度神经网络的物体识别技术，分辨出所述增强图像中的矿球并估算出矿球直径，筛选出直径超过阈值的矿球作为超标球体；

28、确定时序紧邻的下一帧增强图像的目标搜索区域，并判断目标搜索区域内是否存在超标球体，若存在则继续确定下一次的目标搜索区域，若不存在则扩大下一次的目标搜索区域范围，且当筛选出超标球体时计算出超标球体的预估坐标；

29、将超标球体的预估坐标转换为物料表层的世界坐标系下的时空坐标，并将该时空坐标下发至机械组件，控制机械组件中的机械手移动至该时空坐标处抓取超标球体。

30、其中，所述确定时序紧邻的下一帧增强图像的目标搜索区域的过程包括：

31、确定超标球体在当前帧增强图像中的运动域，该运动域为符合高斯分布的不规则二维区域；

32、根据超标球体在当前帧增强图像中的运动域以及成球机的旋转角速度确定候选搜索区域，并将确定出的候选搜索区域作为时序紧邻的下一帧增强图像的目标搜索区域；

33、当判定目标搜索区域内不存在超标球体时，则将候选搜索区域的高斯半径扩大至1.5倍。

34、其中，所述当筛选出超标球体时计算出超标球体的预估坐标的过程包括：

35、根据检测框的矩形中心位置，得到超标球体在当前增强图像中的图像坐标；

36、在筛选出超标球体后，确定机械组件中的机械手自启动至运动到目标位置所需要的时间t；

37、根据超标球体由t-1时刻至t时刻的x、y方向上的移动距离与移动方向，计算出超标球体在t+1时刻的预估坐标。

38、本发明所带来的有益效果：本发明相比于现有人工巡防的方式，具有自动化程度高且安全性强的优势，并且相比于现有的识别分拣方式，具有图像质量高，可动态识别等优势，更加适用于工况恶劣环境，同时提升超标球体的识别、定位与分拣的精确度与实时性。