一种螺旋分料叶片识别与抓取系统及方法与流程

本发明属于螺旋叶片识别，具体涉及一种螺旋分料叶片识别与抓取系统及方法。

背景技术：

1、将工业机器人与机器视觉相结合的机器人视觉系统已经广泛得到应用。因此，针对工业机器人与视觉技术的研究探讨意义重大。目前针对常规型部件的识别多采用模板匹配的方式，准确率不足还需要人为不时的干预操作，针对镜像件的识别尚未见检索到相关的文献专利等报道。针对镜像件的识别受来料摆放的不确定性影响，其极易出现匹配错误的情况，影响部件后续加工流程，带来极大的生产隐患。在基于工程机械超大吨位摊铺机螺旋分料叶片加工过程中，螺旋粉料叶片为左/右螺旋分料叶片，其同族叶片分左右螺旋，区别特征为旋转方向不一致，近似镜像件，不利于识别和抓取，模型匹配容易出现识别错误、无法执行抓取命令的问题，导致无法进行型号传递至下一工序，不能加载焊接命令，需人工频繁干预影响生产节拍。

2、中国发明专利cn107463946 b公开了一种结合模板匹配与深度学习的商品种类检测方法，该方法通过采集模板图像商标区域内的sift特征点与货架图像的sift特征点，利用手机对超商货架拍照进行自动物品检测,其图像的采集为货架和货物两个变量确定最终的特征点集，增加了模板库存储数据量，增加算力消耗，对于大规模的物品识别计算效率不足，且在工厂环境恶劣，不具有现实通用性。

3、中国发明专利cn108876849 b公开了基于辅助标识的深度学习目标识别及定位方法，该方法将深度学习和双目视觉相结合,利用深度学习优秀的识别能力和鲁棒性,以及双目视觉定位准确的特点,最终实现优于传统方法的目标准确识别与定位。但是其主要是用于差异性大的物品进行识别，没有考虑近似度较高的物品的深度学习与模板匹配。

4、中国发明专利cn110125036 b公开了一种基于模板匹配的自识别分拣系统和方法，该方法通过模板匹配的方法对物体进行识别与自动分拣，但单一的模板匹配方法，需要建立巨大的模板数据库来进行一一比对，极大增加了算法负荷，延缓识别效率，不利于工厂生产，且容易出现错误识别或抓取，影响产线安全。

5、中国发明专利cn113111712 a公开了一种袋装产品的ai识别定位方法、系统及装置，该方法融合ai与机器视觉,使用深度学习模型yolo将采集到的袋装产品的原始图像进行识别和处理,并使用传统的模板匹配算法得到对应的另一组数据,将两组数据进行核对校准,获取抓取位姿，深度学习需要参与到识别与位置提取，模板匹配也需要进行识别与位置提取，即同一件事情需同步双轨道算例进行，对设备配置要求高，降低识别效率。

6、由此可见，在实际现场物料识别与分拣抓取方面，仍需进一步完善和创新现有技术手段，丰富和发展图像识别方向，指导和引领工程实践。

技术实现思路

1、本发明的目的在于提供一种螺旋分料叶片识别与抓取系统及方法，采用深度学习模型先进行左/右旋类型区分，然后通过模板匹配进行具体的型号识别与位姿计算，并将叶片型号传递至焊接工序进行对应叶片型号焊接参数选配，进一步的将抓取点位传输给工业机器人完成抓取，实现智能引导工业机器人进行抓取。

2、为达到上述目的，本发明采用的技术方案如下：

3、第一方面，本发明提供一种螺旋分料叶片识别与抓取系统，包括：

4、工业机器人系统，用于根据上位机传输的机器人机械臂各关节的转动角度信息，驱动机械臂对螺旋分料叶片进行抓取；所述螺旋分料叶片包括左螺旋分料叶片和右螺旋分料叶片；

5、工业相机，用于对螺旋分料叶片进行图像采集，并传输至上位机；

6、上位机，配置图像识别模块，用于对采集的螺旋分料叶片图像进行识别，识别出叶片左旋、右旋以及叶片型号和抓取点位；以及，基于叶片抓取点位计算机器人机械臂各关节的转动角度并发送至工业机器人系统，以及下发抓取指令至工业机器人系统。

7、优选的，所述工业相机通过相机支架安装在机器人末端第6关节轴法兰上。

8、优选的，所述图像识别模块具体用于，

9、调用深度学习分类模型，基于工业相机采集的目标螺旋分料叶片二维灰度图像，得到第一组数据，所述第一组数据包括目标螺旋分料叶片左、右旋的分类；

10、将目标螺旋分料叶片的三维点云图像与模板匹配库进行匹配，得到第二组数据，所述第二组数据包括目标螺旋分料叶片具体型号和抓取点位。

11、优选的，所述上位机还用于，

12、预先对螺旋分料叶片搭建深度学习分类模型和模板匹配库。

13、优选的，所述图像识别模块基于opencv开源视觉库和python开发。

14、第二方面，本发明提供一种基于上述的螺旋分料叶片识别与抓取系统进行螺旋分料叶片识别与抓取的方法，所述方法包括：

15、获取目标螺旋分料叶片的二维图像和三维点云图像；

16、基于所述二维图像采用预先构建的深度学习分类模型得到目标螺旋分料叶片左旋、右旋类型；以及基于所述三维点云图像，采用预先构建的模板匹配库进行匹配，得到目标螺旋分料叶片型号和抓取点位；

17、基于所述叶片抓取点位计算机器人机械臂各关节的转动角度，进行目标螺旋分料叶片抓取。

18、优选的，所述深度学习分类模型和模板匹配库的构建过程如下：

19、对所有螺旋分料叶片镜像件进行二维图像以及三维点云图像采集；所述螺旋分料叶片镜像件包括左螺旋分料叶片和右螺旋分料叶片；

20、搭建卷积神经网络，以螺旋分料叶片镜像件二维图像为输入，以螺旋分料叶片左、右旋的分类为输出，训练所搭建的卷积神经网络，得到深度学习分类模型；

21、对螺旋分料叶片镜像件的三维点云图像进行目标检测和提取，得到不同型号的螺旋分料叶片模板匹配库。

22、优选的，所述对所有螺旋分料叶片镜像件进行二维图像采集中，

23、所述二维图像包括目标物体不同环境状态、不同角度、不同距离、以及被遮挡的情况；

24、其中，目标物体摆放的倾斜角度θ1范围为：θ1≤45°，

25、旋转角度θ2包括0°、30°、60°、90°、120°、150°和180°，

26、光照强度l采集范围为：l＝1000-50000lux。

27、优选的，所述得到不同型号的螺旋分料叶片模板匹配库后，

28、在各模板上设置抓取点位；

29、所述抓取点位的设置方式包括：示教、指点和质心。

30、优选的，基于所述三维点云图像，采用预先构建的模板匹配库进行匹配，得到目标螺旋分料叶片型号和抓取点位，包括：

31、将所述模板匹配库中的模板图像在输入的三维点云图像上滑动，逐个遍历所有像素进行匹配，得到目标螺旋分料叶片型号；

32、对所有模板中设置的抓取点位进行筛选匹配，获取抓取点位。

33、优选的，所述方法还包括，

34、将识别出的目标螺旋分料叶片型号传递给下一工序的焊接机器人系统，自适应选择焊接工艺参数序，执行生产节拍。

35、与现有技术相比，本发明的有益效果是：

36、1、高准确率：本发明采用深度学习模型和模板匹配结合的方法，降低了单一模板匹配面对强光干涉等复杂环境、摆料堆叠、特征掩盖等问题带来的识别困难甚至错误导致的生产停滞问题，深度学习模型采集目标物体多种类型下的图像，间接提高识别准确率；

37、2、高效率：本发明采用深度学习模型的方法进行叶片镜像件的初步识别，判定其左、右大类，进一步结合模板匹配判定具体型号，区别于单一模型匹配需建立庞大数据库算力不足的痛点，有效降低数据库存储量和计算量，间接提升运算效率；且为后续目标物体加工一致性奠定基础，提升产品的质量一致性；

38、3、高可靠性：本发明是基于摊铺机分料叶片进行的创新，叶片为极度相似的镜像件，其旋转180°即与镜像件高度重合，目前未检索到相关专利问题的应用，单一的模板匹配其识别难度极高且错误率100％；

39、4、高精度：本发明采用高像素视觉相机获取目标物体图像，抓取点位重复测量结果显示：x±0.05mm，y±0.04mm，z±0.03mm，a±0.03mm，b±0.03mm，c±0.06mm。