一种双目视觉检测缺陷的移动机器人标记装置的制作方法

1.本发明涉及视觉缺陷检测领域，特别涉及一种双目视觉检测缺陷的移动机器人标记装置。


背景技术：

2.随着工业自动化的快速发展，人工智能在工业领域中用途也愈加丰富。其中，基于视觉检测的机器人正在取代依靠肉眼检测的传统工人，以检测堆焊表面质量为例，堆焊是指用热源把金属熔化，冷却后堆积形成工件或在工件表面覆盖一层新材料，堆焊工艺具有低成本、低门槛、高稳定性的特点，在高温、防腐与耐磨应用中展现了优良的防护效果。在生产工艺和焊接条件等多种因素的影响下，堆焊加工过程中经常产生各种焊接缺陷，依据缺陷位置不同可分为内部缺陷(圆形缺陷、未熔合、未焊透等)和表面缺陷(焊瘤、表面气孔、表面裂纹等)，对于表面缺陷可以通过视觉识别检测直接识别出焊缝的缺陷类型。目前，焊缝表面缺陷主要通过熟练工人的肉眼去辨别，人工辨别存在以下几方面的缺陷：一方面，辨别的准确率主要取决于工人的经验值，当工人经验不足时,容易发生错检、漏检的问题，同时，工人长时间工作易引起视觉疲劳，导致检测准确率下降。另一方面，当前劳动力紧缺，通过人工检查增大企业人力成本。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种双目视觉检测缺陷的移动机器人标记装置，所述一种双目视觉检测缺陷的移动机器人标记装置具有识别效率高、人力劳动强度低、工作区域灵活的优点。
4.本发明提出一种具有上述功能的双目视觉检测缺陷的移动机器人标记装置。包括：agv智能小车，所述agv智能小车上设置有机械臂；喷涂装置，用于标记缺陷位置，所述喷涂装置安装在所述agv智能小车上；摄像头模块，所述摄像头模块安装在所述机械臂的末端；控制器模块，所述控制器模块与所述agv智能小车、所述喷涂装置、所述摄像头模块分别连接，所述控制器模块安装在所述agv智能小车上。
5.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，至少具有如下技术效果:所述agv智能小车能在焊接工件上移动，自主检测工件的焊接缺陷，所述摄像头模块实时采集图像并传输到所述控制器模块进行分析，焊接缺陷并归类后，所述控制器模块控制所述喷涂装置对检测到的缺陷位置进行不同形状的标记，所述一种双目视觉检测缺陷的移动机器人标记装置具有识别效率高、人力劳动强度低、工作区域灵活的优点。
6.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述喷涂装置包括用于储存涂料的涂料罐、涂料增压泵、涂料输送高压管和涂料喷头，所述涂料罐、所述涂料增压泵、所述涂料输送高压管和所述涂料喷头依次连接，所述所述涂料罐、所述涂料增压泵、所述涂料输送高压管安装在所述agv智能小车上，所述涂料喷头安装在所述机械臂的末端。
7.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述涂料罐上设置有用于观察涂料储量的涂料观察孔，所述涂料观察孔设置在所述涂料罐上。
8.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述涂料罐上还设置有用于发出警报的报警器。
9.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述涂料喷头包括四通电磁阀、第一喷嘴、第二喷嘴和第三喷嘴，所述四通电磁阀的入口与所述涂料输送高压管的末端连接，所述第一喷嘴、所述第二喷嘴和所述第三喷嘴分别与所述四通电磁阀的三个出口连接。高压喷涂材料从单端口侧进入所述四通电磁阀，并基于所述控制器模块的控制信号，分别通过所述第一喷嘴、所述第二喷嘴和所述第三喷嘴喷出。所述四通电磁阀开启后，所述涂料输送高压管中经过增压的喷涂材料自所述第一喷嘴、所述第二喷嘴和所述第三喷嘴射出，喷涂材料附着在工件上，形成标记，所述第一喷嘴、所述第二喷嘴和所述第三喷嘴为形状各异的喷嘴，可形成形状不同的雾形，对不同缺陷做出差异性标记，所述第一喷嘴、所述第二喷嘴和所述第三喷嘴可以依据喷嘴雾形的不同，可分为实心圆喷嘴、空心圆喷嘴以及方形喷嘴，若缺陷类别增加，所述第一喷嘴、所述第二喷嘴和所述第三喷嘴可扩展更多端口数量。
10.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述agv智能小车上设置有用于导航的导航传感器。
11.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述导航传感器的数量至少为一个。
12.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述机械臂为六自由度机械臂。
13.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，所述摄像头模块包括ccd摄像机和用于连接所述ccd摄像机和所述机械臂末端的固定支架。在识别、定位及标记过程中，所述控制器模块通过机器学习实现目标的识别，使用图像与立体匹配算法求解出机器人的喷涂装置与表面缺陷的相对空间距离；依据识别结果、相对距离信息，计算机软件得出控制信息并传输到所述四通电磁阀，用以控制所述机械臂的关节运动与所述四通电磁阀的开闭，从而实现机器人对焊缝表面缺陷的识别、定位及标记操作。
14.根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，还包括电源模块，所述agv智能小车、所述喷涂装置、所述摄像头模块和所述控制器模块均与所述电源模块连接。
15.一种基于双目视觉检测表面缺陷的移动机器人检测方法，采用上述检测装置，包含下述装置与方法：1)准备数据集。收集堆焊表面缺陷中常见的三种缺陷照片，对缺陷图片进行预处理，筛选出合适的照片1000张制成训练集，包含训练集700张、验证集200张和测试集100张。同时，对样本图片中的缺陷进行标注，生成标签文件。2)训练网络模型。将训练集及标注信息输入到ssd目标检测网络模型，不断调整ssd目标网络模型的权重参数，以输出最佳的堆焊表面缺陷分割图及缺陷的位置坐标。将ssd目标检测模型中输出的分割图及训练集中的堆焊表面缺陷信息输入到resnet50分类识别网络模型中，同时调整resnet50分类识别网络模型的权重参数，使得resnet神经网络模型准确地识别堆焊表面缺陷的类型。最后，将训练好的目标检测及分类识别网络模型安装到机器人系统。3)机器人工作前，对双目
相机进行标定。首先，对双目相机中的单个相机进行标定，以获得各相机的内参、畸变矩阵。然后对双目相机进行双目标定，最终得到照片坐标系与工作坐标系的相对位置关系。4)计算缺陷的3d点云信息。将标定后的相机拍摄的图片输入ssd目标检测网络模型，得到缺陷分割图，bm立体匹配算法对缺陷分割图进行三维立体匹配，得到缺陷的深度图像，对缺陷进行三维重建，即可获得缺陷的点云信息。5)规划机械臂的运动路径并标记缺陷。基于缺陷的点云信息，规划并控制机械臂末端执行器达到缺陷上方10cm处，依据缺陷的不同类别，分别控制电磁阀三端口侧的开闭，最终实现差异性的标记。
16.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
17.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
18.图1为本发明实施例的双目视觉检测缺陷的移动机器人标记装置示意图；
19.图2为本发明实施例的双目视觉检测缺陷的移动机器人标记装置的喷涂装置示意图；
20.附图标记：
21.agv智能小车101、机械臂102、控制器模块103、导航传感器104、喷涂装置201、涂料罐202、涂料增压泵203、涂料输送高压管204、涂料喷头205、涂料观察孔206、报警器207、四通电磁阀208、第一喷嘴209、第二喷嘴210、第三喷嘴211、
22.摄像头模块301、ccd摄像机302、固定支架303。
具体实施方式
23.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
24.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
25.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
26.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
27.参照图1，本发明提出一种具有上述功能的双目视觉检测缺陷的移动机器人标记装置。包括：agv智能小车101，agv智能小车101上设置有机械臂102；喷涂装置201，用于标记
缺陷位置，喷涂装置201安装在agv智能小车101上；摄像头模块301，摄像头模块301安装在机械臂102的末端；控制器模块103，控制器模块103与agv智能小车101、喷涂装置201、摄像头模块301分别连接，控制器模块103安装在agv智能小车101上。
28.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，至少具有如下技术效果:agv智能小车101能在焊接工件上移动，自主检测工件的焊接缺陷，摄像头模块301实时采集图像并传输到控制器模块103进行分析，焊接缺陷并归类后，控制器模块103控制喷涂装置201对检测到的缺陷位置进行不同形状的标记，一种双目视觉检测缺陷的移动机器人标记装置具有识别效率高、人力劳动强度低、工作区域灵活的优点。
29.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，喷涂装置201包括用于储存涂料的涂料罐202、涂料增压泵203、涂料输送高压管204和涂料喷头205，涂料罐202、涂料增压泵203、涂料输送高压管204和涂料喷头205依次连接，涂料罐202、涂料增压泵203、涂料输送高压管204安装在agv智能小车101上，涂料喷头205安装在机械臂102的末端。
30.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，涂料罐202上设置有用于观察涂料储量的涂料观察孔206，涂料观察孔206设置在涂料罐202上。
31.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，涂料罐202上还设置有用于发出警报的报警器207。
32.参照图1和图2，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，涂料喷头205包括四通电磁阀208、第一喷嘴209、第二喷嘴210和第三喷嘴211，四通电磁阀208的入口与涂料输送高压管204的末端连接，第一喷嘴209、第二喷嘴210和第三喷嘴211分别与四通电磁阀208的三个出口连接。高压喷涂材料从单端口侧进入四通电磁阀208，并基于控制器模块103的控制信号，分别通过第一喷嘴209、第二喷嘴210和第三喷嘴211喷出。四通电磁阀208开启后，涂料输送高压管204中经过增压的喷涂材料自第一喷嘴209、第二喷嘴210和第三喷嘴211射出，喷涂材料附着在工件上，形成标记，第一喷嘴209、第二喷嘴210和第三喷嘴211为形状各异的喷嘴，可形成形状不同的雾形，对不同缺陷做出差异性标记，第一喷嘴209、第二喷嘴210和第三喷嘴211可以依据喷嘴雾形的不同，可分为实心圆喷嘴、空心圆喷嘴以及方形喷嘴，若缺陷类别增加，第一喷嘴209、第二喷嘴210和第三喷嘴211可扩展更多端口数量。
33.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，agv智能小车101上设置有用于导航的导航传感器104。
34.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，导航传感器104的数量至少为一个。
35.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，机械臂102为六自由度机械臂102。
36.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，摄像头模块301包括ccd摄像机302和用于连接ccd摄像机302和机械臂102末端的固定支架303。在识别、定位及标记过程中，控制器模块103通过机器学习实现目标的识别，使用图像与立体匹配算法求解出机器人的喷涂装置201与表面缺陷的相对空间距离；依据识别结果、相对距离信息，计算机软件得出控制信息并传输到四通电磁阀208，用以控制机械臂102的关节运
动与四通电磁阀208的开闭，从而实现机器人对焊缝表面缺陷的识别、定位及标记操作。
37.参照图1，根据本发明实施例的双目视觉检测缺陷的移动机器人标记装置，还包括电源模块，agv智能小车101、喷涂装置201、摄像头模块301和控制器模块103均与电源模块连接。
38.一种基于双目视觉检测表面缺陷的移动机器人检测方法，采用上述检测装置，包含下述装置与方法：1)准备数据集。收集堆焊表面缺陷中常见的三种缺陷照片，对缺陷图片进行预处理，筛选出合适的照片1000张制成训练集，包含训练集700张、验证集200张和测试集100张。同时，对样本图片中的缺陷进行标注，生成标签文件。2)训练网络模型。将训练集及标注信息输入到ssd目标检测网络模型，不断调整ssd目标网络模型的权重参数，以输出最佳的堆焊表面缺陷分割图及缺陷的位置坐标。将ssd目标检测模型中输出的分割图及训练集中的堆焊表面缺陷信息输入到resnet50分类识别网络模型中，同时调整resnet50分类识别网络模型的权重参数，使得resnet神经网络模型准确地识别堆焊表面缺陷的类型。最后，将训练好的目标检测及分类识别网络模型安装到机器人系统。3)机器人工作前，对双目相机进行标定。首先，对双目相机中的单个相机进行标定，以获得各相机的内参、畸变矩阵。然后对双目相机进行双目标定，最终得到照片坐标系与工作坐标系的相对位置关系。4)计算缺陷的3d点云信息。将标定后的相机拍摄的图片输入ssd目标检测网络模型，得到缺陷分割图，bm立体匹配算法对缺陷分割图进行三维立体匹配，得到缺陷的深度图像，对缺陷进行三维重建，即可获得缺陷的点云信息。5)规划机械臂102的运动路径并标记缺陷。基于缺陷的点云信息，规划并控制机械臂102末端执行器达到缺陷上方10cm处，依据缺陷的不同类别，分别控制电磁阀三端口侧的开闭，最终实现差异性的标记。上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
39.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
40.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。