一种抹灰机器人的智能视觉系统的制作方法

1.本发明属于电子信息技术领域，具体涉及一种抹灰机器人的智能视觉系统。


背景技术：

2.传统的视觉系统大多为基于单目视觉的方法。目前，单目视觉目标跟踪算法已经比较成熟，在很多领域和方面都取得了不错的发展。然而单目视觉也存在很大缺陷，单目视觉信息量小，图像在投影过程中丢失了实际场景的三维信息，不能充分利用跟踪目标的立体结构信息，因此有着不可弥补的缺陷。在采用基于单目视觉的方法进行运动目标跟踪时，常常存在着目标遮挡以及周围场景光线变化和阴影的干扰等问题。随着维技术的发展和进步，三维模型的获取变得越来越便捷，立体视觉可以求取景物的三维信息，运用场景的三维信息跟踪目标，可以有效地解决场景光线变化和阴影的干扰以及遮挡等单目视觉中难以解决的问题，
3.智能视觉分析是指计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。近年来，随着人工智能和机器人技术的快速发展，越来越多的智能工业机器人被部署在传统的流水线上，取代人工操作。这些机器人通常配备有智能视觉系统，使其不仅可以检测工作空间中的零件，还可以在采取进一步的操作(如抓取、旋转、移动、装配等)之前估计它们的姿势，物体识别和姿态估计在计算机视觉领域其他重要课题中，也发挥着不可替代的作用，如虚拟现实、增强现实、自动驾驶等，随着深度学习技术的蓬勃发展及其在视觉任务中良好的性能表现，使得卷积神经网络在计算机视觉领域各个方向都取得了重大的突破，现有的抹灰机器人的视觉系统存在位置关系不够精细和无法进行深度学习的问题。


技术实现要素：

4.本发明的目的在于提供一种可智能示警的抹灰机器人的智能视觉系统。
5.基于上述目的，本发明采用如下技术方案：
6.一种抹灰机器人的智能视觉系统，包括视觉模块1和视觉模块2以及与其相连接的控制器，所述视觉模块1和视觉模块2为两台相同的摄像机，所述控制器上设有用于对视觉模块1和视觉模块2进行处理的视觉处理模块，视觉处理模块包括图像分割单元和姿态估算单元，图像分割单元包括标定模块和图像获取模块用于对场景中的图像进行裁剪并输送到姿态估算单元，姿态估算单元包括立体匹配模块和三维重建模块用于对目标图形中特定特征进行位置定位，得到特定特征物体的物体姿态，控制器内还设有深度学习模块，深度学习模块包括卷积层，所述视觉模块1和视觉模块2还设有激光测距模块。
7.所述图像分割单元的标定模块包括编码器子单元和解码器子单元，所述编码器子单元，用于提取不同尺度的特征；所述解码器子单元，用于多尺度特征融合，并输出逐像素分类。
8.所述编码器子单元由6个最大池化层和18个卷积层组成，所述解码器子单元由3个
多尺度特征融合模块、3个上采样层和16个卷积层组成，所述多尺度特征融合模块包括上采样层和卷积层，所述多尺度特征融合模块通过密集连接的方式聚集低层和高层特征，提高对图像的理解能力，所述图像获取模块采用经过标定的两台摄像机获取图像。
9.所述姿态估算单元的立体匹配模块包括特征提取子单元、特征融合子单元和评价单元，所述特征提取子单元用于提取特征信息，所述特征融合子单元用于对所述特征信息进行融合，所述评价单元根据视差图对匹配情况进行评价
10.所述特征提取子单元包括颜色信息提取模块和几何信息提取模块；所述颜色信息提取模块采用全卷积网络，所述几何信息提取模块采用基于pointnet的网络。
11.所述特征融合子单元包括位置注意力模块、通道注意力模块、全局特征提取模块，将位置注意力模块、通道注意力模块和全局特征提取模块的输出特征融合起来，输入到评价单元中，所述位置注意力模块包括3个卷积层和1个归一化层，所述通道注意力模块包括1个归一化层，所述全局特征提取模块包括卷积层和平均池化层。
12.所述三维重建模姿态回归模块和姿态优化模块，用于对3d位姿参数和置信度进行回归预测以及位姿优化调整，所述姿态回归模块为位姿预测器，所述位姿预测器包含几个一维卷积层，用于对每个像素估计出一个姿态和置信度，并选择置信度最大的姿态作为物体3d姿态；所述姿态优化模块为迭代优化网络，用于优化所述物体3d姿态。
13.与现有技术相比，本发明的有益效果如下：
14.本发明为基于深度神经网络的物体识别和3d姿态估计智能视觉系统，能够快速的构建所测物体的实时三维模型，并通过计算机刷新判断出机器的移动距离和速度，相对位置得到标识，有效提高姿态位置的准确率，对运动部件的控制更加准确，。
附图说明
15.图1为本发明实施例1的示意图；
具体实施方式
16.实施例1
17.一种抹灰机器人的智能视觉系统，如图1所示，包括视觉模块1和视觉模块2以及与其相连接的控制器，视觉模块1和视觉模块2为两台相同的摄像机，控制器上设有用于对视觉模块1和视觉模块2进行处理的视觉处理模块，视觉处理模块包括图像分割单元和姿态估算单元，图像分割单元包括标定模块和图像获取模块用于对场景中的图像进行裁剪并输送到姿态估算单元，姿态估算单元包括立体匹配模块和三维重建模块用于对目标图形中特定特征进行位置定位，得到特定特征物体的物体姿态，控制器内还设有深度学习模块，深度学习模块包括卷积层，视觉模块1和视觉模块2还设有激光测距模块。
18.图像分割单元的标定模块包括编码器子单元和解码器子单元，编码器子单元，用于提取不同尺度的特征；解码器子单元，用于多尺度特征融合，并输出逐像素分类。
19.编码器子单元由6个最大池化层和18个卷积层组成，解码器子单元由3个多尺度特征融合模块、3个上采样层和16个卷积层组成，多尺度特征融合模块包括上采样层和卷积层，多尺度特征融合模块通过密集连接的方式聚集低层和高层特征，提高对图像的理解能力，图像获取模块采用经过标定的两台摄像机获取图像。
20.姿态估算单元的立体匹配模块包括特征提取子单元、特征融合子单元和评价单元，特征提取子单元用于提取特征信息，特征融合子单元用于对特征信息进行融合，评价单元根据视差图对匹配情况进行评价
21.特征提取子单元包括颜色信息提取模块和几何信息提取模块；颜色信息提取模块采用全卷积网络，几何信息提取模块采用基于pointnet的网络。
22.特征融合子单元包括位置注意力模块、通道注意力模块、全局特征提取模块，将位置注意力模块、通道注意力模块和全局特征提取模块的输出特征融合起来，输入到评价单元中，位置注意力模块包括3个卷积层和1个归一化层，通道注意力模块包括1个归一化层，全局特征提取模块包括卷积层和平均池化层。
23.三维重建模姿态回归模块和姿态优化模块，用于对3d位姿参数和置信度进行回归预测以及位姿优化调整，姿态回归模块为位姿预测器，位姿预测器包含几个一维卷积层，用于对每个像素估计出一个姿态和置信度，并选择置信度最大的姿态作为物体3d姿态；姿态优化模块为迭代优化网络，用于优化物体3d姿态
24.使用时，通过视觉模块1和视觉模块2对物体进行拍照，同时激光测距模块对抹灰机器人与周围环境的距离进行测量并发送到控制器中，控制器中的视觉处理模块对数据进行处理，图像分割单元和姿态估算单元。首先，利用密集连接的方式对不同尺度的特征进行聚合，建立了一个基于编码器
‑
解码器的分割网络。在确定分割掩码后，从场景中裁剪出对应物体的rgb和深度图像，该网络利用两个主干网络分别提取颜色和几何特征。颜色特征嵌入采用全卷积网络提取，几何特征嵌入采用基于点网的网络提取，然后通过姿态估算单元将两个特征嵌入融合在一起，同时结合激光测距模块的数据，通过三维重建模对排到的图形进行重建和特定特征的标识，然后将特征部件的运动命令发送到运动部件，更加精确的控制相关部件的运动轨迹。