一种基于流水线在匀速运行下的机械手抓取系统的制作方法

本申请提出一种基于流水线在匀速运行下的机械手抓取系统，具体涉及工业机器人。

背景技术：

1、工业自动化是一种不需要工人直接干预，让生产流水线自动运行的工业生产模式，在生产流水线上使用工业机械手进行抓取是工业自动化非常重要的一项技术。

2、目前，生产流水线上大部分的工业机械手都是基于视觉系统进行抓取，相机拍摄产品得到产品的位置信息，引导工业机械手根据位置信息进行抓取工作。

3、现在有采用基于2d视觉的机械手抓取系统，这种视觉系统用于抓取同一高度相同的产品。生产流水线上的产品在不停地移动，且产品形状、高度均有可能不同，因而难以实现在产品移动中采用机械手进行实时定位和抓取工作。如果利用2d视觉系统停下对流水传送带再进行抓取，会导致机械手抓取效率低下。

4、另外，通过采用2d视觉系统相结合的视觉系统不断更改拍照的时间间隔设置，进行图像识别。不断更改拍照时间间隔设置，容易出现对同一产品进行多次拍摄或者漏拍，且当流水传送带上产品较多时，会出现工业机械手来不及抓取的情况，导致产品流出生产流水线。

技术实现思路

1、针对上述现有技术的问题，本发明的目在于提供一种基于流水线在匀速运行下的机械手抓取系统，能够在一条流水匀速运行的流水传送带上实现抓取不同形状、不同高度的产品，同时也可克服视觉系统对产品的漏拍，其特征在于包括以下步骤：

2、步骤一、确立机械手与流水传送带的实时静态位置。

3、步骤二、3d线扫相机获取不同待抓取产品在标准拍照位的3d图像，并利用3d线扫相机3将3d图像匹配为图像模板。

4、步骤三、流水传送带在匀速运行下，3d线扫相机获取经过3d线扫相机线上的产品的3d图像。

5、步骤四、3d线扫相机对上述的3d图像与图像模板进行处理匹配，得到不同形状和不同高度的位置、高度和旋转数据，并将这些数据记录在检测队列之中，实时发送给控制系统中的工控机和plc。

6、步骤五、工控机根据3d图像模板检测队列中的数据，计算产品到达前边界线的plc计数值y1，计算产品到达后边界线的plc计数值y2，并将y1，y2实时发送给plc。

7、步骤六、plc根据工控机发送的检测队列中第一组数据的y1、y2进行比较，plc实时计数值等于y1时，产品进入前边界线；plc实时计数值在y1与y2之间，且plc实时计数值∈[y1,y2]时，产品进入机械手抓取区域，将plc实时计数值发送给工控机，工控机根据plc发送的实时计数值，触发机械手去抓取产品。

8、步骤七、机械手抓取到产品之后，立即通知plc对下一组数据进行比较处理，机械手将产品按照指定角度放在指定位置。

9、进一步地，所述产品经过流水传送带并在机械手能够抓取的范围内设置为机械手抓取区域，机械手抓取区域前端是前边界线，后端是后边界线，产品在进入机械手抓取区域是先越过前边界线，所述实时静态位置包括机械手位置，3d线扫位置与前边界线之间的距离ymin；3d线扫位置与后边界线之间的距离ymax；编码器检测并收集流水传送带运行速度、距离和位置并发送到plc。

10、进一步地，所述3d图像采集时需设置3d图像重叠长度，重叠长度应大于产品最大长度，一张3d图像的实际长度m为3d线扫相机的拍摄长度减去3d图像重叠长度，以此可以克服或者减少视觉系统对流水传送带上产品的漏拍。

11、进一步地，所述产品的3d图像在标准拍照位取得，在3d线扫相机的下方、在流水传送带上设置有一条虚拟的3d线扫相机线a1，标准拍照位是上述的流水传送带设置有一条虚拟的3d线扫相机线a1。

12、进一步地，所述工控机对检测队列中的数组进行整合排序，剔除当前检测队列中处于重叠部分且y值与前一张图检测队列中y值相差一张3d图像实际长度m的位置，并优先处理流水传送带最前方的产品数据，以此可以克服或者减少视觉系统对流水传送带上产品的漏拍。

13、进一步地，所述y1和y2满足如下关系：

14、y1＝y+ymin/p+n*m；y2＝y+ymax/p+n*m；

15、式中，y表示经过3d图像经过图像处理后产品的y轴坐标，ymin为3d线扫位置与前边界线之间的距离，ymax为3d线扫位置与后边界线之间的距离，p为3d线扫相机采集的3d图像中相邻像素之间的行距，n为3d线扫相机已拍摄的3d图像数量，m为3d线扫相机拍摄图片实际一张图的行数。

16、进一步地，所述工控机根据plc发送的实时计数值，以及产品经过3d图像处理得到的位置数据、高度数据以及旋转数据，计算待抓取产品与机械手待机位置的位姿变换矩阵，触发机械手去抓取产品。

17、进一步地，若plc实时计数值小于y1，plc不做任何动作，plc等待自身实际计数值等于y1，不对机械手发出任何。

18、若plc实时计数值大于y2，plc控制流水传送带停下，不对机械手发出任何指令。

19、进一步地，所述plc控制流水传送带停下之后，计算plc实时计数值与监测队列中第一组数据的ymin值的差，得到产品相对于机械手待机位置的流水传送带方向上的偏移数据，并将偏移数据发送给工控机，并开始计时；工控机根据plc发送的偏移数据，以及产品经过图形处理得到的位置数据、高度数据、旋转数据，计算待抓取产品与机械手待机位置的位姿变换矩阵，将其发送给机械手进行抓取产品。

20、进一步地，所述系统有流水线、机械手、3d线扫相机、流水传送带、编码器、相机固定框架和控制系统组成，流水线上安装有机械手、流水传送带和相机固定框架；相机固定框架的上部固定有3d线扫相机，3d线扫相机的镜头与流水传送带相对，对匀速运行的流水传送带上的产品进行拍照成像；机械手位于相机固定框架的后侧并能够对流水传送带输送的产品进行夹取，流水传送带上的产品从相机固定框架向机械手方向输送，此方向定义为机械手运行的y轴方向；编码器安装在流水传送带的侧边位置上，用于实时检测并收集流水传送带运行数据，其中包括运行速度、距离和位置信息；控制系统具有plc、工控机和3d线扫相机，控制系统与机械手、3d线扫相机、流水传送带以及编码器电性连接，工控机负责与plc、机械手之间的通讯，plc和机械手通过io触发实现信息交互。

21、本申请的有益效果是机械手能在流水传送带不暂停的情况下，对不同形状、不同高度的产品进行实时定位和抓取，并将其按照指定角度放在指定位置，也可用于产品摆盘、分拣、装配、装箱、质检等，有效地避免对产品重复抓取或漏抓的情况发生，可以实时调整流水传送带的速度，机械手待机时间不会过长，大大提高了生产流水线上下料的效率。

技术特征：

1.一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述所述的产品为不同形状和不同高度，所述产品经过流水传送带并在机械手能够抓取的范围内设置为机械手抓取区域，机械手抓取区域前端是前边界线，后端是后边界线，产品在进入机械手抓取区域是先越过前边界线，所述实时静态位置包括机械手位置，3d线扫位置与前边界线之间的距离ymin；3d线扫位置与后边界线之间的距离ymax；编码器检测并收集流水传送带运行速度、距离和位置并发送到plc。

3.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述3d图像采集时需设置3d图像重叠长度，重叠长度应大于产品最大长度，一张3d图像的实际长度m为3d线扫相机的拍摄长度减去3d图像重叠长度。

4.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述产品的3d图像在标准拍照位取得，在3d线扫相机的下方、在流水传送带上设置有一条虚拟的3d线扫相机线a1，标准拍照位是上述的流水传送带设置有一条虚拟的3d线扫相机线a1。

5.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述工控机对检测队列中的数组进行整合排序，剔除当前检测队列中处于重叠部分且y值与前一张图检测队列中y值相差一张3d图像实际长度m的位置，并优先处理流水传送带最前方的产品数据。

6.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述y1和y2满足如下关系：

7.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述工控机根据plc发送的实时计数值，以及产品经过3d图像处理得到的位置数据、高度数据以及旋转数据，计算待抓取产品与机械手待机位置的位姿变换矩阵，触发机械手去抓取产品。

8.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于：

9.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述plc控制流水传送带停下之后，计算plc实时计数值与监测队列中第一组数据的ymin值的差，得到产品相对于机械手待机位置的流水传送带方向上的偏移数据，并将偏移数据发送给工控机，并开始计时；工控机根据plc发送的偏移数据，以及产品经过图形处理得到的位置数据、高度数据、旋转数据，计算待抓取产品与机械手待机位置的位姿变换矩阵，将其发送给机械手进行抓取产品。

10.根据权利要求1所述的一种基于流水线在匀速运行下的机械手抓取系统，其特征在于，所述系统有流水线、机械手、3d线扫相机、流水传送带、编码器、相机固定框架和控制系统组成，流水线上安装有机械手、流水传送带和相机固定框架；相机固定框架的上部固定有3d线扫相机，3d线扫相机的镜头与流水传送带相对，对匀速运行的流水传送带上的产品进行拍照成像；机械手位于相机固定框架的后侧并能够对流水传送带输送的产品进行夹取，流水传送带上的产品从相机固定框架向机械手方向输送，此方向定义为机械手运行的y轴方向；编码器安装在流水传送带的侧边位置上，用于实时检测并收集流水传送带运行数据，其中包括运行速度、距离和位置信息；控制系统具有plc、工控机和3d线扫相机3，控制系统与机械手、3d线扫相机、流水传送带以及编码器电性连接，工控机负责与plc、机械手之间的通讯，plc和机械手通过io触发实现信息交互。

技术总结本申请提出一种基于流水线在匀速运行下的机械手抓取系统，利用3D线扫相机获取不同待抓取产品在标准拍照位的3D图像，3D线扫相机将3D图像匹配为图像模板，3D线扫相机获取经过3D线扫相机线上的产品的3D图像，3D线扫相机对3D图像与图像模板进行处理匹配，得到不同形状和不同高度的位置、高度和旋转数据，并将这些数据记录在检测队列之中，实时发送给控制系统中的工控机和PLC，工控机根据3D图像模板检测队列中的数据，计算产品到达前边界线的PLC计数值Y1，将Y1，Y2实时发送给PLC；当PLC实时计数值∈[Y1,Y2]时，触发机械手去抓取产品。本申请的机械手对不同形状、不同高度的产品进行实时定位和抓取，有效地避免对产品重复抓取或漏抓的情况发生。技术研发人员：林小燕,姜军,方雪,黄青苗受保护的技术使用者：琦星智能科技股份有限公司技术研发日：技术公布日：2024/6/13