一种基于改进SiamFC的水果自动化采摘方法

一种基于改进siamfc的水果自动化采摘方法
技术领域
1.本发明涉及水果自动化采摘技术领域，更具体地说是一种基于改进siamfc的水果自动化采摘方法。


背景技术：

2.随着社会经济的发展，不得不承认我们的生活方式也随之不断地变化着。随着人们的生活方式不断更新，水果已经成为日常生活中不可或缺的一部分。水果的采摘方式也面临革命性的进展，机械化采摘逐渐成为水果采摘领域的主流。
3.在当前水果采摘领域中，人工采摘依然占有较大比重。目前，已有采用计算机视觉技术对汽车表面擦伤进行检测，但传统的计算机视觉技术依赖于人为设计特征，而人为设计特征一般不具有鲁棒性，无法满足多变的现实情况，因此无法保证其检测精度。


技术实现要素：

4.1.发明要解决的技术问题
5.针对现有技术中人工采摘水果或传统视觉算法识别水果时存在的费时费力和精确度不高的问题，本发明提出一种基于改进siamfc的水果自动化采摘方法，通过将待检测的果树视频输入到基于改进版siamfc的深度学习网络模型进行推断，以获得水果的位置、种类以及置信度，从而有效地对水果的位置进行检测，以反馈给水果自动化采摘装置进行采摘操作，避免出现人工检测费时费力、精确度不高的问题，且其检测精度相对较高，实用性好。
6.2.技术方案
7.为达到上述目的，本发明提供的技术方案为：
8.一种基于改进siamfc的水果自动化采摘方法，通过将待检测的果树视频输入到基于改进版siamfc的深度学习网络模型进行推断，以获得水果的位置、种类以及置信度，并反馈给水果自动化采摘装置进行采摘操作，具体包括如下步骤：
9.步骤一：利用摄像机采集检测果树视频；
10.步骤二：利用opencv库中的cv2.videocapture函数获取视频的每一帧图像；
11.步骤三：利用步骤二得到的单帧图像制作数据集；
12.步骤四：对siamfc模型进行改进；
13.步骤五：将步骤一中的数据集送入步骤四的改进版siamfc模型进行训练，以获得目标水果的位置、种类以及置信度；
14.步骤六：将机械臂外端设置的rgb-d相机中获得的图像传入步骤五获得的模型中进行预测，获得水果目标在像素坐标系中的坐标；
15.步骤七：将像素坐标系坐标转化为机械臂外端设置的机械爪坐标系坐标；
16.步骤八：利用机械爪进行采摘操作。
17.进一步的技术方案，步骤三中，具体包括如下步骤：
18.s31：先制作三个文件夹：分别命名为“annotations”、“data”、“imagesets”；其中“imagesets”中存放步骤s2中获得的单帧图片数据集；
19.s32：利用labelme工具对“imagesets”文件夹中的单帧图片中的水果目标进行标注，标注的结果存放在“annonations”文件夹中。
20.进一步的技术方案，步骤四中，具体包括如下步骤：
21.s41：将原siamfc模型中的特征提取网络alexnet替换为resnet；
22.s42：在其中加入注意力机制。
23.进一步的技术方案，步骤五中，具体包括如下步骤：
24.s51：首先选取果树视频中的第一帧作为实例图像，将其调整为127*127像素值大小，用z表示，送往示例分支网络；
25.s52：在数据集中选取第一帧，将其调整为255*255的像素，用x表示，送往搜索分支网络；
26.s53：在分支网络和搜索分支网络中分别进行特征提取，分别生成尺寸为6
×6×
128和22
×
22
×
128的特征图和
27.s54：通过密集滑动窗口的移动，使和做互相关操作，每一次互相关操作会得到一个相似度得分，将其映射到score map中，最后取score map中取值最大处为目标位置，互相关操作如下式所示：
[0028][0029]
式中：z表示实例图像，x表示待搜索图像；b1表示score map中取值的偏置项；“*”表示互相关运算操作；
[0030]
s55：网络的损失函数采用logistic损失函数：
[0031]
l(y,v)＝log(1 exp(-yv))，
[0032]
式中：y∈{-1, 1}，表示目标的正负标签值；v表示实例图像和搜索图像上进行互相关操作得到的相似度得分。
[0033]
进一步的技术方案，步骤s55中，实例图像和样本图像在匹配过程中产生的所有误差如下式所示：
[0034][0035]
式中：|d|表示score map的大小；u表示score map中的某一位置的值；y[u]表示第u个滑动窗口的真实值，v[u]表示第u个滑动窗口映射在score map中的得分值；y[u]的值由下式表示：
[0036][0037]
式中：k为score map经过网格之后缩小的倍数；c表示score map中目标的中心点；u表示score map的所有位置；||u-c||表示u与c之间的欧氏距离；r表示距离的阈值。
[0038]
进一步的技术方案，步骤五中，训练过程采用随机梯度下降法，如下式所示：
[0039]
[0040]
式中：θ表示网络参数。
[0041]
进一步的技术方案，步骤七中，具体包括如下步骤：
[0042]
s71：利用张正友标定法对rgb-d相机进行标定，获得相机的内参、外参系数；
[0043]
s72：将rgb-d相机坐标系的坐标转化为机械爪末端的坐标；
[0044]
s73：将机械爪末端的坐标转化为机械臂的关节坐标。
[0045]
进一步的技术方案，所述水果自动化采摘装置包括与基准固定的第一关节，所述第一关节上通过基座活动安装有若干组机械臂，相邻所述机械臂之间通过依次设置的第二关节、第三关节、第四关节、第五关节和第六关节相连接，以形成六个旋转关节；所述机械臂上远离第六关节的外端设置有机械爪，所述机械爪上方设置有rgb-d相机。
[0046]
3.有益效果
[0047]
本发明通过将待检测的果树视频输入到基于改进版siamfc的深度学习网络模型进行推断，以获得水果的位置、种类以及置信度，从而有效地对水果的位置进行检测，避免出现人工检测费时费力、精确度不高的问题，且其检测精度相对较高，实用性好。
附图说明
[0048]
图1为本发明的一种基于改进simafc的水果自动化采摘方法流程图；
[0049]
图2为siamfc的网络结构图；
[0050]
图3为alexnet网络结构图；
[0051]
图4为resnet网络结构图。
[0052]
图5为基于改进simafc的水果自动化采摘装置的结构示意图。
[0053]
图中：1-第一关节；2-基座；3-第二关节；4-第三关节；5-第四关节；6-第五关节；7-第六关节；8-rgb-d相机；9-机械爪；10-机械臂。
具体实施方式
[0054]
为进一步了解本发明的内容，结合附图对发明作详细描述。
[0055]
实施例1
[0056]
本实施例的一种基于改进siamfc的水果自动化采摘方法，如图1～2所示，包括采集果树的视频，制作训练集和验证集；构建基于改进版siamfc的深度学习网络模型；设置训练过程的权重初始化、超参数及优化器；将训练集输入构建的模型进行训练；将验证集输入到训练好的模型中，以获得水果的位置、种类以及置信度，并反馈给水果自动化采摘装置进行采摘操作，具体包括如下步骤：
[0057]
步骤一：利用摄像机采集检测果树视频；
[0058]
步骤二：利用opencv库中的cv2.videocapture函数获取视频的每一帧图像；
[0059]
步骤三：利用步骤二得到的单帧图像制作数据集；
[0060]
步骤四：对siamfc模型进行改进；
[0061]
步骤五：将步骤一中的数据集送入步骤四的改进版siamfc模型进行训练，以获得目标水果的位置、种类以及置信度；
[0062]
步骤六：将机械臂10外端设置的rgb-d相机8中获得的图像传入步骤五获得的模型中进行预测，获得水果目标在像素坐标系中的坐标；
[0063]
步骤七：将像素坐标系坐标转化为机械臂10外端设置的机械爪9坐标系坐标；
[0064]
步骤八：利用机械爪9进行采摘操作。
[0065]
本实施例中，步骤五中，具体包括如下步骤：
[0066]
s51：首先选取果树视频中的第一帧作为实例图像，将其调整为127*127像素值大小，用z表示，送往示例分支网络；
[0067]
s52：在数据集中选取第一帧，将其调整为255*255的像素，用x表示，送往搜索分支网络；
[0068]
s53：在分支网络和搜索分支网络中分别进行特征提取，分别生成尺寸为6
×6×
128和22
×
22
×
128的特征图和
[0069]
s54：通过密集滑动窗口的移动，使和做互相关操作，每一次互相关操作会得到一个相似度得分，将其映射到score map中，最后取score map中取值最大处为目标位置，互相关操作如下式所示：
[0070][0071]
式中：z表示实例图像，x表示待搜索图像；b1表示score map中取值的偏置项；“*”表示互相关运算操作；
[0072]
s55：网络的损失函数采用logistic损失函数：
[0073]
l(y,v)＝log(1 exp(-yv))，
[0074]
式中：y∈{-1, 1}，表示目标的正负标签值；v表示实例图像和搜索图像上进行互相关操作得到的相似度得分。
[0075]
步骤s55中，实例图像和样本图像在匹配过程中产生的所有误差如下式所示：
[0076][0077]
式中：|d|表示score map的大小；u表示score map中的某一位置的值；y[u]表示第u个滑动窗口的真实值，v[u]表示第u个滑动窗口映射在score map中的得分值；y[u]的值由下式表示：
[0078][0079]
式中：k为score map经过网格之后缩小的倍数；c表示score map中目标的中心点；u表示score map的所有位置；||u-c||表示u与c之间的欧氏距离；r表示距离的阈值。
[0080]
将验证集输入到训练好的模型中，计算模型的map值，当map值≥90％时，停止训练，保存模型；当map值＜90％时，重新进行超参数设置。
[0081]
进一步的，训练过程采用随机梯度下降法，如下式所示：
[0082][0083]
式中：θ表示网络参数。
[0084]
实施例2
[0085]
本实施例的一种基于改进siamfc的水果自动化采摘方法，基本结构同实施例1，不同和改进之处在于：步骤三中，具体包括如下步骤：
[0086]
s31：先制作三个文件夹：分别命名为“annotations”、“data”、“imagesets”；其中“imagesets”中存放步骤s2中获得的单帧图片数据集；
[0087]
s32：利用labelme工具对“imagesets”文件夹中的单帧图片中的水果目标进行标注，标注的结果存放在“annonations”文件夹中。
[0088]
进一步的，如图3～4所示，步骤四中，具体包括如下步骤：
[0089]
s41：将原siamfc模型中的特征提取网络alexnet替换为resnet；
[0090]
s42：在其中加入注意力机制。
[0091]
实施例3
[0092]
本实施例的一种基于改进siamfc的水果自动化采摘方法，基本结构同实施例2，不同和改进之处在于：如图5所示，所述水果自动化采摘装置包括与基准固定的第一关节1，所述第一关节1上通过基座2活动安装有若干组机械臂10，相邻所述机械臂10之间通过依次设置的第二关节3、第三关节4、第四关节5、第五关节6和第六关节7相连接，以形成六个旋转关节；所述机械臂10上远离第六关节7的外端设置有机械爪9，所述机械爪9上方设置有rgb-d相机8。
[0093]
进一步的，步骤七中，具体包括如下步骤：
[0094]
s71：利用张正友标定法对rgb-d相机8进行标定，获得相机的内参、外参系数；
[0095]
s72：将rgb-d相机8坐标系的坐标转化为机械爪9末端的坐标；
[0096]
s73：将机械爪9末端的坐标转化为机械臂10的关节坐标。
[0097]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。