基于改进yolov5算法的采摘机器人控制方法及采摘机器人

本发明涉及采摘机器人，具体涉及一种基于改进yolov5算法的采摘机器人控制方法及采摘机器人。

背景技术：

1、随着时代的发展，各行各业自动化的程度不断增长，而现有的农业在一些领域下机械化、智能化程度较低，如果实的采摘，在果实成熟后，大部分的果实需要人工来完成，人工劳动强度大，采摘效率低，无法满足日益增长的需求。

2、因此，现有提出了自动化的采摘机器人，如专利号为202210311178.2公开了一种基于双目视觉的草莓采摘方法、机器人系统，根据预设识别模型对预处理图像进行草莓果实识别，根据草莓果实识别结果通过草莓的最低点以及草莓的质心确定采摘点位置，从而提高识别精度和定位测距的问题，以及专利号202210936842.2公开了一种基于视觉技术的全自动水果采摘机器人及采摘方法，采用双目相机与惯导模块相结合的模式来构建果园地图，通过算法确定了每次采摘时升降平台的高度以及机械臂的初始位姿，能够增加采摘成功率和采摘范围。

3、然而，上述现有技术仍存在以下缺陷：

4、(1)深度学习模型在面对高分辨率图像时推理速度较为缓慢，无法满足目标检测的实时性能要求，若直接提升检测性能将带来资源消耗提升的问题，对于采摘机器人这类小型工具存在较大的负担；

5、(2)目标检测算法在面对复杂场景时容易受到光照、遮挡物等因素的影响，导致目标检测结果准确性和稳定性不足；

6、(3)通过升降平台和机械臂末端配合使得采摘过程的自由度和灵活度较低，尤其是在面对复杂的采摘场景，无法满足目标采摘位置的精确定位和姿态控制。

7、因此，亟需一种基于改进yolov5算法的采摘机器人控制方法以解决上述问题。

技术实现思路

1、针对现有技术的不足，本发明提出一种基于改进yolov5算法的采摘机器人控制方法及采摘机器人。

2、本发明第一方面公开了一种基于改进yolov5算法的采摘机器人控制方法，包括：

3、搭建果园模拟环境，生成目标采摘任务确定机器人的目标路径，通过传感器实时检测机器人移动路径同所述目标路径的误差值，根据误差值计算比例参数p，并通过pid控制器反馈所述比例参数p的控制信号调整机器人的运动状态；

4、采用视频流处理框架加载yolov5算法模型构建视频处理通道，对所述视频处理通道配置推理引擎执行推理加速任务；

5、采集目标视频流作为所述yolov5算法模型的输入，分别采用转置卷积、全局上下文块以及c3ghost卷积优化所述yolov5算法模型，输出所述目标视频流中采摘目标的识别结果、像素坐标以及测量像素距离与实际距离的比例关系，根据坐标转换获取所述像素坐标的相对坐标；

6、通过运动学逆解计算所述相对坐标对应的机械臂静态运动参数，采用五次多项式插补求解机械臂的动态运动参数，基于静态运动参数、动态运动参数以及相对坐标控制采摘机器人执行目标采摘任务。

7、在一个可选的实施例中，所述搭建果园模拟环境，生成目标采摘任务确定机器人的目标路径包括：

8、通过采集果园前期图像获取果园地图信息以模拟果园地图环境，根据采摘需求规划目标采摘任务的起始点位置信息和终点位置信息，根据所述起始点位置信息和终点位置信息生成一个或多个目标路径。

9、在一个可选的实施例中，所述通过传感器实时检测机器人移动路径同所述目标路径的误差值，根据误差值计算比例参数p，并通过pid控制器反馈所述比例参数p的控制信号调整机器人的运动状态，包括：

10、机器人加载目标路径，根据目标采摘任务的起始点-终点地图轨迹行走，通过实时检测并反馈实际移动路径参数，实时计算每个单位时间内目标路径与所述实际移动路径的误差值，通过每个单位时间的误差值和目标路径实时更新比例参数p的赋值以输出当前时间的运动控制参数，通过运动控制参数调整机器人当前的运动状态直至所述比例参数p调节为最优赋值，根据最优赋值的比例参数p结合当前时间的误差值持续输出运动控制参数控制机器人的运动状态直至抵达终点。

11、在一个可选的实施例中，所述采用视频流处理框架加载yolov5算法模型构建视频处理通道，对所述视频处理通道配置推理引擎加速目标检测任务，包括：

12、采用deepstream视频流处理框架在机器人配置的jetson nano嵌入式开发板上搭建视频处理通道，并为所述视频处理通道配置tensorrt推理引擎的依赖，将yolov5算法模型加载到deepstream视频流处理框架内；

13、通过云服务器对yolov5算法模型进行训练输出.pt权重文件，采用winscp图形化客户端将.pt权重文件传输至jetson nano嵌入式开发板上，采用tensorrt推理引擎的转换程序将.pt权重文件转换为.wts权重文件以优化yolov5算法模型的模型参数，通过编译.wts权重文件转换为.engine文件导入deepstream视频流处理框架的目标路径内，以将所述yolov5算法模型转换为推理引擎配置于视频处理通道并用于进行数据输入、数据预处理、推理加速、后处理以及输出结果中的一种任务或几种任务，所述输出结果为yolov5算法模型对数据输入的视频流中每一帧图像进行目标检测和跟踪识别，所述jetson nano嵌入式开发板的gpu通过所述tensorrt推理引擎执行yolov5算法模型的推理加速任务。

14、在一个可选的实施例中，所述转置卷积优化所述yolov5算法模型，包括：

15、采用nn.convtranspose2d类在所述yolov5算法模型的头部结构定义一个转置卷积层transposed_con，采用torch.randn函数生成用于模拟输入图像的随机张量作为yolov5算法模型上采样操作的输入，通过转置卷积层transposed_con的反向卷积核对输入的随机张量执行转置卷积操作生成输出张量，以作为目标视频流中每一帧图像的特征图空间维度扩展训练，所述随机张量的形状表示为(batch_size,input_channels,input_height,input_width)，其中batch_size表示输入的批次大小、input_channels表示输入的通道数、input_height表示输入的高度、input_width表示输入的宽度。

16、在一个可选的实施例中，所述采用全局上下文块优化所述yolov5算法模型，包括：

17、global context block全局上下文块依次定义1x1卷积层、softmax层以及特征变换模块，所述特征变化模块包括多个卷积层、归一化层以及激活函数；

18、提取目标视频流的每一帧图像中输入特征图的输入尺寸，通过所述1x1卷积层将输入特征图转换为单通道特征图以获得输入特征图的全局上下文信息，所述输入尺寸包括输入特征图的批次大小、通道数、高度h和宽度w，所述单通道特征图进行展平操作，形状表示为(batch，1，h，w)，其中1表示通道数、batch表示批次大小、h表示高度、w表示宽度；

19、通过所述softmax层将所述单通道特征图进行归一化处理以用于计算权重分布，将展平操作后用于表示全局上下文信息的单通道特征图同所述权重分布通过通道乘法的融合方式计算全局上下文向量，所述全局上下文向量的形状为(batch,c,1,1)；

20、通过所述特征变换模块对所述全局上下文向量采用线性变换和非线性激活生成同所述输入特征图形状相同的特征图，将输入特征图同所述全局上下文向量变换后的特征图逐点相加，获得所述输入特征图的经所述全局上下文块增强后的特征表示。

21、在一个可选的实施例中，所述c3ghost卷积优化所述yolov5算法模型，包括：

22、通过ghostbottleneck在所述yolov5算法模型的主干特征提取网络中应用ghost卷积构建轻量化模型，ghostbottleneck类定义一个包括ghostconv类、dwconv类以及直连路径残差连接的残差块；

23、基于ghostconv类的卷积结构采用1x1卷积核将输入通道数转换为隐藏通道数的一半，通过5x5卷积核进行特征提取后将两个卷积核阶段的特征输出在通道维度上进行拼接，以对每一个输入通道添加一个由原输入通道线性组合产生的ghost channel表示原输入通道的特征信息；

24、通过dwconv类根据步幅参数执行下采样操作，并通过深度可分离卷积同时进行模型计算和特征提取；

25、通过ghostconv类和dwconv类的直连路径残差连接构建模型内的信息流以及特征复用。

26、在一个可选的实施例中，所述根据坐标转换获取所述像素坐标的相对坐标，包括：

27、根据识别结果确定的像素坐标(x,y,w,h),分别计算识别结果对应的图像中点坐标(cx，cy)以及目标中点坐标(zx,zy),其中图像中点坐标和目标中点坐标的计算公式如下：

28、

29、将所述图像中点坐标设置为原点，通过测量像素距离与实际距离的比例关系(bx,by)将目标中点坐标(zx,zy)相对所述原点转移生成目标坐标(nx,ny),根据所述比例关系(bx,by)将目标坐标(nx,ny)转换为厘米计量的相对坐标(rx，ry)，其中目标坐标和相对坐标的计算公式为：

30、

31、基于所述相对坐标帮助机器人对采摘目标进行定位导航。

32、在一个可选的实施例中，所述通过运动学逆解计算所述相对坐标对应的机械臂静态运动参数，包括：

33、构建机器人三自由度机械臂的关节角度与机械臂底座的映射关系，采集所述机械臂的底部高度h1、大臂长度l1、小臂长度l2以及臂向补偿b；

34、根据所述相对坐标(rx，ry)计算采摘目标与机械臂底座间的厘米坐标(x，y)，基于机械臂参数以及厘米坐标(x1,y1)计算机械臂的静态运动参数，所述静态运动参数的计算公式为：

35、

36、其中，所述静态运动参数包括垂直投影t、底座角j0、大臂角j1、小臂角j2、短边d以及斜边x0。

37、在一个可选的实施例中，所述采用五次多项式插补求解机械臂的动态运动参数，包括：

38、定义机械臂舵机动态运动的起始角度init、目标角度target、初始角速度w0、目标角速度w1、初始角加速度ac0、目标角加速度ac1、总运动时间tf、时间步长ts以及运动时间点t，通过定义参数计算舵机的初始角度a0、初始角速度a1、初始角速度一半a2、加速度a3、加速度的平方a4、加速度的立方a5，基于机械臂舵机角度theta、wc0、acc0分别计算舵机在不同时间点的角度、角速度和角加速度位置以提供舵机平滑运动的动态运动参数，其计算公式为：

39、a0＝init

40、a1＝w0

41、

42、a3＝(20*target-20*init-(8*w1+12*w0)*tf-(3*ac0-ac1)*tf2/(2*tf3)

43、a4＝(30*target-30*init+(14*w1+16*w0)*tf-(3*ac0-2*ac1)*tf2/(2*tf4)

44、a5＝(12*target-12*init-(6*w1+6*w0)*tf-(ac0-ac1)*tf2/(2*tf5)

45、theta＝a0+a1*t+a2*t2+a3*t3+a4*t4+a5*t5

46、wc0＝a1+2*a2*t+3*a3*t2+4*a4*t3+5*a5*t4

47、acc0＝2*a2+6*a3*t+12*a4*t2+20*a5*t3

48、本发明第二方面公开了一种采摘机器人，用于执行如本发明第一方面公开的一种基于改进yolov5算法的采摘机器人控制方法的步骤，包括：

49、移动平台组件、搭载于所述移动平台上的机械臂组件以及搭载于所述移动平台内控制系统；

50、所述移动平台组件包括由顶板、底板和第一支柱组成底盘、设置于底板底部的麦克纳姆轮以及驱动所述麦克纳姆轮的减速电机；

51、所述机械臂组件包括托盘、手臂部、手腕部、夹爪部、驱动手臂部伸缩运动的丝杆、驱动手腕部旋转的舵机、驱动夹爪部作业的驱动电机以及搭载于夹爪部后端用于采集目标视频流的摄像头；

52、所述控制系统包括主控模块、无线控制模块、传感器模块、电机驱动模块以及电源模块，所述主控模块包括用于控制机器人运动轨迹和无线控制的stm32rct6单片机、用于控制目标视频流图像处理的jetson nano嵌入式开发板以及用于根据jetson nano嵌入式开发板的图像处理结果控制机械臂的pca9685模块，所述pca9685模块采用i2c接口对机械臂舵机进行角度控制，所述jetson nano嵌入式开发板通过deepstream视频流处理框架和tensorrt推理引擎对yolov5算法模型进行推理加速，所述stm32rct6单片机和jetson nano嵌入式开发板通过tx引脚和rx引脚互连以使主控模块进行信息的双向传输；

53、所述无线控制模块配置为hc-05蓝牙模块，基于蓝牙模块同移动端设备通信连接，以远程控制所述采摘机器人；

54、所述传感器模块配置为集成三轴陀螺仪和三轴加速度计的mpu6050模块，以用于测量机械臂的旋转角度以及旋转加速度；

55、所述电机驱动模块配置为tb6612双h桥驱动器，以用于控制一个或多个所述采摘机器人搭载的电机进行电机驱动；

56、所述电源模块包括通过dc插座为stm32rct6单片机提供12v的电源、配置于jetsonnano嵌入式开发板的5v4a dc电源以及对hc-05蓝牙模块、mpu6050模块以及pid寻迹模块提供稳定5v电源的lm2596稳压模块，所述jetson nano嵌入式开发板与pca9685模块之间通过降压模块输出5v降压至pca9685模块执行机械臂舵机控制。

57、在一个可选的实施例中，所述控制系统还包括显示模块，配置为oled显示屏对机器人的状态信息进行可视化显示以及为所述pid寻迹模块提供调节寻迹参数的点击按键，所述状态信息包括机器人的仰角角度、俯角角度、偏航角度、采摘目标类别以及采摘目标数量。

58、本发明第三方面公开了一种基于改进yolov5算法的采摘机器人控制设备，包括：

59、至少一个处理器，以及，

60、与所述至少一个处理器通信连接的存储器；其中，

61、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面公开的任一项所述的基于改进yolov5算法的采摘机器人控制方法。

62、本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面公开的任一项所述的基于改进yolov5算法的采摘机器人控制方法。

63、与现有技术相比，本发明具有以下优点：

64、(1)本发明通过采用高性能、低延迟的实时视频流流处理框架deepstream，结合tensorrt推理引擎(深度学习推理加速库)，对yolov5等模型进行高效推理。tensorrt利用gpu加速推理过程，提升了模型的推理速度，满足目标检测的实时性能要求，同时减少目标检测的资源消耗，尤其在采摘机器人等小型设备上更为适用。

65、(2)本发明通过全局上下文块引入全局上下文信息来增强模型的感知能力和分类准确性，通过在模型头部结构中使用转置卷积来提高目标检测的准确性和稳定性以及通过在模型的neck部分引入ghost卷积，以减少模型参数量和计算量，提高特征提取能力对yolov5算法模型进行优化，提高模型的感知能力、准确性和计算效率，降低复杂场景下的干扰因素对目标检测结果的影响。

66、(3)本发明通过三轴机械臂运动学逆解和多项式插补共同优化机械臂的运动控制，其中逆解算法根据机械臂的运动学特性和目标位置的情况计算公式得到最终的关节角度，帮助三轴机械臂实现对目标位置的准确定位和姿态控制，从而实现复杂采摘任务的执行，而多项式插值利用局部插值多项式的连续性和一阶导数连续性来实现平滑曲线的拟合，可以有效逼近舵机控制系统中的目标运动轨迹，可以得到连续且光滑的舵机轨迹，使得舵机运动更加平稳。