一种移栽作业质量信息监测方法、系统、设备与介质与流程

本发明涉及移栽监测，特别涉及一种移栽作业质量信息监测方法、系统、设备与介质。

背景技术：

1、穴盘育苗移栽技术是我国设施蔬菜和花卉种植中广泛采用的一种生产方式，其利用特定的穴盘进行幼苗培育，待生长到一定阶段后，再将其移栽到土壤中，这种方式可以增强幼苗生长一致性，适合机械化操作，有助于降低人工成本，提高农业生产效率。

2、关于钵苗质量检测，目前在育苗阶段的穴盘幼苗生长等相关领域研究较多，如采用深度学习方法，通过对穴盘的图像进行采集，制作相应数据集，进行模型训练，在幼苗生长状态的识别上，都具有较高的准确率。在移栽作业上，韩鸿飞等人，通过机器视觉识别栽植点是否存在钵苗，并创建gis系统加载移栽机运行轨迹和漏苗信息，为移栽机作业质量的实时监控和智能化发展提供了有效支持；吴小燕等人，针对甘蓝移栽状态缺乏有效监测等问题，提出了基于改进yolov8s算法的甘蓝移栽情况检测方法，该方法准确高、识别快的特点，为大田移栽质量监测提供了有效手段；蒋展开展了对油菜移栽机栽植质量监测的研究，利用机器视觉设计了油菜毯状苗移栽机栽植质量监测系统，对移栽后幼苗质量进行较为有效的判断。

3、然而，以上方法在一定程度上仍缺乏便携、高效的监测手段，无法对移栽作业有效进行实时分析，对穴盘幼苗计数过程缺乏稳定的统计准确率，导致移栽作业的整体信息化程度较低。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提供一种移栽作业质量信息监测方法、系统、设备与介质，以解决现有技术中无法对移栽作业有效进行实时分析，对穴盘幼苗计数过程缺乏稳定的统计准确率，导致移栽作业的整体信息化程度较低的问题。

2、本发明具体提供如下技术方案：一种移栽作业质量信息监测方法，包括如下步骤：

3、连续采集移栽机上的分苗杯图像；

4、提取每帧所述分苗杯图像中分苗杯的检测框，并利用卡尔曼滤波器预测检测框在当前帧图像的位置，且将所述位置与提取的检测框位置进行差异值比较，并通过比较结果获得最终检测框；

5、根据空杯和有苗杯条件为每个最终检测框分配不同id，并基于连续的多帧分苗杯图像追踪分配id后的每个最终检测框，获得分配id后每个最终检测框的跟踪轨迹；

6、获取每个所述跟踪轨迹中，连续两帧分苗杯图像上属于同一个最终检测框时的质心点，且在两帧分苗杯图像运动方向左到右时，以第一帧检测框的质心点坐标为基准，判断所述第二帧检测框的质心点横坐标与预设计数线横坐标之差是否大于等于0，是则对分配id后的所述分苗杯进行计数和统计，获得移栽作业质量信息。

7、优选的，所述连续采集移栽机上的分苗杯图像后，利用图像增强技术对移栽环境图像进行扩充，包括如下步骤：

8、基于opencv库，运用翻转、裁剪、添加噪声和调整亮度等多种图像处理方法，对原始数据进行扩充。

9、优选的，提取每帧所述分苗杯图像中分苗杯的检测框之前，需将轻量级卷积神经网络mobilenetv2引入yolov5模型中作为特征提取主干，获得改进后的识别模型，其中轻量级卷积神经网络mobilenetv2对特征进行提取，包括如下步骤：

10、通过mobilenetv2的深度可分离卷积将标准卷积分解为深度卷积和逐点卷积：

11、对每个识别模型的通道进行深度卷积操作，并对深度卷积操作后的特征图通过逐点卷积，对所有特征图进行整合；具体表达式为：

12、cdepth＝dk×dk×cin×df×df

13、cpoint＝cin×cout×df×df

14、cds＝cdepth+cpoint

15、其中，cdepth为深度卷积的计算量，cpoint为逐点卷积的计算量，cds为深度可分离卷积的总计算量，dk×dk为卷积核的大小，df×df为输入特征的大小，cin为输入的通道数，cout为输出的通道数。

16、优选的，所述获得改进后的识别模型后，还包括如下步骤：

17、将所述识别模型中的*.pt模型转换为*.rknn模型，并在转换过程中，利用工具提供的量化规则对识别模型进行int8量化与模型精度评估。

18、优选的，所述利用工具提供的量化规则对识别模型进行int8量化与模型精度评估包括如下步骤，包括如下步骤：

19、使用量化后训练的方式将识别模型的权重和激活值从高于阈值的精度转换为低于阈值的精度；其中转换的具体表达式为：

20、

21、

22、

23、

24、其中，xfloat为当前的浮点型范围，和为要转换整数的范围，int8为[-127，127]，uint8为[0，255]；xscale为由浮点映射到整数的量化比例因子；为零点，用于确保浮点数的零值在量化后仍然为零；xquantized为量化所得值，其为整数。

25、优选的，所述利用卡尔曼滤波器预测检测框在当前帧图像的位置，包括如下步骤：

26、对输入图像的预测结果进行iou匹配，对匹配成功后目标进行检测，并通过卡尔曼滤波进行检测结果的更新，获得总轨迹；

27、在未匹配时进行检测，生成新轨迹，并将所述新轨迹融合进总轨迹中；

28、通过卡尔曼滤波对所述总轨迹进行预测，获得当前图像的预测位置。

29、优选的，所述以第一帧检测框的质心点坐标为基准，判断所述第二帧检测框的质心点横坐标与预设计数线横坐标之差是否大于等于0，是则对分配id后的所述分苗杯进行计数和统计，包括如下步骤：

30、绘制计数线将识别区域划分为ab两侧；

31、目标质心p1处于区域a时，只需记录目标x轴运动方向，此时p1到p2的向量记为其中的模长计算如下所示：

32、

33、其中，t为当前的某一帧图像，1为已被分配标签符号id1，p1t为当前帧目标的质心x轴坐标，p2为计数线对应p1t的x轴坐标；

34、在当前视野中，此时为未过线，不计数；当时，为质心相交，不计数，当此时为过线，根据此时对应标签类别加1，并且设计只记录第一次触线，完成对移栽的分苗杯中有苗、无苗的统计。

35、本发明还提供一种移栽作业质量信息监测系统，包括：

36、采集模块，用于连续采集移栽机上的分苗杯图像；

37、比较模块，用于提取每帧所述分苗杯图像中分苗杯的检测框，并利用卡尔曼滤波器预测检测框在当前帧图像的位置，且将所述位置与提取的检测框位置进行差异值比较，并通过比较结果获得最终检测框；

38、轨迹获取模块，用于根据空杯和有苗杯条件为每个最终检测框分配不同id，并基于连续的多帧分苗杯图像追踪分配id后的每个最终检测框，获得分配id后每个最终检测框的跟踪轨迹；

39、计数模块，用于获取每个所述跟踪轨迹中，连续两帧分苗杯图像上属于同一个最终检测框时的质心点，且在两帧分苗杯图像运动方向左到右时，以第一帧检测框的质心点坐标为基准，判断所述第二帧检测框的质心点横坐标与预设计数线横坐标之差是否大于等于0，是则对分配id后的所述分苗杯进行计数和统计，获得移栽作业质量信息。

40、本发明还提供一种计算机设备，包括存储器及处理器，所述存储器中储存有程序，所述程序被所述处理器执行时，使得所述处理器执行所述一种移栽作业质量信息监测方法的步骤。

41、本发明还提供一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种移栽作业质量信息监测方法的步骤。

42、与现有技术相比，本发明具有如下显著优点：

43、本发明在目标检测的下游任务中，增加了目标跟踪，通过提取出穴盘苗中分苗杯的检测框，并利用卡尔曼滤波器预测目标在当前图像的预测位置，根据检测框与预测位置的关系为每个目标分配不同id，并追踪目标获得跟踪轨迹，并结合过线计数的方法，获取跟踪轨迹中连续两帧检测框各自的质心点，判断第二帧检测框的质心点与预设计数线之间横向量的大小关系，对移栽的分苗杯中有苗、无苗进行计数和统计，对于计数和有无苗的判断具有较高的效果，从而取得了较为稳定的计数结果，其在移栽速度相对较慢的情况下可以达到接近100％的计数准确率。