一种基于轨道式巡检机器人的猪只健康评估方法

本发明属于养猪健康评估领域，具体涉及一种基于轨道式巡检机器人的猪只健康评估方法。

背景技术：

1、为保证猪肉正常供给、提高生猪养殖抗风险能力和降低养殖成本，生猪养殖逐步向集约化、规模化以及自动化的方向发展，数据显示个体养殖户正逐渐减少，目前我国生猪集约化养殖模式发展迅速，但由于起步较晚，智能化程度低，生产基础薄弱，对于疫病的防护存在不足。同时集约化养殖模式下空间小且个体基数大的特点使猪只更容易交叉感染导致疫病大规模爆发，造成养殖场损失惨重。因此，在集约化养殖模式下生猪养殖的过程中，及时有效地评估并反馈猪只的健康情况并进行健康预警，有助于养殖场快速地做出决策减少损失。生猪的健康状况基于其各项健康指标进行判断，对生猪养殖来说，通过获取猪只的各项生理及行为特征进而提取其中蕴含的健康指标等可较为全面地评估其健康状况，并针对性地调整饲喂方案，对精准畜牧养殖发展、动物福利评估都有重要意义。

2、生猪健康监测对生猪养殖管理具有重要意义。目前，实际生产中仍然依赖人工巡查的方式监测猪的健康状态。猪场工作人员通过观察猪只行为以及采集部分生理指标进行判断，但人工巡查方法不仅耗时长、成本高、效率低，且依赖于工作人员个人经验，缺乏统一标准无法实现工业化推广。此外，当猪只出现较为明显的异常时通常已处于患病晚期，而处于亚健康状态或患病初期阶段的猪只难以及时发现。

3、近年来研究人员探索采用各类穿戴式传感器、摄像头采集猪只数据以进行猪只健康异常生理及行为特征提取，取得了一定进展。例如苍岩等采用respeaker core v2.0开发板和mobilenetv2网络技术对猪只声音分类，识别率可达97.3％；李菊霞等通过yolov4网络实现了对不同视角图像中的猪只饮水行为识别；薛月菊等针对哺乳母猪高危动作识别困难的问题，提出了一种基于隐马尔科夫模型的深度视频识别算法；周丽萍等基于热红外图像提出改进ostu算法检测生猪耳根区域；赵海涛借鉴人脸关键点检测技术对猪脸的红外图像进行关键部位自动识别。但以上研究只是获取某一项猪只生理或行为特征，并未从猪只整体状况的角度去考虑其健康状况，同时固定式设备易损坏及掉落的问题使得在成本上与人工并无明显优势，难以进行推广应用，而通过巡检机器人搭载多种检测设备对猪舍中所有猪只进行巡查并提取其特征信息进行分析能有效解决成本及评估角度单一的问题。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于轨道式巡检机器人的猪只健康评估方法解决了现有技术的猪只健康状况评估依赖人工巡检进行判断的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于轨道式巡检机器人的猪只健康评估方法，包括以下步骤：

3、s1、通过轨道式巡检机器人采集猪只的rgb图像、红外图像和深度图像，并记录猪只健康状况；

4、s2、通过深度学习模型根据rgb图像、红外图像和深度图像提取猪只的生理及行为特征，包括猪只体重特征、猪只体温特征、猪只体表特征和猪只行为特征；

5、s3、根据猪只的生理及行为特征得到猪只的健康指标，包括猪只体重健康指标、猪只体温健康指标、猪只体表健康指标和猪只行为健康指标；

6、s4、将猪只的健康指标通过z-score标准化，得到猪只的健康指标的评分，包括猪只体重健康指标的评分、猪只体温健康指标的评分、猪只体表健康指标的评分和猪只行为健康指标的评分；

7、s5、根据猪只健康状况构建随机森林模型，将猪只的健康指标的评分作为自变量，通过随机森林模型训练得到健康指标的权重，根据健康指标的权重建立猪只健康评分模型，计算猪只的健康评分。

8、进一步地：所述s2中，提取猪只体重特征的方法具体为：

9、将rgb图像输入rgb分支，生成rgb特征图；

10、将深度图像输入深度分支，生成深度特征图；

11、通过置信度分支生成与深度图像尺寸一致的置信度图；

12、通过融合模块将置信度图与对应比例的深度特征图相乘，生成增强的深度特征图，将增强的深度特征图与rgb特征图合并，通过1×1卷积操作生成融合特征图，通过融合特征图提取猪只体重特征。

13、进一步地：所述rgb分支与深度分支的结构相同，均为resnet，其中，resnet处理输入图像的方法具体为：

14、将输入图像依次输入resnet中的conv1至conv4卷积层进行卷积操作，生成输出特征图。

15、进一步地：生成置信度图的方法具体为：

16、生成矩阵，在矩阵中标识出深度图像中深度值可靠的区域，并在矩阵中用0表示深度图中深度值为0的位置，根据标识后的矩阵生成有效性掩膜特征图，将有效性掩膜特征图输入置信度图估算器，经过五次卷积操作生成置信度图。

17、进一步地：所述s2中，提取猪只体温特征的方法具体为：

18、通过体温提取模型在红外图像和rgb图像上选取一组匹配的特征点，通过匹配的特征点坐标信息计算仿射变换矩阵，仿射变换矩阵用于将rgb图像上的坐标转化为红外图像上的坐标；

19、通过rtmdet目标检测算法根据rgb图像得到猪只个体及其耳根区域的位置信息，通过仿射变换矩阵将其转换为红外图像上的位置信息，根据位置信息得到耳根处区域的红外温度矩阵，根据红外温度矩阵获取猪只耳根处区域的最高温度，将其作为猪只体温特征。

20、进一步地：所述s2中，提取猪只体表特征的方法具体为：

21、通过体表状况提取模型根据rtmdet目标检测算法对rgb图像中猪只体表出现的病变进行识别，生成猪只体表特征。

22、进一步地：所述s2中，提取猪只行为特征的方法具体为：

23、通过rtmpose关键点检测算法根据rgb图像的视频帧获取猪只的骨架关节点，生成猪只的骨架图序列，将骨架图序列与对应的rgb视频帧序列输入到猪只行为识别模型中，得到猪只行为特征；

24、其中，猪只行为识别模型包括骨架图处理分支和rgb处理分支，骨架图处理分支和rgb处理分支均与特征融合模块连接，特征融合模块还与分类层连接，通过猪只行为识别模型得到猪只行为特征的方法具体为：

25、通过骨架图处理分支根据时空图卷积网络提取骨架图序列的时空间特征，得到骨架特征，通过rgb处理分支根据r(2+1)d网络提取rgb视频帧序列的时空间特征，得到rgb特征；

26、将骨架特征和rgb特征输入特征融合模块，通过全局平均池化操作将骨架特征转换为长度为cs的向量，cs为骨架特征的通道数，将向量通过广播操作调整为维度大小cs×w×h的的张量，w为张量的宽度，h为张量的长度，将张量与rgb特征按照其序列从第一帧到第tr帧进行拼接操作，tr为输入的rgb视频帧序列长度，拼接后的张量输入至1×1×1大小的卷积中调整其通道大小，得到融合特征；

27、将融合特征输入分类层得到行为分类结果，通过统计得到猪只行为特征。

28、进一步地：所述s3中，得到猪只体重健康指标的方法具体为：

29、根据猪只当前的生长阶段和品种选择体重指标模型，通过体重指标模型根据猪只体重特征和猪只的日龄输出猪只体重健康指标；

30、得到猪只体温健康指标的方法具体为：

31、根据猪只所处的猪舍类型选择对应的温度指标模型，通过温度指标模型根据猪只体温特征和环境温湿度数据输出猪只体温健康指标；

32、得到猪只体表健康指标的方法具体为：

33、通过体表健康指标模型根据猪只体表特征检测猪只体表异常症状及其严重程度，输出猪只体表健康指标；

34、得到猪只行为健康指标的方法具体为：

35、根据猪只当前生长阶段选择行为指标模型，通过行为指标模根据猪只行为特征提取的猪只行为类型及出现频次，输出猪只行为健康指标。

36、进一步地：所述s5中，健康指标的权重包括猪只体重健康指标的权重wweight、猪只体温健康指标的权重wtemp、猪只体表健康指标的权重wskin和猪只行为健康指标的权重wbehavior；

37、通过猪只健康评分模型计算猪只的健康评分的表达具体为：

38、h＝wweight·sweight+wtemp·stemp+wskin·sskin+wbehavior·sbehavior

39、式中，sweight为猪只体重健康指标的评分，stemp为猪只体温健康指标的评分，sskin为猪只体表健康指标的评分，sbehavior为猪只行为健康指标的评分。

40、本发明的有益效果为：

41、(1)本发明提供了一种基于轨道式巡检机器人的猪只健康评估方法，通过设计搭载多种采集设备的轨道式巡检机器人采集猪只视频图像及猪舍环境数据，并通过构建深度学习模型提取猪只的生理及行为特征，基于上述特征构建猪只的健康指标，进而实现猪只的健康评分，以此实现一种自动化的猪只健康评估。

42、(2)本发明采用搭载了多种数据采集设备的轨道式巡检机器人，对整个猪舍进行数据采集及巡查。相比传统的固定式摄像头采集策略，轨道式巡检机器人具备更高的灵活性，能够覆盖更广的区域，并且可以根据需要调整巡查路线及时间，从而确保数据采集的全面性和准确性。此外，移动设备的使用使得系统部署和维护成本更为可控。

43、(3)精准体重监测与健康评估：本发明设计了一个结合rgb和深度图像的体重估测模型用于监测猪只每日体重变化，通过融合两种模态的数据实现了更精准的猪只体重估测。同时还设计了一个用于反映猪只生长状态和健康状况的健康评估指标，该指标结合算法估测得到的猪只体重与目标猪只的日龄及类型，为养殖人员提供科学的健康管理依据，有助于及时发现生长异常，优化饲养策略。

44、(4)精确体温测量与健康评估：本发明设计了一个结合rgb图像和红外图像的猪只体温检测模型，通过提高目标区域的定位精度和温度读取的准确性实现了对猪只耳根区域体温的精确测量。进一步结合体温信息和环境温湿度数据构建猪只体温健康指标，增强了健康评估的全面性和可靠性。

45、(5)自动化病变识别与健康评估：本发明通过目标检测与分类模型的结合，实现了对猪只体表病变的自动识别与严重程度分类。并设计了根据猪只体表病变类型与严重程度构建的猪只体表状况健康评估指标，能够帮助养殖者快速识别猪只的体表问题，有效提升了疾病防控的效率和准确性。

46、(6)行为识别与健康监测：本发明设计了一个结合时序猪只骨架信息和rgb视频流的猪只行为识别模型，通过骨架特征指导rgb特征学习提高的猪只行为识别的精度。通过行为识别模型统计猪只各类行为发生的时间和频次，结合猪只的日龄和类型构建猪只行为健康评估指标，使得健康监测更加全面，有助于及时发现行为异常，预防潜在的健康问题。

47、(7)健康指标权重计算：本发明利用随机森林模型计算各项健康指标的权重。随机森林模型通过分析各项健康指标对猪只健康状况的影响，确定不同健康指标的权重，使得猪只健康状况的评估结果更加科学和客观。该方法不仅提升了评估的精准性，还为健康管理提供了可靠的决策依据。

48、(8)多维度健康评估体系：本发明通过整合猪只体重、体温、体表状况及行为等多维度数据，构建了全面的健康评估体系。这种多维度数据融合的方法有效避免了单一指标评估的局限性，提高了健康状况评估的全面性和准确性。同时，也为疾病预防和管理提供了更加丰富的信息来源和决策依据

49、(9)多尺度健康监测与预警：基于轨道式巡检机器人，本发明可以实现从猪只个体、猪舍整体、单次巡查结果、全天巡查结果等多个时间空间尺度下进行健康状况评估。该系统方法能够全面评估养殖场内的健康状况，提供从个体到整体的多层次健康监测和预警。多角度的评估能够及时发现潜在健康问题，提升养殖场的管理水平和生产效率。