基于交互特征的母猪发情状态自动检测系统

1.本发明涉及畜禽养殖、本发明涉及母猪管理技术、计算机技术、图像处理技术、边缘计算技术、自动控制技术领域，具体地讲是一种基于交互特征的母猪发情状态自动检测系统。


背景技术：

2.能繁母猪的存栏量直接关系到我国生猪养殖产业的发展，发情检测是能繁母猪繁殖工作的重要技术环节。提高发情检测的及时性和准确性，确保发情母猪能够适时配种，减少空怀母猪数量，提高经产母猪的利用率，是提升猪场生产效益的关键。目前，母猪发情检测主要采取人工试情法，通过刺激母猪肋部、腹部、外阴部，对母猪的“静立反应”状态进行人工判断，该方法费时费力，并且严重依赖于配种人员的查情经验，难以满足规模化养殖对母猪发情状态实时检测的需求。


技术实现要素：

3.本发明基于背景技术中存在的问题，采用仿生公猪进行试情，模拟公猪在嗅觉、视觉和触觉上对母猪产生的刺激作用，利用机器视觉技术识别发情母猪与仿生公猪的交互行为，可自动检测母猪的发情状态，提高经产母猪的利用率，提升猪场的生产管理效率。
4.技术方案：
5.一种基于交互特征的母猪发情状态自动检测系统，它包括：驱动模块、仿生公猪试情模块、数据采集与处理模块、无线数据传输模块、云服务器和数据展示模块，其中：
6.仿生公猪试情模块固定于驱动模块上方，驱动模块作为行进装置带动仿生公猪试情模块巡航；
7.数据采集与处理模块包括第一图像采集节点、第二图像采集节点、第一边缘节点、第二边缘节点，第一图像采集节点用于采集目标区域的图像数据；第二图像采集节点用于采集母猪与仿生公猪的交互数据；第一边缘节点与第一图像采集节点相连，用于检测视野内是否存在猪鼻目标；第二边缘节点与第二图像采集节点相连，用于识别母猪与仿生公猪的交互行为，并将识别结果通过无线数据传输模块存储于云服务器的数据库中；
8.数据展示模块用于展示检测结果。
9.优选的，所述驱动模块为履带式驱动模块。
10.优选的，所述仿生公猪试情模块装置于仿生公猪模型的内部，仿生公猪试情模块包括：
11.摇臂，用于改变电机产生扭矩的方向，一端与电机相连，另一端通过行程定位螺栓与连杆相连；
12.电机为直流减速电机，转速为20rpm，为仿生公猪试情模块运行提供动力，固定于底座；
13.轴承，用于固定往复推杆，与往复推杆采用过渡配合；
14.底座与电机的机座相连，起固定电机作用，电机轴穿过底座与摇臂相连，带动摇臂做圆周运动，摇臂与连杆相连，连杆与往复推杆相连，带动往复推杆做往复直线运动，往复推杆与头部固定支架相连，上述构件实现将电机轴的旋转运动转换为往复推杆的往复直线运动；
15.头部固定支架，用于将仿生公猪试情模块前端固定于仿生公猪模型头部区域；
16.往复推杆，往复推杆与头部固定支架相连接，确保仿生公猪模型的头部可以循环摆动；
17.连杆，用于连接往复推杆和摇臂；
18.行程定位螺栓，用于定级调节行程；
19.颈部固定支架，用于将仿生公猪试情模块后端固定于仿生公猪模型颈部区域。
20.优选的，仿生公猪试情模块还包括设置于仿生公猪模型头部区域的公猪诱情气味素喷洒模块和模拟公猪声播放模块。
21.优选的，第二边缘节点、第三边缘节点、无线数据传输模块均设置于支架的顶端，俯视采集图像数据并上传；第一边缘节点与第一图像采集节点设置于支架的中部，水平采集图像数据并处理。
22.优选的，数据采集与处理模块中，母猪交互行为识别基于母猪交互行为检测模型实现，母猪交互行为检测模型的构建步骤为：
23.s1-1、数据集制作；
24.s1-2、数据集扩充，采用mosaic数据增强方式将原始图片进行数据扩充；
25.s1-3、数据集标准化并标注，将标注好的数据随机分配至训练集，测试集和验证集中；
26.s1-4、模型轻量化，在yolo v5s基准网络的基础上，对模型进行结构化剪枝；
27.s1-5、非极大值抑制优化；
28.s1-6、模型训练；
29.s1-7、模型部署，将母猪交互行为识别模型部署至第二边缘节点上，当边缘节点检测到母猪与仿生公猪的交互图像后，通过无线信息传输模块将结果存储与数据库中。
30.优选的，s1-4模型轻量化的具体过程为：
31.在yolo v5s基准网络的bn层加入超参数γ和ρ，采用缩放与平移两种操作对通道数据进行归一化处理，以学习神经网络的特征分布，其计算方法如下所示：
[0032][0033]
式中，s
in
为bn层的输入，s
out
为bn层的输出，a为每次调整参数前所选取样本的 mini-batch，μa为样本数据的均值，σa为样本数据的标准差，p是为了避免除数为0时所使用的微小正数；
[0034]
在bn层的各通道加入尺寸因子，同时在损失函数中引入惩罚项，与网络权重联合训练得到稀疏网络的尺寸因子γ，其计算方法如下所示：
[0035][0036]
式中，第一项为网络预测的正常损失值计算，(x,y)为训练的输入与输出，w为网络
权重；第二项为l1正则化，用于降低模型的复杂度。
[0037]
优选的，s1-5非极大值抑制优化：采用距离交并比非极大值抑制diou-nms代替交并比非极大值抑制iou-nms，在预测框与真实框重叠区域的判定基础上，增加对目标框中心点欧式距离的计算；当仿生公猪与母猪目标框出现iou较大、中心距离也较大时，判定为两个目标，以提升模型的检测精度；其中，diou计算方法如下所示：
[0038][0039]
式中：iou为目标框交并比，d为目标框之间的中心距，c为目标框最小外接矩形的对角距离，diou_nms的处理逻辑为如下所示
[0040][0041]
式中，si为分类评价得分，ε为非极大值抑制阈值。
[0042]
优选的，系统包含供电模块，设置于驱动模块内部，负责向驱动模块、仿生公猪试情模块、数据采集与处理模块、无线数据传输模块供电。
[0043]
优选的，驱动模块巡查完毕后，当供电模块电压低于设定低压阈值时，自动前往充电桩充电；高于设定电压阈值时，前往指定区域执行消毒。
[0044]
本发明的有益效果
[0045]
(1)本系统采用母猪发情状态检测系统自动查情，能够实现发情母猪的快速检测，且无需人工和公猪参与，可减少因公猪参与诱情和人工参与查情引起的疫病传播风险。
[0046]
(2)系统能够自动分析母猪与仿生公猪的交互特征，较为准确地将发情母猪和乏情母猪识别出来。
[0047]
(3)通过现场测试，采用本系统，可显著提升母猪的发情率和受胎率，减少因刺激不足而导致母猪出现隐形发情的几率，提高母猪产仔率、仔猪窝均重及健仔数。
附图说明
[0048]
图1为本发明的系统框图
[0049]
图2为本发明的系统工作流程图
[0050]
图3为本发明的系统机械结构示意图
[0051]
图4为仿生公猪头转动机构设计图
[0052]
图5为母猪交互行为识别模型的模型通道剪枝流程图
[0053]
图6为实施例中三类母猪的交互频率折线图图7为本发明的结构框图
具体实施方式
[0054]
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
[0055]
本发明结合母猪实际养殖环境中的需求，发明了一种基于交互特征的母猪发情状态自动检测系统。利用建立的母猪交互行为检测模型，对空怀母猪与仿生公猪的交互行为实时识别，实现对限位栏内母猪发情状态自动检测的功能。系统由履带式驱动模块、仿生公猪试情模块、数据采集与处理模块、无线数据传输模块、云服务器、数据展示模块六部分组
成，系统工作示意图如图1和图7所示。履带式驱动模块搭载仿生公猪试情模块以0.1m/s的速度行进，到达单个母猪栏位中部并识别到猪鼻目标，同时释放诱情素、播放模拟公猪声、运行仿生公猪头部转动机构，数据采集与处理模块实时识别母猪与仿生公猪的交互行为，无线数据传输模块将当前猪只的编号信息、交互数据等上传至云服务器的数据库中，云服务器根据预先设定的阈值实时判别当前母猪的发情状态并存储，数据展示模块通过无线传输接受云服务器发送的发情信息，通过用户终端提醒管理员为发情母猪配种。
[0056]
通过实地考察养殖舍环境，选择履带式驱动模块作为仿生公猪试情模块的载体，在经产母猪断奶后1-7天采集仿生公猪试情的视频数据。系统每天于喂料后开始工作，到达限位栏中部后，安装在仿生公猪头部的第一图像采集节点实时采集当前限位栏区域图像数据并传输至第一边缘节点，当第一边缘节点检测到图像中存在猪鼻目标，系统启动诱情模块，同时安装在距离地面2.2m处的第二图像采集节点开始采集仿生公猪与母猪的交互图像数据并传输至第一边缘节点，第二边缘节点检测图像中的仿生公猪目标与当前母猪是否交互，并将三分钟内的交互时间与交互次数通过无线数据传输模块传输至云服务器的数据库中，云服务器的中间件管理平台根据发情判定模型，将猪只位置、交互频率、发情状态等信息下发至管理员手机app终端和web网页端，系统工作流程图如图2所示。
[0057]
系统研制步骤如下：
[0058]
第一步：研制仿生公猪试情模块，主要包括公猪诱情气味素喷洒模块、模拟公猪声播放模块、仿生公猪头转动机构，三个部分采用stm32f103芯片集中控制。
[0059]
第二步：仿生公猪试情模块由履带式驱动模块搭载，履带式驱动模块采用多线激光雷达导航，采用模糊偏好行为的控制算法实现配怀舍环境下的避障控制，采用蒙特卡洛算法与 a*实现行走模块的定位与路径规划。
[0060]
第三步：研制数据数据采集与处理模块，本模块主要包括：第一图像采集节点、第一边缘节点、第二图像采集节点、第二边缘节点。其中，第一图像采集节点与第一边缘节点相连，第二图像采集节点与第二边缘节点相连，边缘节点每隔1s从图像采集节点读入一次数据。
[0061]
第四步：制备数据集，主要包括图片获取、数据清洗、图片标注、mosaic数据增强、数据集格式化等过程。数据清洗阶段剔除质量较差的图片，同时删除相似度过高的图片，按 8:1:1将标注好的数据随机分配至训练集，测试集和验证集中。
[0062]
第五步：在yolo v5s基准网络的基础上，对模型先进行结构化剪枝，以充分降低模型的复杂度，保证在边缘节点上的检测速度，模型剪枝操作主要包括稀疏训练、通道剪枝、模型微调三个过程。然后对剪枝后进行非极大值抑制优化，以提升模型的检测精度。。
[0063]
第六步：对模型进行训练，并在模型训练前，统一各个网络模型的参数，选取最优的模型作为猪鼻目标识别模型和母猪与仿生公猪的交互行为识别模型。
[0064]
第七步：根据检测模型输出的各个时刻的交互状态，对经产母猪的交互频率进行分析。统计每头母猪发情期与非发情期交互时长，以错误率、灵敏度、特异性、准确率作为评价指标，确定发情的判定时间阈值，并将代码部署至中间件管理平台。
[0065]
第八步：选取包括乏情母猪、持续发情的母猪的图像数据，对其交互频率进行分析，确定异常发情的母猪的交互时间特征，并将代码部署至中间件管理平台。
[0066]
第九步：将交互行为识别模型部署至第二边缘节点上，并将模型检测结果传入云
服务器进行存储，中间件管理平台将对应空怀母猪的交互频率、发情状态信息下发至管理员手机 app端和web网页端。
[0067]
第十步：将猪鼻目标识别模型部署至第一边缘节点，模型识别到猪鼻目标后，发送信号至stm32f103单片机控制板，控制板控制诱情模块的启动，公猪诱情气味素喷洒模块工作 3秒后停止，模拟公猪声播放模块、仿生公猪头转动机构工作3分钟后停止。
[0068]
第十一步：供电模块位于履带式驱动模块内部，为24v直流电源，负责向履带式驱动模块、仿生公猪试情模块、数据采集与处理模块、无线数据传输模块供电。当供电模块电压低于设定低压阈值时，自动前往充电桩充电，高于设定电压阈值时，前往指定区域执行消毒任务，然后由1号位开始执行查情任务。
[0069]
各模块方案的具体设计包括：
[0070]
(1)仿生公猪试情模块的研制
[0071]
为实现限位栏场景下的空怀母猪的发情自动化检测，本发明设计了一个仿生公猪试情模块，可实现规模化猪场的自动诱情，无需人工和公猪参与，可减少因公猪参与诱情和人工参与查情引起的疫病传播风险，本发明总体结构示意图如图3所示。
[0072]
其中1为无线数据传输模块，与第二边缘节点相连，负责将边缘节点处理的数据结果传输至云服务器；2为第二边缘节点，用于识别母猪与仿生公猪的交互行为，并将识别结果存储于云服务器的数据库中；3为第二图像采集节点，距离地面高度为2.2m，用于采集母猪与仿生公猪的交互数据；4为支架，用于搭载无线信号收发模块、第一图像采集节点、第一边缘节点、第二图像采集节点、第二图像采集节点；5为第一边缘节点，与第一图像采集节点相连，用于检测视野内是否存在猪鼻目标，并发送信息至stm32f103单片机控制板；6为第一图像采集节点，用于采集目标区域的图像数据；7为仿生公猪头转动机构，用以模拟公猪查情时的行为，转动速度为20rpm；8为公猪诱情气味素喷洒模块，用于将信息素喷洒至猪鼻区域；9为模拟公猪声播放模块，内置公猪声音播放素材；10为履带式驱动模块，用于搭载上述各个模块。
[0073]
仿生公猪头转动机构位于仿生公猪模型内部，采用m6不锈钢内六角螺栓固定于仿生模型上，整个机构与公猪诱情气味素喷洒模块、模拟公猪声播放模块连接至stm32f103单片机控制板，仿生公猪头转动机构设计图如图4所示：
[0074]
摇臂11，用于改变电机12产生扭矩的方向，一端与电机12相连，另一端通过行程定位螺栓18与连杆17相连；
[0075]
电机12为直流减速电机，转速为20rpm，为仿生公猪试情模块运行提供动力，固定于底座14；
[0076]
轴承13，用于固定往复推杆16，与往复推杆16采用过渡配合；
[0077]
底座14与电机12的机座相连，起固定电机作用，电机轴穿过底座14与摇臂11相连，带动摇臂11做圆周运动，摇臂11与连杆17相连，连杆17与往复推杆16相连，带动往复推杆16做往复直线运动，往复推杆16与头部固定支架15相连，上述构件实现将电机轴的旋转运动转换为往复推杆16的往复直线运动。
[0078]
头部固定支架15，用于将仿生公猪试情模块前端固定于仿生公猪模型7头部区域；
[0079]
往复推杆16，往复推杆16与头部固定支架15相连接，确保仿生公猪模型的头部可以循环摆动；
[0080]
连杆17，用于连接往复推杆16和摇臂11；
[0081]
行程定位螺栓18，用于定级调节行程；
[0082]
颈部固定支架19，用于将仿生公猪试情模块后端固定于仿生公猪模型7颈部区域。
[0083]
(2)母猪交互行为识别
[0084]
本设计对母猪与仿生公猪交互图像的处理包括：
[0085]
s1-1、数据集制作：第二边缘节点每隔1s抓取第二图像采集节点的rtsp格式的视频流数据，无线信号收发模块将数据传输至云服务器上，用户调用云服务器接口获取图像数据，剔除质量较差的图片，同时删除相似度过高的图片，使用开源软件labelimg软件对目标区域进行人工标注。
[0086]
s1-2、数据集扩充：根据母猪与仿生公猪交互行为在图像中出现位置的不确定性以及交互区域光照变化的特点。为减轻过拟合，扩大模型的应用场景，增强模型鲁棒性，采用 mosaic数据增强方式将原始图片进行数据扩充，本发明采用几何变形、随机剪接、光照与色彩调节等扩充方式，并随机添加边缘空白。
[0087]
s1-3、数据集格式化：以pascal voc标准格式对数据集进行格式化，将原图置于 images目录下，将相应的标签文件置于labels文件夹下，运行voc-yolov5.py脚本文件在文件夹main目录下生成包含图片名称的train.txt、test.txt文件，按8:1:1将标注好的数据随机分配至训练集，测试集和验证集中。
[0088]
s1-4、模型轻量化
[0089]
考虑到猪场实际生产条件的限制，为便于经产母猪发情行为识别所需的软硬件部署。本发明在yolo v5s基准网络的基础上，对模型进行结构化剪枝，以充分降低模型的复杂度，在保证模型识别精度的同时，提高模型的识别速度。模型剪枝过程如图5所示，主要包括稀疏训练、通道剪枝、模型微调三个过程。
[0090]
为了缩短卷积神经网络的训练时间，在较短的时间内得到最佳模型，本发明在yolov5s基准网络的bn层加入超参数γ和ρ，采用缩放与平移两种操作对通道数据进行归一化处理，以学习神经网络的特征分布，其计算方法如下所示。
[0091][0092]
式中，s
in
为bn层的输入，s
out
为bn层的输出，a为每次调整参数前所选取样本的mini-batch，μa为样本数据的均值，σa为样本数据的标准差，p是为了避免除数为0时所使用的微小正数。
[0093]
在bn层的各通道加入尺寸因子，同时在损失函数中引入惩罚项，与网络权重联合训练得到稀疏网络的尺寸因子γ，其计算方法如下所示。
[0094][0095]
式中，第一项为网络预测的正常损失值计算，(x,y)为训练的输入与输出，w为网络权重。第二项为l1正则化，用于降低模型的复杂度。当网络中的w接近0时，即得到稀疏网络，最后进行模型微调，目的是挖掘神经网络的潜在性能。
[0096]
s1-5、非极大值抑制优化：在仿生公猪试情场景下，当母猪接近仿生公猪时或母猪部分遮挡公猪时，由于iou值较大，经过非极大抑制处理后，只剩下单一检测框，在一定程度
为发情检测的准确率，tp是指样本为正样本，预测结果为正样本的数量，fp是指样本为负样本，预测结果为正样本的数量，fn是指样本为正样本，预测结果为负样本的数量，tn是指样本为负样本，预测结果为负样本的数量。
[0112]
(4)异常发情判定
[0113]
根据云服务端数据库中存储的母猪与仿生公猪的交互时间及交互次数数据，中间件管理平台自动绘制猪只七天内的交互频率图，结合当前季节、配怀舍温湿度、舍内空气质量等数据，将猪只划分为正常发情母猪、异常发情母猪，异常发情母猪包括乏情母猪与持续发情母猪，相较于正常发情的母猪，乏情母猪的交互频率持续处于较低水平，持续发情的母猪交互时长和频率会出现多个峰值，7日内总交互时长可达到正常发情母猪的3倍以上，图6为三类母猪的交互频率折线图。对于异常发情母猪，系统将建议管理员保证饲料的营养全面平衡、及时查看当前母猪膘情状况。
[0114]
基于以上方案实施，本系统获得效果如下：
[0115]
(1)仿生公猪试情
[0116]
仿生公猪试情模块按照指定路线在配怀舍完成自动诱情与查情，可根据图像采集设备判定目标区域是否有猪鼻目标，减少诱情素浪费。
[0117]
(2)交互行为识别
[0118]
边缘节点完成交互行为识别，并通过无线传输模型将交互行为识别结果上传至云服务器。
[0119]
(3)数据分析
[0120]
云服务器根据母猪发情判定阈值，判定当前母猪是否发情，将当前母猪编号同发情状态、交互时间、交互次数等存储至数据库，并将发情判定结果下发至用户终端，并根据交互特征，将乏情母猪与持续发情的母猪检测出来。
[0121]
(4)数据可视化
[0122]
管理员可根据系统下发的空怀母猪发情判定信息前往配种，根据异常发情信息对异常母猪进行及时处理。
[0123]
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。