一种R-DFasterR-CNN的哺乳母猪姿态识别方法

本发明涉及计算机视觉领域中的多模态目标检测与识别技术，特别涉及一种r-dfaster r-cnn的哺乳母猪姿态识别方法。

背景技术：

1、猪在养猪场中的行为表现是反映其福利和健康状态的关键指标，对养猪场的经济效益具有直接影响。在动物行为监测技术中，相较于传统的人工监测和传感器技术，利用计算机视觉进行自动识别展现出低成本、高效率以及非接触式的优势，能够持续提供宝贵的行为信息，为猪场管理提供有力支持。

2、近年来，使用计算机视觉对猪进行行为识别受到了广泛的研究。例如：2018年华南农业大学薛月菊等人公开号为cn108830144a的专利利用深度图像数据，引入残差结构和centerloss改进fasterr-cnn算法来自动识别自由栏中哺乳母猪的五种姿态。该团队2017年公开号为cn201710890676的专利利用深度图像，首先采用dpm算法检测母猪，在对检测框使用cnn网络识别母猪姿态，公开号为cn107527351a的专利则利用rgb图像和fcn算法自动分割场景中的母猪。该团队2019年公开号为cn109766856a的专利利用简易的双流fasterrcnn模型进行哺乳母猪姿态的识别。2018年华南农业大学肖德琴等人公开号为cn108717523a的专利公开了一种基于机器视觉的母猪发情行为检测方法，该方法首先进行爬跨行为判断，然后根据发情母猪的位移运动信息，公猪的接近程度和爬跨频次等信息训练神经网络模型实现行为检测。2016年中国农业大学劳凤丹等人公开号为cn104881636a的专利公开了一种识别猪躺卧行为的方法及装置，该方法获取猪的深度图像和二值图像，对二值图像进行椭圆拟合，并计算深度图像特定点到地面的高度，最后通过阈值比较识别猪的躺卧行为。2017年江苏大学朱伟兴等人公开号为cn108090426a的专利公开了一种基于机器视觉的群养猪身份识别方法，通过采集群养猪的俯视视频，频域中提取猪个体的多尺度和多方向的特征，空间域提取猪个体微小细节特征，对特征降维后训练分类器，实现识别判段，此外该团队公开号为cn107679463a的专利公开了一种采用机器视觉技术识别群养猪攻击行为的分析方法，公开号为cn107437069a的专利公开了基于轮廓的猪只饮水识别方法等等。

3、在计算机视觉领域，猪的行为识别研究多依赖于rgb图像或深度图像数据。然而，这种单一的数据源在实际应用中很难提供稳定和准确的特征表示，从而限制了识别精度的进一步提升。摄像机将三维场景转化为二维的rgb图像时，不可避免地会造成信息损失。尽管深度图像能在一定程度上弥补这一缺陷，但由于它缺乏rgb图像中的纹理、色彩等关键细节，当面对形状相似的目标物体时，识别难度会显著增加。特别是在母猪姿态识别的俯视拍摄任务中，rgb图像无法反映目标的高度信息，而这是区分不同姿态的重要因素。同时，母猪的某些姿态在高度和形状上非常接近(例如俯卧与腹卧)，仅仅依赖深度信息很难实现精确区分。因此，要提升猪的行为识别的准确性和鲁棒性，需要探索更加综合和高效的数据融合方法，以充分利用rgb图像和深度图像各自的优势。

4、因此，当前急需解决的技术难题在于，如何开发一种高精度的双流rgb-d fasterr-cnn方法，以实现对母猪姿态的有效识别。这种方法应能充分融合rgb图像和深度图像的信息，从而解决信息丢失和识别精度瓶颈的问题，为猪的行为识别研究提供新的突破。

技术实现思路

1、本发明的目的在于提供一种双流rgb-d faster r-cnn识别母猪姿态的方法，对自由栏中的母猪实现自动更高精度的姿态识别。为实现上述目的具体技术实现要素：如下：

2、本发明提出一种后端特征融合策略。具体而言，我们利用两个独立的卷积神经网络(cnn)分别提取rgb图像和深度图像的特征。随后，我们将这两种特征进行有效融合。最后，通过非线性组合(noc)结构对这些特征进行预测分析。基于这种策略，我们进一步将faster r-cnn算法进行扩展，设计了一种双流rgb-d faster r-cnn算法。这种算法能够充分利用rgb-d数据信息，实现对母猪姿态的高精度识别。包括如下步骤：

3、s1、采集哺乳母猪的rgb-d视频图像，包括rgb图像和深度图像，并建立母猪姿态识别rgb-d视频图像库；

4、s2、基于fasterr-cnn算法，使用两个cnn网络分别卷积rgb图像和深度图像，得到rgb图像特征图和深度图像特征图；

5、s3、对于rgb图像特征图和深度图像特征图分别使用rpn一个网络生成感兴趣区域rgb-roi和d-roi；

6、s4、对每一个d-roi和rgb-roi分别使用roipooling层池化为固定大小；

7、s5、对池化后的特征图分别使用noc结构的fastr-cnn进一步提取融合特征，在经过全局平均池化层之后交由分类器和回归器处理，对处理后的每一组数据使用拼接融合方法，融合两者特征。得到双流rgb-d faster r-cnn母猪姿态识别模型，并输出识别结果；

8、s6、从母猪姿态识别rgb-d视频图像库获取训练集和测试集，使用训练集训练双流rgb-d faster r-cnn母猪姿态识别模型，使用测试集测试模型性能，通过对参数的调整，最终筛选最佳性能模型。

9、所述步骤s1的具体过程如下：

10、s11、将rgb-d传感器固定俯视拍摄采集猪栏rgb-d视频图像；

11、s12、从获取的rgb-d视频图像数据中采样获取训练集和测试集，其中训练数据集占70％，测试集占30％以测试模型性能；

12、s13、在训练集和测试集中，对深度图像进行预处理，包括滤波去噪和图像增强，然后对预处理后的深度图像进行目标标注，即标注目标外包围框和姿态类别，rgb图像则无需处理。

13、所述步骤s2的具体过程如下：

14、在faster r-cnn的共享卷积层部分，使用两个相同的cnn网络分别以深度图像和rgb图像作为输入，以深度图像作为输入的cnn网络为conv-d，以rgb图像作为输入的cnn网络为conv-rgb。

15、所述步骤s3的具体过程如下：

16、在faster r-cnn算法的rpn阶段，使用一个rpn网络以conv-d输出的深度图像特征图作为输入生成深度图像的感兴趣区域d-roi；使用一个rpn网络以conv-rgb输出的深度图像特征图作为输入生成彩色图像的感兴趣区域rgb-roi；

17、所述步骤s4的具体过程如下：

18、对每一组d-roi与rgb-roi使用roi pooling层池化为固定大小。

19、所述步骤s5的具体过程如下：

20、s51.将固定大小的roi分别通过noc进一步提取特征；

21、s52.将深度图像和彩色图像的特征进行融合。

技术特征：

1.一种r-d faster r-cnn的哺乳母猪姿态识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种r-d faster r-cnn的哺乳母猪姿态识别方法，其特征在于，所述步骤s1的具体过程如下：

3.根据权利要求1所述的一种r-d faster r-cnn的哺乳母猪姿态识别方法，其特征在于，所述步骤s2的具体过程如下：

4.根据权利要求1所述的一种r-d faster r-cnn的哺乳母猪姿态识别方法，其特征在于，所述步骤s3的具体过程如下：

5.根据权利要求1所述的一种r-d faster r-cnn的哺乳母猪姿态识别方法，其特征在于，所述步骤s4的具体过程如下：

6.根据权利要求1所述的一种r-d faster r-cnn的哺乳母猪姿态识别方法，其特征在于，所述步骤s5的具体过程如下：

技术总结本发明公开了一种R‑D Faster R‑CNN的哺乳母猪姿态识别方法，用于识别自由栏母猪场景下的哺乳母猪站立、坐立、俯卧、腹卧4类姿态。首先是在RGB图像和深度图像配准后分别使用两个CNN网络进行卷积，再使用两个RPN网络对RGB图像和深度图像分别生成两者各自的感兴趣区域，通过池化后将其进行特征融合，再送入一个Fast R‑CNN的识别网络，最后输出结果。本发明提供了一种融合了RGB‑D数据信息的高精度的母猪姿态识别方法，为进一步分析母猪行为奠定了基础。技术研发人员：朱晓姝,卫磊受保护的技术使用者：桂林电子科技大学技术研发日：技术公布日：2024/9/26