一种羊只行为识别方法、系统、设备及存储介质

本发明属于计算机视觉，具体涉及一种羊只行为识别方法、系统、设备及存储介质。

背景技术：

1、随着科学技术的快速进步，特别是在信息技术和自动化领域，畜牧业正经历着一场变革。大规模和智能化的养殖模式日益成为新的发展趋势。这种新兴的养殖模式整合了先进的传感器、监控设备和数据分析工具，旨在提高养殖效率和改善动物健康及福利管理。动物的行为模式是其健康状态的重要指标。定期的进食、活动和社交行为通常表明动物处于良好的健康状态；相反，异常的静止、食欲不振或攻击行为可能表明健康问题正在出现。羊的行为可以反映其生长和健康状况。

2、然而，当前羊行为识别的方法一般是通过对采集到的牧场图像进行处理分析，根据某一时刻的单只羊的动作、形态等特征来对羊的行为进行判断，识别结果较为盲目，同时对于存在遮挡情况下的羊只无法识别，识别的精准度有待提高。

技术实现思路

1、针对现有羊行为识别存在的识别结果较为盲目，精准度有待提高的问题，本发明提供了一种羊只行为识别方法。

2、为了实现上述目的，本发明提供如下技术方案：

3、在deepsort模型中引入vision permutator注意力机制和在线掩码策略，对改进后的deepsort模型进行训练得到羊只追踪模型vitsort；在yolov8模型中添加多尺度组卷积模块msgconv和lawds自适应下采样模块，对改进后的yolov8模型进行训练得到羊只行为识别模型yolov8-ms；

4、获取羊场环境中包含多只羊及羊的不同行为的实时视频数据；

5、从包含多只羊及羊的不同行为的实时视频数据中每秒提取多帧进行羊只检测，对每一帧中检测到的羊只生成相应的边界框，根据生成的边界框对羊只图像进行裁剪；

6、将裁剪后的图像输入羊只追踪模型vitsort中，通过vision permutator注意力机制提取裁剪后的图像中羊的外观特征，并为提取到的具有相同外观特征的每只羊分配一个唯一的标识符id，并根据标识id对羊个体进行持续追踪；

7、将追踪到的带有唯一标识符id的多个图像输入羊只行为识别模型yolov8-ms，多尺度组卷积模块msgconv采用多个不同大小的卷积核并行处理带有唯一标识符id的多个图像，获得羊只的多个空间细节特征；lawds自适应下采样模块根据羊只的多个空间细节特征生成图像序列集，根据图像序列集对单只羊的行为进行识别；其中，所述空间细节特征为羊只在不同时间、不同位置的形态特征；

8、记录同一只羊在不同时间、不同位置的形态特征出现的频率和持续时间，根据同一形态特征出现的频率和持续时间对羊只的行为进行分类。

9、优选地，通过yolov5模型从视频中数据中每秒提取多帧进行羊只检测，对每一帧中检测到的羊只生成相应的边界框。

10、优选地，在对改进后的deepsort模型和改进后的yolov8模型进行训练之前，还包括构建训练集，所述构建训练集具体包括：

11、获取羊场环境中包含多只羊及羊的不同行为的历史视频数据；所述历史视频数据为多只羊同时存在于同一镜头下的俯视视频数据；

12、对历史视频数据进行抽帧，获得视频图像数据；

13、对所述视频图像数据进行随机数据增强，所述随机数据增强包括对图像翻转、旋转、裁剪和变形；

14、利用labelme标注软件对增强后的图像数据中的不同羊行为进行人工分类，并对分类后的行为进行标注，标注后的图像数据构成训练集。

15、优选地，通过训练集对改进后的deepsort模型和改进后的yolov8模型进行训练，具体包括：

16、将训练集中的图像数据输入改进后的deepsort模型，对图像数据进行均匀分割得到多个图像块，用线性投影对多个图像块进行标记，将标记后的图像块输入一系列排列算子进行特征编码，使用全局平均池层和全连接层来捕捉编码后图像块中的羊只身体细节特征，根据羊只身体细节特征为每个羊只分配一个唯一的标识符id，输出为羊只分配id后的特征图；所述羊只身体细节特征包括羊角、尾巴和体型；掩码策略来解决羊只因为遮挡而导致的目标丢失或id匹配出错问题。

17、将分配id后的特征图输入改进后的yolov8模型，多尺度组卷积模块msgconv采用多个不同大小的卷积核并行处理特征图，从特征图中由粗到细捕获空间细节特征；然后使用1x1卷积整合空间细节特征，将输入特征图沿通道维度划分为g组，其中g是预定义的核大小集合{1,3,5,7}中的元素数量；每组特征图由相应的卷积核处理，实现多尺度特征的并行提取；lawds自适应下采样模块基于并行提取的特征、通过结合平均池化和1x1卷积来生成图像序列集，根据图像序列集对单只羊的行为进行识别。

18、优选地，所述羊的行为包括正常行为和异常行为，正常行为包括行走、站立、进食和舔舐，异常行为包括跛行、攻击和躺卧。

19、优选地，将云台相机布置在牧场通道的顶部，采用云台相机获取羊场环境中包含多只羊及羊的不同行为的历史视频数据和实时视频数据。

20、本发明还提供一种羊只行为识别系统，包括：

21、模型构建模块，用于在deepsort模型中引入vision permutator注意力机制和在线掩码策略，对改进后的deepsort模型进行训练得到羊只追踪模型vitsort；在yolov8模型中添加多尺度组卷积模块msgconv和lawds自适应下采样模块，对改进后的yolov8模型进行训练得到羊只行为识别模型yolov8-ms；

22、数据采集模块，用于获取羊场环境中包含多只羊及羊的不同行为的实时视频数据；

23、图像裁剪模块，用于从包含多只羊及羊的不同行为的实时视频数据中每秒提取多帧进行羊只检测，对每一帧中检测到的羊只生成相应的边界框，根据生成的边界框对羊只图像进行裁剪；

24、追踪模块，用于将裁剪后的图像输入羊只追踪模型vitsort中，通过visionpermutator注意力机制提取裁剪后的图像中羊的外观特征，并为提取到的具有相同外观特征的每只羊分配一个唯一的标识符id，并根据标识id对羊个体进行持续追踪；

25、识别模块，用于将追踪到的带有唯一标识符id的多个图像输入羊只行为识别模型yolov8-ms，多尺度组卷积模块msgconv采用多个不同大小的卷积核并行处理带有唯一标识符id的多个图像，获得羊只的多个空间细节特征；lawds自适应下采样模块根据羊只的多个空间细节特征生成图像序列集，根据图像序列集对单只羊的行为进行识别；其中，所述空间细节特征为羊只在不同时间、不同位置的形态特征；

26、行为分类模块，用于记录同一只羊在不同时间、不同位置的形态特征出现的频率和持续时间，根据同一形态特征出现的频率和持续时间对羊只的行为进行分类。

27、本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现所述羊只行为识别方法中任一项所述的步骤。

28、本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，其特征在于，该计算机程序被处理器加载时，能够执行所述羊只行为识别方法中任一项所述的步骤。

29、本发明提供的羊只行为识别方法具有以下有益效果：

30、本发明通过在deepsort模型中引入vision permutator注意力机制和在线掩码策略，构建羊只追踪模型vitsort，通过注意力机制能够在降低特征图分辨率的同时保留重要的信息，提高模型的表征能力；同时增加在线掩码策略解决羊只因为遮挡而导致的目标丢失或id匹配出错问题，增强了模型在复杂场景下的鲁棒性和准确性。采用羊只行为识别模型yolov8-ms进行行为识别，结合多尺度组卷积和自适应下采样模块，提升了模型的特征提取能力和表示能力；能够根据同一只羊在不同时间、不同位置的形态特征出现的频率和持续时间对羊只的行为进行分类，克服了单只羊处理存在的局限性，极大地提高了检测精度和行为识别的准确度。