鱼类行为检测方法、装置、电子设备和存储介质

本发明涉及鱼类行为检测，尤其涉及一种鱼类行为检测方法、装置、电子设备和存储介质。

背景技术：

1、在鱼类行为识别研究中，活鱼行为的自动识别在水产养殖中是一个具有挑战性的研究问题，因为它需要对鱼体进行检测和定位。然而，相关技术的研究主要侧重于提取常规低级特征，如颜色、纹理、轮廓、纹理和形状等；另外一方面，相关技术深度学习的研究大多采用单一任务模型，如鱼类目标检测、姿态估计和语义分割并且不同任务之间的结构存在明显的差异，缺乏统一的学习方式，不能满足水产养殖对鱼类行为分析的需求；最后相关技术的多视觉任务的模型(如lsnet、pointsetnet和centernet)通常使用学习能力较强的主干网络，如resnet-101+dcn，r2-101-dcn等，而在轻量主干(如rednet18、26)上表现不佳.不同的视觉任务在损失函数设计上并不完全适应，识别效果较差。

技术实现思路

1、本发明提供一种鱼类行为检测方法、装置、电子设备和存储介质，可以解决基于轻量级骨干网络的多任务鱼类识别方法中缺乏统一的模型结构和学习方式问题，提高鱼类行为识别的准确性。

2、本发明提供一种鱼类行为检测方法，包括：

3、获取多任务鱼类行为数据集；

4、构建多任务鱼类行为检测模型，所述多任务鱼类行为检测模型用于实现目标检测、姿态估计和语义分割三种任务；

5、基于所述多任务鱼类行为数据集中含有鱼类目标检测，姿态估计和语义分割的标注信息，对所述多任务鱼类行为检测模型进行训练；

6、使用训练完成的多任务鱼类行为检测模型对鱼类行为进行识别，得到鱼类目标检测、语义分割和姿态估计三种结果输出。

7、根据本发明提供的鱼类行为检测方法，所述构建多任务鱼类行为检测模型，包括：

8、在所述多任务鱼类行为数据集中提取目标检测、姿态估计和语义分割三种任务分别对应的多种尺度大小的目标特征信息；

9、将所述多种尺度大小的目标特征信息输入辅助热图学习模块，使所述目标特征信息的向量学习方向向高斯分布靠近；

10、将目标特征信息输入特征图金字塔网络fpn中进行多尺度融合，获得多种融合后的特征信息；

11、将所述多种融合后的特征信息输入cascade location-sensitive head网络中提取目标检测、姿态估计和语义分割三种任务分别对应的中心点和相应向量；

12、基于所述目标检测、姿态估计和语义分割三种任务分别对应的中心点和相应向量，使用cross rle loss进行学习回归，通过局部和全局的训练方法，引导多任务鱼类行为检测模型向高斯方向学习，完成多任务鱼类行为检测模型的构建。

13、根据本发明提供的鱼类行为检测方法，所述将所述多种尺度大小的目标特征信息输入辅助热图学习模块，使所述目标特征信息的向量学习方向向高斯分布靠近，包括：

14、将所述多种尺度大小的目标特征信息重组成固定大小的热图高斯图，利用heatmap-based方法对多任务学习主干网络进行中间过程监督，要求主干网络学习高斯概率分布，并将拉普拉斯分布作为模型学习的损失函数。

15、根据本发明提供的鱼类行为检测方法，所述获取多任务鱼类行为数据集，包括：

16、获取鱼类图片；

17、对所述鱼类图片进行对象信息标注，所述对象信息包括目标坐标位置、鱼类姿态特征关键点和鱼类特征掩码；

18、从标注后的图片中选择含有目标检测、姿态估计和语义分割的图片，按特定比例划分为训练集和测试集，作为所述多任务鱼类行为数据集。

19、根据本发明提供的鱼类行为检测方法，所述方法还包括：

20、将所述多任务鱼类行为数据集中图片的短边调整为第一预设值，将长边限制为第二预设值并进行图像翻转增强。

21、根据本发明提供的鱼类行为检测方法，所述获取鱼类图片，包括：

22、使用多任务鱼类行为识别设备获取鱼类视频；

23、将所述鱼类视频转换成鱼类图片；

24、其中，所述多任务鱼类行为识别设备包括：水下摄像设备、光源、光照度变送器、存储器、处理器；

25、所述水下摄像设备用于在所述处理器的控制下实时采集鱼类行为视频，并将鱼类行为视频抽取为视频流；

26、所述光源用于为所述防水摄像设备补光；

27、所述光照度变送器用于感应环境的光线强度并将光线强度信息传送给所述处理器；

28、所述处理器用于根据光线强度信息控制所述光源开关以及光照强度。

29、本发明还提供一种鱼类行为检测装置，包括：

30、获取模块，用于获取多任务鱼类行为数据集；

31、构建模块，用于构建多任务鱼类行为检测模型，所述多任务鱼类行为检测模型用于实现目标检测、姿态估计和语义分割三种任务；

32、训练模块，用于基于所述多任务鱼类行为数据集中含有鱼类目标检测，姿态估计和语义分割的标注信息，对所述多任务鱼类行为检测模型进行训练；

33、行为检测模块，用于使用训练完成的多任务鱼类行为检测模型对鱼类行为进行识别，得到鱼类目标检测、语义分割和姿态估计三种结果输出。

34、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼类行为检测方法。

35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述鱼类行为检测方法。

36、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述鱼类行为检测方法。

37、本发明提供的一种鱼类行为检测方法、装置、电子设备和存储介质，使用一种多任务鱼类行为检测模型，主要包含目标检测、姿态估计和语义分割三种任务，通过统一鱼类目标检测、姿态估计和语义分割多任务的学习，对鱼群行为进行检测识别，与单独训练模型相比，多任务学习能够利用各个任务之间的共性和差异，提高特定任务模型的学习效率和预测准确性，从而提升鱼类行为识别的准确性。

技术特征：

1.一种鱼类行为检测方法，其特征在于，包括：

2.根据权利要求1所述的鱼类行为检测方法，其特征在于，所述构建多任务鱼类行为检测模型，包括：

3.根据权利要求1所述的鱼类行为检测方法，其特征在于，所述将所述多种尺度大小的目标特征信息输入辅助热图学习模块，使所述目标特征信息的向量学习方向向高斯分布靠近，包括：

4.根据权利要求1所述的鱼类行为检测方法，其特征在于，所述获取多任务鱼类行为数据集，包括：

5.根据权利要求4所述的鱼类行为检测方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的鱼类行为检测方法，其特征在于，所述获取鱼类图片，包括：

7.一种鱼类行为检测装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述鱼类行为检测方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述鱼类行为检测方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述鱼类行为检测方法。

技术总结本发明提供一种鱼类行为检测方法、装置、电子设备和存储介质，该方法包括：获取多任务鱼类行为数据集；构建多任务鱼类行为检测模型，所述多任务鱼类行为检测模型用于实现目标检测、姿态估计和语义分割三种任务；基于所述多任务鱼类行为数据集中含有鱼类目标检测，姿态估计和语义分割的标注信息，对所述多任务鱼类行为检测模型进行训练；使用训练完成的多任务鱼类行为检测模型对鱼类行为进行识别，得到鱼类目标检测、语义分割和姿态估计三种结果输出，可以解决基于轻量级骨干网络的多任务鱼类识别方法中缺乏统一的模型结构和学习方式问题，提高鱼类行为识别的准确性。技术研发人员：周超,赵振锡,杨信廷,杨才伟,朱开捷,孙传恒受保护的技术使用者：北京市农林科学院信息技术研究中心技术研发日：技术公布日：2024/9/2