一种基于Deeplabv3+和FAIvar的鱼类摄食行为识别方法

本发明属于图像识别，具体涉及一种deeplabv3+和faivar(鱼类摄食行为识别模块)的鱼类摄食行为识别方法。

背景技术：

1、随着科技的爆发，国外发达国家的渔业生产模式逐渐从传统养殖方式走向智能化及信息化。而我国仍处于从传统养殖转向智能化养殖的重要阶段，养殖方式仍大部分依赖于人工。目前计算机视觉发展迅速，已经在水产养殖中发挥重大作用，比如鱼类检测、鱼类识别、体长测量、鱼群计数、摄食行为识别等。其中对于实现对鱼类的摄食行为识别的研究对于智能化养殖的发展具有十分重要的意义。

2、传统的鱼类摄食行为识别方法主要依赖于手动提取特征的机器学习方法来实现对鱼类的摄食行为识别。如周超等人在near-infrared imaging to quantify th efeeding behavior of fish in aquaculture中使用了图像增强等方法得到鱼类的二进制图像，并且通过delaunary三角形计算得出鱼类摄食行为的成群指数，但这种方法在鱼类被遮挡的时候难以应用。目前这些方法往往受实时性差、背景干扰、水花等因素影响较大，难以有效地实现实时的鱼类摄食行为识别，因而也无法直接为智能投饵机提供准确的投饵策略。鱼类摄食行为识别方法的改进能够减少养殖户在饲养过程中因饵料不足或过量投放而造成的浪费及环境污染等问题。因此，提高鱼类摄食行为识别的方法对实现鱼类的智能化养殖至关重要。

技术实现思路

1、本发明目的是设计一种鱼类摄食行为识别模型，通过深度学习模型将鱼类目标分割出来，然后结合时间序列分析鱼类状态，进一步实现了对鱼类摄食行为的精准识别，从而解决现有技术中鱼类摄食行为识别过程中当鱼类目标重叠、背景复杂时导致的模型准确率低和实时性差等问题。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，包括如下步骤：

4、s1：采集鱼类摄食行为视频，将其抽帧组成鱼类语义分割数据集并进行预处理。

5、s2：将预处理后的鱼类语义分割数据集输入语义分割模块中进行训练，以训练出鱼类语义分割模型。

6、s3：将鱼类语义分割模型输出的鱼类语义分割结果输入鱼类摄食行为识别模块中，鱼类摄食行为识别模块首先对每一个鱼类语义分割结果进行分割，得到四个子图。

7、s4：分别计算步骤s3中得到的四个子图中每一个子图中的所有鱼类像素点占该子图所有像素点的百分比fisharearatioi和所有分割区域中连接面积最大的像素点的总数占该子图所有像素点的百分比areamaxratioi，然后将fisharearati oi与areamaxratioi相加得到每个子图的摄食行为指数faii；其中i为子图，i取1～4。

8、s5：分别将四个子图中求得的faii值与预先设定的帧数之前对应区域的faii值相减，得到每个子图的faidiffi；其中，预先设定的帧数由鱼进食时的剧烈程度决定。

9、s6：对四个子图的faidiffi值求方差，若方差大于设定的阈值则判断其为摄食状态。

10、优选的，所述步骤s1中，对鱼类语义分割数据集的预处理为：采用labelme工具对采集到的鱼类图像进行手动标注，标注方式为creat polygons，标签为fis h，标注文件格式为json，最后将标注完毕的数据集转为voc数据集格式。

11、优选的，所述步骤s2中，采用deeplabv3+网络结构作为鱼类语义分割模型。该模型结合了空洞卷积、多尺度特征融合和解码器等，能够高效准确地将图像分割成具有语义信息的区域；具体过程为：

12、s2.1：对输入的鱼类图像进行预处理，包括去噪和尺寸标准化等步骤，以确保输入符合模型的要求；

13、s2.2：将处理好的图片输入进deeplabv3+语义分割模型中进行训练，得到鱼类语义分割模型权重；

14、s2.3：使用已经训练好的鱼类语义分割模型权重，对鱼类图片进行分割，得到鱼类图片分割结果。

15、优选的，所述步骤s3中，对鱼类语义分割结果进行分割的方法为：将输出的鱼类语义分割结果按照宽、高各二分之一的距离分割开，即每一个鱼类语义分割结果得到四个子图。

16、本发明的有益效果：(1)利用了deeplabv3+语义分割算法，将图像中的鱼类目标进行精确的分割，为后续的摄食行为分析提供了准确的基础数据；(2)将图像按照横竖等分为四个区域，然后对每个子图像中的鱼类面积百分比和鱼类最大面积百分比进行计算，这种细分图像区域的方法可以更加全面地捕捉鱼类摄食行为的空间分布特征，使分析更加精细化；(3)通过对设定帧数之前的摄食行为指数做差并计算方差，通过方差的大小实现对鱼类摄食行为的实时监测和判断。本发明中基于图像分析的实时判断方法，可以有效地应用于鱼类摄食行为的实时监测和控制，具有较高的应用价值。

技术特征：

1.一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，所述步骤s4中，fisharearatioi表示子图中所有鱼类像素点占该子图中所有像素点的百分比，公式如下：

3.根据权利要求1或2所述的一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，所述步骤s2中，采用deeplabv3+网络结构作为鱼类语义分割模型，具体过程为：

4.根据权利要求1或2所述的一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，所述步骤s3中，对鱼类语义分割结果进行分割的方法为：将输出的鱼类语义分割结果按照宽、高各二分之一的距离分割开，即每一个鱼类语义分割结果得到四个子图。

5.根据权利要求3所述的一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，所述步骤s3中，对鱼类语义分割结果进行分割的方法为：将输出的鱼类语义分割结果按照宽、高各二分之一的距离分割开，即每一个鱼类语义分割结果得到四个子图。

6.根据权利要求1、2或5所述的一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，所述步骤s1中，对鱼类语义分割数据集的预处理为：采用labelme工具对采集到的鱼类图像进行手动标注，标注方式为creat polygon s，标签为fish，标注文件格式为json，最后将标注完毕的数据集转为voc数据集格式。

7.根据权利要求6所述的一种基于deeplabv3+和faivar的鱼类摄食行为识别方法，其特征在于，所述步骤s6中，设定的阈值为100。

技术总结本发明公开了一种基于Deeplabv3+和FAIvar的鱼类摄食行为识别方法，属于图像识别技术领域。本发明采用Deeplabv3+网络对水域中的鱼类进行高精度的图像分割，形成准确的鱼类分割图像。利用FAIvar鱼类摄食行为识别模块将鱼类分割的结果等分为四个区域；然后对每个子图像中的鱼类面积百分比和鱼类最大面积百分比进行计算，更加全面地捕捉鱼类摄食行为的空间分布特征；将每个区域的鱼类摄食指数与设定帧数之前的鱼类摄食指数做差并计算方差，通过方差的大小实现对鱼类摄食行为的实时监测和判断。本发明中基于图像分析的实时判断方法，可以有效地应用于鱼类摄食行为的实时监测和控制，为智能投饵机提供可靠的投饵策略。技术研发人员：吴俊峰,孔瀚,赵海燕,曲博宇,郑涛,刘梁,于红受保护的技术使用者：大连海洋大学技术研发日：技术公布日：2024/7/29