一种高精度鱼类体态测量方法、设备及存储介质

本发明属于基于计算机视觉的鱼类体态测量，尤其涉及一种高精度鱼类体态测量方法、设备及存储介质。

背景技术：

1、鱼类的体长、体高不仅是评估鱼类种群健康和生态系统平衡、研究鱼类生长状况、环境适应性的关键，还是物种识别和分类、体重估算、品质选择与分级的重要指标。同时，研究表明，鱼体体重与体长性状存在显著相关，但每个物种由于其表型的独特性，体尺与体重模型存在很大差异。传统的鱼体长度估计方法主要为人工测量和声呐测量两种。人工测量是一种接触式的测量方式，具有以下局限性：1)这个过程通常耗时费力且含有较多的主观因素，结果的可靠性、一致性难以保证；2)鱼类对于外界环境的变化十分敏感，短时间离开水环境就可能产生应激反应，造成鱼体损伤甚至死亡。声呐测量是一种接触式的测量方式，使用成像声纳进行鱼类长度测量，误差较人工测量小，具有以下局限性：1)其分辨率和测量范围有限，难以分辨出所有类型和大小的鱼类。

2、随着人工智能技术的不断发展，在鱼类体态测量领域，计算机视觉技术得到了广泛应用，主要包括传统图像处理方法和基于机器学习的方法两类。

3、传统图像处理方法：例如利用最小外接矩形和霍夫变换等方法来提取鱼体轮廓。但是这些方法通常只能处理二维图像，无法准确捕捉到鱼体的三维信息。此外，图像质量受多种因素影响，如光照条件、水质和鱼体姿态，这些都可能影响测量精度。

4、基于机器学习的方法：基于深度学习技术，利用卷积神经网络(cnn)等深度学习模型来实现鱼类体态测量。这类方法通过大量数据的训练，能够自动提取图像中的特征，并进行高精度的体态测量。然而，现有的cnn架构在处理高分辨率的鱼类图像时，往往会出现特征提取不足和过拟合的问题。此外，鱼类图像质量受到采集时的环境条件如光强度和水质的影响，往往存在噪声，模型在训练过程中可能难以保留图像的细节，尤其是在去除噪声的同时保留图像的重要特征。

技术实现思路

1、针对上述问题，本发明第一方面提出了一种高精度鱼类体态测量模型构建方法，包括以下过程：

2、s1，制作鱼类图像数据集，包括鱼类图像的采集与标注；

3、s2，构建鱼类图像配对数据集，包括含有噪声的鱼类图像数据以及去噪增强后的鱼类图像数据；

4、s3，构建鱼类体态测量模型，模型包括鱼类图像增强模块、鱼类目标检测模块和鱼类体态测量模块；

5、所述鱼类图像增强模块基于生成对抗网络gan架构设计，包括生成器网络和判别器网络，用于对获取的鱼类图像进行图像增强；其中生成器网络引入辅助引导模块，用于提取目标域图像的多尺度特征细节来引导生成器网络的生成过程；

6、所述鱼类目标检测模块基于yolov8模型建立，用于获取每一尾鱼的位置信息，并输出矩形框标注后的检测图像；

7、所述鱼类体态测量模块，基于矩形框标注后的检测图像，用于计算输出图像中目标矩形框的实际尺寸，目标矩形框的实际宽度为鱼类的体长，实际高度为鱼类的体高；

8、s4，通过设计得到的鱼类图像增强模块训练损失函数和鱼类目标检测模块训练损失函数，并基于构建的配对图像数据集进行模型训练，获取最终鱼类体态测量模型。

9、优选的，所述s1中制作鱼类图像数据集的具体过程包括：

10、将捕获的目标鱼类麻醉后放置于平面，并旁置一块棋盘格标定板，用于将像素测量值转换为物理长度，进行水平拍摄获取图像；

11、用游标卡尺对每尾鱼进行体长、体高的性状测量和记录，使用labelimg软件对鱼类体长、体高进行人工标注，目标框宽从鱼类吻端开始至鱼类尾鳍基部，目标框高从背鳍起点处至腹面，分别表示鱼类的体长bl和体高bh。

12、优选的，所述鱼类图像增强模块中生成器网络和判别器网络的具体结构为：

13、生成器网络采用编码器堆叠结构和解码器堆叠结构，编码器堆叠结构由卷积层、relu激活函数和下采样池化层组成，对输入鱼类图像si进行逐步特征提取和下采样，编码器堆叠结构可以表示为：

14、hi＝fenc(si；wenc)

15、其中，hi为编码器堆叠结构的输出，同时也是输入图像si在潜在特征空间中的表示；fenc(·)表示编码器堆叠结构；wenc为编码器堆叠结构的可训练权重参数；

16、编码器堆叠结构包含3层卷积操作和下采样操作，第j层的计算过程为：

17、

18、其中，为第j层输出的特征图；为前一层的输出；conv(·)为卷积操作；wencj为第j层的卷积核权重；relu为线性激活函数；downpool(·)为下采样池化操作；

19、通过3层卷积和下采样，最终编码器堆叠结构输出是一个长度为256的向量hi，作为输入图像si的编码特征表示；

20、解码器堆叠结构用于将编码器堆叠结构输出的潜在特征向量hi重构回原始的输入数据；解码器堆叠结构为编码器堆叠结构的反向对称结构：

21、

22、其中，为解码器的输出，即重建后的图像；fdec(·)为解码器堆叠网络；wdec为解码器堆叠网络的可训练权重参数；

23、解码器堆叠网络包含3层上采样操作和反卷积操作，第j层的计算过程为：

24、

25、其中，为第j层的输出特征图；为前一层的输出；convt(·)为反卷积操作；up(·)为上采样池化操作；

26、通过3层上采样和反卷积操作，解码器堆叠结构将编码特征hi逐步重建为与原始输入si相同分辨率的图像

27、判别器网络用于在训练过程中判别生成器网络输出鱼类图像的质量高低；将待判别的鱼类图像gi切分为2*2的小区域块，之后分别将这4个区域块分别输入判别器网络中，最后将判别器的所有结果取平均作为综合判别结果，计算公式如下：

28、

29、其中，为第j个待判别图像的第τ区域块，d为判别器判别结果，dis(·)为判别器处理函数。

30、优选的，所述辅助引导模块包括多尺度池化层、通道卷积层、多尺度卷积层、通道注意力层、多头注意力层和adaln层；具体包括：

31、将配对图像数据集中的第i张目标域图像ti输入多尺度池化层，计算公式如下：

32、

33、其中，和分别表示池化核为k时经过平均值池化和最大值池化后的输出，k预设为{1，3，5}，通过使用边界填充来保证经过不同池化核处理后输出长度一致，最终得到多尺度池化层的输出

34、将多尺度池化层的输出输入通道卷积层，具体计算公式如下：

35、

36、其中表示通道卷积层的输出，其通道数与该层的输入维度一致；

37、将输入多尺度卷积层获得多尺度特征，具体计算公式如下：

38、

39、其中表示卷积核大小为k时的输出，δ表示sigmoid激活函数，最终得到多尺度卷积层的输出

40、将中的三个多尺度特征分别输入通道注意力层，捕捉不同尺度特征中的局部结构信息，增强对鱼类特征的关注，抑制不重要的环境特征，计算公式如下：

41、

42、其中，pi，k为对应的通道注意力权重，mlp(·)为多层感知机；将pi，k与进行乘积操作获得通道注意力特征

43、为了捕捉多尺度特征间的相互关系，将和输入多头注意力机制层获得权重，计算公式如下：

44、

45、其中，q，k，v分别为查询(query)序列、键(key)序列和值(value)序列，dm为注意力头的维度；第l个注意力头的计算结果表示为：

46、

47、其中，分别为查询、键、值的线性变换权重矩阵，连接h个注意力头得到多头注意力机制：

48、fi＝concat(head1，head2，...，headh)wo

49、其中，wo为多头注意力机制输出的线性变换权重矩阵；

50、利用adaln层标准化对fi进行信息特征标准化，并通过卷积层将其映射到与得到第j层的辅助引导特征

51、

52、其中，adaln(·)为层标准化函数，且辅助引导特征的维度与解码器层复原得到的特征具有相同维度；

53、将获取的辅助引导特征与解码器堆叠结构每一层的输入，以引导图像在细节上的增强效果。

54、优选的，所述鱼类目标检测模块基于yolov8模型建立，在yolov8的颈部网络中引入动态特征融合模块dff替换原有的特征拼接层，该模块能够根据输入鱼类特征图的不同区域和层级动态地调整特征融合的方式和权重，包含特征对齐层、自适应注意力层和自适应融合层；特征对齐层将需要融合的特征映射到同一空间后输入自适应注意力层，自适应注意力层计算每个特征的权重进而获得每个特征的加权特征，将每个特征的加权特征输入自适应融合层进行特征拼接；

55、在主干网络中引入自适应上下文增强模块ace，该模块旨在通过自适应地增强鱼类特征图的上下文信息来提升yolov8的检测性能；包含空洞卷积层和金字塔池化层；空洞卷积层能够在不增加参数数量和计算复杂度的前提下，有效地扩大卷积层的感受野，有效捕捉主干网络特征的全局上下文信息，金字塔池化层通过在特征图不同尺度的子区域上进行池化操作，能够提取主干网络特征中的多尺度特征。

56、优选的，所述鱼类体态测量模块，具体处理过程为：

57、计算鱼类目标检测模块输出图像的实际宽度；首先将图像转换为灰度图像；然后使用opencv计算图像中棋盘格标定板角点的位置和角点间的平均像素距离；最后基于棋盘格标定板角点的位置和角点间的平均像素距离计算图像的实际宽度；

58、计算输出图像中目标框的实际尺寸；利用上述获得的图像的实际宽度和图像宽高比计算以及目标框的坐标信息计算目标框的实际尺寸，目标框的实际宽度为鱼类的体长，实际高度为鱼类的体高。

59、优选的，所述鱼类图像增强模块训练损失函数，基于gan的基础损失函数进行改进，在基础损失函数上引入高频信息损失，具体如下：

60、

61、其中，和分别表示计算目标域和源域的期望，log(·)为对数函数，haar(·)为haar小波算子，||·||f为计算f范数算子，w1和w2为权重因子；

62、所述鱼类目标检测模块训练损失函数基于yolov8的基础损失函数进行改进，利用交并比iou损失替换均方差损失，iou损失直接衡量预测框与真实框之间的重叠程度，在置信度损失中引入iou信息获得增强置信度损失，具体如下：

63、

64、其中，intersection是预测框与真实框的重叠区域面积，union是预测框与真实框的并集区域面积，其中，pi是真实标签，目标存在与否；是模型预测的概率；ioui是第i个预测框与真实框的iou值；lcel为基础yolov8的交叉熵分类损失；γ1、γ2和γ3分别是交并比损失、交叉熵分类损失和增强置信度损失的权重系数，用于平衡不同损失项的重要性。

65、本发明第二方面提供了一种高精度鱼类体态测量方法，将第一方面所述的构建方法所构建的鱼类体态测量模型部署到后端服务器上，并包括以下过程：

66、s1，实时接收采集得到的鱼类图像；

67、s2，鱼类图像输入鱼类图像增强模块的生成器网络获得增强后的鱼类图像；

68、s3，增强后的鱼类图像输入鱼类图像检测模块获得鱼类图像中每一尾鱼的位置信息；

69、s4，将每一尾鱼的位置信息及鱼类图像输入鱼类体态测量模块获得图像中每一尾鱼的体高和体长。

70、本发明第三方面提供了一种高精度鱼类体态测量设备，所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如第一方面所述的构建方法所构建的鱼类体态测量模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，使处理器执行一种高精度鱼类体态测量方法。

71、本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如第一方面所述的构建方法所构建的鱼类体态测量模型的计算机执行程序，所述计算机执行程序被处理器执行时，使处理器执行一种高精度鱼类体态测量方法。

72、与现有技术相比，本发明具有如下有益效果：

73、(1)显著提升鱼类图像质量：本发明构建的鱼类图像增强模块在去除噪声和增强对比度上效果显著，增强后的鱼类图像更加清晰，细节更加丰富；

74、(2)提高鱼类目标检测的准确性：本发明构建的鱼类图像增强模块以知名目标检测模型yovov8为基础，在yolov8的颈部网络和主干网络中分别引入动态特征融合模块(dff)和自适应上下文增强模块(ace)，显著提升了模型的预测精度且没有过多增加模型的复杂度；

75、(3)增强模型的鲁棒性与细节保留能力：本发明针对鱼类图像增强模块设计的损失函数，优化了模型在复杂噪声环境下的性能，并保留了鱼类图像的关键细节；本发明针对鱼类目标检测模块设计的损失函数加速了模型在训练时的收敛速度，模型鲁棒性更强；

76、(4)鱼类体态实时测量：通过部署训练好的鱼类图像增强模块、训练好的鱼类目标检测模块和鱼类体态测量模块到后台服务器，实现了对鱼类图像的增强、目标检测与体态测量，极大地提高了鱼类体态测量的效率和可靠性。