小目标检测方法、装置及终端设备

本发明涉及一种图像识别，具体涉及一种小目标检测方法、装置及终端设备。

背景技术：

1、目标检测是图像处理领域的一个重要任务，旨在图像或视频中准确地定位和识别出各种不同类别的目标物体。目标检测主要包括目标定位和目标分类，如何实现精准的目标检测是图像处理领域的研究热点。小目标是像素点小于32×32或图像所占尺寸小于整个图像尺寸的0.1倍的物体。与大型物体相比，小目标在图像中占据的像素较少，其特征不够明显，同时容易受到遮挡和噪声的影响，涉及到复杂的环境和动态的背景，因此小目标的有效识别对于整体系统的性能至关重要。

2、虽然传统的目标检测算法对小目标检测有一定的效果，但由于小目标的尺寸相对较小，特征不明显，容易受到背景干扰，存在目标背景复杂和目标相互遮挡等问题，其在小目标检测方面表现的仍然不尽理想。

技术实现思路

1、有鉴于此，本发明实施例提供了一种小目标检测方法、装置及终端设备，能够提高对小目标的检测精确度。

2、为达到上述目的，本发明采用如下技术方案：

3、第一方面，本发明实施例提供了一种小目标检测方法，包括：

4、获取训练图像数据，对所述训练图像数据进行标注，将标注后的训练图像数据转换为预设格式；

5、构建改进的yolov8模型，该改进的yolov8模型包括主干特征提取网络、特征强化提取网络和检测头网络，所述检测头网络包含四个检测头，在所述检测头网络和所述特征强化提取网络中增加小目标检测层，在所述主干特征提取网络的第一个c2f模块中加入gam注意力机制，形成c2fg模块，该c2fg模块与小目标检测层连接；将主干特征提取网络中的后两个c2f模块中的bottleneck模块中的第一个conv模块调整为dsconv模块，形成c2fd模块；检测头网络的每个检测头使用conv与dyhead连接的结构替换yolov8原始的detect检测头；

6、将预设格式的训练图像数据划分为训练数据集、验证数据集和测试数据集；

7、采用所述训练数据集和所述验证数据集数据对改进的yolov8模型进行训练，采用所述测试数据集数据对改进的yolov8模型进行评估；

8、将待检测图像数据输入到训练完成后的yolov8模型中，得到小目标的类别和位置。

9、基于第一方面，在一些实施例中，所述gam注意力机制的结构包括通道注意力模块和空间注意力模块；输入至所述gam注意力机制的数据为特征f1，所述gam注意力机制输出的数据为特征f3；通道注意力模块用于保留输入的特征的三维信息，空间注意力模块用于对输入的特征进行空间信息融合；

10、特征f1分为两路，一路经过通道注意力模块进行处理保留特征f1的三维信息，另一路是未经过通道注意力模块处理的特征f1，两路再通过乘法器处理得到特征f2；特征f2分为两路，一路经过空间注意力模块进行处理，另一路是未经过空间注意力模块处理的特征f2，两路再通过乘法器处理得到特征f3。

11、基于第一方面，在一些实施例中，所述通道注意力模块包括依次连接的三维组合单元、多层感知器、逆组合单元和第一sigmoid激活函数，所述三维组合单元用于保留特征f1的三维信息；所述多层感知器用于计算每个通道的权重，根据每个通道的权重对所述三维组合单元输出的特征f1的不同通道信息进行加权；所述逆组合单元用于将所述多层感知器输出特征f1的通道数调整至特征f1进入所述通道注意力模块之前的通道数；所述第一sigmoid激活函数用于对所述逆组合单元输出的特征f1进行sigmoid函数处理；

12、所述空间注意力模块包括依次连接的第一7×7卷积层、第二7×7卷积层和第二sigmoid激活函数，所述第一7×7卷积层用于减少特征f2的通道数并进行特征提取，所述第二7×7卷积层用于将特征f2的通道数还原至输入所述空间注意力模块时的通道数并进行特征提取，所述第二sigmoid激活函数用于对所述第二7×7卷积层输出的特征f2进行sigmoid函数处理。

13、基于第一方面，在一些实施例中，所述c2fg模块位于所述主干特征提取网络中的第二个卷积模块与第三个卷积模块之间，所述小目标检测层包括第一upsample模块、第一concat模块、第二c2f模块、第六conv模块、第二concat模块、第三c2f模块和所述检测头网络中的第一个检测头，第一upsample模块、第一concat模块、第二c2f模块、第六conv模块、第二concat模块和第三c2f模块依次连接，第三c2f模块的输出端与检测头网络中的第二个检测头连接。

14、基于第一方面，在一些实施例中，dsconv模块使用大小为9×9的卷积核k；

15、在x轴方向上，卷积核k中每个网格的位置为ki±c，其中c＝0,1,2,3,4表示距离中心网格的水平距离；每个网格的位置ki±c的选择是一个迭代过程，从中心位置ki开始，每个后续位置距离中心网格的位置取决于前一个网格的位置，ki+1与ki相比增加了偏移量δ＝{δ|δ∈[-1,1]}，

16、，

17、δy为y轴方向上的偏移量δ；

18、在y轴方向上，卷积核k中每个网格的位置为kj±c，其中c＝0,1,2,3,4表示距离中心网格的垂直距离；每个网格的位置kj±c的选择是一个迭代过程，从中心位置kj开始，每个后续位置距离中心网格的位置取决于前一个网格的位置，kj+1与kj相比增加了偏移量δ＝{δ|δ∈[-1,1]}，

19、，

20、δx为x轴方向上的偏移量δ。

21、基于第一方面，在一些实施例中，由于偏移量δ通常为分数，但坐标通常为整数形式，因此使用双线性差值来计算dsconv的坐标值，双线性差值计算公式为：k＝∑k’b(k,k’)×k’，k表示ki±c公式和kj±c公式中的分数位置，b为双线性插值核，k’枚举了所有积分空间位置，b(k,k’)＝b(kx,k’x)×b(ky,k’y)，b为单线性差值核，kx表示ki±c公式中的x轴分数位置，k’x表示ki±c公式中的积分空间位置，ky表示kj±c公式中的y轴分数位置，k’y表示kj±c公式中的积分空间位置。

22、基于第一方面，在一些实施例中，所述检测头网络的每个检测头包括依次连接的conv模块和dyhead模块，conv模块的输入端与所述特征强化提取网络连接，conv模块的输出端与dyhead模块连接；

23、dyhead模块包括依次连接的尺度感知模块、空间感知模块和任务感知模块，所述尺度感知模块用于对不同尺度特征的重要性进行动态调整；所述空间感知模块用于通过可变形卷积获取偏移量和偏移量权重，再根据偏移量和偏移量权重在同一空间位置跨层聚集特征；所述任务感知模块用于通过动态的调整激活函数，使模型根据不同输入特征自适应的调整参数。

24、基于第一方面，在一些实施例中，所述尺度感知模块包括第一平均池化模块、1×1的卷积模块、第一relu函数、hard sigmoid激活函数和dot product模块；第一平均池化模块、1×1的conv模块、第一relu函数和hard sigmoid激活函数依次连接，输入到所述尺度感知模块的第一特征通过第一平均池化模块、1×1的卷积模块、第一relu函数、hard sigmoid激活函数依次处理后得到第二特征，再通过dot product模块将第一特征与第二特征进行点乘运算得到第三特征；

25、所述空间感知模块包括index模块、3×3的卷积模块、sigmoid激活函数和polymerize模块，index模块、3×3的卷积模块和sigmoid激活函数依次连接，输入到所述空间感知模块的第三特征通过index模块、3×3的卷积模块和sigmoid激活函数依次处理后得到第四特征，再通过polymerize模块对第三特征和第四特征进行跨层聚集，得到第五特征；

26、所述任务感知模块包括第二平均池化模块、第一全连接层、第二relu函数、第二全连接层、归一化模块、求和模块和max模块，第二平均池化模块、第一全连接层、第二relu函数、第二全连接层、归一化模块和求和模块依次连接，输入到所述任务感知模块的第五特征通过第二平均池化模块、第一全连接层、第二relu函数、第二全连接层、归一化模块和求和模块依次处理后得到第六特征，再通过max模块选取第五特征和第六特征中的最大值进行输出。

27、第二方面，本发明实施例提供了一种小目标检测装置，包括：

28、数据获取模块，用于获取训练图像数据，对所述训练图像数据进行标注，将标注后的训练图像数据转换为预设格式；

29、模型构建模块，用于构建改进的yolov8模型，该改进的yolov8模型包括主干特征提取网络、特征强化提取网络和检测头网络，所述检测头网络包含四个检测头，在所述检测头网络和所述特征强化提取网络中增加小目标检测层；在所述主干特征提取网络的第一个c2f模块中加入gam注意力机制，形成c2fg模块，该c2fg模块与小目标检测层连接；将主干特征提取网络中的后两个c2f模块中的bottleneck模块中的第一个conv模块调整为dsconv模块，形成c2fd模块；检测头网络的每个检测头使用conv与dyhead连接的结构替换yolov8原始的detect检测头；

30、数据划分模块，用于将预设格式的训练图像数据划分为训练数据集、验证数据集和测试数据集；

31、模型训练模块，采用所述训练数据集和所述验证数据集数据对改进的yolov8模型进行训练，采用所述测试数据集数据对改进的yolov8模型进行评估；

32、目标检测模块，用于将待检测图像数据输入到训练完成后的yolov8模型中，得到小目标的类别和位置。

33、第三方面，本发明实施例提供了一种终端设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的小目标检测方法。

34、本发明实施例与现有技术相比存在的有益效果包括：

35、本发明实施例中，对训练图像数据进行标注并转化为预设格式后，将预设格式的训练图像数据对所构建的改进的yolov8模型进行训练，训练完成后将待检测图像数据输入到训练完成后的yolov8模型中，即可以得到小目标的类别和位置。该改进的yolov8模型在检测头网络和特征强化提取网络中增加小目标检测层，小目标检测层能够从网络中较浅的层次输出预测，从而提取到微小目标的更多细节特征；在主干特征提取网络的第一个c2f模块中加入gam注意力机制，形成c2fg模块，该c2fg模块能够减少信息丢失，更好的保留输入信息，同时提高模型对小目标的检测能力；将主干特征提取网络中的后两个c2f模块中的bottleneck模块中的第一个conv模块调整为dsconv模块，形成c2fd模块，能够增强模型对复杂目标的检测能力；检测头网络的每个检测头使用conv与dyhead连接的结构替换yolov8原始的detect检测头，可以融合来自不同特征层的信息，使得检测网络可以同时考虑多个尺度的特征，从而提高检测的准确性和鲁棒性。