基于特征融合和联合神经网络的细粒度水声目标识别方法

本技术的实施例涉及水声目标识别，特别涉及一种基于特征融合和联合神经网络的细粒度水声目标识别方法。

背景技术：

1、船舶辐射噪声包含了船舶的特征信息，被动声纳系统可以根据船舶辐射噪声对水下目标进行远程探测、定位和跟踪。但由于水下环境的复杂性和目标的对抗性，水声目标识别始终是一项具有挑战性的任务。在水声目标识别任务中，传统方法提取手动设计的特征来训练分类器，尽管通过人工设计的特征可以比较好地描述水下目标的特征，例如波形特征、小波特征、频谱特征和听觉特征等，但设计这些特征需要大量的目标先验知识。深度学习作为一种类脑学习理论，已逐渐成为水声目标识别领域的新热点，研究者将深度学习引入水声目标识别，在深度学习特征提取、不同类型深度网络改进与应用等方面开展了持续性研究，并取得了一定的进展。

2、近年来，许多方法尝试建立端到端的深度神经网络，通过自动提取深度特征来识别水声目标，根据数据处理的方式，这些方法可以大致分为两类，即基于时频表示的水声目标识别方法和基于时域波形的水声目标识别方法。wang提出了一种名为amnet的新型网络，它由一个多分支主干网络和一个卷积注意网络组成，多分支主干网络能够从原始数据的时频图中获得船舶辐射噪声的内部特征，卷积注意力网络通过对时频图的全局信息进行加权来自适应地选择有效特征，以辅助多分支主干网络进行分类识别，对比实验表明，在噪声水下背景环境下，amnet能够有效检测并提高水声目标信号的识别率。doan提出了一个名为densenet的新模型，此模型被设计用于从原始音频信号中对水声目标进行分类，该模型由具有密集架构的深度卷积神经网络组成，经过训练可识别12类信号。

3、然而，这些水声目标识别方法仅能基于船舶辐射噪声区分出船舶类型，无法准确地识别船舶型号、船舶编号，识别精度不能满足实际需求。

技术实现思路

1、本技术的实施例的主要目的在于提出一种基于特征融合和联合神经网络的细粒度水声目标识别方法，能够实现细粒度的水声目标识别，对水声目标进行更精细的分类，具有较强的泛化性、稳定性和较高的识别效率。

2、为实现上述目的，本技术的实施例提供了一种基于特征融合和联合神经网络的细粒度水声目标识别方法，包括以下步骤：提取待识别水声信号的音频数据的mel谱特征（梅尔谱特征）、cqt特征（constant q transform，常数q变换特征）和gammatone谱特征（伽马通谱特征）；将所述mel谱特征、所述cqt特征和所述gammatone谱特征输入至预训练的多特征联合注意力神经网络中，获取所述多特征联合注意力神经网络输出的对所述待识别水声信号的细粒度水声目标识别结果；其中，所述多特征联合注意力神经网络由预处理层、局部特征判别层、全局特征表示层和分类器组成；所述预处理层用于分别对所述mel谱特征、所述cqt特征和所述gammatone谱特征进行降维；所述局部特征判别层用于分别从降维后的mel谱特征、降维后的cqt特征和降维后的gammatone谱特征中提取重要分类特征，对提取出的三个重要分类特征进行通道维度的合并，并基于注意力机制对合并后的特征进行自动筛选，得到初步局部特征；所述全局特征表示层采用vision transformer（vit，视觉转换器）为网络结构，由若干个transformer层（转换器层）组成，用于基于所述初步局部特征捕获全局特征；所述分类器用于基于所述全局特征表示层的最后两个transformer层的输出，预测出所述待识别水声信号的细粒度水声目标识别结果。

3、为实现上述目的，本技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于特征融合和联合神经网络的细粒度水声目标识别方法。

4、为实现上述目的，本技术的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于特征融合和联合神经网络的细粒度水声目标识别方法。

5、本技术的实施例提出的基于特征融合和联合神经网络的细粒度水声目标识别方法，针对传统的水声目标识别方法的精度不足的问题，构建、训练并使用多特征联合注意力神经网络来进行水声目标识别，通过多特征联合注意力神经网络的预处理层和局部特征判别层将mel谱特征、cqt特征和gammatone谱特征这三种声学特征融合起来，结合注意力机制，自动关注对分类决策最重要的特征，得到初步局部特征，再使用全局特征表示层获取整体特征的有效表示，全局特征表示层中的每一个transformer层都能捕获全局依赖关系，从而更好地理解复杂的声音模式，区别于传统的水声目标识别方法，多特征联合注意力神经网络的分类器依靠全局特征表示层的最后两个transformer层的输出来预测出待识别水声信号的细粒度水声目标识别结果，也就是可以利用不同抽象级别的信息，捕捉到更全面的特征，更好地理解数据中的细粒度差异，从而稳定地、高效地对水声目标进行更精细的识别，有效保障海上交通安全，防止海上交通事故的发生，同时对潜在的威胁提供及时的预警。

6、在一些可选的实施例中，所述预处理层由三个并行的卷积模块组成，三个并行的卷积模块分别为第一卷积模块、第二卷积模块和第三卷积模块，每个卷积模块均由一个7×7卷积层和一个3×3最大池化层组成；所述mel谱特征被输入至所述预处理层的第一卷积模块，经所述第一卷积模块的7×7卷积层和3×3最大池化层实现降维，得到降维后的mel谱特征；所述cqt特征被输入至所述预处理层的第二卷积模块，经所述第二卷积模块的7×7卷积层和3×3最大池化层实现降维，得到降维后的cqt特征；所述gammatone谱特征被输入至所述预处理层的第三卷积模块，经所述第三卷积模块的7×7卷积层和3×3最大池化层实现降维，得到降维后的gammatone谱特征。池化降维操作可以减小特征尺寸，保留重要的特征信息并丢弃一些不重要的细节，有效降低了多特征联合注意力神经网络的计算复杂度和内存消耗。

7、在一些可选的实施例中，所述局部特征判别层由三个并行的cnn模块（convolutional neural networks，卷积神经网络模块）、一个合并模块、一个注意力模块和一个1×1卷积层组成，三个并行的cnn模块分别为第一cnn模块、第二cnn模块和第三cnn模块，每个cnn模块均由两个3×3卷积层组成；所述第一cnn模块、所述第二cnn模块和所述第三cnn模块分别用于从所述降维后的mel谱特征、所述降维后的cqt特征和所述降维后的gammatone谱特征中提取重要分类特征；所述合并模块用于对提取出的三个重要分类特征进行通道维度的合并，得到合并后的特征；其中，所述重要分类特征的通道数为c，所述合并后的特征的通道数为3c；所述注意力模块用于对所述合并后的特征进行自动筛选，得到优化后的特征；其中，所述注意力模块由串联的通道注意力层和频率注意力层组成，所述通道注意力层用于在通道维度上进行学习，确定所述合并后的特征的每个通道的重要性，所述频率注意力层用于在频率维度上进行学习，确定所述合并后的特征的每个频段的重要性；所述1×1卷积层用于对所述优化后的特征进行通道维度的降维，将所述优化后的特征的通道数降为c，得到初步局部特征。局部特征判别层充分利用了cnn模块的优势，提取低级特征并对特征相邻的关系进行建模，再结合通道注意力机制和频率注意力机制帮助局部特征判别层更加精确地关注对分类决策最重要的特征，不仅可以关注通道层面上的重要性，还可以关注频率层面上的重要性，这种精细化的关注可以显著提高多特征联合注意力神经网络在处理细粒度分类问题时的准确率。

8、在一些可选的实施例中，每一个transformer层均包含多头自注意力层和多层感知机，所述基于所述初步局部特征捕获全局特征，通过以下公式实现：

9、

10、

11、

12、其中，表示第个transformer层的输入，表示层归一化操作，表示所述多头自注意力层，表示所述多层感知机，表示第个transformer层的输出，为transformer层的总数。

13、在一些可选的实施例中，所述分类器基于所述全局特征表示层的最后两个transformer层的输出，预测出所述待识别水声信号的细粒度水声目标识别结果，通过以下公式实现：

14、

15、其中，表示所述全局特征表示层的最后一个transformer层的输出，表示所述全局特征表示层的倒数第二个transformer层的输出，表示所述分类器，表示预测出的所述待识别水声信号的细粒度水声目标识别结果。

16、在一些可选的实施例中，所述预训练的多特征联合注意力神经网络，通过以下步骤训练得到：从预设数据集中选取标注有标签的样本数据，将选取到的样本数据按照预设比例划分得到训练集、验证集和测试集；其中，所述标签用于表征所述样本数据所属的目标，所述预设数据集中包含若干个场景，不同场景各自包含若干个目标，所述选取到的样本数据涵盖所述若干个场景和不同场景各自包含的若干个目标；提取所述训练集中的样本数据的mel谱特征、cqt特征和gammatone谱特征，并提取所述验证集中的样本数据的mel谱特征、cqt特征和gammatone谱特征；将所述训练集中的样本数据的mel谱特征、cqt特征和gammatone谱特征输入至初始网络中，利用预设的损失函数，对所述初始网络进行迭代训练至收敛，得到收敛网络；将所述验证集中的样本数据的mel谱特征、cqt特征和gammatone谱特征输入至所述收敛网络中，对所述收敛网络的细粒度水声目标识别能力进行验证，在验证通过的情况下，得到训练完成的多特征联合注意力神经网络。训练集、验证集和测试集中的样本数据涵盖若干个场景和不同场景各自包含的若干个目标，基于这样的训练集、验证集和测试集进行多特征联合注意力神经网络的训练，可以使得多特征联合注意力神经网络快速获得高精度的细粒度水声目标识别能力。

17、在一些可选的实施例中，所述损失函数通过以下公式表示：

18、

19、其中，表示标准交叉熵损失函数，表示所述训练集中的样本数据的标签，表示所述初始网络的全局特征表示层的最后一个transformer层的输出，表示所述初始网络的全局特征表示层的倒数第二个transformer层的输出。

20、在一些可选的实施例中，在对所述初始网络进行迭代训练时，使用adamw优化器，初始学习率设置为0.0001，权重衰减设置为，批处理大小设置为32，迭代次数设置为200次。