一种海洋哺乳动物叫声数据增强方法

本发明涉及仿生隐蔽水声通信，具体为一种基于自编码器和wgan-gp的海洋哺乳动物叫声数据增强方法。

背景技术：

1、本发明基于深度学习网络开展隐蔽通信研究，由于深度学习模型训练需要大量的数据集做支撑，但海洋哺乳动物叫声采集难度大、成本高，公开的数据集有限，因此设计合适的数据增强方法是一个重要挑战。

2、在水声通信中，海洋哺乳动物叫声是一种特殊而复杂的数据。传统的数据增强方法如平移、旋转和缩放等没有考虑到海洋哺乳动物叫声的特殊性质，平移操作可能改变声音信号的时间和频率结构，导致声音的时序关系被破坏。旋转操作可能改变声音的方向性特征，影响声纳定位和识别的准确性。缩放操作可能导致声音频率的畸变，使得声音无法被正常解码和理解。因此，传统方法可能会导致数据丢失关键特征；且传统数据增强方法无法学习到数据的潜在分布，无法生成多样性数据来增加训练集的丰富性，这将导致该技术无法根据不同海域、不同季节动物的栖息情况自适应调整。

3、综上所述，目前基于传统平移、旋转、缩放等的数据增强方法存在数据失真、无法生成多样性数据等问题。因此，设计一种保持数据真实性、增加数据多样性和提高仿生隐蔽水声通信技术可行性的海洋哺乳动物数据增强方法成为亟待解决的关键问题。

技术实现思路

1、本发明提供了一种海洋哺乳动物叫声数据增强方法，该方法通过生成器和鉴别器之间的博弈学习来提升模型性能，实现数据增强，增强后的海洋哺乳动物叫声逼真且具有多样性，为后续开展基于深度学习的仿生隐蔽水声通信研究提供了有力支持。为实现上述发明目的，本发明采用下述技术方案予以实现：

2、本发明提供一种海洋哺乳动物叫声数据增强方法，所述方法依次包括以下步骤：

3、s1：使用自编码器对海洋哺乳动物叫声数据进行特征提取与降噪重构；

4、s2：将经过自编码器重构后的海洋哺乳动物叫声数据划分为训练集和测试集；

5、s3：搭建生成对抗网络模型，所述生成对抗网络模型包括生成器和鉴别器，所述生成器基于gru网络设计，所述鉴别器基于轻量化cnn网络设计，所述生成器将噪声数据转化为生成叫声数据并输入鉴别器，同时将步骤2训练集真实叫声数据输入鉴别器，从而对生成对抗网络模型进行训练；

6、s4：将步骤2测试集输入步骤3训练好的生成对抗网络模型进行验证，最后调用最优的生成对抗网络模型进行数据增强。

7、优选的，步骤s1所述使用自编码器对海洋哺乳动物叫声数据进行特征提取和降噪重构的方法为：所述自编码器将输入的海洋哺乳动物叫声数据x变换到隐藏变量z，编码过程用公式(1)表示为：

8、z ＝ f (w1 x+b1) (1)

9、然后通过解码器重构出海洋哺乳动物叫声数据解码过程用公式(2)表示为：

10、

11、其中，f()为激活函数，x为输入的海洋哺乳动物叫声数据；z为隐藏变量；为重构后的海洋哺乳动物叫声数据；w1、w2为权重矩阵，b1、b2为偏置向量，所述自编码器将输入海洋哺乳动物叫声数据x变换到隐藏变量z，并通过解码器重建出使解码器的输出与原始输入尽可能相似，给定一组数据x(n)∈r(h),1≤n≤n，n是数据样本数量，r(h)表示h维的特征空间，其重构误差为：最小化重构误差后得有效学习网络参数θ＝{w1,w2,b1,b2}。

12、优选的，为了解决所述生成器和鉴别器之间训练不稳定问题，所述生成对抗网络模型采用wasserstein距离衡量真实叫声数据和生成叫声数据两个分布间的相似程度，wasserstein距离定义为：

13、w(preal,pgen)＝sup||f||≤1ex～preal[fw(x)]-ex～pgen[fw(x)](3)

14、式中，e表示期望，preal表示真实叫声样本，pgen表示生成叫声样本，sup表示上确界，即最小上界，||f||≤1表示函数是1-lipschitz函数，将f定义为一个参数化模型后：

15、k×w(preal, pgen) ＝ w: ||f||l≤ksup ex～preal [fw(x)] - ex～pgen [fw(x)] (4)

16、式中，k为lipschitz常数，用于限制鉴别器函数斜率，确保wasserstein距离的计算有效，w表示真实叫声样本preal与生成叫声样本pgen间的距离，fw(x)表示鉴别器。

17、优选的，为了使所述生成对抗网络模型更好的学习音频数据的分布特征，提高训练稳定性，在生成对抗网络的基础上增加梯度惩罚项，表达式如下：

18、

19、其中，d表示鉴别器，λ表示梯度惩罚的权重系数，x′表示真实叫声数据和生成叫声数据之间的插值，即x′＝α*x_real+(1-α)*x_fake，α表示真实叫声数据和生成叫声数据之间均匀采样的随机数，x_real表示真实叫声数据，x_fake表示生成叫声数据，在训练过程中，惩罚项分别从真实叫声样本和生成叫声样本分布中进行采样，生成对抗网络采用双边惩罚机制，使所有样本的梯度范数都向1靠拢。

20、优选的，所述生成器由一层嵌入层、一层全连接层以及五层一维反卷积层组成。

21、优选的，为了评估生成器生成的叫声数据与真实海洋哺乳动物叫声之间的差异，采用均方误差和对抗损失作为生成器组合损失函数，将真实叫声a和生成叫声b的采样点进行逐一比较，计算它们之间差值的平方，突出差异的重要性；将所有差值的平方求和，并除以采样点数量n，得到均方误差mse，其公式为：

22、

23、其中，ai表示真实叫声a的第i个采样点，bi表示生成叫声的第i个采样点，mse的数值越小，表示生成叫声数据与真实叫声数据之间的差异越小，越接近真实叫声；采用mse和基于wasserstein距离来度量生成叫声分布与真实叫声分布之间差异的对抗损失函数，设计组合损失函数作为生成器损失函数lgen，表示为：

24、

25、lgen＝λ1ladv+λ2lmse  (8)

26、其中，ladv为对抗损失函数，lmse为均方误差损失函数，通过最小化wasserstein距离逼近真实分布，λ1、λ2为权重参数，r表示生成叫声样本总数，r表示生成叫声样本序号，d'(·)表示输入鉴别器的叫声样本被判断为真实样本的概率,表示生成叫声样本中第r个样本。

27、优选的，所述鉴别器由五层一维卷积层、一层全连接层组成。

28、优选的，所述鉴别器的卷积层使用深度可分离卷积，所述深度可分离卷积由深度卷积和逐点卷积两部分组成，深度卷积独立地对输入的每个通道进行卷积计算，逐点卷积将深度卷积的结果加权融合。

29、优选的，所述鉴别器的中间层加入批归一化层可以减少中间层输入的分布偏移，使得鉴别器在训练过程中更加稳定，所述中间层指的是鉴别器的五个一维卷积层和一个全连接层，其公式为：

30、

31、

32、

33、

34、式中，μ表示批处理数据均值，nbat表示批量值，xn表示张量中的数据，σ2为批处理数据方差，表示归一化后数据，x表示原始数据，ε为常量，yn为批归一化后数据，γ为比例参数，β为位移参数。

35、优选的，中间层批归一化后使用激活函数，公式为：

36、

37、其中，`x：表示批归一化后的中间层参数，在负值邻域增加常数系数变体ω，使其在负值输入领域不被完全忽略。

38、本发明的有益效果为：

39、本发明首先使用自编码器对海洋哺乳动物叫声和其他海洋环境噪声进行特征提取和降噪重构，提升了数据集质量；然后基于深度学习方法进行数据增强，解决了传统基于平移、旋转、缩放等数据增强方法无法学习到数据的潜在分布，无法生成多样性数据等问题，为后续开展基于深度学习的仿生隐蔽水声通信研究提供了有力支持。