一种基于SL-TrellisNets网络的超视距传播损耗预测方法

一种基于sl-trellisnets网络的超视距传播损耗预测方法
技术领域
1.本发明属于海洋大气遥感领域，尤其涉及一种基于sl-trellisnets网络的超视距传播损耗预测方法。


背景技术：

2.海上蒸发波导超视距通信由于解决了在远距离、信号弱的情况下海上通信难的瓶颈而受到了广泛的关注。然而，受到近海海面复杂环境影响，传统气象数值模拟超视距传播损耗预报出现较大的误差，并且缺乏对超视距预报产生影响的环境知识解释分析。
3.国内外学者基于第五代中尺度模式（mm5）和天气研究与预报模式(wrf)，模拟电磁传播的耦合物理方程，生成超视距传播损耗预测。受全球背景物理场的数据限制，蒸发波导环境的超视距预报的时间分辨率和水平分辨率较低。此外，在中国沿海陆海交界处，由于湍流和复杂的海气传热过程，以及表征海面粗糙度及其影响较为复杂，海洋环境在较短的时间和空间尺度上存在差异。使得这样的分辨率不能准确反映超视距传播损耗时间序列的非线性关系。更值得关注的是，预测未来的数据至少要考虑过去几小时的超视距传播损耗，过量的超视距观测样本使得传统的gru和lstm固有的递归神经网络结构体系在训练过程中出现梯度消失和爆炸，严重影响了实际预测结果的有效性。


技术实现要素：

4.为解决以上问题，本发明提供了一种基于sl-trellisnets网络的超视距传播损耗预测方法。所述方法提出了短时和长时并行网络时间卷积(sl-trellisnets)网络，来提高超视距传播损耗预测的精度。此外，为了过滤掉原始数据的时间噪声，运用一维卷积自动编码器提取数据特征来滤除超视距时间序列中的噪声，并且通过短时和长时并行网络时间卷积网络模型的精准预测，实现海洋温度、风速、相对湿度、大气温度和气海温差这些环境知识对超视距传播损耗信号预测精度的贡献进行解释和分析。
5.本发明是通过如下技术方案来实现的：一种基于sl-trellisnets网络的超视距传播损耗预测方法，所述方法包括以下几个步骤：（1）一维卷积自动编码器特征提取建模提出的一维卷积自动编码器特征提取网络包括两个阶段：编码器和解码器网络；在编码器阶段，应用3个卷积层和3个池化层来将超视距传播损耗数据编码为低自由度降噪矩阵；在解码阶段中，3个解码卷积层和3个上采样层解码超视距传播损耗数据，基于adam优化器和反向误差传播算法获得良好的训练结果，从而显著提高一维卷积自动编码器的模型性能；（2）超视距传播损耗时间特征建模为了对超视距传播损耗的时间序列进行时间序列关联关系分析，运用皮尔逊相关系数和皮尔逊偏自相关系数来定量分析超视距传播损耗时间序列；对超视距传播损耗长时间观测的线性相关性通过皮尔逊自相关系数来判断；对临近短时分钟的时间序列预测引用皮尔逊偏自相关系数来剔除中间时间间隔的干扰，判断
短时超视距数据之间的关联性；（3）基本的时间卷积trellisnet网络模块建模trellisnet网络由一个跨时间和跨网络层组成的像网格一样的网络组成，一个基本的trellisnet的特征向量由上一层的隐藏输出和输入序列向量组成；首先将上一层的隐藏输出和输入序列向量进行前馈线性变换输出预激活向量，随后再通过激活函数对预激活的向量以及上一层的隐藏层输出进行非线性变换来输出特征向量，在所有网络层和时间序列中都应用了以上的转换过程，实现了跨时间层和跨网络层的时间卷积trellisnet网络模块的建模；（4）sl-trellisnet预测网络模块搭建sl-trellisnets预测模型包括四个部分：输入数据、模型参数设置、短时和长时并行双流trellsnets网络搭建及网络输出；输入数据来自经过一维卷积自动编码器进行特征提取的超视距传播损耗及环境参数，模型的超参包括adam优化器、权重损失、空洞卷积和权值归一化；根据步骤（2）将皮尔逊相关系数进行超视距传播损耗时间序列长短时间序列区间划分，搭建短时和长时并行双流trellisnets获得时间序列的非线性关系；基于对网络模型参数的训练，将传播损耗最精确的预测结果进行输出并对模型保存；（5）环境知识驱动超视距传播损耗预测解释采用定制化的sl-trellisnet模型来实现环境知识驱动的超视距传播损耗预测；将超视距传播损耗预测序列中分别抽取出一种环境因素，得出剩下的四种环境因素对超视距传播损耗预测的均方根误差，进而判断五种不同环境因素对超视距传播损耗预测准确率的贡献力。
6.进一步，在步骤（1）中的编码器阶段，滑动卷积核对输入序列实现卷积操作，池化层通过池化窗口输出池化后的最大值；上采样层通过零填充来实现对池化层的逆过程，反卷积核滑过特征以执行反卷积运算，反卷积层实现了数据解码；对于卷积层，第个一维卷积核，其输出是第个特征通道：个特征通道：作为激活函数，x代表输入，为第个卷积核，代表偏置；通过一维池化层降低了输入数据的维度；对于长度为l的第个通道的特征，池化后的输出定义为：池化窗口w大小为2，步幅s大小为2，代表输入，l代表输入序列的长度，n代表跨度区间，经过池化后每个通道特征的长度变为原始数据长度的四分之一。
7.进一步，在步骤（1）中的解码阶段：解码器网络由三个反卷积层和三个上采样层组成，与编码器网络的操作相反；由公式推导出反卷积层第个通道的输出如下：
其中代表反卷积核，代表偏置，代表反卷积核在输入特征x上滑动以进行反卷积操作；上采样层的输出是对上一层输入数据的放大，恢复池化后的数据维度；对于输入的第个特征，其输出为：其中是特征的长度，是池化过程中记录的最大值的位置；xi代表第个输入的特征。
8.该网络通过最小化重构误差来训练，误差函数表示为:其中，代表重构误差函数，为初始网络状态观测矩阵输入数据，为重构数据，和m代表了输入的时间序列的长度和维度。
9.进一步，所述步骤（4）中，短时和长时并行双流trellisnets：并行s-trellisnets网络和l-trellisnets网络获得时间序列的非线性关系；并行化的网络进行输出表示如下：其中和分别代表了l-trellisnet网络和s-trellisnet网络的网络层的数量。代表trellisnet网络在e层的整体操作，代表trellisnet网络在f层的整体操作；代表了sl-trellisnet网络的实际输出；代表两个网络输出的拼接操作。
10.本发明与现有技术相比的有益效果：气象梯度塔和光谱仪需要不断的采集环境参数数据和电磁信号。这些原始数据在传输、转换、存储和测量设备内受到时间噪声的影响。为滤除时间噪声，提出一维卷积自编码器提取接收信号和测量环境数据的噪声，基于1dcae的去噪模型，mae和rmse分别降低18.34%和25.62%。本专利在对环境和超视距传播损耗数据进行过滤的基础上，提出了一种新颖的环境知识驱动深度学习框架sl-trellisnets，实现超视距传播损失预测。具体来说，从时间序列预测的角度，提出将trellisnet网络框架来解决输入长区间的观测序列导致的梯度爆炸问题。提出了两个并行的 trellisnets 网络，以获取非均匀变化的超视距传播损失的长时和短时时间相关性。实验结果表明，与 1dcae-trellisnet 相比，考虑短时和长时特征的模型的 mae 和 rmse 分别降低了 1.0623dbm 和 1.6984dbm。此外，针对缺乏对影响超视距传播损耗预测精度的环境知识问题，本发明首次结合深度学习框架对超视距传播损失预测精度的影响进行了解释，得出的结论是大气温度对超视距传播损耗精度的贡献位居第一，达到78%，其次是海面温度的57%，海气温度的48%，相对湿度的42%，最后是36 %风
速，以上环境因素在海气耦合过程中起关键作用，对超视距传播的形成贡献较大。
附图说明
11.图1为一维卷积自动编码器进行特征提取降噪的工作流程图；图2为皮尔逊相关系数定量判断超视距传播损耗时间序列样本图；图3为皮尔逊相关系数定量判断超视距传播损耗长时和短时序列相关性分析图，a为偏自相关分析图，b为自相关分析图；图4为基本的时间卷积trellisnet网络示意图；图5为超视距传播损耗预测模型流程图；图6不同环境数据对超视距传播损耗预报准确率的影响的分析图；图7为天线高度为2米时1dcae-trellisnet模型与1dcae-sl-trellisnets模型mae值的对比图；图8为天线高度为6米时1dcae-trellisnet模型与1dcae-sl-trellisnets模型mae值的对比图；图9为天线高度为25米时1dcae-trellisnet模型与1dcae-sl-trellisnets模型mae值的对比图；图10为天线高度为2米时1dcae-trellisnet模型与1dcae-sl-trellisnets模型rmse值的对比图；图11为天线高度为6米时1dcae-trellisnet模型与1dcae-sl-trellisnets模型rmse值的对比图；图12为天线高度为25米时1dcae-trellisnet模型与1dcae-sl-trellisnets模型rmse值的对比图。
具体实施方式
12.下面结合附图详细介绍本发明，具体实施步骤如下：（1）一维卷积自动编码器特征提取建模。提出的一维卷积自动编码器网络特征提取网络（1dcae）结构如图 1所示。1dcae网络包括两个阶段：编码器和解码器网络。在编码器阶段，应用卷积层（conv1、conv2、conv3）和池化层（即 pooling1、pooling2、pooling3）将超视距传播损耗数据编码为低自由度降噪矩阵。在解码阶段中，解码卷积层（deconv1、deconv2、deconv3）和上采样层（upsample1、upsample2、upsample3）用于重构超视距传播损耗数据。基于adam优化器和反向误差传播算法来提高训练结果的准确性，从而提高1dcae模型降噪的性能。
13.编码器网络：编码器网络由三个一维卷积层和三个一维池化层组成。滑动卷积核对输入序列实现卷积操作，池化层通过池化窗口输出池化后的最大值。上采样层通过零填充来实现对池化层的逆过程，反卷积核滑过特征以执行反卷积运算，反卷积层实现了数据解码。
14.对于卷积层，第个一维卷积核，其输出是第个特征通道：
作为激活函数，为第个卷积核，代表偏置。通过一维池化层降低了输入数据的维度。对于长度为l的第个通道的特征，池化后的输出定义为：其中池化窗口大小为2，步幅大小为2，经过池化后每个通道特征的长度变为原始数据长度的四分之一。
15.解码器网络：解码器网络由三个反卷积层和三个上采样层组成，与编码器网络的操作相反。由公式可以推导出反卷积层第个通道的输出如下：其中代表反卷积核，代表反卷积核在输入特征x上滑动以进行反卷积操作。
16.上采样层的输出是对上一层输入数据的放大，恢复池化后的数据维度。对于输入的第
ꢀꢀ
个特征，其输出为：其中是特征的长度，是池化过程中记录的最大值的位置。
17.该网络可以通过最小化重构误差来训练，误差函数可表示为:其中，为初始网络状态观测矩阵输入数据，为重构数据，和代表了输入的时间序列的长度和维度。
18.（2）超视距传播损耗时间特征建模。为了对时间序列进行初步关联关系分析，运用皮尔逊相关系数和皮尔逊偏自相关系数来定量分析时间序列。对定距的超视距传播损耗长时间观测的线性相关性通过皮尔逊自相关系数来衡量。对临近短时分钟的时间序列预测引用皮尔逊偏自相关系数来剔除中间时间间隔的干扰，判断短时超视距数据之间的关联性。若皮尔逊偏自相关系数=0，说明x与y之间的传播损耗无线性相关关系，当皮尔逊偏自相关系数＞0表明两个变量是正相关，即一个变量的值越大，另一个变量的值也会越大；皮尔逊偏自相关系数＜0表明两个变量是负相关，即一个变量的值越大另一个变量的值反而会越小。皮尔逊偏自相关系数的绝对值越大，则两变量相关性越强。因此，通过皮尔逊偏自相关系数的判断构建超视距短时区间的判断。与此同时，为了对超视距传播损耗的长时间序列进行时间序列关联关系分析，采用皮尔逊自相关系数对历史数据对现在传播损耗产生的影
响进行分析，在对超视距传播损耗时间序列分析中，对于时间序列{x
t
，x∈t}，任取t，s∈t，定义γ(t,s)为序列{x
t
}的自协方差函数：γ(t,s)=e(x
t-μ
t
)(x
s-μs)，定义ρ(t,s)为时间序列{x
t
}的自相关系数，简记为acf：ρ(t,s)= γ(t,s)/sqrt(dx
t
×
dxs)，其中，e表示数学期望，d表示方差。当皮尔逊自相关系数r的绝对值在0.8以上，认为a和b之间的区间具有有强的相关性。当r的绝对值在0.3到0.8之间，可以认为有弱的相关性。0.3以下，认为没有相关性。
19.如图2、图3所示，对于偏自相关系数大于0的时间区间（8min短时区间）输入到short-trellisnet网络，对于长区间时间序列的关联性采用自相关系数等于0.5（ 60min的长时间序列）观测数据输入到long-trellisnet网络，拼接双流网络实现单流输出，在超视距传播损耗时间序列预测中，获得了非均匀变化的超视距传播损耗短期和长期特征。
20.（3）基本时间卷积trellisnet网络模块建模。trellisnet网络由一个跨时间和跨网络层组成，一个基本的trellisnet的特征向量在时间步长为，层的运算由以下三个步骤组成：第一步：网络的输入由过去的第层的隐藏输出和输入序列向量和组成，在第0层，初始化。
21.第二步：预激活的输出来自于前馈线性变换过程:来自于前馈线性变换过程:代表预激活的输出，和分别代表第和第个单元的输入序列。||代表级联操作，w
1 and w2代表卷积核的权重。
22.第三步：输出通过激活函数对预激活的输出以及上一层的隐藏层输出进行非线性变换，我们在所有网络层和时间序列中都应用以上转换过程，并且应用了相同的核权重矩阵。
23.因此，对给定输入的超视距传播损耗时间序列, trellisnet在每n层的计算可以总结为:其中
∗
表示应用零填充卷积将前一层的输出仅与过去间隔的数据进行卷积的一维因果卷积操作，而w表示在所有层共享的核权重矩阵参数。我们在1维卷积操作过程中增加了一个扩张因子来增加我们的trellisnet网络的接受域。
24.通过e层的卷积运算，我们定义第e层的最终输出作为trellisnet网络的输出。定
义为：其中，代表trellisnet网络在e层的整体操作，表示激活输出的特征向量。
25.（4）sl-trellisnet预测网络模块搭建。为了捕获超视距传播损耗输出的非线性时间序列关系，本实施例提出了sl-trellisnets网络。如图5所示，本专利提出的预测模型结构主要划分为四个部分：输入数据、模型参数设置、短时和长时并行双流trellsnets网络及网络输出。
26.输入数据：输入数据来自于经过一维卷积自动编码器进行特征提取的2013年9月14日到10月14日在中国渤海实测的超视距传播损耗、海面温度、风速、大气温度、相对湿度、气海温差环境参数。
27.模型参数设置：在整个网络的评估过程中模型的参数设置扮演着重要的角色。在sl-trellisnets网络模型中主要的参数如下：优化器：adam优化器继承了adagrad自适应学习率梯度下降算法和动量梯度下降算法的优点，容易执行并且具有较高的运算效率，因此很适用于解决超视距传播损耗参数的相关性问题。
28.权重损失：通过调节隐藏层到隐藏层之间的权重能够优化序列模型并且提高模型训练的有效性，将这样的方法应用于trellisnet网络。
29.空洞卷积:空洞卷积网络能够帮助模型增加感受野并且提高模型的收敛速度,并且空洞卷积也可以用于trellisnet网络提高模型训练效率。
30.权重归一化：权重归一化能够直接发现权重矩阵的尺寸和大小。在trellisnet卷积核中引用权重归一化能够识别有效的正则化过滤器来提高模型收敛的速度。
31.短时和长时并行双流trellisnets：划分短时时间区间为8分钟，长时区间为60分钟，并行s-trellisnets（8分钟）网络和l-trellisnets（60分钟）网络去获得时间序列的非线性关系。并行化的网络进行输出表示如下：其中f和e分别代表了l-trellisnet网络和s-trellisnet网络的网络层的数量。代表了sl-trellisnet网络的实际输出。代表两个网络输出的拼接操作。
32.网络输出：通过对模型参数的训练能够得到超视距传播损耗准确的预测结果。如图5所示，如对测试数据集模型取得了最好的预测结果，我们将传播损耗的预测结果进行输出并对训练的模型进行保存。如果结果相反，返回模型参数层来调整网络参数来优化网络预测结果。
33.（5）环境知识驱动超视距传播损耗预测解释。我们将超视距传播损耗预测序列中分别抽取出一种环境因素，得出剩下的四种环境因素对超视距传播损耗预测的均方根误差，并代入到以下公式中：
其中，表示不同环境因素对预测值均方根误差的影响百分比，表示四种不同环境因素对预测值的均方根误差的影响。均表示受五种环境因素影响的预测的均方根误差。
34.如图6所示，对比了在2013年9月到10月之间的中国渤海不同环境数据对超视距传播损耗预报一个小时准确率的影响，五种环境因素对超视距传播损耗的准确率的影响都有所差异，这也充分的说明了环境变化的复杂性。其中贡献力排在第一位的是大气温度对超视距传播损耗准确率的影响到达了78%，其次分别为57%的海面温度、48%的海气温差及42%的相对湿度和36%的风速。不同的环境知识因素对预测精度的贡献力也表明了提高重要环境因素的分辨率对超视距传播损耗预测的必要性。
35.实施例21、变体模型长时预测模型评估对于超视距传播损耗的8分钟短时预报，r-lstm, transformer, trellisnet三种变体模型预报的准确率比较理想，但是在实际的海洋环境中，研究团体更关心长时间预报的准确率。如表1所示，对比了以上模型在过去1小时、2小时及3小时三种不同长时间区间三种数据集上模型的表现能力。首先，我们明显观察到，相比于其他两种模型trellisnet模型预测性能较好。其次，我们可以得出结论，所有模型在mae和rmse评价指标上的性能随着观测时间区间长度的增强而误差变大。这是因为超视距传播损耗的长时间的不确定性的因素积累。除此之外，整体预测的mae和rmse的结果并不是很理想，这反映了原始数据中仍然存在大量时间噪声和超视距传播损耗的时间序列中存在大量的不规则变化的时间区间，也证明了有必要提出一个有效的模型来预测超视距传播损耗。
36.。
37.2、不同模型的有效性验证为了进一步验证本发明所提出的深度学习变体结构的有效性，在天线高度为2米
的数据集上以8分钟为短时间间隔预测来验证几个变体模型的有效性。本实施例对比了几种基本模型的变体，模型收敛速度都有所提升。trellisnet的收敛速度比其他变体模型更快，在第10个迭代次数左右实现收敛，随后是transformer在第30次左右收敛，r
ꢀ‑
lstm在第40次左右收敛，dilated gru在第70次收敛，最后是indrnn，在第100次左右收敛。可以很容易地观察到，trellisnet网络实现了更快的训练和收敛速度。此外，如表2所示，进一步实现在天线高度为2米的数据集上的预测的性能。indrnn作为rnn的变体，其本质还是递归神经网络的变体，虽然预测的准确率有所升高，但仍无法实现并行化的运算，即便是增加空洞卷积的gru模型，在超视距观察序列增长的情况下，出现了梯度消失，无法保证模型预测的准确率。r-lstm网络作为lstm网络的变体，结合了辅助损失机制，相比于其他两种模型，预测的准确率要更高。transformer引入自注意力机制，相比于r-lstm，超视距传播损耗预测的mae和rmse误差分别降低了32.50%和29.72%。采用的具有权值共享和输入注入的trellisnet网络，并通过并行化的时序卷积网络避免超视距传播损耗预测出现梯度爆炸，试验结果表明，相比于transformer模型，超视距传播损耗预测的mae和rmse误差进一步降低了65.66%和66.94%。
38.超视距传播损耗时间序列存在不规律变化的特征，为了解决非均匀变化，提出了sl-trellisnets网络去解决超视距传播损耗时间序列非线性关系。为了验证这种模型结构的必要性。将1dcae-sl-tellisnets模型与已经在长时间预测序列预测过程中取得良好效果但是没有考虑超视距时间序列的关联关系的1dcae-tellisnet模型进行对比。图7-图12展示了在三种天线高度的数据集下对不同时间区间的超视距传播损耗的预测，考虑了长短时间特征的1dcae-sl-tellisnets网络预测的准确率远远超过了1dcae-tellisnet模型。这样的结果充分说明了短时和长时并行网络对解决超视距传播损耗不均匀变化预测的必要性，并且验证了sl-tellisnets模型的有效性。