基于时变特征构图的燃气轮机上多种测点时序预测方法

1.本发明属于神经网络模型设计及应用，特别涉及一种时变特征构图的时空卷积网络模型的应用。


背景技术：

2.多元时间序列预测问题一直是统计学和深度学习研究的热点。不确定性分为模型不确定性和数据不确定性。传统的arima(auto-regressiveintegratedmovingaveragemodel)模型可以处理非平稳序列，主要思想是先对非平稳序列进行差分，使之变为平稳序列，然后再用arma模型来拟合差分后的序列，主要应用于单变量、同方差场合的线性模型。arima 都要求时间序列具有单变量、同方差，且序列遵循线性回归，但是这些前提假设在很多情况并不成立，实际生活中，存在更多的反而是关系异方差、多变量、非线性的时间序列。至此，传统的统计学时间序列预测的方法就显得捉襟见肘。图卷积神经网络通过邻接矩阵来表示节点之间的两两关系，并且通过图卷积得以将节点自身的信息向邻居节点进行传播。这部分构图方法虽然摆脱了传统构图方法的局限性，但是仍然没有考虑到在复杂系统中，节点之间的关联关系并且静态存在的，在不同时刻以及不同状态下，节点之间的关联关系强弱、交互行为模式都会发生巨大的变化。为了进一步提升时间序列的预测效果，有必要提出革新的算法将数据中隐含的时变信息加入到关系网络构建当中，以得到具有良好全局性和泛化效果的模型。


技术实现要素：

3.本发明针对上述现有技术中不足的问题，本发明提出一种基于时变特征构图的燃气轮机上多种测点时序预测方法，其中采用的预测模型是基于时变特征构图的时空卷积网络模型，将数据中隐含的时变信息加入到关系网络构建当中，实现了自适应的时变特征学习，得到的是具有良好全局性和泛化效果的模型，本发明解决了现有技术中存在的问题，进一步提升了时间序列的预测效果。
4.为了解决上述技术问题，本发明提出的一种基于时变特征构图的燃气轮机上多种测点时序预测方法，其特征在于，通过端到端方式提取输入样本的时变特征并构造关联关系网络，并使用时空卷积网络进行序列预测，所采用的预测模型是基于时变特征构图的时空卷积网络模型，该预测模型包括一个时变关联网络构造模块，一个时空卷积特征融合模块以及一个序列预测输出反馈模块；所述时变关联网络构造模块使用卷积操作和线性变化，用于提取样本中的时变特征信息并构造时变关联网络，用于在时变特征构图的时空卷积网络多元时间序列预测系统接收输入序列并构造用做后续时空卷积特征融合模块的输入；所述时空卷积特征融合模块使用时序卷积和图卷积操作，用于在时变特征构图的时空卷积网络多元时间序列预测系统每一次迭代中完成单一样本的时序特征和空间特征的提取，时间序列预测过程中接收原始样本的输入和时变关联网络构造模块的输出聚合样本的特征；所述序列预测输出反馈模块用于实现网络的迭代优化和预测序列的输出，接收来自
时空卷积特征融合模块的输出，并将序列预测输出反馈模块输出的预测序列与真实时间序列做对比，通过反向传播方式优化各级权值，并将反馈结果输出至整个建模过程的时空卷积特征融合模块和时变关联网络构造模块。
5.本发明所述的方法，包括以下步骤：
6.步骤1、数据预处理：按照相同间隔的时间，将燃气轮机多传感器的测量数据按照时间顺序组成多元时间序列数据；
7.步骤2、利用时变关联网络构造模块构造时变关联网络：预处理的数据首先通过时变关联关系构造层提取时变特征并构造时变关联网络，选择两个一维卷积作为基础的特征提取器来提取时间序列上的时变特征，分别为节点特征构造出两个时变特征向量；两个时变特征向量通过矩阵乘法操作和多层感知器的线性变换拓展时变关联网络a
tv
；
8.步骤3、时空序卷积处理：利用图卷积操作符和时序卷积操作符，结合步骤2得到的时变关联网络a
tv
对时间序列进行多层时空卷积，并对每一次时空卷积的结果进行记录并整合输出；对时间序列进行多层时空卷积包括进行特征融合，所述特征融合包括图卷积特征融合和时序卷积特征融合；
9.步骤4、时空卷积网络的反向传播：计算损失函数，通过反向传播方式优化各级权值。反馈结果传播至整个建模过程的时变关联网络构造模块和时空卷积特征融合模块，实现整个自适应网络的反向传播，从而获得训练好的预测模型；
10.步骤5、获得燃气轮机多传感器时间序列预测曲线：以时刻1-t的时间序列作为预测模型的输入，该预测模型的输出即为t 1时刻对应的燃气轮机多传感器时间序列预测曲线。
11.本发明所述方法的详细步骤见记载在具体实施方式中的内容。
12.与现有技术相比，本发明的有益效果是：
13.在时间序列预测中，将序列的瞬时特征引入构图模块中，通过输入序列来进行关联网络的动态构建。此外，还使用了时空卷积进行时序和空间特征的提取。在此基础上提出了基于时变特征构图的时空卷积时间序列预测模型，与现有技术相比有更好的预测效果，能获得全局性更优、泛化性能更好的建模结果。
附图说明
14.图1是本发明基于时变特征构图的时空卷积网络多元时间序列预测模型；
15.图2是本发明预测方法的流程图；
16.图3-1是燃气轮机壳体震动测点上的测点曲线和预测曲线；
17.图3-2是燃气轮机高压转速测点上的测点曲线和预测曲线；
18.图3-3是燃气轮机燃油压力测点上的测点曲线和预测曲线；
19.图3-4是燃气轮机油箱温度测点上的测点曲线和预测曲线。
具体实施方式
20.在燃气轮机运行时，由于各个部件在运行过程中会遇到不同运行状态、轮机磨损和功率变化的情况，因此部件的测点数据会在时序上具有明显的波动情况。由于各个部件的波动会在燃气轮机内部产生对其他部件产生影响，因此使用提出本发明来动态提取序列
中的时变特征，动态构造时变关联网络以提升监控燃气轮机运行状态趋势的时序预测模型。
21.下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
22.本发明提出的一种基于时变特征构图的燃气轮机上多种测点时序预测方法的设计构思是，通过端到端方式提取输入样本的时变特征并构造关联关系网络，并使用时空卷积网络进行序列预测，所采用的预测模型包括一个时变关联网络构造模块，一个时空卷积特征融合模块以及一个序列预测输出反馈模块；时变关联网络构造模块用于提取样本中的时变特征信息并构造时变关联网络，时空卷积特征融合模块用于输入和时变关联网络构造模块的输出聚合样本的特征，序列预测输出反馈模块用于实现网络的迭代优化，最终输出燃气轮机多传感器时间序列预测曲线。本发明将数据中隐含的时变信息加入到关系网络构建当中，实现了自适应的时变特征学习，进一步提升了时间序列的预测效果。
23.如图1所示，所述预测模型中，所述时变关联网络构造模块使用卷积操作和线性变化，用于提取样本中的时变特征信息并构造动态关联网络，用于在时变特征构图的时空卷积网络多元时间序列预测系统接收输入序列并构造用做后续时空卷积特征融合模块的输入。
24.所述时空卷积特征融合模块使用时序卷积和图卷积操作，用于在时变特征构图的时空卷积网络多元时间序列预测系统每一次迭代中完成单一样本的时序特征和空间特征的提取，时间序列预测过程中接收原始样本的输入和时变关联网络构造模块的输出聚合样本的特征。
25.所述序列预测输出反馈模块用于实现网络的迭代优化和预测序列的输出，接收来自时空卷积特征融合模块的输出，并将序列预测输出反馈模块输出的预测序列与真实时间序列做对比，通过反向传播方式优化各级权值，并将反馈结果输出至整个建模过程的时空卷积特征融合模块和时变关联网络构造模块。
26.本发明基于时变特征构图的燃气轮机上多种测点时序预测方法，如图2所示，包括以下步骤：
27.步骤1、数据预处理：按照相同间隔的时间记录从发动机测点、测速器或温度计等可选数据测量仪器记录所有数据点。首先取一段时间0至t个间隔的点作为一个样本，t 1处作为预测，以此类推，得到1至t 1,2至t 2，
…
时间段内的数据点，确定样本后对数值进行归一化操作，归一化用最大最小归一化：
[0028][0029]
其中，xi和x
′i分别表示第i个节点上的原始向量和归一化后的向量，min(xi)表示该节点最小样本值构成的向量，min(xi)表示该节点最大样本值构成的向量，n表示节点数量；
[0030]
举例说明：对于采样为5秒钟1次的燃气轮机数据集，从12个5秒钟样本序列得到1 个1分钟的新样本x。这里采用步长12，由[xi，x
i 1
，，x
i 11
]得到[x
i 12
，x
i 13
，，x
i 23
]，i＝1，2，3，... 数据集中的所有时间序列在0到1之间进行归一化，使用针对每个节点的归一化函数进行 min-max归一化。对于归一化后的结构化数据，首先对它们进行随意打乱，然后将数据
分为三部分：70％作为训练集来训练预测模型，20％作为验证集来选择最优模型参数，另外10％作为测试集来评价预测性能。
[0031]
步骤2、时变关联关系网络构建层：预处理的数据首先需要通过时变关联关系构造层提取时变特征并构造时变关联网络。选择两个一维卷积作为基础的特征提取器来提取时间序列上的时变特征，分别为节点特征构造出两个时变特征向量。两个时变特征向量通过矩阵乘法操作和多层感知器的线性变换拓展为r
nxn
的时变关联关系矩阵。具体迭代又称包括一下几个子步骤：
[0032]
步骤201)时变特征提取：在时变关联关系网络构建层，首先由输入序列经过卷积操作提取2种不同的时变特征向量。假设有一组n个节点长度为l的输入序列x＝[x1，x1，xn]∈ r
n*1
，使用两个长度为1*l的一维卷积核conv1和conv2对每一个节点上的时序特征分别进行提取，得到两个节点的时变特征向量表示tv1＝tanh(conv1(x))和tv2＝tanh(conv2(x))。
[0033]
步骤202)时变关联网络构造：使用爱因斯坦求和运算，将时变特征映射为时变关联网络关系表示，用于图卷积特征融合。使用两种描述符分别表示原始的时变关联网络和使用拉普拉斯变换简化计算的矩阵。
[0034]
通过时变特征向量构造关联网络，选取了描述符1、2来表示原始的时变关联网络和使用拉普拉斯变换简化计算的拉普拉斯矩阵表示。
[0035]
描述符1：通过函数π：将时变特征向量映射到时变关联关系矩阵 a
tv
，其中使用了乘法操作按照采样数量构造对应的关联网络，即：
[0036][0037]atv
为原始时变关联网络描述符1
[0038]
描述符2：采用加法规则可能导致网络训练过程中梯度爆炸或者消失的问题。使用拉普拉斯归一化来简化图卷积操作。
[0039]
使用单位矩阵i和度矩阵d进行辅助计算，即：
[0040][0041]
式(3)中，d为时变关联网络a的度量矩阵；
[0042]
使用度量矩阵对原矩阵进行拉普拉斯归一化操作的到拉普拉斯矩阵l，即：
[0043][0044][0045]
为拉普拉斯矩阵描述符2
[0046]
步骤3、时空序卷积处理：利用时空卷积描述符和步骤2所述的得到的关联关系矩阵对时间序列进行多层时空卷积进行特征提取和特征融合，并对每一次时空卷积的结果进行记录并整合输出；具体的，迭代流程包含以下几个子步骤：
[0047]
步骤301)图卷积特征融合：图卷积模块接收原始输入特征的残差链接和上一轮时空卷积的特征，使用时变关联网络表示的节点间关系进行高维图卷积操作，聚合节点之间的信息；
[0048]
使用拉普拉斯矩阵描述符2和原始输入序列x进行多层图卷积操作进行特征融合，图卷积操作符确定：
[0049]
通过函数π：h
in
→
g＝h
out
[0050][0051][0052]
其中hi为第i次图卷积的隐藏层特征，h0＝h
in
为图卷积模块的初始输入，首轮图卷积输入为h
in
＝x，超参数β用于控制原始输入的特征；隐藏层通过对应线性变换矩阵wi进行融合得到图卷积输出h
out
；g为图卷积操作符。
[0053]
步骤302)时序卷积特征融合：使用膨胀因果时序卷积操作，将单节点时序方向上的信息进行聚合，并且将每一轮的输出结果输出到输出模块和下一层时空卷积。
[0054]
使用步骤301中得到的图卷积输出作为时序卷积输入，对特征进行时序卷积操作。时序卷积模块包含膨胀卷积和多尺寸卷积核操作。对于n层的时空卷积，第i层的时序卷积模块的膨胀系数为di＝d
i-1
，其中d为模型设定的膨胀卷积参数。
[0055]
使用多尺寸卷积核提取不同周期的时间序列特征，同时使用截断操作将输出对齐并整合输出。时序卷积操作符确定：
[0056]
通过函数θ：z
→
t＝out
[0057][0058][0059]
其中，z为时序卷积接收的来自图卷积操作的输出，z＝h
out
，使用了1*2和1*6两种尺寸的时序卷积，为两个不同尺寸卷积核的截断拼接后的输出，并且使用两种激活函数tanh 和sigmoid作为门控机制控制特征输出比例，z
out
为时序卷积的最终输出。t为时序卷积操作符。
[0060]
步骤4、时空卷积网络的反向传播：根据文献(pytorch官网给出的模型自动求导方法，https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html#backprop)，可以直接推导出整个网络的反向传播。可以很容易地计算其中表示损失函数，以实现时变构图模块和时空卷积模块的反向传播。利用pytorch中的自动导数工具实现了整个自适应网络的反向传播。
[0061]
这里的优化方式可以选取随机梯度下降法、动量优化法、adam等，损失函数比如对数损失函数、平方损失函数、绝对值损失函数、自定义损失函数都适用。在本例中采用 adamoptimizer优化器，损失函数是均绝对值误差。
[0062]
完成训练后的预测模型可以接收来自燃气轮机传感器上的数据输入，再由该预测模型给出后序的预测序列。通过预测序列，可以让操作人员更好监控燃气轮机运行状态变化。训练完成后接收实时输入并给出的预测曲线与实际曲线图3-1至图3-4所示。其中，带有圆点的曲线表示燃气轮机中壳体震动、高压转速、燃油压力和油箱温度真实的测点曲线，带有叉号的曲线表示由本发明设计的预测模型获得的燃气轮机中壳体震动、高压转速、燃油压力和油箱温度预测曲线。图3-1、图3-2、图3-3和图3-4分别是燃气轮机中壳体震动、高压转速、燃油压力和油箱温度四个测点上的预测曲线。本发明获得的上述预测曲线可以给出燃气轮机各个部件在未来时刻测量的物理量，有利于操作人员监控燃气轮机的运行状态和趋势。
[0063]
根据图3-1至图3-4中每幅图的两条曲线，可以看出由于本发明设计的预测模型中将数据中隐含的时变信息加入到关系网络构建当中，因此在燃气轮机这种具有明显波动的应用场景下可以明显提升模型预测的效果，对突发事件的响应更加迅速。本发明不仅能够
很好地预测燃气轮机各个部件运行的趋势，并且由于加入了输入序列上的时变波动信息，在各个部件波动预测上也有着良好的预测准确率。通过本发明预测方法实现了提升时间序列的预测效果。
[0064]
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。