改进型crossformer神经网络在热电联产机组宽负荷智能建模中的研究及应用

本发明涉及火力发电机组灵活性运行的建模，更具体地，涉及改进型crossformer神经网络在热电联产机组宽负荷智能建模中的研究及应用。

背景技术：

1、可再生能源的大规模应用要求火电机组提高运行灵活性，以平抑电网的波动，增强其稳定性。热电联产机组可实现高达90％的热效率，被认为是具有经济优势和环境友好的灵活发电资源。因此，为促进新型低碳电力系统的构建，亟需提高热电联产机组在宽负荷工况下的灵活性运行能力。

2、作为机组灵活性运行需求下控制系统设计的基础，建立一个能准确反映热电联产机组宽负荷运行的动态特性模型显得尤为重要。因此，不仅要考虑正常运行工况下热电联产机组的动态特性，还要关注其在低负荷运行和频繁大范围调峰模式下的重要特性，这对建模方案的选择提出了更高的要求。在宽负荷运行工况下，汽轮机的快动力学与锅炉的慢动力学之间存在较大差异，且延迟效应增强，呈现出明显的时间依赖性。此外，热电联产机组的动态特性随运行工况的变化而变化，系统多变量耦合特性明显，采用常规的建模方法已难以满足宽负荷建模性能需求。因此，本文将热电联产机组锅炉-汽轮机耦合系统作为分析对象，为其设计先进的改进型crossformer神经网络建模策略，对提高大型火力发电机组的灵活性运行能力具有重要意义。

3、近年来，基于注意力机制的transformer模型由于其在全局特征提取和时间依赖捕获方面的优势，被广泛应用于机器翻译、图像处理和故障诊断等领域。transformer模型由多个自注意力模块和时间嵌入组成，可以有效识别波动时间序列中的周期性元素和用于输出预测的非周期性元素。可见，transformer是处理系统长时间依赖性和强不确定性的有效建模方案。然而传统的transformer在系统多变量耦合特性捕获方面仍存在较大的改进空间。为了提高transformer对复杂系统的动态特性分析能力，一种基于两阶段注意层的crossformer模型应用而生。与传统的transformer不同，crossformer分别从时间尺度和变量尺度挖掘输入序列的特征映射关系。其层级编码器-解码器的结构，有利于充分利用不同时间尺度的信息。该方法兼顾了时间依赖性和变量相关性，是一种适用于热电联产机组锅炉-汽轮机耦合系统的动态特性建模方法。此外，将具有良好的时间特征提取能力的双向门控循环单元(bigru)与crossformer融合，进一步增强网络对隐藏时间特征的捕获能力；设计多感受野卷积模块(mfc)，用于弥补crossformer局部特征提取能力弱的问题。因此，采用改进型crossformer神经网络对具有复杂动态特性的热电联产机组锅炉-汽轮机耦合系统建模，为后续灵活控制策略的设计奠定坚实基础。

技术实现思路

1、本发明旨在开展改进型crossformer神经网络在热电联产机组宽负荷智能建模中的研究及应用，精确捕捉锅炉-汽轮机耦合系统的复杂动态特性，为灵活性运行需求下的控制策略设计提供支撑。该方法充分考虑了机组在宽负荷工况和大范围调峰下的多变量耦合、强非线性、大时滞等特性，结合改进型crossformer智能建模技术准确描述系统的复杂动态特性，所建模型在宽负荷和快速变工况运行下均实现了较高的建模精度。

2、本发明所开展的改进型crossformer神经网络在热电联产机组宽负荷智能建模中的研究及应用，由以下4个步骤组成：

3、s1：分析热电联产机组锅炉-汽轮机耦合系统的动态特性和建模难点；

4、s2：确立针对热电联产机组的改进型crossformer神经网络宽负荷建模策略结构；

5、s3：描述改进型crossformer神经网络建模技术的原理及其具体设计步骤；

6、s4：依托仿真平台验证并分析所提建模策略的可行性。

7、s1：直流锅炉由于缺乏汽包的蓄能作用，当给水量w发生变化时，主蒸汽压力pt和中间点温度t会快速改变，进而影响有功功率n；因此，除给煤量b和主蒸汽阀门开度μt外，需将给水量w作为输入变量，除有功功率和主蒸汽压力pt外，采用反映锅炉蒸汽状态的中间点温度t作为输出变量；此外，供热机组的热负荷通常由供热压力来控制，当热负荷需求增加时，供热阀门开度减小，此时中压缸排气压力升高，导致更多蒸汽进入供热系统，当热负荷需求减少时，情况正好相反；因此将热电联产机组锅炉-汽轮机耦合系统描述为一个四输入四输出的简化模型，以更准确地描述机组的动态特性，其中，输入变量为：给煤量b、给水量w、主蒸汽阀门开度μt和供热阀门开度μh，输出变量为：有功功率n、中间点温度t、主蒸汽压力pt和供热压力ph；然而，汽轮机的快动力学与锅炉的慢动力学的明显差异是机组动态特性分析的内在障碍，此外，由于没有汽包的缓冲作用，机组系统变量之间的耦合加强，导致非线性增大；在深度调峰需求下，机组的动力学特性随着工况的变化而变化，使热电联产机组在宽负荷运行下的建模精度难以满足工业需求。

8、基于s1的分析可知，热电联产机组锅炉-汽轮机耦合系统因其复杂的动态特性，采用机理建模策略难以取得较高的建模精度，因此需为其设计智能建模方法获取其高精度模型，步骤s2可具体化为：

9、s2.1：对采集的所需热电联产机组实际运行数据进行归一化处理，以消除数据的量级差异，归一化过程如下：

10、

11、

12、其中xraw和yraw分别表示原始输入和输出变量数据；x,y分别为归一化后的输入变量和输出变量数据；

13、考虑到热电联产机组锅炉-汽轮机耦合系统的时滞特性，采用滑动窗口技术对机组运行数据进行分割，改进型crossformer神经网络输入数据描述为：

14、

15、其中sl为滑动窗口的大小，n为样本总数，at为单个输入数据的特定形式，由当前时间的输入和前一时间的输出组成，描述如下：

16、

17、其中xt和yt-1分别表示t时刻的输入变量和t-1时刻的输出变量，它们都是列向量，包含四个变量；

18、为确保嵌入向量准确地代表单个维度的序列片段，而不是将所有维度的值合并在一个步骤中，采用维度分段嵌入技术将每个维度上的数据划分为长度为lseg的段，然后嵌入到网络中，滑动窗口中数据的分割过程如下：

19、

20、

21、其中，表示第d维长度lseg的第i段，d表示数据的最大维度，qk,d表示式(1)中q的第k个元素；

22、s2.2：将分段后的热电联产机组运行数据输入改进型crossformer神经网络中，首先，bigru对输入序列进行位置编码，增强隐藏的时间特征；其次，增强的信息经编码器获得时间维度和变量维度的特征，所设计的多感受野卷积模块用于补充局部特征；最后，层级编码器-解码器结构的设计充分考虑不同时间尺度的有效信息，有利于建立高精度的热电联产机组动态特性模型；

23、s2.3：在神经网络训练过程中，采用均方误差(mse)作为损失函数，以逐步减小神经网络所得模型输出与实际热电联产机组过程输出的差异，实现理想的建模精度，均方误差定义如下：

24、

25、其中，为热电联产机组实际过程输出，为改进型crossformer神经网络所建模型输出，n为样本总数；

26、在确定了热电联产机组的改进型crossformer神经网络建模策略结构后，在步骤s3中将智能建模策略的设计步骤具体化：

27、s3.1：根据热电联产机组锅炉-汽轮机耦合系统的时间依赖性特点，采用bigru代替位置编码，提取输入数据序列隐藏的时间信息；bigru分别对序列进行正向和反向处理，其基本组成单元为gru,gru主要通过更新门和复位门控制信息，更新门采用线性计算和非线性过程来定义要存储的信息，控制从前一时刻隐藏状态向当前时刻隐藏状态传递的信息，确定时间序列数据的长期依赖关系，更新门的描述如下：

28、ut＝σ(wu·[zt,ht-1]+bu)   (8)

29、其中zt为gru当前时刻的输入值，ht-1为前一时刻的输出值，wu、bu和σ分别为权值、偏置和激活函数；

30、复位门rt决定是否应该忘记存储单元的值，帮助理解时间序列数据的短期依赖性，具体描述为：

31、rt＝σ(wr·[zt,ht-1]+br)   (9)

32、其中wr和br分别表示权重和偏差，新的存储器内容将使用复位门存储过去的相关信息，具体描述为：

33、

34、最后，更新隐藏状态的值以保留当前单元的信息并将其传递给下一个单元，gru的输出由前一时刻和当前时刻的输出信息组成，表示为:

35、

36、其中ht-1和ht分别表示之前和当前的隐藏状态；

37、由于热电联产机组锅炉-汽轮机耦合过程的时滞性和时间依赖特性，当前时刻的变量值与过去和未来信息相关，因此构建了bigru作为位置编码，表示如下：

38、

39、

40、

41、其中和分别为正向和反向传播的隐含层输出，wt和vt分别表示时间t时gru单元正向和反向传播的隐含层输出权值，bt表示时刻t隐含层输出ht对应的偏置；

42、s3.2：编码器接收输入序列的位置编码和值编码，采用两级注意力层(tsa)获取序列的时间和维度相关性，通过在tsa层融入设计的mfc模块，实现了全局特征与局部特征的融合；tsa层由跨时间和跨维度阶段组成，在跨时间阶段，给定一个二维序列作为tsa层的输入，其中l和d分别为段数和维度，这里z可以是维度分段嵌入或更低tsa层的输出，直接将多头注意力层msa应用于跨时间阶段的各个维度:

43、

44、

45、其中z:,d表示d维的所有时间步长，其中1≤d≤d，msa(q,k,v)表示多头自注意力层，其中q,k,v分别表示查询、键和值，layernorm和mlp分别表示层归一化和多层前馈网络，和ztime分别表示msa和mlp的输出；

46、在跨维度阶段，为了减少计算量，在每个时间步i上设置一个固定数量的k个可学习向量作为路由器，实现所有维度信息的聚合和分配，从而在各个维度之间建立全对全连接，定义为：

47、

48、

49、

50、

51、其中表示作为路由器的可学习向量数组，接收所有维度的信息，zdim分别表示路由器、残差连接和mlp的输出；

52、tsa层探索热电联产机组锅炉-汽轮机耦合过程在时间和变量维度上的依赖关系，有利于捕获全局信息，但局部信息可能被忽略；卷积是提取局部信息的最佳技术之一，它在一个小的接受域内获得局部抽象，为此，设计了多感受野卷积mfc模块，并将其应用于crossformer编码器结构中，以增强网络的局部特征提取能力，mfc模块包含一个令牌卷积层和一个逐点卷积层；令牌卷积层由几个不同核大小的卷积操作组成，有利于适应不同的情况和数据，通过对卷积核大小为1、3和5以及池化大小为2的四种并行操作进行整合，获得来自不同接受域的信息，使用转置卷积恢复池化操作后的大小，接下来，使用核大小为1的逐点卷积层进一步提取热电联产机组锅炉-汽轮机耦合系统的局部特征，此外，为了提高网络的收敛性和泛化性，在卷积层使用了swish激活函数；

53、s3.3：构建层级编码器-解码器结构，用于获取不同时间尺度的有效信息，最后将各层解码器输出相加，得到模型输出。

54、基于步骤s3所得的改进型crossformer神经网络结构，确立针对热电联产机组的改进型crossformer神经网络建模策略，在步骤s4中依托仿真平台验证并分析所提建模策略的可行性，具体过程如下：

55、s4.1：提高热电联产机组的宽负荷建模精度有利于其灵活性运行，因此，选取某350mw热电联产机组40％-100％宽负荷段运行数据9000组，其中6000组作为训练数据，3000组作为验证数据；

56、s4.2：智能建模所得模型应适应机组深度调峰需求下的负荷快速变化，因此，选取机组快速变负荷工况下的3000组运行数据，用于测试所得模型的强适应性和可靠性；

57、s4.3：为验证所设计智能建模方法的优越性，采用bigru、卷积神经网络、支持向量机和长短期记忆网络四种经典算法开展对比实验，选取另外3000组覆盖40％-100％负荷段的机组运行数据进行实验；为进一步量化建模性能，统计分析所得模型输出与机组过程输出的均方误差、拟合程度(fd)、平均绝对误差(mae)、均方预测误差(mspe)和平均绝对百分比误差(mape)，各评价指标定义如下：

58、

59、

60、

61、

62、s4.4：设计消融实验，验证每个改进思路对机组建模精度提高的有效性，包含3组测试实验，分别为原始crossformer、crossformer-bigru、crossformer-bigru-mfc，通过逐次融合改进方法，展现所设计智能建模方案的优越性能。

63、本发明有益效果：

64、本发明结合我国电力生产领域逐步提升可再生能源电力消纳水平的发展趋势，从建模的角度出发，为热电联产机组锅炉-汽轮机耦合系统设计改进型crossformer神经网络宽负荷建模方法，有效捕获机组复杂动态特性，为提高热电联产机组负荷快速控制能力夯实基础。

65、本发明改进型crossformer建模策略设计过程中充分考虑了热电联产机组锅炉-汽轮机耦合系统的复杂动态特性及建模难点，将性能优越的crossformer神经网络、双向门控循环单元、多感受野卷积模块相结合，充分考虑了时间依赖性、全局特征及局部特征，为宽负荷调峰需求下热电联产机组的精确建模提供有效可行方案。

66、本发明将建模对象简化为一个四入四出的系统，更能准确地描述热电联产机组锅炉-汽轮机耦合系统的动态特性。基于热电联产机组的大量实际运行数据，结合所设计的智能建模策略，形成面向工业控制的热电联产机组锅炉-汽轮机耦合过程建模方案。