一种多尺度局部特征和全局学习融合的风电功率预测方法

本发明涉及一种风电功率预测方法，具体为一种多尺度局部特征和transformer全局学习融合的风电功率预测方法，属于风电功率预测。

背景技术：

1、随着化石能源消耗和环境污染的加剧，风能成为人们代替传统化石能源的重要能源之一。但风能的随机性和间歇性特点，严重影响了电网运行安全。因此风电功率预测的重要性日益突出。精确的风电功率预测能够极大消除风电对电网造成的不确定性扰动，节约电网稳定运行成本，提高对风能的利用率。因此，风功率预测对电网调度和稳定运行具有非常重要的研究价值。

2、风电功率预测模型包括物理模型、统计机器学习模型和基于人工智能模型三类。物理方法主要基于风力发电厂的物理特征，根据功率曲线对风电场发电功率进行预测。但物理方法预测风电功率的计算较为复杂，精度较低。常见的统计预测方法的统计模型ar、arima、maarima等，此类方法不考虑环境信息的物理变化，通过建立数学模型拟合历史数据与预测功率之间的映射关系，进而预测未来的风力发电功率，模型结构简单，计算迅速但需要大量历史数据。基于人工智能的预测模型利用机器学习和深度学习等人工智能技术，通过对大量历史数据进行学习和训练，来预测未来的风电功率。常用的有支持向量机、lstm、cnn等。现有风电功率预测还存在许多不足，传统的时间序列分析难以处理不稳定和非线性数据；机器学习方法虽然能够处理复杂的时序数据，但是难以找到合适的网络模型参数；组合预测方法虽然可以提取深层次的特征并可以优化模型参数，但是对于高非线性数据仍然存在比较大的误差。

技术实现思路

1、本发明的目的就在于为了解决现有技术对于高非线性数据仍然存在比较大误差的问题而提供一种多尺度局部特征和全局学习融合的风电功率预测方法。

2、本发明通过以下技术方案来实现上述目的：一种多尺度局部特征和全局学习融合的风电功率预测方法，包括ms_transformer模型，其特征在于：所述ms_transformer模型包括多尺度局部特征增强单元(mslfu_block)、transformerencoder和全连接输出层；该预测方法包括以下步骤：

3、s1、采集到的数据通过数据归一化等预处理，采用滑动窗口方法提取时间窗数据，输入到mslfu_block提取时间序列数据中的局部特征模式；

4、s2、多尺度局部特征增强单元(mslfu_block)引入了一维因果卷积以捕捉相邻时间点之间的相关局部模式，通过多层因果卷积获得不同时间尺度的特征；

5、s3、将这些特征组合起来得到多尺度局部特征描述，将上一层特征的输出用作下一层的输入，不同因果卷积层提取了不同的时间尺度特征，将每层提取的特征相加作为mslfu_block的输出，多尺度局部特征增强单元结合了一维因果卷积和层次结构的设计，用于处理时间序列建模任务，能够捕捉时间模式的局部相关性；

6、s4、使用transformer编码器对多尺度局部特征增强单元提取的特征进行进一步处理；

7、s5、通过一个全连接层将transformer编码后的特征向量映射成风电功率预测值。

8、作为本发明再进一步的方案：s3中，mslfu_block的输出o(1)是对应卷积结果out1到outn的累加，并加上输入x，表示为：

9、o(1)＝x+∑outi(i＝1,2,...,n)

10、作为本发明再进一步的方案：s4中，transformer编码器由n个相同的block组成；

11、transformer编码器模型引入了位置编码，将序列中的时间先后信息融入模型中；位置编码是一个与输入序列维度相同的矩阵；通过将位置编码与mslfu_block的输出相加，模型能够学习到序列中不同位置的相对关系；对于序列中的每个位置，位置编码如下计算：

12、

13、

14、其中，i表示序列中的位置，从1开始递增；s表示维度的索引，从0开始递增；d是mslfu_block输出的特征维度。

15、作为本发明再进一步的方案：多尺度局部特征增强单元采用多头注意力机制，mslfu_block的输出和位置编码叠加后的序列通过多个独立的注意力头将特征映射到不同的子空间，每个头都学习不同的关注权重，以捕捉时间序列中不同的关系和特征。每个注意力头的核心是自注意力机制(self-attention)，此时输入z为o(1)+p，输入分别乘以查询、键和值的权重矩阵得到qj,kj,vj，计算公式如下式所示：

16、

17、

18、

19、引入缩放的点积注意力机制，计算如下式所示：

20、

21、其中，dk是查询关键向量的维度。

22、作为本发明再进一步的方案：多个注意力头将输入映射到不同的子空间进行自注意力机制运算，输出被合并得到最终的多头注意力输出，最终多头注意力的输出可表示为：

23、

24、其中

25、作为本发明再进一步的方案：transformer模型包括前馈网络，前馈网络由两个线性变换单元和一个非线性激活函数(通常是relu)组成；其输入r为layernorm(z+multihead(q,k,v))，layernorm表示层归一化操作；通过mlp的计算过程可通过下式表示：

26、ffn(r)＝w2irelu(w1r+b1)+b2

27、再经过残差连接和层归一化后的输出为：

28、o(2)＝layernorm(r+ffn(r))

29、作为本发明再进一步的方案：s5中，经过n个block编码器的输出表示为o(2n)，o(2n)∈rd；全连接层的输出可通过下式表示：

30、y＝sigmoid(w0o(2n)+b0)

31、本发明的有益效果是：本发明提出ms_transformer模型采用了transformer编码器作为骨干网络，通过基于点积自关注的全局上下文感知机制获取时间序列的全局特征。同时设计了一个多尺度局部特征增强单元，用于在多个尺度上提取特征。该单元增强了模型描述局部特征的能力，使其能够捕捉不同粒度级别的信息。在局部特征提取过程中采用了因果卷积操作，确保模型仅依赖于历史数据进行预测，解决了潜在的未来数据泄漏问题。这两个关键组件的整合保证了ms_transformer模型能够全面考虑局部和全局特征，提高了预测准确性。

技术特征：

1.一种多尺度局部特征和全局学习融合的风电功率预测方法，包括ms_transformer模型，其特征在于：所述ms_transformer模型包括多尺度局部特征增强单元、transformerencoder和全连接输出层；该预测方法包括以下步骤：

2.根据权利要求1所述的风电功率预测方法，其特征在于：所述s3中，mslfu_block的输出o(1)是对应卷积结果out1到outn的累加，并加上输入x，表示为：

3.根据权利要求1所述的风电功率预测方法，其特征在于：所述s4中，transformer编码器由n个相同的block组成；

4.根据权利要求1所述的风电功率预测方法，其特征在于：所述多尺度局部特征增强单元采用多头注意力机制，mslfu_block的输出和位置编码叠加后的序列通过多个独立的注意力头将特征映射到不同的子空间，每个头都学习不同的关注权重，以捕捉时间序列中不同的关系和特征。每个注意力头的核心是自注意力机制(self-attention)，此时输入z为o(1)+p，输入分别乘以查询、键和值的权重矩阵得到qj,kj,vj，计算公式如下式所示：

5.根据权利要求4所述的风电功率预测方法，其特征在于：多个注意力头将输入映射到不同的子空间进行自注意力机制运算，输出被合并得到最终的多头注意力输出，最终多头注意力的输出可表示为：

6.根据权利要求1所述的风电功率预测方法，其特征在于：所述transformer模型包括前馈网络，前馈网络由两个线性变换单元和一个非线性激活函数组成；其输入r为layernorm(z+multihead(q,k,v))，layernorm表示层归一化操作；通过mlp的计算过程可通过下式表示：

7.根据权利要求1所述的风电功率预测方法，其特征在于：所述s5中，经过n个block编码器的输出表示为o(2n)，o(2n)∈rd；全连接层的输出可通过下式表示：

技术总结本发明公开了一种多尺度局部特征和全局学习融合的风电功率预测方法，包括由多尺度局部特征增强单元、TransformerEncoder和全连接输出层构成的MS_Transformer模型。本发明的MS_Transformer模型采用了Transformer编码器作为骨干网络，通过基于点积自关注的全局上下文感知机制获取时间序列的全局特征。同时设计多尺度局部特征增强单元，用于在多个尺度上提取特征。该单元增强了模型描述局部特征的能力，使其能够捕捉不同粒度级别的信息。在局部特征提取过程中采用了因果卷积操作，确保模型仅依赖于历史数据进行预测，解决了潜在的未来数据泄漏问题。技术研发人员：陈俊英,安鑫喆,席月芸受保护的技术使用者：西安建筑科技大学技术研发日：技术公布日：2024/7/25