基于CVAE和GPT的日前负荷预测方法、装置

本申请涉及电力系统数据处理的，尤其涉及基于cvae和gpt的日前负荷预测方法、装置。

背景技术：

1、电力负荷预测是电力系统管理和运营的核心问题，其精确性直接影响到电网的稳定运行和能源分配的有效性。日前负荷预测尤为关键，因为它为电力市场的日常运作提供了必要的预见性和策略支持。通过提前预测未来一天内的电力需求，电力公司能够更有效地调整发电计划和电力调度，以满足预期的消费需求。然而，传统的日前负荷预测方法面临多重挑战，尤其是在特殊日子(如周末和假日)，预测的准确性常常因负荷模式的显著差异而受到影响。这些日子的负荷模式受到非日常活动的强烈影响，导致建模效率低下且鲁棒性差。因此，开发一种能够准确捕捉这些特殊日子负荷变化的预测模型，是提高日前负荷预测性能的关键。

2、近年来，深度学习技术在时间序列预测领域取得了显著的发展。生成式预训练transformer(gpt)模型最初在自然语言处理(nlp)和计算机视觉(cv)领域取得成功，但其在处理时间序列数据方面的潜力同样巨大。

3、然而，相关技术中，单独的gpt模型在处理小样本和高复杂度场景下可能不足以捕捉所有复杂的时间序列动态，导致预测结果准确度有待提升。

技术实现思路

1、有鉴于此，本申请提供基于cvae和gpt的日前负荷预测方法、装置，能够提高负荷预测模型的泛化能力和准确性。

2、第一方面，本申请提供一种基于cvae和gpt的日前负荷预测方法，包括：

3、从原始电力负荷数据中提取特征数据，所述特征数据含有时间特征和所述时间特征对应的气象特征；

4、基于cvae，由特征数据生成包含特殊日期的小样本负荷数据；

5、根据所述小样本数据和实际负荷数据采用冻结预训练transformer策略训练gpt模型；

6、基于训练好的gpt模型进行实际的日前负荷预测，生成未来时期电力负荷的预测结果，以根据所述预测结果确定电力调度结果。

7、可选地，在从原始电力负荷数据中提取特征数据之前，还包括：

8、对原始电力负荷数据进行数据清洗与归一化处理。

9、可选地，所述cvae的编码器，为以下公式所表示形式，

10、ht＝tanh(winxt+whht-1+b)；

11、上式中，ht表示编码器在时间步t的隐藏状态，win和wh分别为输入和隐藏状态的权重矩阵，b为偏置项；

12、所述cvae的解码器中时间步的输出，为以下公式所表示形式，

13、

14、上式中，dθ表示解码器的输出函数，参数θ表示解码器的权重

15、可选地，所述cvae的潜在空间分布，为以下公式所表示形式，

16、μ＝wμht-τ-1+bμ；

17、log(σ)＝wσht-τ-1+bσ；

18、z＝μ+σ·∈；

19、上式中，μ为潜在变量的均值，σ为潜在变量的标准差，wμ和wσ为权重矩阵，bμ和bσ为偏置项；z为潜在变量，表示从标准正态分布中采样的噪声。

20、可选地，所述cvae的总损失函数，为以下公式所表示形式，

21、

22、上式中，为总损失函数，β为权衡两部分损失的超参数，n为样本数量，xi为真实数据，为生成数据，d为潜在变量的维度，μj和σj分别为潜在变量的均值和标准差。

23、可选地，采用冻结预训练transformer(fpt)策略训练gpt模型。包括：

24、构建gpt模型的基本架构；

25、采用冻结预训练模块的策略，即冻结gpt模型的自注意力层和前馈神经网络层，以保留预训练模型的语义理解能力；

26、应用微调位置嵌入和层归一化方法。

27、可选地，根据所述预测结果确定电力调度结果，包括：

28、基于预测结果构建功率平衡约束；

29、通过对由所述功率平衡约束和发电计划的目标函数所构成的发电计划优化模型求解，确定发电计划；

30、根据所述发电计划构建电力调度模型，并通过求解所述电力调度模型确定电力调度结果。

31、可选地，所述功率平衡约束，为以下公式所表示形式，

32、

33、上式中，为时间段t的预测负荷，n为发电机组数量，pi,t为第i个发电机组在时间段t的发电功率；

34、其中，发电计划的目标函数为以下公式表示形式，

35、

36、上式中，ci(pi,t)为第i个发电机组在时间段t的发电成本，pi,t为第i个发电机组在时间段t的发电功率。

37、第二方面，本申请提供一种基于cvae和gpt的日前负荷预测装置，包括：

38、提取模块，用以从原始电力负荷数据中提取特征数据，所述特征数据含有时间特征和所述时间特征对应的气象特征；

39、第一生成模块，用以基于cvae，由特征数据生成包含特殊日期的小样本负荷数据；

40、训练模块，用以根据所述小样本数据和实际负荷数据训练gpt模型；

41、第二生成模块，用以基于训练好的gpt模型进行实际的日前负荷预测，生成未来时期电力负荷的预测结果，以根据所述预测结果确定电力调度结果。

42、第三方面，本申请提供一种执行设备，包括处理器和存储器，所述处理器与所述存储器耦合；

43、所述存储器，用于存储程序；

44、所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行如上述的方法。

45、本申请所公开方法中，通过冻结gpt关键层并针对负荷预测任务进行定向微调，同时引入了条件变分自编码器(cvae)，作为辅助手段生成符合真实分布的样本，增强模型训练过程中的数据丰富性和模型的泛化能力。cvae不仅能模拟时间序列数据的联合分布，还能生成新的时间序列值，从而显著提高负荷预测的准确性和鲁棒性。

技术特征：

1.一种基于cvae和gpt的日前负荷预测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在从原始电力负荷数据中提取特征数据之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述cvae的编码器，为以下公式所表示形式，

4.根据权利要求1所述的方法，其特征在于，所述cvae的潜在空间分布，为以下公式所表示形式，

5.根据权利要求1所述的方法，其特征在于，所述cvae的总损失函数，为以下公式所表示形式，

6.根据权利要求1所述的方法，其特征在于，采用冻结预训练transformer策略训练gpt模型，包括：

7.根据权利要求1所述的方法，其特征在于，根据所述预测结果确定电力调度结果，包括：

8.根据权利要求1所述的方法，其特征在于，所述功率平衡约束，为以下公式所表示形式，

9.一种基于cvae和gpt的日前负荷预测装置，其特征在于，包括：

10.一种执行设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合；

技术总结本申请公开了基于CVAE和GPT的日前负荷预测方法、装置。该方法包括：从原始电力负荷数据中提取特征数据，特征数据含有时间特征和时间特征对应的气象特征；基于CVAE，由特征数据生成包含特殊日期的小样本负荷数据；根据小样本数据和实际负荷数据采用冻结预训练Transformer策略训练GPT模型；基于训练好的GPT模型进行日前负荷预测。该方法通过冻结GPT关键层并针对负荷预测任务定向微调，同时引入了CVAE，作为辅助手段生成符合真实分布的样本，增强模型训练过程中的数据丰富性和模型的泛化能力。CVAE不仅能模拟时间序列数据的联合分布，还能生成新的时间序列值，从而显著提高负荷预测的准确性和鲁棒性。技术研发人员：张俊,赵杭,高天露,许沛东,戴宇欣,白昱阳,许成龙受保护的技术使用者：武汉大学技术研发日：技术公布日：2024/9/26