一种基于奇异值分解和卡尔曼滤波修正的MHSA-LSTM多元数据预测方法

本发明属于数据预测，特别是涉及一种基于奇异值分解和卡尔曼滤波修正的mhsa-lstm多元数据预测方法。

背景技术：

1、在现代电力工程领域，有源低压配网的户变关系预测已成为提升电网智能管理水平的关键技术之一；通过高精度的有源低压配网户变关系预测，不仅可以实现对低压配电网中变电站点之间的相互作用和依赖性的高效管理，而且可以在实时数据驱动的基础上，提前感知将要发生的供电变化，保障用户的电力用电安全，同时，实现能源的经济运用和电网的最优化调度，提升供电的稳定性和经济性。

2、为了精准预测有源低压配网中户变关系，业界采用了一系列技术，各有所长。时间序列分析通过历史数据揭示规律性，为未来的状态提供预测，但需处理数据平稳性和适应未来条件变化的挑战。机器学习方法，如支持向量机(svm)、决策树和梯度提升机(gbm)，自动学习隐藏关系，尽管它们在解释性上存在挑战。深度学习的神经网络模型，包括cnn和rnn，擅长处理时间序列数据和捕捉长短期依赖，虽然计算量大和可解释性成问题。统计模型能在已知数据分布下工作得很好，但面对复杂实际数据时常常束手无策；数据挖掘技术如聚类分析力图从大数据中寻找模式和联系，需要确保数据处理的准确性。

3、每种技术和方法都具有其独特的优势和局限性，因此，在有源低压配网的户变关系预测中，可综合使用多种方法，以达到互补和优化的效果，要设计一种基于奇异值分解和卡尔曼滤波修正的mhsa-lstm多元数据预测方法来解决上述问题。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于奇异值分解和卡尔曼滤波修正的mhsa-lstm多元数据预测方法，旨在通过奇异值分解对多用户有源低压配网户变关系数据进行特征提取与降维处理，利用多头自注意力机制捕捉数据矩阵复杂的依赖关系、以及提取多维度的特征表示，然后利用lstm网络实现对数据矩阵的预测，对各行预测从而实现多元预测。

2、为实现上述技术效果，本发明所采用的技术方案是：

3、一种基于奇异值分解和卡尔曼滤波修正的mhsa-lstm多元数据预测方法，包括以下步骤：

4、s1，采集有源低压配网户变多用户关系数据，并构建数据集：

5、s101，获取有源低压配网户变多用户关系数据；

6、s102，对数据进行预处理：

7、将各个用户的有源低压配网户变数据均转换成1*n的单行数据形式；

8、将各个用户的有源低压配网户变数据叠加成一个矩阵，此矩阵行数代表各用数量，列向量代表各个用户数据的变化趋势；

9、s103，预处理后的数据矩阵导入到excel中，作为后续输入；

10、s2，通过奇异值分解对步骤s102得到的有源低压配网户变多用户数据矩阵进行特征提取与降维处理；

11、s3，使用卡尔曼滤波方法修正数值降维后的有源低压配网户变多用户数据，降低系统误差；

12、s4，引入多头自注意力机制到lstm网络中，建立基于多头自注意力机制的lstm网络；

13、s5，输入步骤s3得到的经处理后的有源低压配网户变数据对lstm网络进行训练，输出预测值。

14、优选地，步骤s2中，奇异值分解singular value decomposition，svd，是一种矩阵分解的方法，将一个任意的矩阵分解为三个矩阵的乘积：u、s和vt；其中，u和v是正交矩阵，s是一个对角矩阵，可以用于数据压缩、特征提取、降维以及矩阵逆的计算，通过奇异值分解对步骤s103得到的有源低压配网户变多用户数据矩阵进行特征提取与降维处理包括：

15、s201，基于奇异值分解svd理论，对于一个有源低压配网户变多用户数据矩阵am*n＝[α1,α2,α3,...,αm]t,αk＝[a1,k,a2,k,a3,k,...,an,k]，m为多用户的数量，n为数据个数，可以分解为三个矩阵的乘积：

16、am*n＝usvt；

17、其中，u：m*m的左奇异向量矩阵；s：m*n的奇异值矩阵；vt：n*n的右奇异向量矩阵；

18、对于奇异值矩阵s：

19、

20、其中，λ1＝diag(λ1,λ2,...,λz)，λi是矩阵am*n的奇异值且按降序排列；

21、s202，求解aat和ata，在svd分解中，矩阵u由aat的特征向量组成，可以通过计算ata得到；矩阵v由ata的特征向量组成，可以通过计算ata得到，具体公式如下：

22、将步骤s201的两公式整理为：

23、

24、求解aat，公式如下：

25、aat＝usvtvstut＝us2ut；

26、求解ata，公式如下：

27、ata＝vstutusvt＝vs2vt；

28、式中，s表示奇异值矩阵，矩阵u由aat的特征向量组成，at表示矩阵a的转置矩阵；

29、s203，根据svd理论，通过保留前r个主导奇异值，将数据简化为在低维坐标系上的表示，实现数据的降维；以矩阵am*n中某个有源低压配网户变多用户数据样本ak为降维对象，ak的公式为：

30、

31、其中，ak是表达在以方向向量v1,v2,...,vn为坐标轴的正交坐标系中的，λiuk,i为ak在坐标轴vi上的坐标值；当奇异值越大时，对应的坐标值也越大，表示对应的坐标轴vi的数据信息重要程度更高，因此将较小的奇异值所对应的数据可以作为噪声进行滤除：

32、

33、式中，下标r表示保留的前r个主导奇异值；

34、s204，采用按顺序累计奇异值的平方值，直到累计值占总奇异值平方和的90％及以上时停止，使得前r个奇异值能较完整地代表原始有源低压配网户变多用户数据矩阵的所有信息；此时得到的矩阵是降维之后的矩阵，其公式如下：

35、

36、其中，a′表示降维后的有源低压配网户变多用户数据矩阵；s′表示m*r的奇异值矩阵；(vt)′表示r*r右奇异向量矩阵；

37、s205，得到的a′为降维后的有源低压配网户变多用户数据矩阵，作为卡尔曼滤波的输入。

38、优选地，步骤s3中，卡尔曼滤波(kalman filter)是基于最小二乘法的计算方法，通过不断修正预测方程的系数，利用先前的预测误差来提高下一时刻的状态估计精度；使用卡尔曼滤波方法修正数值降维后的有源低压配网户变多用户数据，降低其系统误差包括：

39、s301，确定步骤s205得到的矩阵a′系统的状态方程和测量方程：

40、xl＝fιxl-1+wι；

41、yι＝hιxι+vl；

42、其中，xl表示t时刻的状态向量；yl表示t时刻的观测向量；fl表示系统矩阵；hι表示观测矩阵；wι表示系统噪声；vl表示测量噪声；

43、s302，在矩阵数据a′修正过程中，步骤s301的状态方程转写为：

44、xι＝fιxι-1+wι＝exι-1+wι＝xι-1+wl；

45、式中，xl表示t时刻的状态向量，式中作为卡尔曼滤波待估计的系数，fl为单位矩阵e；

46、s303，观测向量yl为t时刻的at′与at之间的误差，即yι＝at′-at，令观测矩阵此时，步骤s301的测量方程等价为：

47、

48、式中，x0,t～xn,t表示t时刻的n个状态向量；vl表示测量噪声；

49、s304，求解t时刻的预估系统状态以及协方差矩,：

50、xt/(t-1)＝ftxt-1；

51、

52、其中，xt/(t-1)、pt/(t-1)分别表示t时刻的预估系统状态以及协方差矩阵；pt-1表示t-1时刻的协方差矩阵；qt表示过程中激励噪声的协方差向量；

53、s305，求解卡尔曼滤波增益：

54、卡尔曼滤波增益方程为：

55、

56、最优状态估计方程为：

57、xt＝xt/t-1+kt(yt-htxt/(t-1))；

58、最优协方差估计矩阵为：

59、pι＝(e-kιhι)pu(t-1)；

60、式中，kt表示卡尔曼滤波增益；rt表示系统测量噪声协方差向量；e表示单位矩阵；

61、s306，根据测量方程计算修正偏差yt′,经过卡尔曼滤波修正后的降维后的有源低压配网户变多用户数据为：

62、zt＝a′+y′ι；

63、

64、式中，是在时刻t基于上一个时间点的信息预测的状态估计值；

65、s307，得到经过卡尔曼滤波修正后的有源低压配网户变多用户数据，将经过卡尔曼滤波修正后的有源低压配网户变多用户数据作为后续lstm网络模型输入。

66、优选地，为了有效提高预测效果，引入多头自注意力机制到lstm网络中；多头自注意力机制(multi head self-attention,mhsa)可以使得网络更好地注意到有用的历史信息，并且在多头自注意力机制中，输入序列会被分成多个子序列，每个子序列都会进行一次单独的注意力计算，模型可以多次关注不同位置的特征，捕捉更多的上下文信息；步骤s4中，引入多头自注意力机制到lstm网络中包括：

67、s401，线性映射：对于输入序列，使用三组不共享的参数矩阵将其线性映射成查询q、键k和值v表示，即wq、wk、wv”；对每一个子空间重复执行上述过程，使每个子空间得到不同的表示；子空间即为“头”；

68、s402，计算注意力得分：对于每个子空间，通过计算q与k的转置的点积并可选择地进行缩放，从而根据映射得到的q和k计算注意力得分；

69、s403，归一化得分：应用softmax函数对每个头的注意力得分进行归一化处理，以便将其转化为概率分布；归一化后的得分表示在聚焦特定输入元素时，其它元素对当前元素输出的相对贡献度；

70、s404，加权并求和：将归一化的注意力得分与每个子空间的值v相乘，然后对结果求和，从而累加对当前元素影响最大即注意力得分最高的v向量；

71、s405，合并多个子空间的输出：将所有子空间的输出进行拼接,通过额外的权重矩阵将其投影到输出空间，从而合并不同子空间的信息。

72、进一步地，在将多头自注意力机制应用于lstm模型中以提高多用户数据预测精度时，相比单头自注意力机制，多头自注意力机制可以带来一些优势其优势如下：

73、(1)，处理长距离依赖关系：lstm本身虽然能够一定程度上捕捉时间序列中的长期依赖关系，但是多头自注意力机制能够更好地对时间序列数据进行全局的依赖关系建模，有助于更好地捕捉用户行为、交互等长期规律，从而提高预测精度；

74、(2)，捕捉多样性特征：多头自注意力机制可以同时关注输入序列中的不同部分，提取更多和更丰富的特征表示，这对于多用户数据的预测来说尤为重要，因为多用户行为可能受到多种因素的影响，而多头自注意力机制能够更好地捕捉这种多样性；

75、(3)，更丰富的注意力表示：多头自注意力机制可以捕捉到更多的上下文信息，不同的头可以关注到输入序列中不同位置的信息，从而提供更丰富的注意力表示，有助于提升模型的性能和泛化能力。

76、优选地，步骤s5中，输入步骤s3得到的经处理后的有源低压配网户变数据对lstm网络进行训练，输出预测值包括：

77、s501，处理输入数据，输入数据包括步骤s307得到经过卡尔曼滤波修正后的有源低压配网户变多用户数据；对输入数据进行预处理、编码、归一化和嵌入，预处理后的数据作为模型的输入；

78、s502，应用多头自注意力层，将预处理后的序列数据应用至mhsa层处理，生成不同的子空间，即不同的“头”，每个子空间分别学习输入序列的不同部分的权重和不同的各种用户信息；

79、s503，将注意力输出连接到lstm，其中mhsa层的输出作为lstm层的输入，使lstm能够处理带有注意力加权的序列信息；

80、s504，训练mhsa-lstm网络模型；

81、s505，设定阈值参数和评价指标，将平均绝对百分比误差(mean absolutepercentage error，mape)作为评价指标，判断多用户预测是否达到其阈值：

82、

83、式中，preal表示真实值，pforecast表示预测值；

84、s506，输出预测值。

85、本发明提供的基于局部均值分解和sma-transformer的数据预测方法的有益效果如下：

86、1，本发明在数据预处理阶段,将有源低压配网户变多用户数据按行叠加成矩阵数据，各行代表各个用户，对矩阵数据进行预测，从而实现多用户数据预测；

87、2，本发明通过奇异值分解对原始数据进行降维和提取特征，再通过卡尔曼滤波修正，降低其系统误差，通过数据的处理，更有利于神经网络的训练；

88、3，本发明利用多头自注意力机制捕捉数据矩阵复杂的依赖关系、以及提取多维度的特征表示，然后利用lstm网络实现对数据矩阵的预测，对各行预测从而实现多元预测。