一种电力现货交易中电力用户用电量低秩矩阵补全方法与流程

本发明涉及电力现货交易中数据处理，尤其是指一种电力现货交易中电力用户用电量低秩矩阵补全方法、设备。

背景技术：

1、目前，我国正积极推动电力体制改革，要求各省根据实际情况进行电力改革，结合受电侧改革、输配电价格核定和电力能源直接交易等方式，促进电力市场不断发展；然而，由于我国电力市场初建阶段，市场化交易滞后，计划管理仍主导电力系统调度，供需变化未能充分反映在市场价格上；因此，需进一步推动电力市场体系建设，强化电力现货市场，更好地选择市场模式和设计市场规划，为电力体制改革打下基础。

2、现货交易的市场主体包括各类发电企业、电力用户、售电公司等，电量作为电力市场交易商品具有重要地位；然而，在电量采集过程中，由于受到通信干扰、设备老化、传感器故障、通信受阻以及人为影响等因素的影响，会造成数据采集质量不佳，导致电量数据缺失的情况；用户用电量大多以负荷聚合商的形式参与交易，当某一用户负荷缺失时，会出现供需不平衡的情况，因此亟须补全数据，保证参与现货交易的负荷聚合商数据完整可靠性；

3、现有的矩阵补全方法有knn算法、线性插值法和传统低秩矩阵补全法，但是，knn算法、线性插值法对数据缺失处理效果不佳，导致日前交易时电量缺失，用电量数据不准确，供需不平衡；传统低秩矩阵补全法，在处理连续缺失与整段缺失值时，无法进行数据信息的更新，导致矩阵补全无法进行梯度下降，出现数据稀疏性增加的现象，从而造成补全精度低的问题。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中对数据缺失处理效果不佳，导致供需不平衡的问题；在处理连续缺失与整段缺失值时，无法进行数据信息的更新，导致矩阵补全无法进行梯度下降，出现数据稀疏性增加的现象，从而造成补全精度低的问题。

2、为解决上述技术问题，本发明提供了一种电力现货交易中电力用户用电量低秩矩阵补全方法，包括：

3、在promethus时序数据库中，提取参与现货交易的煤炭厂用户用电量时间序列数据；采用stl时间序列加法，将提取出的参与现货交易的煤炭厂用户用电量时间序列数据，分解为平滑趋势项、周期项和残差项；

4、将参与现货交易的煤炭厂用户用电量时间序列数据转化为对称托普利茨矩阵形式，得到原始数据矩阵；将平滑趋势项、周期项和残差项进行托普利茨化，得到平滑趋势项矩阵、周期项矩阵和残差项矩阵；基于原始数据矩阵的低秩性，对平滑趋势项矩阵进行低秩分解，得到平滑趋势项矩阵的低秩分解矩阵，从而得到原始数据矩阵与周期项矩阵之差的逼近矩阵；

5、在oracle关系数据库中，获取外部干扰信息，将其变换为标签集基于标签集，根据参与现货交易的煤炭厂用户用电量时间序列数据x(t)＝<x1,x2,...,xt>顺序，定义标签序列y＝<y1,y2,...,yt>；其中，标签序列与时间序列数据一一对应；设置用电量数据丢失指示矩阵w＝{wt}∈{0,1}t，定义带标签的参与现货交易的煤炭厂用户用电量时间序列数据lcd＝<x,w,y>；

6、分别提取残差项中对应标签为qm的数据出来，组成与每种标签对应的残差项子序列；采用学习向量量化法对各个残差项子序列进行处理，得到各个残差项子序列对应的代表向量，利用第一距离公式表示所有残差项子序列中各个数据与其对应代表向量之间的约束关系；分别提取残差项矩阵中对应标签为qm的数据出来，组成与每种标签对应的残差项矩阵子矩阵；采用学习向量量化方法对各个残差项矩阵子矩阵进行处理，得到各个残差项矩阵子矩阵对应的代表向量矩阵；基于第一距离公式，设计扰动项正则项表示所有残差项子矩阵与其对应代表向量矩阵之间的约束关系；

7、对于平滑趋势项，利用第二距离公式表示相邻时刻平滑趋势项数据间的约束关系；基于第二距离公式，利用平滑趋势项矩阵的低秩分解矩阵，设计平滑趋势正则项表示矩阵中相邻时刻数据间的约束关系；

8、基于传统矩阵分解框架，结合平滑趋势正则项、扰动项正则项，建立目标函数；采用随机梯度下降法更新目标函数，求解低秩分解矩阵和残差项矩阵；迭代更新直至达到预设迭代次数，得到目标低秩分解矩阵和目标残差项矩阵，从而得到目标逼近矩阵；

9、通过周期项矩阵和目标逼近矩阵，得到补全后的数据矩阵；根据缺失数据在原始数据矩阵中的位置，得到缺失数据在补全后的数据矩阵中的对应位置；根据对应位置处的数据值，采用均值法求解电量缺失值，得到补全后的参与现货交易的煤炭厂用户用电量时间序列数据；将补全后的参与现货交易的煤炭厂用户用电量时间序列数据放回promethus时序数据库。

10、优选地，在promethus时序数据库中，提取参与现货交易的煤炭厂用户用电量时间序列数据；采用stl时间序列加法，将提取出的参与现货交易的煤炭厂用户用电量时间序列数据，分解为平滑趋势项、周期项和残差项；将分解表达式中的各项均托普利茨化，得到原始数据矩阵、平滑趋势项矩阵、周期项矩阵和残差项矩阵；基于原始数据矩阵的低秩性，对平滑趋势项矩阵进行低秩分解，得到平滑趋势项矩阵的低秩分解矩阵，从而得到原始数据矩阵与周期项矩阵之差的逼近矩阵包括：

11、在promethus时序数据库中，根据数据存储的时间戳与对应的时序数据，使用promethus的web ui或api进行查询，使用promql查询语言结合grafana可视化工具，获取参与现货交易的煤炭厂用户用电量时间序列数据；对参与现货交易的煤炭厂用户用电量时间序列数据，进行stl时间序列加法分解，分解为平滑趋势项、周期项和残差项，其分解表达式如下：

12、x(t)＝s(t)+t(t)+e(t)

13、其中，x(t)表示参与现货交易的煤炭厂用户用电量时间序列数据；s(t)表示平滑趋势项；t(t)表示周期项；e(t)表示残差项；

14、将参与现货交易的煤炭厂用户用电量时间序列数据转化为对称托普利茨矩阵形式，则矩阵为

15、

16、其中，每一行每一列均体现相邻元素时序相关性；xt表示t时刻的数据；

17、将平滑趋势项、周期项和残差项进行托普利茨化，得到托普利茨化后的数据分解矩阵表达式

18、tp(x)＝tp(s)+tp(t)+tp(e)

19、其中，tp(x)表示原始数据矩阵；tp(s)表示平滑趋势项矩阵，tp(t)表示周期项矩阵，tp(e)表示残差项矩阵；

20、基于矩阵的奇异值分解，证明得到原始数据矩阵具有低秩性；基于原始数据矩阵的低秩性，对平滑趋势项矩阵进行低秩分解tp(s)，得到对应的低秩分解矩阵u和v；则原始数据矩阵与周期项矩阵之差的逼近矩阵，表示为

21、a＝uv+tp(e)

22、其中，a表示原始数据矩阵与周期项矩阵之差的逼近矩阵；u和v表示低秩分解矩阵。

23、优选地，所述在oracle关系数据库中，获取外部干扰信息，将其变换为标签集基于标签集，根据参与现货交易的煤炭厂用户用电量时间序列数据x(t)＝<x1,x2,...,xt>顺序，定义标签序列y＝<y1,y2,...,yt>；其中，标签序列与时间序列数据一一对应；设置用电量数据丢失指示矩阵w＝{wt}∈{0,1}t，定义带标签的参与现货交易的煤炭厂用户用电量时间序列数据lcd＝<x,w,y>包括：

24、在oracle关系数据库中，获取气象数据，将其变换为标签集其中，qm表示标签种类为m的标签，m表示标签种类；

25、定义标签序列表示气象数据对参与现货交易的煤炭厂用户用电量时间序列数据的影响，则标签序列表示为

26、y＝<y1,y2,...,yt>

27、其中，yt∈y，t∈[1,t]，表示在t时刻的标签；标签序列与参与现货交易的用户用电量时间序列数据一一对应；

28、定义带标签的参与现货交易的煤炭厂用户用电量时间序列数据为：lcd＝<x,w,y>；

29、其中，x(t)＝<x1,x2,...,xt>表示长度为t的时间序列，xt∈r表示t时刻的数据；指示矩阵w＝{wt}∈{0,1}t，当wt＝0时表示电量数据丢失，当wt＝1时表示电量数据完整；y表示标签序列。

30、优选地，所述分别提取残差项中对应标签为qm的数据出来，组成与每种标签对应的残差项子序列；采用学习向量量化法对各个残差项子序列进行处理，得到各个残差项子序列对应的代表向量，利用第一距离公式表示所有残差项子序列中各个数据与其对应代表向量之间的约束关系；分别提取残差项矩阵中对应标签为qm的数据出来，组成与每种标签对应的残差项矩阵子矩阵；采用学习向量量化方法对各个残差项矩阵子矩阵进行处理，得到各个残差项矩阵子矩阵对应的代表向量矩阵；基于第一距离公式，设计扰动项正则项表示所有残差项子矩阵与其对应代表向量矩阵之间的约束关系包括：

31、基于标签序列与参与现货交易的煤炭厂用户用电量时间序列数据一一对应，则标签序列与残差项数据同样保持一一对应；

32、基于上述结论，分别提取残差项中对应标签为qm的数据出来，组成与每种标签对应的残差项子序列，则对应标签为qm的残差项子序列表示为

33、采用学习向量量化方法对对应标签为qm的残差项子序列进行处理，得到该残差项子序列对应的代表向量基于同一用户在相同标签下存在数据差异小的情况，该残差项子序列中所有元素与对应代表向量之间的距离之和，可以表示为

34、

35、用第一距离公式表示所有残差项子序列中各个数据与其对应代表向量之间的约束关系，可以表示为

36、

37、其中，表示标签qm对应的残差项子序列与其对应代表向量间的距离之和；e表示残差项数据；eu表示标签qm对应的子序列中的第u个数据；q表示标签集；m表示标签种类；qm表示标签种类m为的标签；i∈rt×t为单位矩阵；h∈{0,1}t×m表示指示不同标签在标签序列y中出现的位置，当且仅当yt＝qm时，ht,m＝1；ht表示h的转置矩阵；c∈rm×m表示仅对角元素非0且取值为cm,m＝1/cm的矩阵，cm表示标签qm在标签序列中出现的次数；b＝i-hcht；由于气象数据对应的标签不会丢失，则b,h,c中的元素取值均为确定的值；

38、分别提取残差项矩阵中对应标签为qm的数据出来，组成与每种标签对应的残差项矩阵子矩阵，则对应标签为的残差项矩阵子矩阵表示为；

39、采用机器学习方法对各个残差项矩阵子矩阵进行处理，得到各个残差项矩阵子矩对应的代表向量矩阵

40、基于第一距离公式，考虑在同种标签下，各个残差项矩阵子矩阵中的缺失数据与其对应代表向量矩阵中的对应向量接近，设计扰动项正则项表示子矩阵与其对应代表向量矩阵之间的约束关系，则扰动项正则项表示为

41、

42、其中，表示矩阵f-范数的平方，表示残差项矩阵e中对应标签为qm的所有数据构成的残差项矩阵子矩阵；表示经过学习向量量化得到的代表向量矩阵。

43、优选地，所述对于平滑趋势项，利用第二距离公式表示相邻时刻平滑趋势项数据间的约束关系；基于第二距离公式，利用平滑趋势项矩阵的低秩分解矩阵，设计平滑趋势正则项表示矩阵中相邻时刻数据间的约束关系包括：

44、基于平滑趋势项相邻数据间波动小的约束关系，用第二距离公式来表示则可表示为

45、

46、其中，st表示t时刻的平滑趋势项数据，st-1表示t-1时刻的平滑趋势项数据，s表示平滑趋势项数据，t表示时间时刻，t表示时间长度；表示l2范数的平方，l1表示光滑约束矩阵，其定义为

47、

48、其中，上述矩阵中没有标注的均为0；r表示实数集合；

49、对平滑趋势项矩阵tp(s)，考虑时刻相差为1的数据值接近，结合低秩分解矩阵u、v，基于第二距离公式，定义平滑趋势正则项，则平滑趋势正则项表示为

50、

51、其中，i,t表示矩阵的行数和列数；t表示时间长度；d表示总行数。

52、优选地，所述基于传统矩阵分解框架，结合平滑趋势正则项、扰动项正则项，建立目标函数；采用随机梯度下降法更新目标函数，求解低秩分解矩阵和残差项矩阵；迭代更新直至达到预设迭代次数，得到目标低秩分解矩阵和目标残差项矩阵，从而得到目标逼近矩阵包括：

53、基于传统矩阵分解框架，结合平滑趋势正则项、扰动项正则项，建立目标函数：

54、

55、其中，λs、λe、λo表示正则化系数；i,t表示矩阵的行数和列数；[tp(x)i,t-tp(t)i,t]表示原始序列矩阵，ai,t表示重建序列矩阵，ai,t＝ui,:v:,t+ei,t；([tp(x)i,t-tp(t)i,t]-ai,t)2为原始序列和重建序列之间的均方根误差，表示重构误差；rs(u,v)表示平滑趋势正则项；re(e)表示扰动项正则项；ro(u,v,e)表示标准正则项；w表示指示矩阵；x表示参与现货交易的煤炭厂用户用电量时间序列数据；y表示标签序列；

56、其中，为防止数据发生过拟合情况，定义标准正则项为

57、

58、其中，表示矩阵f-范数的平方；

59、采用随机梯度下降法更新目标函数，求解低秩矩阵和残差项矩阵，则每次更新目标函数表示为

60、

61、其中，u、v表示平滑趋势项的低秩分解矩阵；e表示残差项矩阵；x表示参与现货交易的煤炭厂用户用电量时间序列数据；y表示标签序列；w表示指示矩阵；

62、基于分解后的数据均具有周期性，则周期项不需要更新；

63、通过不断地迭代更新，直至达到预设迭代次数，得到目标低秩分解矩阵和目标残差项矩阵，表示为

64、

65、

66、

67、其中，errori,t＝[tp(x)i,t-tp(t)i,t]-ai,t；表示e中对应标签为qm的所有数据构成的残差项矩阵子矩阵；表示经过学习向量量化得到的代表向量矩阵；

68、根据目标低秩分解矩阵和目标残差项矩阵，得到目标逼近矩阵为

69、

70、其中，i,t表示矩阵的行数和列数。

71、优选地，所述通过周期项矩阵和目标逼近矩阵，得到补全后的数据矩阵；根据缺失数据在原始数据矩阵中的位置，得到缺失数据在补全后的数据矩阵中的对应位置；根据对应位置处的数据值，采用均值法求解电量缺失值，得到补全后的参与现货交易的煤炭厂用户用电量时间序列数据；将补全后的参与现货交易的煤炭厂用户用电量时间序列数据放回promethus时序数据库包括：

72、通过周期项矩阵和目标逼近矩阵，得到补全后的数据矩阵，则补全后的数据矩阵表示为

73、

74、其中，tp(t)i,t表示周期项矩阵；

75、根据缺失数据在原始数据矩阵中的位置，与补全后的数据矩阵对应，在补全后的数据矩阵中找到对应缺失数据的位置；根据找到的对应缺失数据位置处的数据值，采用均值法求解电量缺失值，其表达式为

76、

77、其中，j表示缺失值在补全后的对称托普利茨数据矩阵中对应的位置；n表示缺失值在补全后的对称托普利茨数据矩阵中对应的位置个数；

78、将修改后的数据通过http api导入promethus时序数据库或在promethus配置文件中添加远程写入配置，完成后使用promethus的web ui或api查询，验证补全后的参与现货交易的煤炭厂用户用电量数据是否被成功写入。

79、本发明还提供了一种电力现货交易中电力用户用电量低秩矩阵补全装置，包括：

80、数据获取与分解模块：在promethus时序数据库中，提取参与现货交易的煤炭厂用户用电量时间序列数据；采用stl时间序列加法，将提取出的参与现货交易的煤炭厂用户用电量时间序列数据，分解为平滑趋势项、周期项和残差项；

81、数据托普利茨化模块：将参与现货交易的煤炭厂用户用电量时间序列数据转化为对称托普利茨矩阵形式，得到原始数据矩阵；将平滑趋势项、周期项和残差项进行托普利茨化，得到平滑趋势项矩阵、周期项矩阵和残差项矩阵；基于原始数据矩阵的低秩性，对平滑趋势项矩阵进行低秩分解，得到平滑趋势项矩阵的低秩分解矩阵，从而得到原始数据矩阵与周期项矩阵之差的逼近矩阵；

82、定义标签模块：在oracle关系数据库中，获取外部干扰信息，将其变换为标签集基于标签集，根据参与现货交易的煤炭厂用户用电量时间序列数据x(t)＝<x1,x2,...,xt>顺序，定义标签序列y＝<y1,y2,...,yt>；其中，标签序列与时间序列数据一一对应；设置用电量数据丢失指示矩阵w＝{wt}∈{0,1}t，定义带标签的参与现货交易的煤炭厂用户用电量时间序列数据lcd＝<x,w,y>；

83、设计扰动项正则项模块：分别提取残差项中对应标签为qm的数据出来，组成与每种标签对应的残差项子序列；采用学习向量量化法对各个残差项子序列进行处理，得到各个残差项子序列对应的代表向量，利用第一距离公式表示所有残差项子序列中各个数据与其对应代表向量之间的约束关系；分别提取残差项矩阵中对应标签为qm的数据出来，组成与每种标签对应的残差项矩阵子矩阵；采用学习向量量化方法对各个残差项矩阵子矩阵进行处理，得到各个残差项矩阵子矩阵对应的代表向量矩阵；基于第一距离公式，设计扰动项正则项表示所有残差项子矩阵与其对应代表向量矩阵之间的约束关系；

84、设计平滑趋势项模块：对于平滑趋势项，利用第二距离公式表示相邻时刻平滑趋势项数据间的约束关系；基于第二距离公式，利用平滑趋势项矩阵的低秩分解矩阵，设计平滑趋势正则项表示矩阵中相邻时刻数据间的约束关系；

85、构建目标函数模块：基于传统矩阵分解框架，结合平滑趋势正则项、扰动项正则项，建立目标函数；

86、求解目标函数模块：采用随机梯度下降法更新目标函数，求解低秩分解矩阵和残差项矩阵；迭代更新直至达到预设迭代次数，得到目标低秩分解矩阵和目标残差项矩阵，从而得到目标逼近矩阵；

87、数据补全模块：通过周期项矩阵和目标逼近矩阵，得到补全后的数据矩阵；根据缺失数据在原始数据矩阵中的位置，得到缺失数据在补全后的数据矩阵中的对应位置；根据对应位置处的数据值，采用均值法求解电量缺失值，得到补全后的参与现货交易的煤炭厂用户用电量时间序列数据；

88、数据导入模块：将补全后的参与现货交易的煤炭厂用户用电量时间序列数据放回promethus时序数据库。

89、本发明还提供了一种电力现货交易中电力用户用电量低秩矩阵补全设备，包括：

90、存储器，用于存储计算机程序；

91、处理器，用于执行所述计算机程序时实现任一所述一种电力现货交易中电力用户用电量低秩矩阵补全方法的步骤。

92、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一所述一种电力现货交易中电力用户用电量低秩矩阵补全方法的步骤。

93、本发明的上述技术方案相比现有技术具有以下有益效果：

94、(1)本发明所述的一种电力现货交易中电力用户用电量低秩矩阵补全方法，在promethus时序数据库中提取电力现货交易中电力用户用电量时间序列数据，能够更好地满足现货交易数据存储需求量大的要求；

95、(2)本发明所述的一种电力现货交易中电力用户用电量低秩矩阵补全方法，采用stl(standard template library)加法分解参与现货交易的煤炭厂用户用电量时间序列数据，得到时间序列数据内部平滑趋势项、周期项和残差项；经过stl分解后的用户用电量时间序列数据平滑趋势中的时刻相差为1的数据波动小，保证了数据的稳定性；同时，由于分解后的用户用电量时间序列数据具有严格的周期性，不需要进一步更新周期项，减小了计算量；

96、(3)本发明所述的一种电力现货交易中电力用户用电量低秩矩阵补全方法，采用聚类的方法分析参与现货交易的用户用电量数据、残差项数据，发现相似用户用电行为的相似性；采用托普利茨矩阵进一步增强数据之间的时序相关性，基于stl时间序列加法模型，构建低秩矩阵分解模型；能够在数据整段缺失时，对数据进行更新，减小数据的稀疏性，提高了数据补全的精确度，提升了电力市场现货交易结算效率，保证了参与现货交易的负荷聚合商数据的完整性和可靠性，确保了现货交易中的供需平衡。