基于大数据的数据处理方法、装置、设备、介质和程序产品与流程

本技术涉及通信，更具体而言，涉及一种基于大数据的数据处理方法、数据处理装置、计算机设备、非易失性计算机可读存储介质和计算机程序产品。

背景技术：

1、用户的电力数据支撑市场化交易结算是电力市场的核心业务，涉及到厂站和用户计量96点电力数据，由电力采集系统进行采集提供，目前从电力采集系统提供的采集数据情况来看，电力用户96点电力数据完整性和准确性不高，从而影响到电力市场用户交易电费结算的结果。

技术实现思路

1、本技术实施方式提供一种基于大数据的数据处理方法、数据处理装置、计算机设备、非易失性计算机可读存储介质和计算机程序产品，可提高异常电力数据的准确性和完整性，从而提高电力市场用户交易电费结算的结果准确性。

2、本技术实施方式的基于大数据的数据处理方法包括对目标时段内的电力数据进行异常检测，以得到异常数据集；基于所述异常数据集和历史电力数据中至少一者，对所述异常数据集进行拟合，以得到拟合数据集；基于所述拟合数据集和所述目标时段内的电力数据中，所述异常数据集之外的电力数据，生成目标电力数据。

3、在一些实施例中，所述目标时段位于预设统计时段内，所述对目标时段内的电力数据进行异常检测，以得到异常数据集，包括：基于预设的异常类型，分别对所述目标时段内的电力数据进行异常检测，以得到各个异常类型对应的中间数据集；对各个所述中间数据集进行去重处理，以得到所述异常数据集。

4、在一些实施例中，所述预设统计时段内的电力数据基于采样时间编号，所述异常类型包括以下至少一种：空值异常，任一所述编号的电力数据不存在；飞走异常，任一所述编号的电力数据和前一正常电力数据之间的差值大于预设阈值；数据倒走异常，任一所述编号的电力数据小于前一正常电力数据；冻结值统计异常，所述预设统计时段的第一个电力数据和上一个预设统计时段对应的冻结值不一致，或者所述预设统计时段的最后一个电力数据大于下一个预设统计时段对应的冻结值。

5、在一些实施例中，所述目标时段位于预设统计时段内，所述对所述异常数据集进行拟合，以得到拟合数据集，包括：对所述异常数据集进行拆分处理，以得到各个异常数据段；确定与正常数据集的数据量匹配的目标拟合算法，所述正常数据集为所述预设统计时段或所述目标时段的电力数据中，所述异常数据集之外的电力数据形成的数据集；基于所述目标拟合算法分别对各个所述异常数据段进行拟合，以得到所述拟合数据集。

6、在一些实施例中，所述对所述异常数据集进行拆分处理，以得到各个异常数据段，包括：将连续的各个异常电力数据划分为一个所述异常数据段，以得到各个所述异常数据段。

7、在一些实施例中，所述确定与正常数据集的数据量匹配的目标拟合算法，包括：在所述正常数据集的数据量大于预设阈值的情况下，确定所述目标拟合算法为均值拟合算法；所述基于所述目标拟合算法分别对各个所述异常数据段进行拟合，以得到所述拟合数据集，包括：获取所述预设统计时段或所述目标时段内的电力数据中，与所述异常数据段的第一个和最后一个异常电力数据相邻的正常电力数据；基于两个所述正常电力数据的差值和两个所述正常电力数据之间的电力数据的数量，确定拟合均值；基于所述拟合均值及两个所述正常电力数据，拟合得到所述异常数据段中的各个异常电力数据对应的拟合数据，以得到所述异常数据段对应的所述拟合数据集。

8、在一些实施例中，所述确定与正常数据集的数据量匹配的目标拟合算法，包括：

9、在所述正常数据集的数据量小于预设阈值的情况下，确定所述目标拟合算法为结合同期历史电力数据的拟合算法；

10、所述基于所述目标拟合算法分别对各个所述异常数据段进行拟合，以得到所述拟合数据集，包括：

11、获取所述预设统计时段或所述目标时段内的电力数据中，与所述异常数据段的第一个和最后一个异常电力数据相邻的第一正常电力数据、以及历史电力数据中，位于两个所述第一正常电力数据的采集时间之间的第二正常电力数据；

12、基于如下公式确定各个异常电力数据对应的拟合数据：

13、rn＝rn-1+(rmax-rmin)*rn’；

14、其中，r1为任一所述异常电力数据对应的拟合数据，rn-1为rn的上一个电力数据，rmin和rmax分别为所述第一个和最后一个异常电力数据相邻的第一正常电力数据，rn’为所述历史电力数据的各个所述预设统计时段中，与rn-1和rn的采集时间相同两个所述第二正常电力数据的各个差值的均值占总差值的比例，所述总差值基于所述历史电力数据的各个所述预设统计时段中，相邻的两个所述第二正常电力数据之间的各个差值的均值之和；

15、基于所述异常电力数据对应的拟合数据，得到所述异常数据段对应的所述拟合数据集。

16、在一些实施例中，所述目标时段位于预设统计时段内，所述对所述异常数据集进行拟合，以得到拟合数据集，包括：

17、对所述异常数据集进行拆分处理，以得到各个异常数据段；

18、基于预设的平滑因子算法对所述异常数据段进行拟合，以得到所述异常数据段对应的拟合数据集。

19、在一些实施例中，所述基于预设的平滑因子算法对所述异常数据段进行拟合，以得到所述异常数据段对应的拟合数据集，包括：

20、获取所述预设统计时段或所述目标时段内的电力数据中，与所述异常数据段的第一个和最后一个异常电力数据相邻的第一正常电力数据、以及历史电力数据中的上一个预设统计时段中，位于两个所述第一正常电力数据的采集时间之间的第二正常电力数据；

21、基于两个所述第一正常电力数据的差值、与两个所述第一正常电力数据的采集时间相同的两个所述第二正常电力数据的差值、及两个所述第一正常电力数据之间的电力数据的数量，确定平滑因子值；

22、基于如下公式确定各个异常电力数据：

23、rm＝rm-1+tm-tm-1+q；

24、其中，rm为任一所述异常电力数据对应的拟合数据，rm-1为rm的上一个电力数据，tm为所述上一个预设统计时段，与rm的采集时间相同的所述第二正常电力数据，tm-1为所述上一个预设统计时段，与rm-1的采集时间相同的所述第二正常电力数据，q为所述平滑因子值；

25、基于所述异常电力数据对应的拟合数据，得到所述异常数据段对应的所述拟合数据集。

26、在一些实施例中，在所述异常数据段的第一个异常电力数据为所述预设统计时段的第一个电力数据的情况下，确定与所述异常数据段的第一个异常电力数据相邻的第一正常电力数据为所述上一个预设统计时段的冻结值；

27、在所述异常数据段的最后一个异常电力数据为所述预设统计时段的最后一个电力数据的情况下，确定与所述异常数据段的最后一个异常电力数据相邻的第一正常电力数据为所述预设统计时段的冻结值。

28、在一些实施例中，所述基于所述拟合数据集和所述目标时段内的电力数据中，所述异常数据集之外的电力数据，生成目标电力数据，包括：

29、基于所述拟合数据集和所述预设统计时段内的电力数据中，所述异常数据集之外的电力数据，生成所述目标电力数据。

30、在一些实施例中，所述预设统计时段为0点至23：00、0点至23：45、或0点至23：55。

31、在一些实施例中，所述电力数据基于预设采样周期进行采集，所述预设采样周期为5分钟、15分钟或1小时。

32、在一些实施例中，所述方法还包括基于大数据实时处理计算框架，获取采集的电力数据并存储到预设的大数据列式存储数据库。

33、在一些实施例中，通过预设的大数据实时调度框架，基于各个目标对象的电力数据生成各个调度任务，所述调度任务用于实现对对应的所述目标对象的电力数据的异常检测及拟合；并调度执行各个所述调度任务，以得到各个所述目标对象对应的所述目标电力数据。

34、在一些实施例中，异常检测过程和拟合过程通过分布式处理引擎进行。

35、本技术实施方式的数据处理装置包括异常检测模块、拟合模块和生成模块。所述异常检测模块用于对目标时段内的电力数据进行异常检测，以得到异常数据集；所述拟合模块用于对所述异常数据集进行拟合，以得到拟合数据集，所述拟合数据集中的拟合数据通过对所述异常数据集中对应的异常电力数据进行校正或补全得到；所述生成模块用于基于所述拟合数据集和所述目标时段内的电力数据中，所述异常数据集之外的电力数据，生成目标电力数据。

36、本技术实施方式的计算机设备包括处理器、存储器及计算机程序，其中，所述计算机程序被存储在所述存储器中，并且被所述处理器执行，所述计算机程序包括用于执行上述任一实施方式所述的基于大数据的数据处理方法的指令。

37、本技术实施方式的非易失性计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一实施方式所述的基于大数据的数据处理方法。

38、本技术实施方式的计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的基于大数据的数据处理方法。

39、本技术实施方式的基于大数据的数据处理方法、数据处理装置、计算机设备、计算机可读存储介质和计算机程序产品，通过对电力数据进行异常检测，并得到异常电力数据组成的异常数据集，然后对异常数据集进行拟合，从而得到异常电力数据对应的拟合数据，对数值异常的异常电力数据可以进行校正，对空值的异常电力数据则可以补全，从而提高异常电力数据的准确性和完整性。

40、最后，基于准确且完整的拟合数据集与已采集的电力数据中，正常的电力数据，生成最终的目标电力数据，目标电力数据的完整性和准确性均较好，可提高电力市场用户交易电费结算的结果准确性。

41、本技术的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施方式的实践了解到。