一种基于集中抄表的数据校正方法及系统与流程

本发明涉及抄表的数据校正，具体为一种基于集中抄表的数据校正方法及系统。

背景技术：

1、随着智能电网和物联网技术的快速发展，基于集中抄表的数据采集和管理系统在电力、水务、燃气和热能等公用事业中得到了广泛应用。传统的人工抄表方式存在效率低下、误差较大、人工成本高等问题，而集中抄表系统通过自动化手段采集各种表计数据，能够显著提高抄表效率和数据准确性。现代集中抄表系统通常集成了各种类型的表计数据，包括电表、水表、气表和热能表等，通过采集终端将数据传输到集中管理平台，进行统一处理和分析。这种自动化数据采集方式不仅减少了人工干预，还提高了数据的实时性和可靠性，为公用事业的运营管理提供了重要支持。

2、尽管现有的集中抄表系统在数据采集和管理方面取得了显著进展，但在数据异常检测和校正方面仍存在诸多不足。首先，传统的统计分析方法对数据异常的检测能力有限，尤其是在面对复杂的非线性数据关系时，容易出现漏报和误报。其次，虽然机器学习和神经网络技术在一定程度上提高了数据异常检测的准确性，但这些方法通常需要大量的标注数据进行训练，且对模型参数的选择和优化要求较高，增加了系统的复杂性和运维成本。

3、此外，现有的异常数据校正方法大多侧重于个体数据点的修正，缺乏对数据之间关联性的全面考虑。例如，电表、水表、气表等不同类型的表计数据之间可能存在复杂的关联关系，这些关联关系在异常数据检测和校正中往往被忽略，导致校正结果不理想。另一方面，现有方法对历史数据的利用不充分，无法有效地将历史波动范围作为校正参考，导致在校正过程中缺乏合理的评估标准和优化目标。

技术实现思路

1、鉴于上述存在的问题，提出了本发明。

2、因此，本发明解决的技术问题包括：现有的抄表的数据校正方法存在人工成本过高、耗时较长、历史数据利用不充分等。

3、为解决上述技术问题，本发明提供如下技术方案：一种基于集中抄表的数据校正方法，包括：

4、通过抄表设备，采集不同类型的表计数据，通过采集终端将抄表数据传输到集中抄表的数据管理平台；

5、对所述抄表数据进行初步的异常判断，并初次筛选需要校正的数据；

6、通过对初次筛选后的数据的关联分析，进行需要校正数据的二次筛选；

7、在二次筛选的结果中，利用改进后的退火算法进行数据校正。

8、作为本发明所述的基于集中抄表的数据校正方法的一种优选方案，其中：所述不同类型的表计数据包括，电表数据、水表数据、气表数据、热能表数据；

9、所述采集终端集成了所有抄表设备采集的抄表数据，并在每一个抄表数据插入三种标签，通过通信网络将采集终端集成的数据传输到数据管理平台；

10、所述三种标签包括：位置标签、用户标签、设备标签；

11、所述位置标签包括，表计所在的地理位置信息，能够通过互联网查询所述表计的位置信息，从而获取环境影响因素；

12、所述用户标签包括，通过每个表计与用户的匹配关系表，在记录抄表数据时，记录当前表计匹配的用户；

13、所述设备标签包括，记录当前表计数据的设备信息。

14、作为本发明所述的基于集中抄表的数据校正方法的一种优选方案，其中：所述初步的异常判断包括，将集成的抄表数据按照所述用户标签进行分类，得到每个用户的抄表数据；

15、在每个用户的抄表数据中，以每个表计为单位进行异常判断，通过对抄表数据的历史记录进行分析，识别异常的部分；

16、设有个用户，每个用户i的数据用表示；

17、对于每个用户的数据，提取出每个表计的数据并计算其变化量，设每个表计的数据为；

18、变化量计算公式：

19、，

20、其中，表示第i个用户的第j个表计的抄表数据变化量，表示第个用户的第个表计在时间的读数，表示抄表的时间间隔，表示第个表计，表示时间；

21、计算变化量数据的特征值，包括平均值、标准差和傅里叶变换；

22、，

23、，

24、，

25、其中，表示第i个用户的第j个表计的变化量的平均值，t表示抄表数据的时间周期，表示为第i个用户的第j个表计的变化量的标准差，表示第i个用户的第j个表计的变化量的傅里叶变换结果，ω表示频率变量；

26、利用多层感知器神经网络进行异常检测，输入为特征向量，输出为异常分数；

27、特征向量：

28、，

29、神经网络公式：

30、，

31、其中，和表示神经网络的权重矩阵；和表示神经网络的偏置向量；relu为激活函数；表示sigmoid激活函数，将输出转化为0到1之间的概率值；

32、对于每个用户的每个表计，若异常分数超过预设的阈值，则判定为异常；将判断为异常的数据判定为初次筛选需要校正的数据。

33、作为本发明所述的基于集中抄表的数据校正方法的一种优选方案，其中：所述关联分析包括，获取每个需要校正的数据，并根据每个数据的位置标签建立图神经网络；节点为每个需要校正的数据，边为位置之间的距离关系；根据历史记录中异常数据的位置，使用dbscan算法划分多个历史异常区域，每个区域包含多个位置节点；通过分析异常发生的位置是否在同一划分后的区域集中，若在同一划分后的区域集中，则判定为区域内异常；若不在同一划分后的区域集中，则判定为无区域内异常；

34、具体为：

35、使用图神经网络计算每个节点的异常评分，并基于评分计算每个区域的异常概率；

36、使用图卷积层进行特征传播：

37、，

38、计算每个节点的异常评分：

39、，

40、计算每个区域的异常概率：

41、，

42、其中，表示第l层的节点特征矩阵；表示第l+1层的节点特征矩阵；表示非线性激活函数sigmoid；d为度矩阵，表示图中每个节点的度数，是与节点相连的边的数量；表示度矩阵的平方根逆矩阵，用于归一化处理；a为邻接矩阵，表示图中节点之间的连接关系；w为权重矩阵，表示线性变换的参数；表示第l层的权重矩阵；表示节点i的异常评分；表示节点i的邻居节点集合；j表示节点i的邻居节点的索引；表示节点i的邻居节点数量；表示节点i的特征向量；表示节点i的邻居节点j的特征向量；σ表示高斯核函数的带宽参数；表示区域的异常概率；表示为第k个区域内的节点数量；i表示节点的索引；

43、根据计算出的区域异常概率，判断当前异常是否集中在某个历史异常区域内。

44、作为本发明所述的基于集中抄表的数据校正方法的一种优选方案，其中：所述二次筛选包括，若当前异常的位置集中在历史区域内，对区域内的异常节点设定阈值进行判断，当，则判定为区域内异常，否则判定为无区域内异常；

45、对所述需要校正的数据按照设备标签进行分类，分析每个设备标签中的数据异常比例，若所述数据异常比例超过预设的阈值yc，则判断为设备异常；否则判定为无设备异常；

46、将判断为所述设备异常和所述区域内异常的数据作为二次筛选的结果，通过改进后的退火算法进行校正；将判断为无设备异常且无区域内异常的数据在需要校正的数据中剔除，作为正常数据。

47、作为本发明所述的基于集中抄表的数据校正方法的一种优选方案，其中：所述改进后的退火算法包括，定义每个异常数据作为初始解，基于初始解的异常程度设定初始温度；

48、对判定为区域内异常的数据，在每个异常区域内，使用相同的扰动策略；

49、对判定为设备异常的数据，在每个设备的异常数据中，使用相同的扰动策略；

50、经过扰动策略，分析适应性函数值是否优于当前解，若候选解优于当前解的适应性函数值，则接受候选解；反之，不接受候选解；当接受候选解时，自动更新异常数据为扰动后的数据；

51、当满足终止条件时，完成对抄表数据的校正；

52、所述终止条件包括，满足以下三个条件的任意一个，则认为满足终止条件：

53、异常数据的迭代结果均在历史波动范围内；

54、异常数据的迭代结果连续z次无更新；

55、达到最大迭代次数。

56、作为本发明所述的基于集中抄表的数据校正方法的一种优选方案，其中：所述扰动策略包括，区域内的扰动策略：

57、，

58、其中，表示一个随机的扰动量，适用于区域内的所有数据点，对于同一区域的为相同的数值；表示当前数据，表示扰动后的更新数据；

59、设备的扰动策略：

60、，

61、其中，表示一个随机的扰动因子，适用于设备内的所有数据点，对于同一区域的为相同的数值；

62、所述适应性函数包括，衡量每个候选解与历史数据波动范围的最大最小值之间的差异，若候选解不在历史波动范围内，则计算候选解与历史波动范围之间的距离为评估函数值；若候选解在历史波动范围内，则候选解的评估函数值为0；通过统计评估函数值的综合结果，作为适应性函数值；

63、，

64、，

65、，

66、其中，表示异常判断结果，表示候选解的数值，表示表计i历史波动范围的最小值，表示表计i历史波动范围的最大值，表示候选解与历史波动范围之间的距离，表示适应性函数值，m表示二次筛选后的异常数据数量；

67、当候选解的适应性函数值小于当前解的适应性函数，则认定候选解优于当前解的适应性函数值。

68、一种采用如本发明任一所述方法的基于集中抄表的数据校正系统，其中：

69、采集单元，通过抄表设备，采集不同类型的表计数据，通过采集终端将抄表数据传输到集中抄表的数据管理平台；

70、筛选单元，对所述抄表数据进行初步的异常判断，并初次筛选需要校正的数据；通过对初次筛选后的数据的关联分析，进行需要校正数据的二次筛选；

71、校正单元，在二次筛选的结果中，利用改进后的退火算法进行数据校正。

72、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现本发明中任一项所述的方法的步骤。

73、一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现本发明中任一项所述的方法的步骤。

74、本发明的有益效果：本发明提供的基于集中抄表的数据校正方法，能够有效减少人工操作，提高了效率和数据实时性。提升了初步异常检测的准确性，减少了误报和漏报。综合考虑数据之间的复杂关联性，进一步提升筛选精度。通过全局优化策略，实现了对异常数据的精确校正，确保数据的可靠性和稳定性。