一种计量检定数据上链方法及系统与流程

本发明主要涉及计量数据处理，具体涉及一种计量检定数据上链方法及系统。

背景技术：

1、目前，电网的实验室资源和数据共享程度低，大量检测数据未得到有效贯通和融合应用的问题成为计量数据研究的绊脚石。因此，亟需开展计量实验室全场景感知与检测数据共享融合技术研究及应用，通过试验检测数据的统一规范化可信接入与共享，实现两级计量实验室数据的纵向贯通、融合共享和示范应用，支撑全场景、可视化计量智慧实验室建设，支撑电力行业其他实验室数据共享融合应用，提升电力行业实验室智能化管理水平。

技术实现思路

1、本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现对计量实验室全场景感知与检测数据有效监管的计量检定数据上链方法及系统。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种计量检定数据上链方法，包括步骤：

4、s1、电能表检定数据上链数据规划：针对电能表检定数据在上链前对数据进行预处理；

5、s2、电能表检定数据上链数据对象设计：针对电能表检定数据进行分析归类，制定上链数据标准以对电能表检定数据进行处理，得到符合规范的标准数据；

6、s3、电能表检定数据智能合约设计：分析电能表检定数据上链的需求，确定记录的数据类型，设计智能合约的架构，规划合约的逻辑流程，实现电能表检定数据的智能合约设计。

7、优选地，在步骤s1中，预处理包括数据清洗、数据降维和数据融合；

8、其中数据清洗分为重复记录清洗和噪声数据消除两部分，具体为：

9、重复记录清洗采用基本近邻排序算法，主要包括以下三步：

10、1)生成关键词：通过抽取数据集中相关属性的值为每个实例生成一个关键字；

11、2)数据排序：按关键字为数据集中的数据排序，使潜在的重复记录调整到一个邻近的区域内；

12、3)合并：在已排序的数据集上依次移动一个固定大小的窗口,数据集中每条记录仅与窗口内的记录进行比较；如果窗口的大小是包含m个记录，则每条新进入窗口的记录都要与先前进入窗口的m条记录进行比较，来检测重复记录，然后最先进入窗口内的记录滑出窗，最后一条记录的下一条记录移入窗口。

13、优选地，所述噪声数据消除的方法为等深分箱法，通过把数据划分到相同深度的不同箱内，具体为：

14、a按箱平均值平滑

15、把箱中的所有值平均,然后使用箱的平均值替代箱中所有数据；

16、b按箱边界平滑

17、箱中的最大和最小值被视为箱边界，箱中的每一个值被最近的箱边界值替换。

18、优选地，在进行数据降维时，对于数据特征中的线性特征，采用主成分分析降维方法，找到数据中最主要的元素和结构，去除噪声和冗余，对原有的复杂数据进行降维；对于数据特征中的非线性特征，采用自编码器降维；针对降维后的数据特征，进行基于规则的特征挖掘，支撑非可逆特征提取；

19、主成分分析降维方法的降维处理的具体流程如下：

20、1)首先计算特征平均值构建特征数据的协方差矩阵；

21、2)再通过svd分解求解该协方差矩阵的特征值以及特征向量；

22、3)求出来的特征值依次从大到小的排列以便于选出主成分的特征值；

23、4)当选出了主成分的特征值后,这些特征值所对应的特征向量就构成了降维后的子空间；

24、采用自编码器降维的具体过程为：

25、自编码器结构：包括三层的神经网络结构:输入层、隐层、输出层；

26、自编码器算法流程：

27、a对于给定的无标签数据，使用无监督学习方法学习特征：对于无类标签的数据，通过编码器将输入数据进行编码，然后使用解码器得到一个输出信息；如果输出近似等于输入数据,则可以通过调整编码和解码阶段的参数，使得重构误差最小；

28、b将编码器产生的特征作为输入，逐层训练下面层的网络；由于第一个训练层得到的编码是输入数据的复现，所以下面层的训练过程类似第一层；

29、c有监督地微调整个神经网络:在训练完所有层网络之后，自编码器学习获得较好地代表输入的特征,并且这些特征最优地表示原始输入信号；在自编码器之后加入一个分类器，然后通过有监督训练的方法实现对整个网络进行微调。

30、优选地，在进行数据融合时，首先基于特征提取技术，针对非可逆的数据特征提取到的数据，采用自适应数据融合算法在神经元数据融合系统上融合数据，获取尽可能大的信息量；而后采用基于多元概率推理模型对数据进行学习，形成高价值的信息库支撑。

31、优选地，在步骤s2中，根据电能表检定数据的业务分类，将数据分为量传数据、质检数据、现场数据；

32、根据电能表检定数据上链共享需求，将数据分为基础类、试验检测类数据；

33、基础类数据包括检定机构、机构证书、检定人员、检定人员证书、电能表资产、标准设备资产、计量设备检定证书信息、标准设备检定/校准证书、企业认证证书信息；

34、试验检测类数据包括适应性检数据、样品比对数据、软件比对数据、全性能试验检测数据、抽样验收试验数据、全检验收试验数据。

35、优选地，在步骤s2中，所述上链数据标准用于为上链数据提供者提供数据技术规范，包括数据格式和数据长度；数据标准根据融合数据一数一源原则，选定该数据的标准；

36、数据标准包括主题定义、信息项、标准代码三部分，主题定义用于记录数据标准的定义、分类，用于规范和识别数据的主题归属；信息项记录数据主题的信息项业务属性和技术属性；标准代码记录信息项固定码值的编码、分类、使用规则。

37、优选地，上链的具体过程为：

38、按照固定周期，从省信息内网mds中间库将电能表资产数据以增量的方式同步至省信息外网平台中间库；

39、数据上链服务监控中间库数据状态，将待上链的电能表资产数据、计量检定人员数据、计量标准装置数据、计量标准器数据加密后进行封装，执行数据上链操作；

40、触发数据校验智能合约，对上链数据从完整性、正确性进行校验；

41、执行原始数据上链操作，接收上链服务返回结果；

42、根据上链服务返回结果，更新中间库电能表资产数据上链状态并记录区块链hash，完成数据上链操作。

43、优选地，步骤s3的具体过程为：

44、智能合约由区块链内的多个用户共同参与制定，用于用户之间的任何交易行为；协议中明确了双方的权利和义务，权利和义务以电子化的方式进行编程，代码中包含会触发合约自动执行的条件；

45、一旦编码完成，这份智能合约就被上传到区块链网络上；

46、智能合约定期检查是否存在相关事件和触发条件；满足条件的事件将会推送到待验证的队列中；

47、区块链上的验证节点先对该事件进行签名验证，以确保其有效性；等大多数验证节点对该事件达成共识后，智能合约将成功执行，并通知用户；

48、成功执行的合约将移出区块，而未执行的合约则继续等待下一轮处理，直至成功执行。

49、本发明还公开了一种计量检定数据上链系统，包括相互连接的存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。

50、与现有技术相比，本发明的优点在于：

51、本发明规划电能表检定数据上链信息，针对电能表检定数据在上链前对数据进行清洗、降维、融合，提高数据可用性，为上链存储提供数据支撑；数据清洗用于发现并纠正数据中存储的错误；采用主成分分析降维方法对检定数据进行降维，找到数据中最主要的元素和结构，去除噪声和冗余；通过数据融合，将多源信息数据的价值发挥到最大程度，从而取得对用户更有利的融合结果的特性。

52、本发明通过电能表检定数据的业务分类、电能表检定数据上链共享需求的研究，针对电能表检定数据进行分析归类，制定上链数据标准指导上连数据提供者对电能表检定数据进行处理，为数据上链提供符合规范的标准数据；通过研究智能合约的概念和工作原理，设计针对电能表检定数据的上链智能合约，实现上链电能表检定数据的有效性验证及安全读取。