基于边缘计算的新能源聚合数据采集方法及装置与流程
- 国知局
- 2024-11-06 15:06:30
本技术涉及数据处理相关领域,尤其涉及基于边缘计算的新能源聚合数据采集方法及装置。
背景技术:
1、在新能源领域,随着技术的不断进步和应用的深入,对数据采集的需求也日益复杂化和多样化。传统的数据采集方法主要依赖于单一的数据中心或服务器节点,通过在这些节点上部署数据采集任务来收集所需的数据。这种方法在数据量不大、处理逻辑相对简单的情况下是有效的。然而,随着新能源技术的快速发展和广泛应用,数据采集的需求逐渐呈现出数据量爆炸性增长、数据类型多样以及计算处理复杂度提升的变化,传统的数据采集方法难以满足此类需求,容易导致单点故障。
2、现阶段相关技术中,新能源聚合数据采集存在难以承受庞大的数据处理压力,容易导致单点故障的技术问题。
技术实现思路
1、本技术通过提供基于边缘计算的新能源聚合数据采集方法及装置,采用根据用户端输入的新能源数据聚合请求,确定需要采集的新能源目标聚合数据属性和筛选标签矩阵,利用多级边缘节点进行逐级邻接样本采集,从一级到n级逐步扩大数据采集范围,根据采集到的各级邻接样本集合,构建边缘节点采样层级树,基于层级树结构,对各级邻接样本集合进行多边缘节点递归聚合,聚合完成后,将新能源目标聚合数据属性特征值输出到根节点,并存储相关数据和结果,同时在各级边缘节点上删除已处理的样本集合,释放存储空间等技术手段,达到了通过分布式部署边缘节点,降低单点故障风险的技术效果。
2、本技术提供基于边缘计算的新能源聚合数据采集方法,包括:
3、响应于用户端输入的新能源数据聚合请求,获得新能源目标聚合数据属性和新能源聚合样本筛选标签矩阵;将所述新能源聚合样本筛选标签矩阵和所述新能源目标聚合数据属性发送至第一边缘节点进行一级邻接样本采集,获得一级邻接样本集合;通过所述第一边缘节点将所述一级邻接样本集合发送至第二边缘节点集合进行二级邻接样本采集,获得二级邻接样本集合,其中,所述第二边缘节点集合与所述一级邻接样本集合一一对应;直到通过第n-1边缘节点集合将n-1级邻接样本集合发送至第n边缘节点集合进行n级邻接样本采集,获得n级邻接样本集合,其中,所述第n边缘节点集合与所述n-1级邻接样本集合一一对应;根据所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合,整合所述第一边缘节点、所述第二边缘节点集合直到所述第n边缘节点集合,构建边缘节点采样层级树;根据所述边缘节点采样层级树对所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合对所述新能源目标聚合数据属性进行多边缘节点递归聚合,当聚合完成后,所述边缘节点采样层级树的根节点输出新能源目标聚合数据属性特征值;存储所述新能源目标聚合数据属性特征值、所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合,同时在所述第一边缘节点、所述第二边缘节点集合直到所述第n边缘节点集合删除所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合。
4、在可能的实现方式中,将所述新能源聚合样本筛选标签矩阵和所述新能源目标聚合数据属性发送至第一边缘节点进行一级邻接样本采集,获得一级邻接样本集合,执行以下处理:
5、获得闲置边缘节点集合,对所述闲置边缘节点集合寻优,获得所述第一边缘节点;在所述第一边缘节点执行步骤包括:根据所述新能源聚合样本筛选标签矩阵,构建样本筛选约束条件;根据所述新能源目标聚合数据属性,构建样本携带目标数据;根据所述样本携带目标数据进行样本采集,筛选满足所述样本筛选约束条件的预设数量邻接样本,获得所述一级邻接样本集合。
6、在可能的实现方式中,获得闲置边缘节点集合,对所述闲置边缘节点集合寻优,获得所述第一边缘节点,执行以下处理:
7、获得所述闲置边缘节点集合三个月以内的历史作业日志集合,其中,任意一个历史作业日志包括故障触发时长记录数据集和故障维修时长记录数据集,所述故障触发时长记录数据集和所述故障维修时长记录数据集一一对应;对每个历史作业日志执行如下步骤:对所述故障触发时长记录数据集进行集中值评价,再进行归一化处理获得故障触发时长特征值,其中,所述故障触发时长特征值具有第一权重;对所述故障维修时长记录数据集进行集中值评价,再进行归一化处理获得故障维修时长特征值,其中,所述故障维修时长特征值具有第二权重;根据所述第一权重和所述第二权重,对所述故障触发时长特征值和所述故障维修时长特征值进行加权求和,获得边缘节点适应度,添加进边缘节点适应度集合;根据所述边缘节点适应度集合进行最小值提取,匹配所述闲置边缘节点集合的所述第一边缘节点。
8、在可能的实现方式中,根据所述新能源聚合样本筛选标签矩阵,构建样本筛选约束条件,执行以下处理:
9、通过用户端,为所述新能源聚合样本筛选标签矩阵配置新能源聚合样本筛选标签偏差阈值矩阵;根据所述新能源聚合样本筛选标签偏差阈值矩阵基于所述新能源聚合样本筛选标签矩阵进行区间配置,获得新能源聚合样本筛选标签区间矩阵,设为所述样本筛选约束条件;其中,当样本落入新能源聚合样本筛选标签区间矩阵,视为满足所述样本筛选约束条件;其中,当样本未落入新能源聚合样本筛选标签区间矩阵,视为不满足所述样本筛选约束条件。
10、在可能的实现方式中,通过所述第一边缘节点将所述一级邻接样本集合发送至第二边缘节点集合进行二级邻接样本采集,获得二级邻接样本集合,执行以下处理:
11、从所述第一边缘节点接收所述一级邻接样本集合的一级邻接样本数量;获得闲置边缘节点集合,根据所述一级邻接样本数量对所述闲置边缘节点集合寻优,获得所述第二边缘节点集合;将所述一级邻接样本集合向所述第二边缘节点集合一一随机对应发送,进行二级邻接样本采集,获得所述二级邻接样本集合。
12、在可能的实现方式中,根据所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合,整合所述第一边缘节点、所述第二边缘节点集合直到所述第n边缘节点集合,构建边缘节点采样层级树,执行以下处理:
13、构建初始值为空的根节点,将所述一级邻接样本集合对应的所述第一边缘节点设为一级叶子节点直到将所述n级邻接样本集合对应的所述第n边缘节点集合设为n级叶子节点;根据所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合的父子关系连接所述根节点、所述一级叶子节点直到所述n级叶子节点,获得所述边缘节点采样层级树;其中,选定邻接样本筛选时参考的样本筛选约束条件对应的样本为选定邻接样本的父样本,选定邻接样本为样本筛选约束条件对应的样本的子样本。
14、在可能的实现方式中,根据所述边缘节点采样层级树对所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合对所述新能源目标聚合数据属性进行多边缘节点递归聚合,当聚合完成后,所述边缘节点采样层级树的根节点输出新能源目标聚合数据属性特征值,执行以下处理:
15、构建递归聚合规则:获得所述边缘节点采样层级树的n-1级叶子节点的第一叶子节点;在所述n级叶子节点中选取所述第一叶子节点的子节点,获得第一叶子节点n级子节点集合;提取所述第一叶子节点n级子节点集合的邻接样本集合,统计所述邻接样本集合的新能源目标聚合数据属性记录值集合的众数值,存储为第一叶子节点拟合特征;将所述第一叶子节点拟合特征存储进所述第一叶子节点;根据所述递归聚合规则,自所述边缘节点采样层级树的底层向根节点执行聚合,直到所述根节点输出所述新能源目标聚合数据属性特征值。
16、本技术还提供了基于边缘计算的新能源聚合数据采集装置,包括:
17、请求响应模块,所述请求响应模块用于响应于用户端输入的新能源数据聚合请求,获得新能源目标聚合数据属性和新能源聚合样本筛选标签矩阵;一级邻接样本采集模块,所述一级邻接样本采集模块用于将所述新能源聚合样本筛选标签矩阵和所述新能源目标聚合数据属性发送至第一边缘节点进行一级邻接样本采集,获得一级邻接样本集合;二级邻接样本采集模块,所述二级邻接样本采集模块用于通过所述第一边缘节点将所述一级邻接样本集合发送至第二边缘节点集合进行二级邻接样本采集,获得二级邻接样本集合,其中,所述第二边缘节点集合与所述一级邻接样本集合一一对应;n级邻接样本采集模块,所述n级邻接样本采集模块用于直到通过第n-1边缘节点集合将n-1级邻接样本集合发送至第n边缘节点集合进行n级邻接样本采集,获得n级邻接样本集合,其中,所述第n边缘节点集合与所述n-1级邻接样本集合一一对应;边缘节点采样层级树构建模块,所述边缘节点采样层级树构建模块用于根据所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合,整合所述第一边缘节点、所述第二边缘节点集合直到所述第n边缘节点集合,构建边缘节点采样层级树;多边缘节点递归聚合模块,所述多边缘节点递归聚合模块用于根据所述边缘节点采样层级树对所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合对所述新能源目标聚合数据属性进行多边缘节点递归聚合,当聚合完成后,所述边缘节点采样层级树的根节点输出新能源目标聚合数据属性特征值;数据存储模块,所述数据存储模块用于存储所述新能源目标聚合数据属性特征值、所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合,同时在所述第一边缘节点、所述第二边缘节点集合直到所述第n边缘节点集合删除所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合。
18、拟通过本技术提出的基于边缘计算的新能源聚合数据采集方法及装置,首先响应于用户端输入的新能源数据聚合请求,获得新能源目标聚合数据属性和新能源聚合样本筛选标签矩阵,接着将新能源聚合样本筛选标签矩阵和新能源目标聚合数据属性发送至第一边缘节点进行一级邻接样本采集,获得一级邻接样本集合,进而通过第一边缘节点将一级邻接样本集合发送至第二边缘节点集合进行二级邻接样本采集,获得二级邻接样本集合,其中,第二边缘节点集合与一级邻接样本集合一一对应,继续直到通过第n-1边缘节点集合将n-1级邻接样本集合发送至第n边缘节点集合进行n级邻接样本采集,获得n级邻接样本集合,其中,第n边缘节点集合与n级邻接样本集合一一对应,然后根据一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合,整合所述第一边缘节点、所述第二边缘节点集合直到所述第n边缘节点集合,构建边缘节点采样层级树;
19、根据所述边缘节点采样层级树对所述一级邻接样本集合、所述二级邻接样本集合直到所述n级邻接样本集合对新能源目标聚合数据属性进行多边缘节点递归聚合,当聚合完成后,边缘节点采样层级树的根节点输出新能源目标聚合数据属性特征值,最后存储新能源目标聚合数据属性特征值,一级邻接样本集合、二级邻接样本集合直到n级邻接样本集合,同时在第一边缘节点、第二边缘节点集合直到第n边缘节点集合删除一级邻接样本集合、二级邻接样本集合直到n级邻接样本集合,达到了通过分布式部署边缘节点,降低单点故障风险的技术效果。
本文地址:https://www.jishuxx.com/zhuanli/20241106/325346.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表