一种基于边缘计算的大数据分析方法及系统与流程

本发明涉及大数据分析，特别是一种基于边缘计算的大数据分析方法及系统。

背景技术：

1、随着物联网（iot）、云计算和大数据技术的快速发展，全球数据生成量呈现爆炸性增长，传统的集中式数据处理架构将数据从各种边缘设备传输到中心服务器进行存储和分析，这种架构虽然在初期满足了数据处理需求，但随着数据量和实时性要求的不断增加，集中式架构暴露出了诸多问题，为了应对这些挑战，边缘计算逐渐兴起，成为现代数据处理的重要手段，边缘计算将计算资源和数据处理能力下沉到网络边缘，即数据生成的源头，能够显著降低数据传输延迟，减轻中心服务器的负担，并提升数据处理的实时性和安全性，尽管边缘计算在数据处理的实时性和安全性方面具备显著优势，但现有的相关技术在实际应用中仍存在诸多不足之处，传统的边缘计算架构缺乏有效的资源调度机制，导致边缘节点间的负载分布不均匀，边缘节点在处理数据时缺乏有效的数据整合机制，难以形成全局视角，系统响应速度和数据访问效率也难以满足实际应用需求。

技术实现思路

1、鉴于上述现有的基于边缘计算的大数据分析方法及系统中存在的问题，提出了本发明。

2、因此，本发明所要解决的问题在于传统的边缘计算架构缺乏有效的资源调度机制，导致边缘节点间的负载分布不均匀，边缘节点在处理数据时缺乏有效的数据整合机制，难以形成全局视角，系统响应速度和数据访问效率也难以满足实际应用需求。

3、为解决上述技术问题，本发明提供如下技术方案：一种基于边缘计算的大数据分析方法，其包括，边缘节点接收各数据源发送的数据后对数据进行预处理，根据边缘节点的负载进行自动资源调配；将数据任务分配到不同的边缘节点对数据进行分析并整合数据分析结果，预测热点数据趋势进行数据缓存；将缓存数据上传至中心服务器进行存储并实施访问控制。

4、作为本发明所述基于边缘计算的大数据分析方法的一种优选方案，其中：所述边缘节点接收各数据源发送的数据后对数据进行预处理指边缘节点通过安全传输协议与数据源节点建立连接接收来自数据源节点的数据，在接收到数据后进行数据完整性校验，对数据进行标准化处理后基于iqr方法检测异常值，去除数据中的异常值，通过中位数对缺失值进行填充，应用小波变换方法进行数据降噪，将降噪后的数据形成大数据任务集。

5、作为本发明所述基于边缘计算的大数据分析方法的一种优选方案，其中：所述根据边缘节点的负载进行自动资源调配指将边缘节点与监控系统建立连接，实时监控cpu和内存使用率，根据监控数据，计算边缘节点的综合负载值b(t)：

6、,

7、式中，是衰减常数，和是调节历史数据对当前计算的影响的参数，是在特定时间点的cpu使用率，是在特定时间点的内存使用率，和是双曲正弦和双曲余弦函数，t指时间；

8、根据计算的负载值进行资源调配：

9、,

10、式中，r(t)是资源分配结果，b(t)是边缘节点的综合负载值，是负载平均值，是负载标准偏差。

11、作为本发明所述基于边缘计算的大数据分析方法的一种优选方案，其中：所述将数据任务分配到不同的边缘节点对数据进行分析指将预处理后的大数据任务划分为多个子任务：

12、,

13、式中，d是大数据任务集，是第m个子任务的数据集；

14、根据负载评估结果，将子任务分配到边缘节点，各边缘节点根据分配到的子任务进行聚类分析：

15、对数据进行聚类分析：

16、,

17、式中，是聚类分析结果，是数据点，是第c个聚类的中心；

18、更新数据聚类中心：

19、,

20、式中，是分配给第c个聚类的所有数据点的集合，是中数据点的数量，是第i个数据点的值。

21、作为本发明所述基于边缘计算的大数据分析方法的一种优选方案，其中：所述整合数据分析结果指从各边缘节点收集子任务数据分析结果，对收集到的子任务数据分析结果进行整合，形成综合分析结果：

22、,

23、,

24、式中，是在时间t的综合分析结果，是第k个边缘节点在时间t的分析结果，是第k个节点在时间t的权重，是时间差，是衰减常数，k是边缘节点的总数，是节点性能。

25、作为本发明所述基于边缘计算的大数据分析方法的一种优选方案，其中：所述预测热点数据趋势进行数据缓存包括，

26、收集实时访问数据，使用两层lstm网络构建预测模型，每层设置有128个单元，表达式为：

27、,

28、其中为输出预测值，为时间t的输入值，为前一时间步的预测值，为模型参数；

29、设置输入层维度为(p,f)，其中p为时间步的数量，f为每个时间步的特征数量，在lstm层后添加全连接层和输出层；

30、定义损失函数为：

31、,

32、其中为损失，a为训练样本数量，为第q个样本的预测值，为第q个样本的真实值；

33、将训练数据集输入模型，使用adam优化器进行模型参数迭代优化直至损失达到最小后停止迭代，将迭代得到的模型参数输入预测模型；

34、将预测模型部署在边缘节点，将实时访问数据输入预测模型得到未来的热点数据趋势；

35、将预测的热点数据趋势进行递减排序，按照顺序对数据进行缓存。

36、作为本发明所述基于边缘计算的大数据分析方法的一种优选方案，其中：所述将缓存数据上传至中心服务器进行存储并实施访问控制指从边缘节点收集缓存的数据并使用aes加密数据，使用tls建立边缘节点和中心服务器之间的安全通道将加密后的缓存数据上传至中心服务器，在中心服务器上对接收到的数据进行解密后存储，对数据实施访问控制和定期备份。

37、本发明的另外一个目的是提供一种基于边缘计算的大数据分析系统，其包括，

38、数据接收模块，用于在边缘节点接收数据并对数据进行预处理；

39、资源调配模块，用于实时监控边缘节点的负载，根据负载进行动态资源调配；

40、数据分析模块，用于将预处理后的大数据划分为多个子任务，根据边缘节点的负载情况进行任务分配进行数据分析并将分析结果进行整合；

41、预测模块，用于收集实时访问数据并构建预测模型预测热点数据趋势，根据预测结果对数据进行分级缓存；

42、存储模块，用于将缓存数据上传至中心服务器对数据进行存储并实施访问控制。

43、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于边缘计算的大数据分析方法的步骤。

44、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于边缘计算的大数据分析方法的步骤。

45、本发明有益效果为：本发明通过自动资源调配机制确保了各节点的负载均衡，避免了资源浪费和节点过载问题，将数据任务分配到不同的边缘节点进行分析并通过协同机制整合分析结果，能形成全面且准确的全局数据视角，构建预测模型预测热点数据趋势进行数据缓存，提升了系统的响应速度和数据访问效率。