一种物联网嵌入式大数据管理系统及其方法与流程

本发明涉及大数据管理，具体为一种物联网嵌入式大数据管理系统及其方法。

背景技术：

1、大数据是指规模庞大、复杂多样的数据集合，通常难以通过传统的数据处理工具进行捕捉、管理和处理。这些数据集合包括：结构化数据、半结构化数据和非结构化数据。大数据的特点可以用“3v”来描述：大量(volume)、多样性(variety)和高速度(velocity)。大数据技术的出现和发展，为我们提供了从海量数据中提取有价值信息的能力。通过对大数据的分析，我们可以发现潜在的趋势、模式和关联，从而为决策提供支持。大数据在各个领域都有广泛的应用，如金融、医疗、教育、交通等。物联网与大数据之间存在着紧密的联系。物联网产生的海量数据需要通过大数据技术进行存储、处理和分析，从而提取出有价值的信息。物联网作为一种集成多种传感器和设备，实现物物相连、物人相连的网络技术，其应用的广泛开展直接催生了大数据的发展。同时，大数据又成为了支撑智慧城市等物联网应用领域的重要技术基础。

2、物联网(iot)是指通过互联网将各种物品相互连接，实现信息的交流和共享的一种技术。随着物联网技术的不断发展，越来越多的设备和传感器被连接到互联网上，产生了大量的数据。这些数据被称为大数据，它们对于企业和政府来说具有巨大的价值。然而，如何有效地管理和分析这些大数据成为了一个亟待解决的问题。嵌入式大数据管理作为一种新兴的技术，为物联网大数据的存储、处理和分析提供了有效的解决方案。嵌入式大数据管理是指在物联网设备中嵌入大数据处理和分析功能，使得设备能够实时地对产生的数据进行处理和分析，从而减少数据传输的延迟和成本。这种技术的核心是，将大数据处理和分析算法与物联网设备的硬件资源相结合，实现高效的数据处理和分析。嵌入式大数据管理的关键技术包括：大数据处理算法、硬件加速、能耗优化和数据安全。嵌入式大数据管理，需要将大数据处理算法与物联网设备的硬件资源相结合，实现高效的数据处理。这需要研究和发展适用于物联网设备的大数据处理算法，例如分布式计算、压缩算法等。为了提高嵌入式大数据管理的实时性和性能，需要利用硬件加速器对数据处理和分析过程进行加速。这包括使用专用的硬件芯片、fpga等来实现数据处理和分析功能。嵌入式大数据管理需要在保证数据处理和分析性能的同时，降低设备的能耗。这需要研究和发展能耗优化算法和技术，例如动态电压频率调整、睡眠模式等。嵌入式大数据管理需要保证数据在传输和处理过程中的安全性。这需要研究和发展数据加密、认证等技术，以防止数据泄露和篡改。

3、目前，传统物联网嵌入式大数据管理系统通常资源有限，对接各种协议和接口，可能导致数据处理效率降低，另外，在数据安全方面，由于物联网设备数量众多并且分散，数据安全问题较为突出。

技术实现思路

1、针对现有技术的不足，本发明提供了一种物联网嵌入式大数据管理系统及其方法，具备数据处理效率高、数据传输安全性高等优点，解决了传统物联网嵌入式大数据管理系统资源有效数据处理效率低、数据安全问题较为突出的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种物联网嵌入式大数据管理系统，包括物联采集模块、大数据处理模块和物联传输模块；

4、所述物联采集模块，包括嵌入采集单元和传感采集单元，所述嵌入采集单元，通过电性连接嵌入式设备，实时采集嵌入信息数据集，并通过网络传输至物联采集模块，所述传感采集单元，通过网路连接传感器，实时采集传感信息数据集，并通过网络传输至物联采集模块，所述物联数据集由嵌入信息数据集和传感信息数据集组成，物联采集模块根据物联数据集特征对其进行编号，并通过网络连接大数据处理模块；

5、所述大数据处理模块，通过网络连接数据库建立参考数据集，并进行编号，所述参考数据集由参考安全识别数据集、参考多维数据集、参考类比数据集和参考环境数据集组成，所述大数据处理模块，根据物联数据集对比参考安全识别数据集进行预处理，筛选生成安全数据集aq，并对其进行编号，所述大数据处理模块，包括多维分解单元、类比引证单元和综合反证单元，所述多维分解单元，根据安全数据集和参考数据集，计算出多维推算数据组dwsjz，并通过网络传输至综合反证单元，所述类比引证单元，根据安全数据集和参考数据集，计算类比推算数据组lbsjz，并通过网络传输至综合反证单元，所述综合反证单元根据多维推算数据组dwsjz、类比推算数据组lbsjz、安全数据集和参考数据集，计算出综合推算数据组zhsjz，并通过网络传输至物联传输模块，所述大数据处理模块，通过网络连接物联传输模块；

6、所述物联传输模块，包括安全验证单元和结论输出单元，所述安全验证单元，通过电性连接验证装置采集环境数据集hjsj，对比参考数据集，判断网络环境状态，生成相应的信号，所述结论输出单元，根据信号网络连接用户端输出数据。

7、优选的，所述物联采集模块，根据物联数据集特征对嵌入信息数据集和传感信息数据集进行编号，所述物联数据集编号为wlsj1、wlsj2、wlsj3、...wlsjn，所述嵌入信息数据集编号为qr1、qr2、qr3、...qrn，所述传感信息数据集编号为cg1、cg2、cg3、...cgn。

8、优选的，所述大数据处理模块，根据参考数据集特征对参考安全识别数据集、参考多维数据集、参考类比数据集和参考环境数据集进行编号，所述参考数据集编号为ckaq、ckdw、cklb和ckhj。

9、优选的，所述大数据处理模块，根据物联数据集对比参考安全识别数据集进行预处理，筛选生成安全数据集aq，其计算公式如下：

10、aq＝wlsjn∩ckaq＝(qrn∩ckaq)∪(cgn∩ckaq)

11、公式中，aq表示安全数据集，wlsjn∩ckaq表示物联数据集与参考安全识别数据集的交集部分，(qrn∩ckaq)∪(cgn∩ckaq)表示嵌入信息数据集与参考安全识别数据集交集部分与传感信息数据集与参考安全识别数据集交集部分的并集总和数据。

12、优选的，所述大数据处理模块，根据安全数据集特征对安全嵌入信息数据集和安全传感信息数据集进行编号，所述安全嵌入信息数据集编号为arq1、arq2、aqr3、...aqrn，所述安全传感信息数据集编号为acg1、acg2、acg3、...acgn。

13、优选的，所述多维分解单元，根据安全数据集和参考数据集，计算出多维推算数据组dwsjz，其计算公式如下：

14、

15、公式中，dwsjz表示多维推算数据组，aqrn∩ckdw和aqrn∩ckdw+1均表示安全嵌入信息数据集与参考多维数据集的交集部分，acgn∩ckdw和acgn∩ckdw+1均表示安全传感信息数据集与参考多维数据集的交集部分，表示安全数据集代入参考多维数据集中固定参数和固定算法得出的多维推算结果。

16、优选的，所述类比引证单元，根据安全数据集和参考数据集，计算类比推算数据组lbsjz，其计算公式如下：

17、

18、公式中，lbsjz表示类比推算数据组，表示安全数据集代入参考类比数据集算法推算得出的极限值参数，表示安全嵌入信息数据集以参考类比数据集为标准所生成约等于真实的数据，aqrn≡cklb表示安全嵌入信息数据集以参考类比数据集为标准所生成等价于真实的数据，表示安全传感信息数据集以参考类比数据集为标准所生成约等于真实的数据，acgn≡cklb表示安全传感信息数据集以参考类比数据集为标准所生成等价于真实的数据。

19、优选的，所述综合反证单元，根据多维推算数据组dwsjz、类比推算数据组lbsjz、安全数据集和参考数据集，计算出综合推算数据组zhsjz，其计算公式如下：

20、

21、公式中，zhsjz表示综合推算数据组，(n+1)n∮ckzh表示参考综合数据集算法推算得出的一级参数，表示综合多维推算数据组和类比推算数据组代入参考综合数据集算法推算得出的一级结论，表示参考综合数据集算法中推算反证的二级结论、三级结论和最终结论。

22、优选的，所述安全验证单元根据环境数据集hjsj，对比参考环境数据集ckhj，判断网络环境状态，所述环境数据集hjsj达到参考环境数据集ckhj标准时，判断网络环境为安全状态，生成输出信号，所述结论输出单元根据输出信号网络连接用户端，并输出多维推算数据组dwsjz、类比推算数据组lbsjz和综合推算数据组zhsjz，所述环境数据集hjsj未达到参考环境数据集ckhj标准时，判断网络环境为风险状态，生成封闭信号，所述结论输出单元根据封闭信号将数据保存至大数据处理模块。

23、优选的，一种物联网嵌入式大数据管理方法，包括以下步骤：

24、步骤一、物联采集模块，通过嵌入采集单元和传感采集单元实时采集物联数据集，并进行编号传输至大数据处理模块；

25、步骤二、大数据处理模块，根据物联数据集对比参考安全识别数据集进行预处理，筛选生成安全数据集aq，并对其进行编号；

26、步骤三、大数据处理模块，通过多维分解单元、类比引证单元和综合反证单元，计算出多维推算数据组dwsjz、类比推算数据组zbsiz和综合推算数据组zhsjz，并传输至物联传输模块；

27、步骤四、物联传输模块，通过安全验证单元判断网络环境状态，生成信号，结论输出单元根据信号网络连接用户端输出数据。

28、与现有技术相比，本发明提供了一种物联网嵌入式大数据管理系统及其方法，具备以下有益效果：

29、1、本发明通过物联采集模块，设置嵌入采集单元和传感采集单元实时采集物联数据集，并进行编号，大数据处理模块，根据物联数据集对比参考安全识别数据集进行预处理，筛选生成安全数据集aq，并对其进行编号，再通过多维分解单元、类比引证单元和综合反证单元，计算出多维推算数据组dwsjz、类比推算数据组lbsjz和综合推算数据组zhsjz，分解关键词后进行多维度全面推算，参考范围更全面，类比引证相关联的参考数据，归一化处理推算出的结论更符合正确思维逻辑，配合由果到因的反逻辑思路推算进行反证，保证了结论具有较高正确性的同时，数据处理效率高。

30、2、本发明通过大数据处理模块，根据物联数据集对比参考安全识别数据集进行预处理，筛选生成安全数据集aq后再进行大数据分析处理推算，预先处理数据效率高，保证了物联数据输入大数据处理模块分析前的安全性，隔绝了病毒和危险数据，配合安全验证单元根据环境数据集hjsj，对比参考环境数据集ckhj，判断网络环境状态，生成输出或封闭信号，结论输出单元，根据输出信号网络连接用户端，并输出多维推算数据组dwsjz、类比推算数据组lbsjz和综合推算数据组zhsjz，结论输出单元，根据封闭信号将数据保存至大数据处理模块，保证了整体系统的安全性和稳定性，避免故障或崩溃，数据传输安全性高。