基于多算法交互的数据采集方法及其系统与流程

本发明涉及数据采集分析，具体为基于多算法交互的数据采集方法及其系统。

背景技术：

1、传统的数据采集方法及其系统通常基于固定的采集和传输频率，缺乏自适应调整机制。无论环境条件或具体参数是否有变化，传感器节点都被预设为按照某种固定频率采集和传输数据。这种静态配置常常导致采集数据的冗余或遗漏。例如，在平稳状态下，频繁的数据采集可能带来不必要的资源消耗，而在突变或异常状况下，稀疏的采集频率则无法及时获取关键数据，导致异常未能被及时发现和处理。同时，由于缺乏基于数据情况的动态调整，这些系统无法根据实时分析反馈调整数据采集和传输频率。

2、此外，传统方法主要依赖简单的阈值判断或基本的统计分析，对复杂数据异常的识别能力有限，容易错过潜在的异常模式或误报异常。更为关键的是，传统系统通常采用单一算法，无法结合不同算法的优势，导致数据分析的准确性和鲁棒性较低，例如，仅依赖基本的统计分析或简单规则，无法深挖数据的内在特性和趋势。此外，缺少不同算法模型之间的协同，单算法的局限性使得系统在面对复杂和多变的环境时应变能力较差，包括应对非线性、长短期依赖等多种数据特性，传统方法显得力不从心。当出现异常状况时，传统系统往往需要依赖人工作出响应，这不仅增加了人工成本，还可能导致响应不及时，从而降低系统的自动化和智能化水平。

技术实现思路

1、本发明的目的在于提供基于多算法交互的数据采集方法及其系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明目的之一在于，基于多算法交互的数据采集方法，包括如下方法步骤：

3、s1、利用多个传感器收集数据，作为传感器节点数据；其中传感器收集过程包括数据采集频率和数据传输频率；

4、s2、利用随机森林算法模型对所述传感器节点数据进行异常分析，生成当前分析结果；其中：

5、若当前分析结果为异常时，根据异常结果对s1进行反馈，通过对异常结果中对应的传感器节点数据，进行数据采集频率的调整，并再次进行s2，若当前分析结果为异常时，则将异常结果发送给管理人员；

6、若当前分析结果为正常时，将执行s3；

7、s3、利用时间序列分析算法对所述传感器节点数据进行分析，得出时间序列结果，并根据长短期记忆网络算法对所述时间序列结果进行综合分析；其中：

8、若综合分析结果为异常时，根据综合分析结果的异常对s1进行反馈，通过对综合分析结果中对应的传感器节点数据，进行数据传输频率的调整，以及增加该传感器节点数据的权重；

9、若综合分析结果为正常时，则完成数据采集以及异常分析。

10、作为本技术方案的进一步改进，所述数据采集频率进行初始化设置，通过传感器节点周期性地采集数据；所述数据传输频率进行初始化设置，传感器节点数据通过无线方式进行传输。

11、作为本技术方案的进一步改进，所述随机森林算法模型训练步骤如下：

12、样本选择：从训练数据集中通过自助法随机抽取个样本，生成多个子样本集；

13、特征选择：对每个决策树的节点，从所有特征中随机选择个特征，其中，从中选出最佳特征用于分裂，其中为所有特征的数量；

14、对每个子样本集，构建一棵决策树，具体步骤如下：

15、分裂节点：通过基尼系数作为分裂条件，从随机选择的个特征中找到最佳分裂特征，基尼系数公式为：，其中表示第类样本在训练数据集中的频率，表示训练数据集中类别的总数；

16、递归构建：依据最佳特征分割数据集，递归地对分割后的子数据集进行上述分裂，直到满足停止条件，停止条件包括但不限于达到树的最大深度；

17、模型融合：通过集成的方式将所有训练好的决策树组合在一起，对于输入的特征向量，每棵决策树独立地对其进行分类，输出类别;

18、使用多数投票法（多数分类结果为最终分类结果）来确定输入数据的最终预测类别，公式为：，其中为决策树的总数量，代表多数投票。

19、作为本技术方案的进一步改进，所述随机森林算法模型根据传感器节点数据进行异常分析的步骤如下：

20、将当前时刻传感器节点数据输入到训练好的随机森林模型中；

21、随机森林模型输出对应的分类结果；其中：

22、若时，表示当前分析结果为异常，并标记对应的异常数据点反馈给s1，根据异常数据点选择对应的传感器节点，调整s1中对应的传感器节点的数据采集频率，通过将采集间隔减小，增加采集频率，再次进行s2的异常分析，若此时的当前分析结果仍为异常时，则将异常结果发送给管理人员；

23、若时，表示当前分析结果为正常，将执行s3。

24、作为本技术方案的进一步改进，所述利用时间序列分析算法对传感器节点数据进行分析，得出时间序列结果，具体包括：

25、提取时间序列中的季节性成分、趋势成分、和残差；其中：

26、季节性成分的计算如下：

27、通过移动窗口平滑对数据进行平滑处理；

28、在每个周期内，对每个时间点进行局部多项式拟合；

29、滑动窗口左移一个时间步，再次进行局部平滑，直到遍历整个时间序列；

30、趋势成分的计算如下：

31、从原始时间序列数据中减去季节性成分以得到去季节性数据；

32、通过移动平均对去季节性数据平滑处理，以得到趋势成分；

33、构建一个大于季节性窗口的滑动窗口；

34、对时间序列数据进行局部多项式拟合，得到平滑后的趋势成分；

35、残差的计算如下：

36、从原始时间序列中减去提取出的趋势成分和季节性成分；

37、最后，时间序列结果的计算为：。

38、作为本技术方案的进一步改进，所述长短期记忆网络算法模型的架构包括输入门、遗忘门、候选记忆单元信息、记忆单元状态更新、输出门和隐藏状态输出，通过输入门和遗忘门控制当前输入信息和过去记忆的保留和更新，结合候选记忆单元生成新的记忆状态，并通过输出门生成综合短期和长期信息的隐藏状态进行预测；所述长短期记忆网络算法模型训练通过设置一个目标函数，通过反向传播算法，调整模型的参数。

39、作为本技术方案的进一步改进，所述长短期记忆网络算法模型预测综合分析结果的步骤如下：

40、长短期记忆网络算法模型训练完成后，对于给定的输入序列，长短期记忆网络算法模型输出当前时间步的预测值和隐藏状态；

41、通过比较模型的预测值和实际值确定当前预测误差，并判定当前预测误差是否为异常，其中：

42、若综合分析结果为异常时，将当前时间列数据所对应的传感器节点作为综合分析的结果反馈给s1，基于综合分析结果，识别出传感器节点，调整该传感器节点的数据传输频率，通过将数据传输间隔减小，增加数据传输频率；以及增加s2中数据集中对应的传感器节点数据的权重，通过固定步长的方法进行权重的增加；

43、若综合分析结果为正常时，则完成数据采集以及分析。

44、作为本技术方案的进一步改进，所述比较和判定过程通过计算历史预测误差的均值和标准差，设定一个基于标准差的阈值范围，若当前预测误差超过阈值范围，则认定为异常；否则为正常。

45、本发明目的之二在于，提供了基于多算法交互的数据采集方法的系统，包括数据收集模块、数据分析模块和综合分析模块，其中：

46、所述数据收集模块利用多个传感器收集数据，作为传感器节点数据；其中传感器收集过程包括数据采集频率和数据传输频率；

47、所述数据分析模块利用随机森林算法模型对所述传感器节点数据进行异常分析，生成当前分析结果；其中：

48、若当前分析结果为异常时，根据异常结果对数据收集模块进行反馈，通过对异常结果中对应的传感器节点数据，进行数据采集频率的调整，并再次进行数据分析模块，若当前分析结果为异常时，则将异常结果发送给管理人员；

49、若当前分析结果为正常时，将执行所述综合分析模块；

50、所述综合分析模块利用时间序列分析算法对所述传感器节点数据进行分析，得出时间序列结果，并根据长短期记忆网络算法对所述时间序列结果进行综合分析；其中：

51、若综合分析结果为异常时，根据综合分析结果的异常对数据收集模块进行反馈，通过对综合分析结果中对应的传感器节点数据，进行数据传输频率的调整，以及增加该传感器节点数据的权重；

52、若综合分析结果为正常时，则完成数据采集以及异常分析。

53、与现有技术相比，本发明的有益效果是：

54、1、该基于多算法交互的数据采集方法及其系统中s2和s1之间的互动体现了系统的自适应能力，当随机森林算法模型在s2中检测到传感器节点数据的异常时，它不仅标记和反馈异常数据，还主动调整s1中对应传感器节点的数据采集频率；这种调整确保在发现潜在异常时，对相关数据进行更细致的监控，从而增强系统对变化的敏感度。在检测到异常的情形下，通过增加采集频率和传感器节点数据的权重，系统能够在下一轮分析中提供更丰富和高质量的数据，使得异常检测过程更加精准和可靠。这种自动化的响应机制不仅提高了数据采集的有效性，还减少了人为干预的需求，提升了整个系统的智能化水平。

55、2、该基于多算法交互的数据采集方法及其系统中s3和s1之间的交互进一步增强了整个系统的精确性和响应能力，在利用时间序列分析算法处理传感器节点数据后，长短期记忆网络对时间序列结果进行综合分析以确定数据的趋势和异常；当综合分析结果指示某个传感器节点可能存在异常时，系统将反馈结果给s1并调整该节点的数据传输频率；同时，会对该数据提高权重，增加它在随机森林模型分析中的重要性。通过这种配套的动态调整和权重增加，系统不仅捕捉到更多的细节数据，还对随机森林模型提供了更详细和有用的输入，从而提升了异常检测的精确度和可靠性。这种多层次的反馈和调整机制，使系统能够高效应对环境变化和数据状态的动态变化。

56、3、该基于多算法交互的数据采集方法及其系统整合不同算法模型在该方法过程中的有益效果显著；首先，利用随机森林算法模型进行初步的异常检测，通过其集成学习的特点，提高了分类的准确性和鲁棒性；其次，时间序列分析算法提取了数据的季节性、趋势性和残差成分，使得数据预处理更加精准，有利于后续的长短期记忆网络分析；长短期记忆网络在处理序列数据时，通过输入门、遗忘门和输出门确保了短期和长期信息的有效融合，使模型在捕捉时间序列中长短期依赖关系方面表现出色；这一综合方法利用了各个算法模型的优势，通过多层次的反馈和调整机制，相辅相成地提升了数据采集和异常检测的整体性能。不同算法模型之间的协同工作，形成了一个高效、智能、动态自适应的数据采集和分析系统，显著提高了系统的应变能力和处理复杂问题的能力。