一种实时评审监控与数据采集存储系统及方法与流程

本发明涉及数据采集存储，尤其涉及一种实时评审监控与数据采集存储系统及方法。

背景技术：

1、现阶段数据成为了驱动决策和业务优化的核心资源，数据对公共资源交易有着重要的使用价值，对于实时评审监控与数据采集存储系统的研究，旨在提高数据处理效率，并为实时分析提供支持，研究者针对不同场景设计了包括高并发数据采集、消息队列管理和流处理系统等在内的系统架构，实现了对大量数据的实时采集和处理，为快速决策提供了可能。但是大多没有解决如何通过获取监控数据以融合处理并进行预测分析，将融合后的监控数据和监控结果存储至云平台，并可视化展示监控数据和监控结果。

2、如公开号为cn114911667a的中国专利申请公开了一种监控数据采集方法、系统和存储介质，应用于串行采集装置，包括以下步骤：获取配置信息，根据配置信息确定分别属于第一分组和第二分组的设备；确定所述第一分组中各设备的固定采集频率，并按照对应的固定采集频率对第一分组中的设备进行数据采集；确定所述第二分组中各设备的初始采集频率，在对第二分组中各设备进行至少两轮的采集后，根据设备所采集的数据动态调整第二分组中设备的采集频率；其中，第二分组中设备的采集频率设有上限值和下限值。该方案能够降低采集设备的功耗，同时保证高实时性的设备能够及时得到采集。

3、如授权公告号为cn113641552b的中国专利公开了监控数据采集横向扩展方法、系统、电子设备和存储介质，属于监控数据采集领域，该方法包括：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；若监控系统可使用的内存空间小于需要的内存空间，则触发监控系统的横向扩展；预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，从监控实例的数量基于需要的内存空间与可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；各采集点通过主监控实例和若干个从监控实例采集数据，能够解决因采集点很多导致监控系统崩溃，和因单个监控实例故障造成某段时间监控点的数据缺失的问题。

4、以上专利存在本背景技术提出的问题：上述监控数据采集方法通过获取配置信息确定分别属于第一分组和第二分组的设备，确定第一分组中各设备的固定采集频率，并按照对应的固定采集频率对第一分组中的设备进行数据采集，确定第二分组中各设备的初始采集频率，在对第二分组中各设备进行至少两轮的采集后，根据设备所采集的数据动态调整第二分组中设备的采集频率；上述监控数据采集横向扩展方法通过在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间，若监控系统可使用的内存空间小于需要的内存空间，则触发监控系统的横向扩展，预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中从监控实例的数量基于需要的内存空间与可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间。上述两个专利没有解决如何通过获取监控数据以融合处理并进行预测分析，将融合后的监控数据和监控结果存储至云平台，并可视化展示监控数据和监控结果的问题。为解决这一问题，本发明提出一种实时评审监控与数据采集存储系统及方法。

技术实现思路

1、本部分的目的在于概述本发明实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有一种实时评审监控与数据采集存储系统及方法存在的问题，提出了本发明。

3、因此，本发明目的是提供一种实时评审监控与数据采集存储系统及方法。

4、为解决上述技术问题，本发明提供一种实时评审监控与数据采集存储系统，包括：数据获取模块、数据融合模块、监控分析模块、数据存储模块、交互反馈模块；

5、所述数据获取模块用于获取监控数据，通过动态获取策略控制监控数据的获取频率；

6、所述数据融合模块用于通过数据融合策略对获取到的监控数据进行融合处理；

7、所述监控分析模块用于通过预测分析策略对融合后的监控数据进行预测分析，生成监控结果；

8、所述数据存储模块用于通过安全存储策略将融合后的监控数据和监控结果存储至云平台；

9、所述交互反馈模块用于通过反馈展示策略接收并可视化展示监控数据和监控结果。

10、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：获取所述监控数据，通过动态获取策略控制所述监控数据的获取频率，所述动态获取策略包括：

11、配置监控数据阈值和资源使用阈值，实时获取所述监控数据在不同时刻的测量值和资源使用率，计算不同时刻的数据获取频率，所述数据获取频率的函数表达式如下所示：

12、；

13、式中，表示时刻的数据获取频率，表示时刻的数据获取频率，表示数据调整系数，表示取最大值，表示监控数据在时刻的测量值，表示监控数据阈值，表示资源调整系数，表示资源使用率，表示资源使用阈值。

14、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：所述动态获取策略还包括：

15、若，即监控数据在时刻的测量值大于监控数据阈值，则增加监控数据的获取频率以获取更多的监控数据进行后续分析；

16、若，即资源使用率大于资源使用阈值，则减少监控数据的获取频率以避免系统过载。

17、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：通过所述数据融合策略对获取到的所述监控数据进行融合处理，所述数据融合策略包括：

18、提取所述监控数据的特征，将所述监控数据划分为区域块，每个区域块包括一组监控数据的特征，对每个区域块内的监控数据进行预处理，计算每个区域块之间的特征相似度，通过区域融合公式将各区域块的监控数据进行融合处理，得到融合后的监控数据。

19、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：确定区域块的影响度，配置区域块的初始融合权重和影响阈值，根据区域块之间的特征相似度调整初始融合权重，所述调整初始融合权重的函数表达式如下所示：

20、；

21、；

22、式中，表示调整初始融合权重的权重调整因子，表示区域块和区域块之间的特征相似度，表示影响阈值，表示区域块调整后的融合权重，表示区域块的初始融合权重，表示将区域块与其他不为区域块的权重调整因子相乘。

23、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：通过所述区域融合公式将各区域块的监控数据进行融合处理，所述区域融合公式的计算表达式如下所示：

24、；

25、式中，表示融合后的监控数据，表示区域块总数，表示区域块的监控数据的特征的集合。

26、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：通过所述预测分析策略对融合后的监控数据进行预测分析，生成监控结果，所述预测分析策略包括：

27、从融合后的监控数据提取监控数据的特征，通过预测分析模型预测监控结果，通过融合后的监控数据训练并优化预测分析模型，生成监控结果，评估监控结果并调整预测分析模型。

28、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：通过所述安全存储策略将融合后的监控数据和监控结果存储至云平台，所述安全存储策略包括：

29、监测监控数据和监控结果传输过程中的网络状况和传输时间，根据网络状况和传输时间，动态调整区域块的大小，以优化传输速度和减少错误率，并设置重传机制，配置传输时间阈值，若监控数据和监控结果的传输时间小于或等于传输时间阈值，则监控数据和监控结果传输成功；

30、若监控数据和监控结果的传输时间大于传输时间阈值且监控数据和监控结果未传输成功，则云平台发送重传信号，监控数据和监控结果重新传输。

31、作为本发明所述一种实时评审监控与数据采集存储系统的一种优选方案，其中：所述动态调整区域块的大小的计算公式如下所示：

32、；

33、式中，表示区域块的大小，表示网络的可用带宽，表示传输时间阈值，表示网络延迟，表示丢包率。

34、一种实时评审监控与数据采集存储方法，包括：

35、s1、获取监控数据，通过动态获取策略控制监控数据的获取频率；

36、s2、通过数据融合策略对获取到的监控数据进行融合处理；

37、s3、通过预测分析策略对融合后的监控数据进行预测分析，生成监控结果；

38、s4、通过安全存储策略将融合后的监控数据和监控结果存储至云平台；

39、s5、通过反馈展示策略接收并可视化展示监控数据和监控结果。

40、本发明的有益效果：本发明通过数据获取模块获取监控数据，通过动态获取策略控制监控数据的获取频率，根据实际需要调整数据获取的频率，从而优化资源使用和提高数据处理效率，保证了系统在面对不同监控场景时能够灵活应对，同时减少了无用数据的采集，提高了整体效率；数据融合模块通过数据融合策略对获取到的监控数据进行融合处理，提供更全面的监控数据供后续分析使用，提供全面的数据视角，为后续的分析和决策提供了更为丰富和准确的信息基础，有利于揭示监控对象更深层次的状态和趋势；监控分析模块通过预测分析策略对融合后的监控数据进行预测分析，生成监控结果，对融合后的数据进行深入分析，能够实现结果预测，有助于企业提前采取措施，避免损失并优化资源配置；数据存储模块通过安全存储策略将融合后的监控数据和监控结果存储至云平台，确保数据的安全性和私密性，同时保证数据的持久性和可靠性；交互反馈模块通过反馈展示策略接收并可视化展示监控数据和监控结果，增强了用户的体验和系统的互动性，用户能够轻松理解复杂数据，并根据展示的信息做出快速决策。

41、通过自动化的数据获取、分析和存储流程，系统减少了人工干预的需要，降低了运维成本，共同提升了整个监控系统的智能化水平，使其能够更有效地支持实时决策制定、风险管理和资源优化配置。