时序指标数据的历史监控报警回放系统的制作方法

本发明涉及信息，尤其涉及一种时序指标数据的历史监控报警回放系统。

背景技术：

1、在大规模边缘网络中，节点数量可能达到数千甚至数万，每个节点由多台物理设备或虚拟设备构成，因此设备整体数量可能达到数万级甚至十万级。这些节点不仅承载着各类业务，还产生着海量的多维度数据，包括设备性能指标数据、应用程序指标数据、探测质量指标数据以及基础服务和网络指标数据。

2、设备性能指标是评估设备的性能和资源利用情况的关键依据，例如响应时间、吞吐量、cpu利用率、内存使用量和网络流量等。业务应用程序指标数据是各种应用程序产生的业务维度指标数据，包括容器层面的指标和不同渠道的应用流量数据。探测质量指标数据用于感知边缘网络的状况，包括网络探测的结果，如tcp建连成功率、rtt、icmp丢包率和时延、mtr路由信息以及dns解析情况等。基础服务和网络指标数据包括基础服务的运行状态和性能指标，如数据库集群服务、业务调度服务、消息队列集群服务，以及交换机带宽和网络类型等网络数据。

3、在传统的指标监控中，时序指标数据监控报警的流程主要依赖于人工设定的阈值来检测报警，但针对时序数据的历史数据监控的报警回放是一个挑战。由于在大规模边缘网络中，网络环境的动态变化，同一指标在不同时间点的阈值可能有所不同，这就要求在回放过程中能够动态地调整阈值，以确保报警的准确性。然而，现有的监控系统往往难以做到这一点，从而容易出现历史监控报警回放不准确的情况。

技术实现思路

1、本发明所要解决的技术问题是：如何提供一种时序指标数据的历史监控报警回放系统，旨在解决上述至少一个技术问题。

2、本发明解决上述技术问题的技术方案如下：

3、本技术提供一种时序指标数据的历史监控报警回放系统，采用如下技术方案：

4、一种时序指标数据的历史监控报警回放系统，包括：

5、指标历史监控管理端，用于获取指标任务的指定历史时间段和指标任务配置信息，所述指标任务配置信息为非自动计算阈值监控配置信息和自动计算阈值监控配置信息的任一种；

6、当所述指标任务的指标任务配置信息为自动计算阈值监控配置信息时，基于所述指定历史时间段和所述自动计算阈值监控配置信息，启动指标数据采集端和指标历史数据计算端；

7、所述指标数据采集端，用于基于所述指定历史时间段和所述自动计算阈值监控配置信息，采集第一指标数据，将所述第一指标数据发送到所述指标数据流计算端，所述第一指标数据包括第一历史时序指标数据和策略数据，所述策略数据是按照预设的采集粒度和预设的采集间隔所采集的数据；

8、所述指标数据流计算端，用于根据所述第一指标数据和所述自动计算阈值监控配置信息，对所述指标任务进行第一报警回放处理，生成第一报警信息。

9、本发明的有益效果是：该系统支持非自动计算阈值监控配置信息和自动计算阈值监控配置信息的指标任务，使得监控方式更加灵活，可以根据实际需求调整监控策略。通过采集策略数据，能够支持基于动态阈值的计算，这种动态阈值比固定阈值更能反映系统的实际运行状况，从而提高报警的准确性和有效性。在进行时序指标数据的历史监控报警回放过程中，不同模块(如数据采集端、计算端等)协同工作，各司其职，可以并行处理数据，提高数据处理效率，使得报警回放更加快速和高效，这种模块化设计使得系统结构清晰，各个模块之间解耦，方便扩展和维护。

10、用户可以对大规模不同数据来源的指标历史数据进行统一的监控和定制化的报警与分析，从而发现潜在问题、验证报警规则、评估报警响应、进行数据分析和故障排查、进行预测和容量规划以及监控系统调优等操作。该系统还具有可插件化和可扩展的特性，可以轻松地添加其他功能，进一步降低开发、管理和运营成本。

11、进一步，还包括：

12、所述指标历史监控管理端包括调度控制模块：

13、所述调度控制模块，用于当所述指标任务的指标任务配置信息为非自动计算阈值监控配置信息时，基于所述指定历史时间段和所述非自动计算阈值监控配置信息，启动所述指标数据采集端和所述指标历史数据计算端；

14、所述指标数据采集端，还用于基于所述指定历史时间段和所述非自动计算阈值监控配置信息，采集第二指标数据，将所述第二指标数据发送到指标数据流计算端，所述第二指标数据包括第二历史时序指标数据；

15、所述指标数据流计算端，还用于根据所述第二指标数据和所述非自动计算阈值监控配置信息，对所述指标任务进行第二报警回放处理，生成第二报警信息。

16、采用上述进一步方案的有益效果是：

17、针对于指标任务配置信息为非自动计算阈值监控配置信息的指标任务，系统不需要进行复杂的策略数据计算和动态阈值设定，因此可以简化数据处理流程，通过简化数据处理流程、提高报警处理效率、保障报警信息准确性以及提供灵活性和可扩展性等方面的优化，使得系统能够更加高效、准确地处理这类任务，满足用户的不同需求。

18、进一步，所述自动计算阈值监控配置信息中包括第一基础配置信息和第一采集配置信息，所述第一基础配置信息包括任务名称、开启自动阈值计算设置的标识和维度标签名称，所述第一采集配置信息包括第一指标数据的数据源、采集第一指标数据的筛选条件、第一指标数据的处理方式和第一指标数据的采集周期；

19、所述指标数据采集端包括指标数据采集模块、指标数据后处理模块和采集推送模块；

20、所述指标数据采集模块，用于基于所述指定历史时间段和所述第一采集配置信息，采集第一历史时序指标数据；

21、基于所述指定历史时间段、所述第一采集配置信息和所述第一基础配置，采集策略数据；

22、所述指标数据后处理模块，用于基于所述第一采集配置，对所述第一历史时序指标数据和所述策略数据进行第一封装处理；

23、所述采集推送模块，用于将第一封装处理后的所述第一历史时序指标数据和所述策略数据存储到历史消息队列，并将所述历史消息队列发送至指标数据流计算端。

24、采用上述进一步方案的有益效果是：自动计算阈值监控配置信息中包括第一基础配置信息和第一采集配置信息置，使得用户可以根据实际需求灵活配置任务。第一基础配置信息中设置有的任务名称、开启自动阈值计算设置和维度标签名称等选项，为用户提供了更细粒度的控制；而第一采集配置信息置中设置有的数据源、筛选条件、后处理方式和采集周期等，确保数据采集的准确性和有效性。指标数据采集端支持从多种数据源采集数据。

25、采集模块负责根据各指标的第一采集配置的数据源、指定的历史时间段进行第一指标数据采集与策略需要自动计算阈值的策略数据采集，避免了不必要的数据冗余，提高了数据采集的效率和准确性。

26、指标数据后处理模块负责对采集到的数据进行封装处理，确保数据格式的统一和规范性。这有助于减少后续数据处理中的错误和歧义，提高数据处理的效率和准确性。

27、通过历史消息队列将第一指标数据发送至指标数据流计算端，确保了数据传输的可靠性和稳定性。历史消息队列具有缓存和容错机制，即使在网络波动或系统繁忙的情况下，也能保证数据的完整性和顺序性。

28、进一步，所述指标任务配置信息还包括策略计算配置信息和状态机计算配置信息，所述指标数据流计算端包括指标数据分发模块、策略算法计算模块、状态机计算模块；

29、所述指标数据分发模块，用于获取所述历史消息队列中的所述第一历史指标时序数据和所述策略数据；

30、基于所述自动计算阈值监控配置信息，将所述策略数据推送至策略算法计算模块；

31、以及获取所述指标历史监控管理端发送的推送数据消息，基于所述推送数据消息，向状态机计算模块发送第一历史指标时序数据；

32、所述策略阈值计算模块，用于基于所述策略数据和自动计算阈值监控配置信息的策略计算配置信息，计算所述指标任务的动态阈值，将所述动态阈值发送至状态机计算模块；

33、以及在将所述动态阈值发送至状态机计算模块成功后，向所述指标历史监控管理端返回策略处理成功的消息；

34、所述状态机计算模块，用于基于所述动态阈值更新所述状态机计算配置信息的阈值，基于更新后的状态机计算配置和第一历史指标时序数据，生成第一历史报警信息，以及

35、将所述第一历史报警消息发送至报警消息队列。

36、采用上述进一步方案的有益效果是：通过引入策略计算配置和状态机计算配置，系统能够基于策略数据动态计算阈值，并根据更新后的状态机配置生成报警信息。这种动态阈值计算方式比固定阈值更能反映系统的实际运行状况，从而提高了报警的准确性和有效性。

37、策略计算配置和状态机计算配置的引入，使得系统能够根据不同的指标任务需求进行灵活配置。用户可以根据实际情况调整策略算法和状态机规则，以适应不同的监控场景和需求。

38、指标历史数据分发模块、策略阈值计算模块和状态机计算模块协同工作，实现了数据的分发、处理和报警生成的高效流程。

39、进一步，所述指标数据流计算端还包括历史报警数据合并模块和历史报警数据标签扩展模块：

40、所述历史报警数据合并模块，用于在所述自动计算阈值监控配置信息中有合并报警配置信息时，基于所述指标任务配置信息中的合并报警配置信息，对第一历史报警信息进行合并历史报警信息处理，将进行合并历史报警信息处理后的第一历史报警消息发送至报警消息队列或历史报警数据标签扩展模块；

41、历史报警数据标签扩展模块，用于在所述自动计算阈值监控配置信息中有扩展标签配置时，基于所述指标任务配置信息中的扩展标签的配置，对第一指标历史报警信息进行扩展标签处理，将进行扩展标签处理后的第一历史报警消息发送至报警消息队列。

42、采用上述进一步方案的有益效果是：当自动计算阈值监控配置信息中包含合并报警配置时，历史报警数据合并模块能够对第一历史报警信息进行合并历史报警信息处理。系统能够将多个相关的报警信息整合成一个，避免报警信息的冗余和重复，使得用户能够更清晰地了解报警的整体情况，提高报警信息的可读性和有效性。

43、通过报警数据的标签扩展，能够提供更丰富的报警信息，帮助用户更准确地判断和处理报警情况。用户可以根据扩展标签中的信息，迅速了解报警的来源和重要性，从而采取适当的措施来应对报警情况。

44、进一步，所述指标数据流计算还包括指标历史任务消息订阅模块；

45、所述指标历史任务消息订阅模块，用于获取所述指标历史监控管理端发送的指标任务配置信息。

46、采用上述进一步方案的有益效果是：通过指标历史任务消息订阅模块，订阅创建或者更新的指标任务配置信息与特定的指标自动计算阈值的程序推送的策略数据，一旦有新的指标任务创建或现有的指标任务发生更新，订阅模块能够立即捕获到这些变化，并做出相应的响应。这种实时性和动态性确保了指标数据流计算的准确性和及时性。

47、进一步，还包括：

48、指所述指标史历监控管理端还包括消息处理模块；

49、所述消息处理模块，用于监听所述指标数据采集模块发送的基于所述自动计算阈值监控配置信息中的采集配置信息和所述指定历史时间段，采集指标数据成功的消息；或，

50、监听所述策略阈值计算模块发送的策略处理成功的消息；

51、基于所述策略处理成功的消息，向所述指标历史数据分发模块发送推送数据消息，所述推送数据消息用于通知所述指标历史数据分发模块向所述状态机模块推送第一历史时序指标；或，

52、监听所述状态机计算模块回报的生成第一历史报警信息成功的消息。

53、采用上述进一步方案的有益效果是：指标历史监控管理端通过监听各模块的消息回报，能够实时掌握数据采集、处理、阈值计算和报警生成的各个环节的状态。这确保了整个监控流程的实时性和准确性，使得系统能够及时发现并处理问题，提高监控质量。

54、指标历史监控管理端通过监听各模块的消息回报，可以自动执行相应的操作，如发送推送数据消息，控制每个采集周期内的策略数据(用于自定计算阈值的数据)早于历史时序数据(需要监控报警重放的指标数据)进行计算，以便状态机计算模块使用动态阈值的准确性，从而提高后续报警重放处理过程的准确性。减少了人工操作的繁琐性，降低了操作和维护的难度，提高了工作效率。

55、进一步，所述指标数据采集端支持多个数据源的指标数据采集，所述数据源包括消息队列、数据库或通过数据查询api获取指定历史时间段的数据。

56、采用上述进一步方案的有益效果是：通过支持多个数据源，系统能够灵活地适应不同的数据采集场景。无论是从消息队列中实时抓取数据，还是从数据库中查询历史数据，或者通过数据查询api获取特定时间段的数据，系统都能满足用户的需求，提高了数据采集的灵活性和通用性。

57、根据数据源的特性，系统可以选择最合适的数据采集方式，从而提高数据采集的效率。可以对大规模不同数据来源的指标历史数据进行统一的监控和定制化的报警与分析。

58、进一步，所述非自动计算阈值监控配置信息中包括第二基础配置信息和第二采集配置信息，所述第二基础配置信息包括任务名称、未开启自动阈值计算设置的标识和维度标签名称，所述第二采集配置信息包括第二指标数据的数据源、采集第二指标数据的筛选条件、第二指标数据的处理方式和第二指标数据的采集周期；

59、所述指标数据采集模块，还用于基于所述指定历史时间段和所述采第二集配置信息，采集第二历史时序指标数据；

60、所述指标数据后处理模块，还用于基于所述第二采集配置，对所述第二历史时序指标数据进行第二封装处理；

61、所述采集推送模块，还用于将第二封装处理后的所述第一历史时序指标数据存储到历史消息队列，将所述历史消息队列发送至指标数据流计算端。

62、采用上述进一步方案的有益效果是：采集模块负责根据各指标的第二采集配置的数据源、指定的历史时间段进行第二指标数据采集，避免了不必要的数据冗余，提高了数据采集的效率和准确性。

63、进一步，指标历史数据分发模块，还用于获取所述历史消息队列的所述第二历史指标时序数据；

64、基于所述非自动计算阈值监控配置信息，将所述第二历史指标时序数据推送至所述状态机算法模块；

65、所述状态机计算模块，还用于基于所述非自动计算阈值监控配置信息的状态机计算配置和所述第二历史指标时序数据，生成第二历史报警信息。

66、采用上述进一步方案的有益效果是：该功能使得系统能够灵活地处理不同配置下的指标任务。对于非自动计算阈值监控配置的指标任务，系统能够直接基于状态机计算配置和历史指标时序数据生成报警信息，无需进行额外的阈值计算。这种灵活性使得系统能够适应不同的监控需求，提高了系统的通用性和适应性。