数据监控系统和监控方法、物联网系统和互联网数据系统与流程

本发明涉及计算机，特别是涉及一种数据监控系统和监控方法、物联网系统和互联网数据系统。

背景技术：

1、随着数字化应用的推广，各行各业生成大量的数据需要进行监督和管理。如图1所示为相关技术中的数据监控系统，其中，采集器通过检测物理板卡获取检测数据，监控平台的通过轮询请求从数据采集卡获取数据并进行数据聚合。然而此架构的数据监控系统存在以下问题：其一，采集器通过指定时间对物理板卡进行采集，若需要修改相关配置时需要逐个进行修改，在规模较大的数据监控系统中存在使用费时费力的问题；其二，采集器上报监控平台的数据结构需满足指定格式，并且数据传输需要按照指定压缩比例、无法进行优化调整，在规模较大的数据监控系统中影响传输效率；其三，数据监控平台通过轮询获取采集数据，在规模较大的数据监控系统中存在请求过多效率不高的问题，并且在新增物理板卡和采集器时需要重启以修改配置文件，存在不利于动态扩容的问题。

2、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了解决上述问题至少之一，本发明第一方面提供一种数据监控系统，包括：分别与多个待采集单元连接的多个数据采集器、至少一个网关、服务配置器和监控平台，其中，每个所述网关连接至少一个所述数据采集器，所述服务配置器与所述多个数据采集器以及所述至少一个网关连接；

2、所述服务配置器，用于配置所述数据采集器的采集参数，以及配置所述数据采集器的传输参数和所述网关的传输参数；

3、所述数据采集器，用于根据所述采集参数从所述待采集单元获取采集数据，以及根据所述数据采集器的传输参数将所述采集数据传输至所述网关；

4、所述网关，用于根据所述网关传输参数将所述采集数据传输至所述监控平台；

5、所述监控平台，用于处理所述采集数据。

6、在本实施例中，根据“服务配置器—数据采集器—网关—监控平台”结构的数据监控系统，一方面通过在数据采集器和监控平台间设置网关，使得数据采集器通过网关进行数据上传，监控平台只需调取一次网关数据即可获取多个采集数据，有效提高读取效率；另一方面通过服务配置器实时配置数据采集器和网关，能够通过配置数据采集器的采集参数灵活配置数据采集器对待采集单元的采集方式，同时通过配置数据采集器、或者网关、或者数据采集群和网关的传输参数在无需重启的情况下实现配置更改、扩大或缩小数据监控系统的规模，并且有效改善相关技术中数据采集不及时、查询缓慢等问题，具有实际应用价值。

7、进一步的，所述数据监控系统还包括消息队列；

8、所述消息队列，用于从各所述网关获取所述采集参数并存储，并响应于所述监控平台的数据请求，将所述采集数据传输至所述监控平台。

9、在本实施例中，根据“服务配置器—数据采集器—网关—消息队列—监控平台”结构的数据监控系统，通过设置在网关后端的消息队列，进一步对采集数据进行缓存，具体的，网关将数据采集器获取的采集数据推送到大容量的消息队列，能够有效控制采集数据的流量，例如在流量急剧增多时实现流量消峰，满足大规模数据监控系统中多个数据采集器同时获取大量采集数据导致的数据流量压力；同时利用消息队列的容量特性对采集数据进行存储。

10、进一步的，所述数据监控系统还包括信息引擎单元；

11、所述服务配置器，还用于配置所述信息引擎单元的信息参数、指标参数；

12、所述信息引擎单元，用于从所述消息队列获取所述采集数据，并根据所述信息参数对所述采集数据进行流式处理、根据所述指标参数对所述采集数据进行指标聚合运算，以及将所述指标聚合运算后的初始结果数据传输至所述监控平台。

13、在本实施例中，根据“服务配置器—数据采集器—网关—消息队列—信息引擎单元-监控平台”结构的数据监控系统，通过设置在消息队列后端的信息引擎单元进一步对采集数据进行分布式处理，具体的，通过信息引擎单元对采集数据进行流式处理缓解采集数据量过大对后端处理单元的压力；同时，通过服务配置器对信息引擎单元进行指标参数配置，使得信息引擎单元根据指标参数从消息队列获取所需采集数据以进行指标收集和处理，从而实现指标的自定义逻辑处理，并实时计算以实现定制化的指标监控；并且根据对采集数据和定制化指标的监控进行指标聚合服务。

14、进一步的，所述监控平台包括监控单元和展示单元，其中

15、所述监控单元根据所述初始结果数据进行告警分析处理，得到展示结果数据；

16、所述展示单元将所述初始结果数据和/或所述展示结果数据进行展示。

17、本实施例通过设置在监控平台上的监控单元和展示单元分别实现对待采集单元的状态监测和展示，具体的，监控单元根据指标聚合服务能够获取定制的各项指标，减少数据交互和迟延，无需频繁轮询请求采集数据，有效提升数据获取效率；同时，展示单元通过与监控单元对接实现用户界面展示和告警处理，进一步基于指标聚合服务能够展示出更多的指标信息。

18、本发明第二方面提供一种使用如第一方面所述的数据监控系统的数据监控方法，包括：

19、数据采集器根据服务配置器配置的采集参数从待采集单元获取采集数据；

20、所述数据采集器和网关根据所述服务配置器配置的传输参数将所述采集数据传输至所述网关；

21、所述网关根据监控平台的数据请求将所述采集数据传输至所述监控平台；

22、所述监控平台处理所述采集数据。

23、本实施例通过“服务配置器—数据采集器—网关—监控平台”结构的数据监控系统，一方面通过服务配置器对数据采集器进行灵活配置以在无需重启的情况下实现配置更改、扩大或缩小数据监控系统的规模；另一方面通过在数据采集器后端设置网关、以及通过服务配置器对网关的灵活配置，使得网关对数据采集器获取的采集数据进行过滤，从而提高监控平台获取采集数据的读取效率。

24、进一步的，所述数据监控系统还包括消息队列，所述网关根据监控平台的数据请求将所述采集数据传输至所述监控平台进一步包括：

25、所述消息队列从各所述网关获取所述采集参数并存储，并响应于所述监控平台的数据请求，将所述采集数据传输至所述监控平台。

26、本实施例通过“服务配置器—数据采集器—网关—消息队列—监控平台”结构的数据监控系统，进一步通过设置在网关后端的消息队列对采集数据进行缓存，实现流量消峰，并利用消息队列的容量特性对采集数据进行存储。

27、进一步的，所述数据监控系统还包括信息引擎单元，所述消息队列从各所述网关获取所述采集参数并存储，并响应于所述监控平台的数据请求，将所述采集数据传输至所述监控平台进一步包括：

28、所述服务配置器配置所述信息引擎单元的信息参数；

29、所述信息引擎单元从所述消息队列获取所述采集数据，并根据所述信息参数对所述采集数据进行流式处理和数据聚合，以及将所述数据聚合生成的初始结果数据传输至所述监控平台。

30、本实施例根据“服务配置器—数据采集器—网关—消息队列—信息引擎单元-监控平台”结构的数据监控系统，通过设置在消息队列后端的信息引擎单元进一步对采集数据进行分布式处理，具体的，通过信息引擎单元对采集数据进行流式处理缓解采集数据量过大对后端处理单元的压力，并根据对采集数据的监控进行数据的聚合服务。

31、进一步的，所述服务配置器配置所述信息引擎单元的指标参数；

32、所述信息引擎单元从所述消息队列获取与所述指标参数对应的采集数据，并根据所述指标参数对所述采集数据进行指标聚合运算，以及将所述指标聚合运算后的初始结果数据传输至所述监控平台。

33、本实施例进一步通过服务配置器对信息引擎单元的指标参数的配置，使得信息引擎单元根据指标参数从消息队列获取所需采集数据以进行指标收集和处理，从而实现指标的自定义逻辑处理，并实时计算以实现定制化的指标监控，并根据对采集数据和定制化指标的监控进行数据的聚合服务。

34、进一步的，所述监控平台包括监控单元和展示单元，所述数据监控方法还包括：

35、所述监控单元根据所述初始结果数据进行告警分析处理，得到展示结果数据；

36、所述展示单元将所述初始结果数据和/或所述展示结果数据进行展示。

37、本实施例通过设置在监控平台上的监控单元和展示单元分别实现对待采集单元的状态监测和展示，具体的，监控单元根据指标聚合服务能够获取定制的各项指标，减少数据交互和迟延，无需频繁轮询请求采集数据，有效提升数据获取效率；同时，展示单元通过与监控单元对接实现用户界面展示和告警处理，进一步基于指标聚合服务能够展示出更多的指标信息。

38、本发明第三方面提供一种物联网系统，包括多个待监控设备，以及如第一方面所述的数据监控系统，所述数据监控系统的数据采集器采集所述待监控设备以获取采集数据。

39、本实施例的物联网系统，利用包括的数据监控系统对物联的多个待监控设备的数据进行数据采集、数据处理和数据监控，从而完善物联网系统对待监控设备的管理和控制。

40、本发明第四方面提供一种互联网数据系统，包括多个待监控数据单元，以及如第一方面所述的数据监控系统，所述数据监控系统的数据采集器采集所述待监控数据单元以获取采集数据。

41、本实施例的互联网数据系统，利用包括的数据监控系统对互联网中的多个待监控数据单元的数据进行数据采集、数据处理和数据监控，从而完善互联网数据系统对待监控数据单元的管理和控制。

42、本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第二方面所述的数据监控方法。

43、本发明第六方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所述的数据监控方法。