一种多源动态数据的监测处理系统及方法与流程

本发明涉及多源动态数据处理，特别涉及一种多源动态数据的监测处理系统及方法。

背景技术：

1、目前随着可收集的数据维度日益增加和分布式数据存储的推广，大部分用户决策都需要基于多个数据源进行开展。而不同数据源由于采集方式、存储方式、传输方式等的不同，分布于不同的数据系统中。如何协调分布于不同数据系统的数据源的传输、处理会直接影响到业务决策的时效性与正确性。

2、现有对多源数据的数据采集处理系统中，存在大量不常用数据源占用系统内存，影响系统的运行效率；同时与数据源的连接依旧还采用人工检查、控制连接方式，同样影响数据采集处理系统的运行效率。公开号为cn 114840272 a的中国发明专利申请公开了一种多数据源动态规划及监测系统、方法，根据使用频率将数据源判定是否为热点数据源，对热点数据源加快配置加载进程，以此方式来加快系统响应速度，节约资源。但是该方法，通过使用频率来判定是否为冷热数据，判断标准单一、智能化较差，无法顾全考虑使用频率较低但重要的使用场景。

3、鉴于此，需要一种多源动态数据的监测处理系统及方法。

技术实现思路

1、针对现有技术中冷热数据判断标准单一、智能化较差，无法顾全考虑使用频率较低但重要的使用场景问题，本发明提供了一种多源动态数据的监测处理系统及方法，通过使用频率和应用场景进行综合考量得到热点值，再根据热点值对数据源进行区分为热点和非热点数据源，重点加强对热点数据源监测和响应处理，释放非采集状态的非热点数据源，不但能够提高对多源、动态数据的采集、处理效率，而且顾全考虑使用频率较低但重要的使用场景，对多数据源的使用更加个性化、智能化。具体技术方案如下：

2、一种多源动态数据的监测处理系统，包括中央主板、数据监测模块、数据采集模块、数据传输模块、数据分析模块、数据处理模块和数据展示模块；所述数据监测模块、数据采集模块、数据传输模块、数据分析模块、数据处理模块和数据展示模块的信号端均与所述中央主板的信号端连接；

3、所述数据监测模块分别与多个动态数据源连接，记录各数据源的使用频率和应用场景，并给各个应用场景标记对应的权重值；对数据源的使用频率和权重值进行求和得到热点值，再根据热点值判断数据源是否属于热点数据源，并创建运行时缓存池以缓存运行时的热点数据，同时清理不常用数据源以节省内存、提高系统运行效率，对各数据源进行连通性检测以确认能否自动正常连接，不能正常连接的判定为异常数据源并定期进行自动重连。

4、进一步的，还包括数据库；所述数据库分别与数据监测模块和数据处理模块连接。

5、进一步的，还包括数据存储模块；所述数据存储模块的信号端与所述中央主板的信号端连接。

6、进一步的，所述数据监测模块中设有录像单元，以监测数据源应用场景的变化。

7、一种多源动态数据的监测处理方法，应用于如上所述的多源动态数据的监测处理系统，具体包括以下步聚：

8、s1：数据监测模块记录各数据源的使用频率和应用场景，并给各个应用场景标记对应的权重值；对数据源的使用频率和权重值进行求和得到热点值，再根据热点值判断数据源是否属于热点数据源；对热点数据源进行重点监测，并创建运行时缓存池以缓存运行时的热点数据；清理不常用数据源以节省内存、提高系统运行效率；对各数据源进行连通性检测以确认能否自动正常连接，不能正常连接的判定为异常数据源并定期进行自动重连；

9、s2：数据采集模块对来自数据源的数据进行采集，通过数据监测模块的监测反馈对不同热点值以及不同时间段的数据进行采集，并对产生动态变化的数据源进行同步采集；

10、s3：数据传输模块将数据采集模块采集到的数据传输到数据分析模块；

11、s4：数据分析模块对数据传输模块传输来的数据进行具体分析和计算，从而从中获取有效的信息和数据，并滤去一些无效数据以减小数据干扰，便于后续的数据处理模块处理，经过分析后的数据传输至数据处理模块；

12、s5：数据处理模块对分析后的数据进行归纳和总结，将处理结果以较为直观的形式进行显示，并将处理结果传输到数据展示模块；

13、s6：数据展示模块对经过数据处理模块加工后的数据进行展示，便于人员进行直接观测；

14、s7：数据处理模块处理后的数据同步传输至数据库中，对数据库进行刷新，并将数据库与其他模块进行同步。

15、进一步的，还包括以下步骤：

16、s8：所述数据传输模块还通过所述中央主板将数据储存至数据存储模块，以对采集的原始数据进行备份。

17、进一步的，还包括以下步骤：录像单元根据数据源的应用场景是否发生变化传输不同的信号，其中0为应用场景未发生变化，1为应用场景发生变化。

18、进一步的，所述对各数据源进行连通性检测以确认能否自动正常连接，包括以下步骤：

19、s11，加载配置文件中储存的各个数据源的连接参数，并进行循环多次加载；

20、s12，与数据源连通之前进行连通性检测，确认数据源是否正常连接，用户名以及密码是否正确；若不可连接，则判断数据源为异常数据源，向中央主板发送警告信息，并在缓存数据中记录为异常数据源；若可以连接，则判断当前数据源数量是否已达上限，如果已达上限则将数据源加入延迟创建缓存，如果未达上限则继续创建数据源，对数据源进行初始化工作。

21、进一步的，所述定期进行自动重连步骤包括：

22、s13，设定重试任务，读取缓存中的异常数据源，多次判断数据源是否可连接；如仍不能连接，记录数据源的重试次数；如已经正常连接，则对数据源进行初始化工作，并将数据源从异常数据源的缓存中移除；

23、s14，循环结束后，判断是否有仍未能连通的数据源；如果数据源全部连通，则将重试任务关闭；如果有仍未能连通的数据源，则退出本次重试任务，等待下次重试任务。

24、进一步的，所述数据采集模块对来自数据源的数据进行采集，包括以下步骤：

25、s21，对来自数据源的数据进行动态拓展；

26、s22，对数据源数据的合法性进行验证，如果是合法数据源则进行接收，如果是非法数据源则拒绝接收；

27、s23，对接收的合法数据源数据进行集中匹配，然后对数据进行同步更新。

28、与现有技术相比，本发明的有益效果为：

29、1.通过使用频率和应用场景进行综合考量得到热点值，再根据热点值对数据源进行区分为热点和非热点数据源，重点加强对热点数据源监测和响应处理，释放非采集状态的非热点数据源，不但能够提高对多源、动态数据的采集、处理效率，而且顾全考虑使用频率较低但重要的使用场景，对多数据源的使用更加个性化、智能化。

30、2.通过对数据源进行自动连接，提高了系统的实用性，同时对数据源进行自动重连，提高了系统运行的稳定性。

31、3.通过对数据源的合法性和安全性进行验证，防止系统受到外部侵害，保证了系统的正常运行。