一种基于客户端网关的数据智能聚合方法及系统与流程

本发明涉及一种基于客户端网关的数据智能聚合方法及系统。

背景技术：

1、在当今数据爆炸的时代背景下，众多企业与组织正面临着数据存储、管理和分析的多重挑战。传统的数据库系统在面对高并发访问、大规模数据存储和实时数据处理等复杂场景时，往往显得力不从心，亟需引入新的技术方案来应对这些挑战。

2、首先，大规模数据存储与查询的问题日益凸显。随着企业业务的不断扩张，积累了海量的用户信息、交易记录、日志数据等。传统的关系型数据库在处理高并发查询和大规模数据存储时，往往难以胜任，导致系统性能受限，响应时间延长。

3、其次，数据分片管理成为一项关键任务。在分布式存储架构下，如何有效管理数据分片、制定合理的路由规则，确保数据的一致性和完整性，是亟待解决的问题。同时，针对分布式数据的查询和聚合操作，也需要考虑如何进行优化和管理。

4、此外，并发请求处理也是一大难题。面对大规模数据存储和查询需求，传统数据库系统在处理并发请求时往往力不从心，容易导致系统资源紧张，性能受限。

5、在实时数据处理与响应方面，传统数据处理方式往往难以应对需要实时监控和分析的场景。为了满足实时数据处理和响应的需求，需要寻找更为高效、灵活的数据处理方案。

6、最后，系统灵活性和扩展性也是不容忽视的需求。随着业务的发展和数据量的不断增长，系统必须具备良好的灵活性和扩展性，能够根据业务需求动态调整系统架构，实现规模的弹性扩展。

技术实现思路

1、针对现有技术中的不足，本发明的目的是提供一种可以提高系统的扩展性和并发处理能力，有效管理各个数据片的获取和聚合和处理大量并发请求，快速响应客户端请求，且具备良好的灵活性和扩展性的基于客户端网关的数据智能聚合方法及系统。

2、本发明解决其技术问题所采用的技术方案是：

3、一种基于客户端网关的数据智能聚合方法，包括以下步骤：

4、根据分库分表的策略，将原本存储于一个数据表中的数据分片存储到多个数据表中，每个数据片包含部分数据记录；

5、客户端网关根据请求的数据查询条件，将请求路由到涉及的多个数据表；

6、客户端网关同时向多个数据表或节点发起并发请求，获取各个数据片的数据；

7、客户端网关接收到各个数据片的数据后，进行数据聚合操作；

8、客户端网关将聚合后的数据结果返回给客户端，完成整个数据聚合过程。

9、作为优选，将原本存储于一个数据表中的数据分片存储到多个数据表中的方法为：

10、根据数据的时间范围进行分片；

11、在数据库中创建多个数据表，每个数据表用于存储特定分片范围内的数据记录；

12、将原始表中的数据根据分片规则依次迁移到对应的分片表中；

13、修改现有的查询逻辑，使其能够根据分片规则从多个数据表中获取数据；

14、在系统中维护分片信息，以确定数据记录的分片归属。

15、作为优选，客户端网关根据请求的数据查询条件，将请求路由到涉及的多个数据表的方法为：

16、客户端网关接收来自客户端的数据查询请求，包括查询条件、需要查询的数据表信息；

17、客户端网关解析查询条件，确定需要涉及的数据表进行查询；

18、根据解析后的查询条件，客户端网关将请求路由到涉及的多个数据表。

19、作为优选，客户端网关同时向多个数据表或节点发起并发请求的方法为：

20、客户端网关创建一个线程池；

21、当客户端网关收到数据查询请求时，将需要并发处理的任务进行分解，并提交到线程池中；

22、线程池自动分配线程来执行被提交的任务，从而并发地处理多个任务；

23、客户端网关通过监控线程池中任务的完成情况来判断是否所有任务都已经执行完毕。

24、作为优选，进行数据聚合操作的方法为：

25、客户端网关接收来自各个数据表或节点的查询结果数据片；

26、客户端网关对于每个数据片进行数据解析操作，将收到的原始数据转换为统一的数据格式或数据结构；

27、客户端网关将已经解析好的数据片进行聚合操作，包括数据合并、去重、计算汇总值。

28、作为优选，客户端网关将聚合后的数据结果返回给客户端的方法为：

29、在完成数据聚合后，客户端网关生成最终的查询结果，包括将聚合后的数据格式化为指定的输出格式；

30、客户端网关将最终的查询结果返回给发起查询请求的客户端，完成整个并发查询过程。

31、本发明所要解决的另一技术问题为提供一种基于客户端网关的数据聚合系统，包括有：

32、路由模块：负责根据请求的数据查询条件，将请求路由到涉及的多个数据表；

33、并发请求模块：负责向多个数据表或节点发起并发请求，获取各个数据片的数据；

34、数据解析模块：在客户端网关接收到各个数据片的数据后，负责对数据进行解析操作，将原始数据转换为统一的格式或结构；

35、数据聚合模块：负责对接收到的数据片进行聚合操作，包括数据合并、去重、计算汇总值；

36、结果返回模块：负责将聚合后的数据结果返回给客户端，完成整个数据聚合过程；

37、监控与日志模块：用于监控整个数据聚合过程的运行状态，记录关键信息和日志。

38、本发明所要解决的另一技术问题为提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权上述任一所述的基于客户端网关的数据智能聚合方法。

39、本发明所要解决的另一技术问题为提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述任一所述的基于客户端网关的数据智能聚合方法。

40、本发明的有益效果是：

41、面对海量数据时，传统的数据库系统可能性能受限，采用分库分表的策略和客户端网关的数据聚合方法可以提高系统的扩展性和并发处理能力，解决大规模数据存储和查询的问题；将数据分片存储到多个数据表中，需要有效管理数据的分片和路由规则。客户端网关负责根据请求的数据查询条件进行数据路由，有效管理各个数据片的获取和聚合，解决了数据分片管理的问题；多个数据表或节点同时处理并发请求可能导致系统资源竞争和性能瓶颈。客户端网关通过合理的并发请求管理和数据聚合操作，可以有效处理大量并发请求，提高系统的并发处理能力；对于实时监控和分析需求，需要实时对数据进行聚合和处理，并且快速响应客户端请求。客户端网关的数据聚合方法可以实现实时数据聚合，并及时返回结果，解决了实时数据处理和响应的问题；随着业务规模和数据量的增长，系统需要具备良好的灵活性和扩展性，基于客户端网关的数据智能聚合方法可以根据需求动态调整数据表结构和分片规则，适应不同规模和需求的系统扩展。

技术特征：

1.一种基于客户端网关的数据智能聚合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于客户端网关的数据智能聚合方法，其特征在于，将原本存储于一个数据表中的数据分片存储到多个数据表中的方法为：

3.根据权利要求2所述的基于客户端网关的数据智能聚合方法，其特征在于，客户端网关根据请求的数据查询条件，将请求路由到涉及的多个数据表的方法为：

4.根据权利要求3所述的基于客户端网关的数据智能聚合方法，其特征在于，客户端网关同时向多个数据表或节点发起并发请求的方法为：

5.根据权利要求1所述的基于客户端网关的数据智能聚合方法，其特征在于，进行数据聚合操作的方法为：

6.根据权利要求5所述的基于客户端网关的数据智能聚合方法，其特征在于，客户端网关将聚合后的数据结果返回给客户端的方法为：

7.一种基于客户端网关的数据聚合系统，其特征在于，包括有：

8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的基于客户端网关的数据智能聚合方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于客户端网关的数据智能聚合方法。

技术总结本发明公开一种基于客户端网关的数据智能聚合方法及系统，包括以下步骤：根据分库分表的策略，将原本存储于一个数据表中的数据分片存储到多个数据表中，每个数据片包含部分数据记录；客户端网关根据请求的数据查询条件，将请求路由到涉及的多个数据表；客户端网关同时向多个数据表或节点发起并发请求，获取各个数据片的数据；客户端网关接收到各个数据片的数据后，进行数据聚合操作；客户端网关将聚合后的数据结果返回给客户端，完成整个数据聚合过程；该基于客户端网关的数据智能聚合方法及系统可以提高系统的扩展性和并发处理能力，有效管理各个数据片的获取和聚合和处理大量并发请求，快速响应客户端请求，且具备良好的灵活性和扩展性。技术研发人员：赖明基,刘爱文,高志鹏,蔡俊杰,尹厚迪,侯一帅,李德聪,韦程允,李智红受保护的技术使用者：北京算网技术有限公司技术研发日：技术公布日：2024/7/29