一种分布式集群数据管理方法、装置、设备及存储介质与流程

本发明属于分布式集群管理技术，尤其涉及一种分布式集群数据管理方法、装置、设备及存储介质。

背景技术：

1、在分布式集群内进行应用指标监控时，虽然现代监控系统已经取得了很大的进步，但仍然存在一些限制和缺陷：

2、数据一致性：在分布式系统中，由于数据可能分布在多个节点上，因此确保监控数据的一致性变得更加困难，不同节点上的监控数据可能存在时间差异或者部分数据丢失，这会导致监控系统在分析和报告数据时产生偏差。

3、网络延迟和失败：监控数据的采集和传输受到网络延迟和故障的影响。如果监控系统无法及时获取到数据或者在数据传输过程中丢失了部分数据，将会导致监控数据的不完整性和准确性下降。

4、大规模集群管理：在大规模分布式集群中，可能存在数千甚至数百万个节点和任务，监控系统需要能够有效管理这些节点和任务的监控数据，因此，监控系统的设计和实现需要考虑到大规模集群管理的挑战，包括监控数据的存储、查询和可视化等方面。

5、指标选择和采集：在设计监控系统时，需要选择合适的监控指标以及采集这些指标所需的资源，不恰当的指标选择或者不合理的采集频率可能导致监控系统的性能下降或者资源浪费。

6、数据存储和处理：大规模分布式集群产生的监控数据量可能非常庞大，监控系统需要能够有效地存储和处理这些数据，因此，监控系统的存储和处理能力成为限制监控系统性能的关键因素之一。

7、实时性和延迟：对于一些对实时性要求较高的应用，监控系统需要能够实时地获取、处理和展示监控数据，然而，由于网络延迟、数据处理等因素的影响，监控数据的实时性可能无法得到保证，存在一定的延迟。

技术实现思路

1、基于此，本发明旨在提出一种分布式集群数据管理方法、装置、设备及存储介质，利用时间轮和集群的协作实现高效实时的数据监控与分析。

2、第一方面，本发明提供一种分布式集群数据管理方法，包括：

3、在分布式集群上注册滑动时间窗，检测被监控对象在滑动时间窗内是否有上报新数据，若有则更新滑动时间窗，若无则删除被监控对象；

4、在时间轮上注册删除过期键事件，删除过期键事件被触发时删除分布式集群上超过设定过期时长的键。

5、进一步地，删除过期键事件被触发时删除分布式集群上超过设定过期时长的键包括：

6、删除过期键事件被触发时在分布式集群上检测被监控对象是否存在，若存在则删除与被监控对象匹配且超过设定过期时长的键，若不存在则在时间轮上移除所注册的删除过期键事件。

7、进一步地，上述方法还包括时间轮的初始化过程，包括：

8、确定时间轮的刻度间隔和大小，根据设定过期时长在时间轮的时间槽中注册删除过期键事件，使得时间轮的指针指向时间槽时，与时间槽对应的删除过期键事件被触发。

9、进一步地，更新滑动时间窗包括：

10、在当前滑动时间窗内被监控对象有新数据上报时，以新数据上报的时间点为下一个滑动时间窗的起始点更新滑动时间窗。

11、进一步地，上述方法还包括被监控对象的初始化过程，包括：

12、在分布式集群上建立被监控对象，对被监控对象在分布式集群上分配映射空间。

13、进一步地，滑动时间窗的长度为设定过期时长的两倍。

14、进一步地，上述方法还包括数据统计展示过程，包括：

15、以当前统计时间点为节点，设定过期时长为统计范围，获取早于当前统计时间节点且在统计范围内产生的数据，统计所获取的数据量并进行可视化展示。

16、第二方面，本发明提供一种分布式集群数据管理装置，包括：

17、第一注册模块，被配置为在分布式集群上注册滑动时间窗；

18、第二注册模块，被配置为在时间轮上注册删除过期键事件；

19、检测更新模块，被配置在分布式集群上，用于检测被监控对象在滑动时间窗内是否有上报新数据，若有则更新滑动时间窗，若无则删除被监控对象；

20、删除模块，被配置在分布式集群上，用于当删除过期键事件被触发时删除分布式集群上超过设定过期时长的键。

21、第三方面，本发明提供一种电子设备，包括存储有计算机可执行指令的存储器和处理器，当计算机可执行指令被所述处理器执行时使得该设备执行第一方面提供的分布式集群数据管理方法的各个步骤。

22、第四方面，本发明提供一种可读存储介质，存储有计算机可执行程序，当该程序被执行时可实现第一方面提供的分布式集群数据管理方法的各个步骤。

23、从以上技术方案可以看出，本发明具有如下有益效果：

24、基于上述任一方面，本发明公开中，利用时间轮实现对分布式集群上数据的实时监控，当时间轮上注册的事件被触发时分布式集群能够迅速响应，利用过期策略把已过期的键删除，同时在集群上注册滑动时间窗，以监控被监控对象在未来一段时间内是否有上报新数据，若无则认为该对象冗余可以先回收映射空间而回收数据存储资源，最大限度降低了被监控数据的存储成本，基于滑动时间窗和时间轮的事件触发可以是独立并行的监控线程，实现对高并发场景下大量监控数据的高效处理能力，保证了监控系统在高负载情况下的稳定性和性能表现。

技术特征：

1.一种分布式集群数据管理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述删除过期键事件被触发时删除分布式集群上超过设定过期时长的键包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括时间轮的初始化过程，包括：

4.根据权利要求1所述的方法，其特征在于，所述更新滑动时间窗包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括被监控对象的初始化过程，包括：

6.根据权利要求1所述的方法，其特征在于，所述滑动时间窗的长度为设定过期时长的两倍。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括数据统计展示过程，包括：

8.一种分布式集群数据管理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储有计算机可执行指令的存储器和处理器，当计算机可执行指令被所述处理器执行时使得该设备执行如权利要求1~7任一项所述的分布式集群数据管理方法。

10.一种可读存储介质，其特征在于，存储有计算机可执行程序，当该程序被执行时可实现如权利要求1~7任一项所述的分布式集群数据管理方法。

技术总结本申请公开了一种分布式集群数据管理方法，利用时间轮实现对分布式集群上数据的实时监控，当时间轮上注册的事件被触发时分布式集群能够迅速响应，利用过期策略把已过期的键删除，同时在集群上注册滑动时间窗，以监控被监控对象在未来一段时间内是否有上报新数据，若无则认为该对象冗余可以先回收映射空间而回收数据存储资源，最大限度降低了被监控数据的存储成本，基于滑动时间窗和时间轮的事件触发可以是独立并行的监控线程，实现对高并发场景下大量监控数据的高效处理能力，保证了监控系统在高负载情况下的稳定性和性能表现。技术研发人员：丰亮受保护的技术使用者：创优数字科技（广东）有限公司技术研发日：技术公布日：2024/7/29