一种数据处理方法、装置、电子设备和计算机可读介质与流程

本公开的实施例涉及计算机，具体涉及一种数据处理方法、装置、电子设备和计算机可读介质。

背景技术：

1、数据一般永久存储在磁盘上，但是磁盘随机io速度会比较慢，影响用户体验,由于内存存取速度快,通常使用内存数据库的目的就是为了提升数据的查询效率，但是内存也有数据断电丢失、价格昂贵的特点，为了避免大幅浪费内存，耗费不必要的成本，所以提升内存的使用效率，节省成本也是需要重点解决的事情。提升内存使用效率的使用的方案一般有两种，第一种：数据全部加载并且常驻内存。第二种:数据使用时加载进内存，统一加上定长的过期时间，过期时间一到，数据也就删除了，释放内存。

2、第一种方案：常驻内存，优点自然是无论使用哪种数据都能快速的存取。但是缺点是在大量数据不用的时候，造成内存的大量浪费，会付出巨大的成本。第二种方案：加上定长的过期时间，相比第一种方案，会在闲暇时释放一些内存，但是在某些数据经常使用，某些数据某段时间不经常使用的情况下，仍然会有大量时间存在暂时不使用的数据，造成内存的浪费，降低内存使用率。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了一种数据处理方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了一种数据处理方法，该方法包括：获取目标数据库的访问信息；根据上述访问信息构建关于上述目标数据库的时间轮；根据上述时间轮确定目标数据库中的目标数据的数据温度；根据上述目标数据的数据温度对上述目标数据进行处理。

4、第二方面，本公开的一些实施例提供了一种数据处理装置，装置包括：获取单元，被配置成获取目标数据库的访问信息；构建单元，被配置成根据上述访问信息构建关于上述目标数据库的时间轮；确定单元，被配置成根据上述时间轮确定目标数据库中的目标数据的数据温度；处理单元，被配置成根据上述目标数据的数据温度对上述目标数据进行处理。

5、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例中的一个实施例具有如下有益效果：通过使用环形队列和hashmap结合的数据结构，能够在常数时间内查找、更新访问key的值，使得数据存取和统计的效率得到提升。根据数据的访问频率和重要性将其分为冷、温、热数据，针对性地缩短或延长数据的过期时间，这种分类处理能够更好地满足不同数据类型的存储需求，提高内存空间的利用率和维护成本。在遇到进程重启或者断电停机的情况下，能够重新加载数据表中持久化的日志信息，自动恢复内存中丢失的缓存key的统计信息，使得系统更加健壮可靠，减少了人工干预的必要性。时间轮数据结构具有很高的灵活性，可以根据实际情况调整时间轮的大小、槽的数量以及槽的偏移量等参数，以适应不同的应用场景和需求。通过给类似时间轮数据结构中的访问key加1，该方案能够实时统计缓存数据的访问频率和热度，为后续的缓存管理和优化提供参考依据。缓存数据库冷热数据自适应存储方法可以方便地扩展到更大的系统规模和更复杂的应用场景中，具有较好的可扩展性和适应性。通过针对性地缩短或延长数据的过期时间，该方案能够减少无效数据的长期存储和维护成本，同时减轻系统负载和提高性能。通过将缓存键的日志记录持久化到数据表中，该方案能够确保在缓存数据发生变更或失效时，可以从数据表中进行回溯或审计，提高了数据的安全性和可靠性。

技术特征：

1.一种数据处理方法，包括：

2.根据权利要求1所述的方法，其中，所述访问信息包括主键id,缓存key，缓存访问时间，删除信息。

3.根据权利要求1所述的方法，其中，所述根据所述访问信息构建关于所述目标数据库的时间轮，包括：

4.根据权利要求1所述的方法，其中，所述数据温度包括：冷数据温度、温数据温度和热数据温度。

5.根据权利要求1所述的方法，其中，所述根据所述目标数据的数据温度对所述目标数据进行处理，包括：

6.一种数据处理装置，包括：

7.一种电子设备，包括：

8.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

技术总结本公开的实施例公开了一种数据处理方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取目标数据库的访问信息；根据访问信息构建关于目标数据库的时间轮；根据时间轮确定目标数据库中的目标数据的数据温度；根据目标数据的数据温度对目标数据进行处理。该实施方式实现了对数据的自适应存储，能够提高内存空间的利用率和维护成本，减少人工干预的必要性，同时可以适应不同的应用场景和需求，具有较好的可扩展性和适应性，为系统减轻负载并且提高性能，提高了数据的安全性和可靠性。技术研发人员：刘浩受保护的技术使用者：北京正和岛信息科技有限公司技术研发日：技术公布日：2024/7/29