一种数据存储优化方法、装置、电子设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种数据存储优化方法、装置、电子设备及存储介质。

背景技术：

1、随着信息化时代的到来，出现了越来越多的数据，尤其对于页面数据进行处理的过程中，也需要数据的查询和数据的存储。如何合理化地进行数据存储，并且节省存储空间和提高数据查询速率的技术至关重要。

2、发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，数据库中存储的数据大部分是原始数据，并在原始数据上做聚合再次存储，双重存储导致数据量太多，查询速度慢。另外的，对于数据库中存储的历史数据，一般来说很少使用，但是却占用极大存储成本。

技术实现思路

1、本发明提供了一种数据存储优化方法、装置、电子设备及存储介质，以实现减少了数据存储成本，提高了快速聚合数据和加快数据查询的效率。

2、根据本发明的一方面，提供了一种数据存储优化方法，其中，包括：

3、实时获取数据采集器中的多条采集数据，并指示时序数据库将各所述采集数据进行存储；

4、指示聚合计算引擎从所述时序数据库获取各所述采集数据，并根据预先设置的联合聚合规则来进行采集数据聚合操作，得到不同粒度的数据聚合结果；

5、指示所述时序数据库获取各数据聚合结果，并将各数据聚合结果分别存储于预先构建的各时间粒度表中；

6、指示所述时序数据库对各时间粒度表进行数据压缩处理，得到数据聚合存储结果，以根据数据聚合存储结果，来完成采集数据的存储优化的操作。

7、根据本发明的另一方面，提供了一种数据存储优化装置，其中，包括：

8、采集数据获取模块，用于实时获取数据采集器中的多条采集数据，并指示时序数据库将各所述采集数据进行存储；

9、数据聚合结果确定模块，用于指示聚合计算引擎从所述时序数据库获取各所述采集数据，并根据预先设置的联合聚合规则来进行采集数据聚合操作，得到不同粒度的数据聚合结果；

10、数据聚合结果存储模块，用于指示所述时序数据库获取各数据聚合结果，并将各数据聚合结果分别存储于预先构建的各时间粒度表中；

11、数据聚合存储结果确定模块，用于指示所述时序数据库对各时间粒度表进行数据压缩处理，得到数据聚合存储结果，以根据数据聚合存储结果，来完成采集数据的存储优化的操作。

12、根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明任一实施例所述的数据存储优化方法。

13、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据存储优化方法。

14、本发明实施例的技术方案，通过实时获取数据采集器中的多条采集数据，并指示预设的时序数据库将各所述采集数据进行存储；指示预设的聚合计算引擎从所述时序数据库获取各所述采集数据，并根据预先设置的联合聚合规则来进行采集数据聚合操作，得到不同粒度的数据聚合结果；指示时序数据库获取各数据聚合结果，并将各数据聚合结果分别存储于预先构建的各时间粒度表中；指示时序数据库对各时间粒度表进行数据压缩处理，得到数据聚合存储结果，以根据数据聚合存储结果，来完成采集数据的存储优化的操作。解决了对采集到的数据直接存储原始数据而导致的数据量大和查询不方便的问题，减少了数据存储成本，提高了快速聚合数据和加快数据查询的效率。

15、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据存储优化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述时间粒度表包括第一时间粒度表、第二时间粒度表、第三时间粒度表和第四时间粒度表；

3.根据权利要求2所述的方法，其特征在于，所述根据所述当前存储时间和当前删除策略，来进行各采集数据或者各聚合数据的删除操作，包括：

4.根据权利要求3所述的方法，其特征在于，在所述根据所述当前存储时间和当前删除策略，来进行各采集数据或者各聚合数据的删除操作之后，还包括：

5.根据权利要求4所述的方法，其特征在于，所述联合聚合规则包括第一联合聚合规则、第二联合聚合规则和第三联合聚合规则；

6.根据权利要求5所述的方法，其特征在于，在所述实时获取数据采集器中的多条采集数据之前，还包括：

7.根据权利要求6所述的方法，其特征在于，在所述将各数据聚合结果分别存储于预先构建的各时间粒度表中之后，还包括：

8.一种数据存储优化装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的数据存储优化方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-7中任一项所述的数据存储优化方法。

技术总结本发明公开了一种数据存储优化方法、装置、电子设备及存储介质。通过实时获取数据采集器中的多条采集数据，并指示时序数据库将各采集数据进行存储；指示聚合计算引擎从时序数据库获取各采集数据，并根据预先设置的联合聚合规则来进行采集数据聚合操作，得到不同粒度的数据聚合结果；指示时序数据库获取各数据聚合结果，并将各数据聚合结果分别存储于各时间粒度表中；指示时序数据库对各时间粒度表进行数据压缩处理，得到数据聚合存储结果，以根据数据聚合存储结果来完成采集数据的存储优化的操作。解决了对采集到的数据直接存储原始数据而导致的数据量大和查询不方便的问题，减少了数据存储成本，提高了快速聚合数据和加快数据查询的效率。技术研发人员：张雅婷受保护的技术使用者：北京优特捷信息技术有限公司技术研发日：技术公布日：2024/8/1