一种日志数据压缩方法、装置、电子设备和介质与流程

本发明涉及智能家居，特别是涉及一种日志数据压缩方法和一种日志数据压缩装置、电子设备和介质。

背景技术：

1、智能家居是指利用先进的信息技术和物联网(iot)技术，将传统的家居设备和系统与互联网连接起来，实现自动化、智能化和便利化的家居管理和控制系统。压缩算法则是一种将数据编码为更小体积的方法，主要目的是减小数据的存储空间和提高传输速度。它基于统计学规律，通过消除数据中的冗余信息和编码数据，实现数据体积的减小。

2、数据分析是一种通过适当的统计分析方法对收集的大量数据进行分析、汇总、理解和消化的过程，旨在最大化地开发数据的功能并发挥数据的作用。它的核心目标是从数据中提取有用信息和形成结论，帮助企业或机构做出更明智的决策。

3、在物联网设备服务端面临较高数量级设备日志的处理中，日志的筛选以及压缩算法、索引结构等处理过程中，如何选取最佳的压缩算法是亟待解决的问题。

技术实现思路

1、鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志数据压缩方法和相应的一种日志数据压缩装置。

2、为了解决上述问题，本发明实施例公开了一种日志数据压缩方法，包括：

3、获取日志数据；

4、根据所述日志数据选取关键信息；

5、根据所述关键信息确定压缩算法，采用所述压缩算法对所述日志数据进行压缩处理，并根据所述关键信息对压缩后的日志数据设置索引；

6、针对压缩后的日志数据，判断是否需要优化压缩算法；

7、当需要优化压缩算法时，选取新的关键信息，并返回所述根据所述关键信息确定压缩算法，采用所述压缩算法对所述日志数据进行压缩处理，并根据所述关键信息对压缩后的日志数据设置索引的步骤。

8、可选地，所述针对压缩后的日志数据，判断是否需要优化压缩算法，包括：

9、获取对压缩后的所述日志数据进行检索的使用情况；

10、根据对压缩后的所述日志数据进行检索的使用情况，判断是否需要优化压缩算法。

11、可选地，所述针对压缩后的日志数据，判断是否需要优化压缩算法，包括：

12、获取采用所述压缩算法对所述日志数据进行压缩处理的压缩性能；

13、根据所述压缩性能，判断是否需要优化压缩算法。

14、可选地，所述选取新的关键信息，包括：

15、获取用户检索日志过程中所使用的关键词；

16、根据所述用户检索日志过程中所使用的关键词，确定新的关键信息。

17、可选地，所述根据所述用户检索日志过程中所使用的关键词，确定新的关键信息，包括：

18、获取用户检索日志过程中所使用的关键词的权重；

19、根据用户检索日志过程中所使用的关键词和所述关键词的权重，确定新的关键信息。

20、可选地，所述采用所述压缩算法对所述日志数据进行压缩处理，并根据所述关键信息对压缩后的日志数据设置索引，包括：

21、采用所述压缩算法对所述日志数据进行压缩处理，得到多个日志块；

22、根据所述关键信息，分别对所述多个日志块设置索引。

23、可选地，所述采用所述压缩算法对所述日志数据进行压缩处理，并根据所述关键信息对压缩后的日志数据设置索引，还包括：

24、若所述多个日志块的索引的大小大于预设阈值，则对所述多个日志块的索引进行压缩处理。

25、本发明实施例，还提供了一种日志数据压缩装置，所述装置包括：

26、数据获取模块，用于获取日志数据；

27、信息选取模块，用于根据所述日志数据选取关键信息；

28、数据压缩和索引设置模块，用于根据所述关键信息确定压缩算法，采用所述压缩算法对所述日志数据进行压缩处理，并根据所述关键信息对压缩后的日志数据设置索引；

29、第一判断模块，用于针对压缩后的日志数据，判断是否需要优化压缩算法；

30、步骤返回模块，用于当需要优化压缩算法时，选取新的关键信息，并返回所述根据所述关键信息确定压缩算法，采用所述压缩算法对所述日志数据进行压缩处理，并根据所述关键信息对压缩后的日志数据设置索引的步骤。

31、可选地，所述第一判断模块包括：

32、使用情况获取模块，用于获取对压缩后的所述日志数据进行检索的使用情况；

33、第一判断子模块，用于根据对压缩后的所述日志数据进行检索的使用情况，判断是否需要优化压缩算法。

34、可选地，所述第一判断模块还包括：

35、压缩性能获取模块，用于获取采用所述压缩算法对所述日志数据进行压缩处理的压缩性能；

36、第二判断子模块，用于根据所述压缩性能，判断是否需要优化压缩算法。

37、可选地，所述信息选取模块包括：

38、关键词获取模块，用于获取用户检索日志过程中所使用的关键词；

39、第一关键信息确定模块，用于根据所述用户检索日志过程中所使用的关键词，确定新的关键信息。

40、可选地，所述关键信息确定模块，包括：

41、权重获取模块，用于获取用户检索日志过程中所使用的关键词的权重；

42、第二关键信息确定模块，用于根据用户检索日志过程中所使用的关键词和所述关键词的权重，确定新的关键信息。

43、可选地，所述数据压缩和索引设置模块，包括：

44、第一数据压缩子模块，用于采用所述压缩算法对所述日志数据进行压缩处理，得到多个日志块；

45、索引设置子模块，用于根据所述关键信息，分别对所述多个日志块设置索引。

46、可选地，所述数据压缩和索引设置模块，还包括：

47、第二数据压缩子模块，用于若所述多个日志块的索引的大小大于预设阈值，则对所述多个日志块的索引进行压缩处理。

48、本发明实施例，还提供了一种电子装备，所述装置包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的一种日志数据压缩方法的步骤。

49、本发明实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种日志数据压缩方法的步骤。

50、本发明实施例包括以下优点：

51、在本发明实施例中，介绍了一种日志数据压缩方法，首先获取日志数据，根据日志数据选取关键信息，再根据关键信息确定压缩算法，对日志数据进行压缩处理，并根据关键信息对压缩后的日志数据设置索引；针对压缩后的日志数据，判断是否需要优化压缩算法；当需要优化压缩算法时，选取新的关键信息，并返回根据关键信息确定压缩算法，采用压缩算法对日志数据进行压缩处理，并根据关键信息对压缩后的日志数据设置索引的步骤。在大数量级的物联网设备使用过程中，会产生的日志数量级较大，本发明会针对这些日志的不同关键信息，选取不同的压缩方法和设置索引，并通过实际使用情况对日志数据动态选取压缩方法，实现节省空间的同时提高重要日志的检索效率。