一种数据处理方法和相关装置与流程

本申请涉及计算机，特别是涉及一种数据处理方法和相关装置。

背景技术：

1、键值对是目前较为流行的数据格式，一个键值对包括键和与该键对应的值。例如，键为车辆使用年限，其对应的值可以是3年、5年等。通过键值对形式表示的数据的优势在于易读性。

2、但是，以键值对形式存储的数据对应的数据量一般较大，其在传输的时候会占用大量带宽，且容易出现因带宽不足而导致数据传输停滞，又或者在存储时，也会出现磁盘和内存占用较为严重等问题，故为了节省带宽、磁盘或内容占用，需要对数据进行压缩处理。

3、相关技术中，会对键值对形式表示的数据进行整体压缩，虽然压缩率较高，但是失去了可读性，从而使得高可读性与低空间占用率不能同时兼得，对数据的使用带来不便。

技术实现思路

1、为了解决上述技术问题，本申请提供了一种数据处理方法和相关装置，用于在针对以键值对形式表示的数据进行压缩后，使其具有可读性。

2、本申请实施例公开了如下技术方案：

3、一方面，本申请实施例提供一种数据处理方法，所述方法包括：

4、获取待压缩数据，所述待压缩数据包括多个键值对；

5、根据所述多个键值对包括的多个键，通过去重处理得到键集合；

6、根据所述多个键值对包括的多个值，通过去重处理得到值集合；

7、根据所述多个键值对、所述键集合和所述值集合，得到索引值集合，所述索引值集合包括的索引值用于标识所述多个值分别在所述值集合中的存储位置，所述索引值在所述索引值集合的位置是根据所述键集合包括的键的顺序确定的；

8、根据所述键集合、所述值集合和所述索引值集合，得到所述待压缩数据对应的压缩数据。

9、另一方面，本申请实施例提供一种数据处理方法，所述方法包括：

10、获取压缩数据，所述压缩数据包括键集合、值集合和索引值集合，所述压缩数据是根据包括多个键值对的待压缩数据得到的，所述键集合是根据多个键值对包括的多个键得到的，所述值集合是根据所述多个键值对包括的多个值得到的，所述索引值集合包括的索引值用于标识所述多个值分别在所述值集合中的存储位置，所述索引值在所述索引值集合的位置是根据所述键集合包括的键的顺序确定的；

11、根据目标索引值在所述索引值集合的位置，从所述键集合确定所述目标索引值对应的目标键，所述目标索引值为所述索引值集合中的一个索引值；

12、根据所述目标索引值，从所述值集合确定所述目标索引值对应的目标值，所述目标值和所述目标键为所述待压缩数据包括的一个键值对；

13、将所述索引值集合包括的索引值分别作为所述目标索引值，得到所述待压缩数据。

14、另一方面，本申请实施例提供一种数据处理装置，所述装置包括：获取单元、去重单元，建立单元和压缩单元；

15、所述获取单元，用于获取待压缩数据，所述待压缩数据包括多个键值对；

16、所述去重单元，用于根据所述多个键值对包括的多个键，通过去重处理得到键集合；

17、所述去重单元，还用于根据所述多个键值对包括的多个值，通过去重处理得到值集合；

18、所述建立单元，用于根据所述多个键值对、所述键集合和所述值集合，得到索引值集合，所述索引值集合包括的索引值用于标识所述多个值分别在所述值集合中的存储位置，所述索引值在所述索引值集合的位置是根据所述键集合包括的键的顺序确定的；

19、所述压缩单元，用于根据所述键集合、所述值集合和所述索引值集合，得到所述待压缩数据对应的压缩数据。

20、另一方面，本申请实施例提供一种数据处理装置，所述装置包括：获取单元、键确定单元、值确定单元和解压缩单元；

21、所述获取单元，用于获取压缩数据，所述压缩数据包括键集合、值集合和索引值集合，所述压缩数据是根据包括多个键值对的待压缩数据得到的，所述键集合是根据多个键值对包括的多个键得到的，所述值集合是根据所述多个键值对包括的多个值得到的，所述索引值集合包括的索引值用于标识所述多个值分别在所述值集合中的存储位置，所述索引值在所述索引值集合的位置是根据所述键集合包括的键的顺序确定的；

22、所述键确定单元，用于根据目标索引值在所述索引值集合的位置，从所述键集合确定所述目标索引值对应的目标键，所述目标索引值为所述索引值集合中的一个索引值；

23、所述值确定单元，用于根据所述目标索引值，从所述值集合确定所述目标索引值对应的目标值，所述目标值和所述目标键为所述待压缩数据包括的一个键值对；

24、所述解压缩单元，用于将所述索引值集合包括的索引值分别作为所述目标索引值，得到所述待压缩数据。

25、另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器以及存储器：

26、所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；

27、所述处理器用于根据所述计算机程序中的指令执行上述方面所述的方法。

28、另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。

29、另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的方法。

30、由上述技术方案可以看出，获取包括多个键值对的待压缩数据，根据多个键值对包括的多个键，通过去重处理得到键集合，以及根据多个键值对包括的多个值，通过去重处理得到值集合，从而通过去重处理，降低待压缩数据的数据量。根据多个键值对、键集合和值集合，得到索引值集合，索引值集合包括至少一个索引值，通过索引值可以标识待压缩数据包括的各个值在值集合中的存储位置，且索引值在索引值集合中的位置是根据键集合包括的键的顺序确定的。从而通过索引值和值集合能够确定值的内容，通过索引值在索引值集合中的位置以及键集合，能够确定键的内容，进而还原出键值对，即根据键集合、值集合和索引值集合，能够实现对待压缩数据的压缩，得到压缩数据。由此，在对待压缩数据进行压缩的过程中，通过去重和建立索引值集合，实现了在保证压缩数据可读性的同时，降低了待压缩数据的数据量。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待压缩数据用于表征多个对象，各个所述对象包括的键值对中的键均相同。

3.根据权利要求1所述的方法，其特征在于，所述待压缩数据用于表征多个对象，所述多个对象中至少两个对象包括的键值对中的键不同；

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多个键值对、所述键集合和所述值集合，得到索引值集合，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，若所述目标值的数据类型为字符串类型，所述根据所述存储位置、所述第一偏移量和所述第二偏移量，确定所述目标值所在的键值对对应的索引值，包括：

7.根据权利要求4所述的方法，其特征在于，所述确定所述目标对象包括的键值对中的值，在所述值集合中的存储位置，包括：

8.根据权利要求1所述的方法，其特征在于，所述根据所述多个键值对包括的多个值，通过去重处理得到值集合，包括：

9.根据权利要求1所述的方法，其特征在于，所述待压缩数据用于表征多个对象，所述索引值集合包括的索引值排列为多行，每一行索引值用于表征一个对象。

10.一种数据处理方法，其特征在于，所述方法包括：

11.一种数据处理装置，其特征在于，所述装置包括：获取单元、去重单元，建立单元和压缩单元；

12.一种数据处理装置，其特征在于，所述装置包括：获取单元、键确定单元、值确定单元和解压缩单元；

13.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-9中任意一项所述的方法，或执行权利要求10所述的方法。

15.一种包括计算机程序的计算机程序产品，其特征在于，当其在计算机设备上运行时，使得所述计算机设备执行权利要求1-9中任意一项所述的方法，或执行权利要求10所述的方法。

技术总结本申请实施例公开了一种数据处理方法和相关装置，获取包括多个键值对的待压缩数据，对键和值分别进行去重处理，得到键集合和值集合，从而通过去重处理，降低待压缩数据的数据量。根据多个键值对、键集合和值集合，得到索引值集合，通过索引值可以标识待压缩数据包括的各个值在值集合中的存储位置，且索引值在索引值集合中的位置是根据键集合包括的键的顺序确定的。从而通过索引值和值集合能够确定值的内容，通过索引值在索引值集合中的位置以及键集合，能够确定键的内容，进而还原出键值对，即根据键集合、值集合和索引值集合，能够实现对待压缩数据的压缩，得到压缩数据。由此，实现了在保证压缩数据可读性的同时，降低了待压缩数据的数据量。技术研发人员：张宇昂受保护的技术使用者：腾讯科技（深圳）有限公司技术研发日：技术公布日：2024/9/29