一种压缩率精确值计算方法

本发明涉及压缩率计算，特别是一种压缩率精确值计算方法。

背景技术：

1、数据压缩是减小数据存储空间和传输带宽需求的一种常用方法。目前，压缩率的计算方法通常是基于对数据包中各个数据块的大小和压缩后大小进行简单的比较。然而，这种方法存在着一定的局限性，未能充分考虑数据块的具体特征，导致压缩率计算结果不够准确，例如无法充分考虑到数据块的访问频率、压缩优先级以及资源占用率等因素，从而导致压缩率的计算结果可能不够准确。

2、现有技术中，常见的压缩率计算方法可能需要大量的参数，并且在考虑这些参数时可能会存在一定的主观性和不确定性，大大增加了计算复杂度，尤其对于大规模数据集或复杂压缩算法而言，计算时间和资源消耗大。并且参数选择的不稳定性可能导致计算结果的不稳定性。如专利cn 117216023 b描述了一种大规模网络数据存储方法，计算字符和字符串的频率、优先级以及编码结果以实现网络数据压缩，这种针对字符及字符串的压缩率计算方式涉及多个步骤和参数，因此需要较高的计算复杂度。另外，一些方法可能对压缩率的影响因素考虑不够全面，无法准确反映数据块的压缩情况，如专利cn117652144a所描述的对编解码器的压缩效率确定，仅仅根据视频数据项在使用编解码器进行编码时所需的特定数据量来确定压缩效率，而未考虑到其他可能影响压缩率的因素，从而导致对压缩效率评估不够全面，无法完整的反映数据块的真实压缩情况。

技术实现思路

1、本技术通过序列号、访问频数缩减量、优先级和压缩率、资源占用率，通过模糊集合和隶属度函数的处理，实现了对数据块压缩情况的全面评估。由于综合考虑了数据块的多个关键因素，并通过模糊化处理消除了对具体参数的依赖性，因此计算结果更为准确。

2、本技术的方案如下：一种压缩率精确值计算方法，包括如下步骤：

3、（1）对数据包中的n个数据块进行排序以获得其序列号n(i)；

4、（2）根据访问频数缩减量s(i)，获得压缩的优先级p(i)；

5、（3）基于采集的数据块原始压缩率c0(i)，资源占用率r(i)，数据保持率o(i)，获得压缩质量q(i)；

6、（4）通过压缩质量q(i)和阈值q0，对数据块进行筛选获得m个样本数据块；

7、（5）将样本数据块的序列号n(j)、样本数据块的访问频数缩减量s(j)、样本数据块的优先级p(j)、样本数据块的原始压缩率c0(j)模糊化分别形成模糊集合，并计算各模糊集合的隶属度μn’、μs’、μp’、μc1'；

8、（6）根据各模糊集合的隶属度μn’、μs’、μp’、μc1'，计算模糊压缩率中间值隶属度μc2’(j)；

9、（7）根据模糊压缩率中间值隶属度μc2’(j)，计算模糊压缩率最终值隶属度μc’；

10、（8）根据对各样本数据块所期望的压缩程度设定所期望的模糊压缩率c’(j)以及模糊压缩率最终值隶属度μc’，计算压缩率精确值cj；

11、其中，i∈1~n表示第i个值，j∈1~m表示第j个值。

12、进一步地，步骤（1）的排序基于数据块的访问频数f进行排序；步骤（2）的访问频数缩减量s为log2f；优先级p=u1*n + u2*(1-s)，u1和u2为权重系数。

13、进一步地，步骤（3）中，通过以下公式计算压缩质量q(i)：

14、q(i)=w1*log2(c0(i)+1)+w2*(1-r(i)2)-2+w3*(o(i)2/(1+o(i)2))；

15、其中，数据块原始压缩率c0(i)为数据块的大小与数据块的原始数据的比值，资源占用率r=β*压缩过程中cpu使用率+γ*压缩过程中内存占用率，所述压缩过程为数据块的原始数据压缩成所述数据块的过程，β+γ=1，数据保持率为数据块解压后与原始数据的相似度，w1、w2和w3 分别表示数据块原始压缩率的权重、资源占用率的权重和数据保持率的权重，当数据块的存储器利用率<30%，w1=0.2，w2=0.4，w3=0.4；当30%≤数据块的存储器利用率≤70%，w1=0.4，w2=0.4，w3=0.2，当数据块的存储器利用率>70%，w1=0.6，w2=0.3，w3=0.1；

16、进一步地，步骤（4）中，设定阈值q0，对数据块进行筛选，保留q(i)＞q0的数据块作为样本数据块，样本数据块的个数为m。

17、进一步地，步骤（5）中模糊集合分别为模糊序列号n’={低，中，高}、模糊数据块访问频数缩减量s’={低，中，高}、模糊优先级p’={低、中、高}、模糊压缩率基础值c1’={低，中，高}，并计算各模糊集合的隶属度μn’、μs’、μp’、μc1'。

18、具体过程如下：

19、当 (0<=nj<=0.3*max(nj)) ，

20、μn’(nj)=max(0,min((nj-0)/(0.15max(nj)), (0.3max(nj)-nj)/0.15max(nj))(0<=nj<=0.3*max(nj))；

21、当(0.3max(nj)<nj<0.6*max(nj))，

22、μn’(nj)=max(0,min((nj-0.3max(nj))/0.15max(nj), (0.6max(nj)-nj)/0.15max(nj))；

23、当(0.6max(nj)<=nj<=max(nj))，

24、μn’(nj)=max(0,min((nj-0.6max(nj))/0.15max(nj), (max(nj)-nj)/0.15max(nj))；

25、当，(0<=sj<=0.3*max(sj))，

26、μs’(sj)=max(0,min((sj-0)/(0.15max(sj)), (0.3max(sj)-sj)/0.15max(sj))；

27、当(0.3max(sj)<sj<0.6*max(sj))，

28、μs’(sj)=max(0,min((sj-0.3max(sj))/0.15max(sj), (0.6max(sj)-sj)/0.15max(sj))；

29、当(0.6max(sj)<=sj<=max(sj))，

30、μs’(sj)=max(0,min((sj-0.6max(sj))/0.15max(sj), (max(sj)-sj)/0.15max(sj))；

31、当(0<=pj<=0.3*max(pj))，

32、μp’(pj)=max(0,min((pj-0)/(0.15max(pj)), (0.3max(pj)-pj)/0.15max(pj))；

33、当(0.3max(pj)<pj<0.6*max(pj))，

34、μp’(pj)=max(0,min((pj-0.3max(pj))/0.15max(pj), (0.6max(pj)-pj)/0.15max(pj))；

35、当(0.6max(pj)<=pj<=max(pj))，

36、μp’(pj)=max(0,min((pj-0.6max(pj))/0.15max(pj), (max(pj)-pj)/0.15max(pj))；

37、当(0<= c0j<=0.3*max(c0j))，

38、μc1’(c0j)=max(0,min((c0j-0)/(0.15max(c0j)), (0.3max(c0j)- c0j)/0.15max(c0j))；

39、当(0.3max(c0j)<c0j<0.6*max(c0j))，

40、μc1’(c0j)=max(0,min((c0j-0.3max(c0j))/0.15max(c0j), (0.6max(c0j)-c0j)/0.15max(c0j))；

41、当(0.6max(c0j)<= c0j<=max(c0j))，

42、μc1’(c0j)=max(0,min((c0j-0.6max(c0j))/0.15max(c0j), (max(c0j)- c0j)/0.15max(c0j))。

43、进一步地，步骤（6）中，计算模糊压缩率中间值隶属度μc2’(j)=μc1'(cj)*min(μn'(nj), μs'(sj), μp'(pj))，nj∈n，sj∈s，pj∈p，cj∈c，min()为对括号里的值取最小值。

44、进一步地，步骤（7）中，计算模糊压缩率最终值隶属度μc’，具体公式如下：

45、μc’=max(μc2’(j))；max()为对括号里的值取最大值。

46、进一步地，步骤（8）中，根据对各数据块所期望的压缩程度，设定所期望的模糊压缩率c’(j)，c’(j)∈[0, 1)；计算压缩率精确值cj，具体如下：

47、cj=(∑(μc’(j)*c’(j))/∑μc’(j)。

48、本专利提出的压缩率精确值计算方法采用了模糊化技术，具有多项有益效果。首先，该方法综合考虑了数据块的多个关键因素，如序列号、访问频数缩减量、优先级和压缩率等，通过模糊集合和隶属度函数的处理，实现了对数据块压缩情况的全面评估。其次，由于采用了模糊逻辑模型和基于数据块特征的综合评估方法，可以在较短的时间内完成压缩率的计算。与传统的计算方法相比，该方法不需要复杂的参数设置和繁琐的计算步骤，大大提高了计算效率。同时，由于综合考虑了数据块的多个关键因素，并通过模糊化处理消除了对具体参数的依赖性，因此计算结果更为准确。这种快速、准确的计算能力使得该方法在处理大规模数据集或复杂压缩算法时表现出色，为数据压缩领域的研究和应用提供了可靠的技术支持。此外，通过模糊化处理，减少了对具体参数的依赖性，降低了参数选择的不稳定性，提高了方法的灵活性和通用性。因此，本专利提出的压缩率计算方法在综合性能和实用性方面均具有显著的优势。