基于通道相关性的DAS数据有损压缩后处理方法及系统

本发明涉及一种数据压缩处理领域，尤其涉及一种基于通道相关性的das数据有损压缩后处理方法及系统。

背景技术：

1、分布式光纤声学传感（fiber optic distributed acoustic sensing, das）技术通过背向瑞利散射光相位变化测量地震波引起的光纤应变/应变率实现地震的分布式观测，其具有的高空间分辨率和大范围观测能力为地震观测提供了全新的视角，在非常规油气勘探、地震监测、地质灾害预警等领域具有广阔应用前景，但也给地震数据处理和分析带来诸多挑战。然而，由于das的高空间分辨率，导致das阵列采样到的数据量非常大，数十千米的光纤一天采样的记录量可达tb级别，这极大地限制了das技术在铁路监测、管道泄漏等长距离监测等领域的应用。同时，das数据中噪声成分复杂（如随机噪声、交通噪声、光缆耦合噪声、光学噪声等），导致采集到的das数据中信噪比较低。同时，由于das的分布式特点，相邻几个通道具有空间上的连续性与信号的相似性，因此，在保证高信噪比与高压缩比的同时，利用das数据通道间的空间相关性从而以较快的压缩速度对das数据进行压缩以便提高das数据的存储以及传输效率是现阶段的迫切需求。

2、数据压缩方法分为有损压缩方法和无损压缩方法。现有的基于das数据的无损压缩方法有lempel-ziv-welc (lzw) 、哈夫曼编码以及熵编码等。尽管无损压缩能完全重构出原信号，从而保证了重构das信号的质量，但是，其在压缩过程中保留了大量不影响数据质量的冗余信息，导致上述方法在das数据压缩过程中，无法提供大的压缩比，从而无法适应大规模das数据的压缩。

3、现有的基于das数据的有损压缩方法有基于dwt与dct的，以及基于神经网络的cae与rae等。基于变换的dwt与dct方法在低压缩比时能提供较高的压缩质量，然而，随着压缩比的上升，其压缩质量显著降低，无法提供高压缩比，更重要的是，dwt与dct方法存在计算量大，压缩效率低等问题。基于cae与rae等基于神经网络的das数据压缩方法显著提升了压缩质量并能够提供较大的压缩比，然而其很难同时保证压缩质量与压缩速度。

4、名词解释：

5、dwt：英文discrete wavelet transform，中文为离散小波变换，是一种基于小波函数的变换方法，用于将信号分解为不同尺度和频率的成分。dwt通过将信号分解为近似系数和细节系数的多层级分解，可以提供更加灵活的频域分析和信号处理能力。dwt广泛应用于信号处理、图像处理、数据压缩等领域，具有多分辨率分析、局部特征提取等优点。

6、dct：英文discrete cosine transform，中文为离散余弦变换，用于将时域信号转换为频域信号。dct广泛应用于信号处理、数据压缩、图像处理等领域。与傅里叶变换相比，dct更适合处理实数信号，并且在图像压缩和音频编码中有着重要的应用。dct将信号分解为一系列余弦函数的加权和，通过dct变换可以将信号的能量集中在少数频率成分上，从而实现信号的压缩和信息提取。

7、cae：英文convolutional autoencoder，中文为卷积自编码器，是一种结合了卷积神经网络（cnn）和自编码器（autoencoder）的深度学习模型。它通常用于图像数据的特征提取、降维和重构任务。

8、rae：英文 recurrent autoencoder，中文为循环自编码器，是一种结合了循环神经网络(lstm)和自编码器（autoencoder）的深度学习模型。它利用lstm强大的时间序列长期依赖提取能力用来压缩数据，能够提供较大的信噪比与极大的压缩比，常用于大规模数据压缩。

技术实现思路

1、本发明的目的就在于提供一种解决上述问题，能保证重构das信号的信噪比，且能提供高压缩比，能大大提高das信号的压缩速度，从而提高其传输和存储效率的基于通道相关性的，基于通道相关性的das数据有损压缩后处理方法及系统。

2、为了实现上述目的，本发明采用的技术方案是这样的：一种基于通道相关性的das数据有损压缩后处理方法，包括以下步骤；

3、s1，从待压缩的das数据集dall中选取n个通道数据并归一化处理，构成数据集d，数据集d包括n个通道数据，每个通道数据包括m个采样数据；

4、s2，预设参数和迭代次数，所述参数包括子数据集通道数n、阈值t和量化参数q，初始化n、t和q，n为奇数且能被n整除；

5、s3，将数据集d划分为s个子数据集，s=n/n，抽取每个子数据集的中间通道数据，按顺序拼接为原始数据集d1，数据集d中其余通道数据构成原始数据集d2；

6、s4，选取一预训练的das数据有损压缩模型对d1压缩和解压，d1经压缩得到压缩集dc1、dc1经解压得到重构集dr1；

7、s5，计算d2和d1的残差，得到残差集，用阈值t过滤残差集，得到第一过滤残差集；

8、s6，用量化参数q将中每个元素量化为整数，得到量化后残差集，再用哈夫曼编码压缩，得到压缩集dc2；

9、s7，将dc2进行哈夫曼解码和反量化，得到第二过滤残差集；

10、s8，对中每个元素，与dr1中相同子数据集的元素相加，构成d2的重构集dr2；

11、s9，合并dr1和dr2，得到完整重构数据集dr；

12、s10，计算重构数据集dr与数据集d二者间的信噪比；

13、s11，进入下次迭代，每迭代一次，改变n、t和q的值，并重复步骤s3~s10，直到迭代结束，将信噪比最大时迭代次数中的三个参数，作为最优参数；

14、s12，基于最优参数对dall进行压缩和解压。

15、作为优选：s12具体为；

16、压缩时，将dall作为数据集d，用最优参数按步骤s3~s6得到对应的压缩集dc1、dc2，合并后构成dall的完整压缩数据集；

17、解压时，按步骤s7~s9，得到dall的完整重构数据集。

18、作为优选：s1中，通道i的第j个采样数据为，根据下式归一化处理得到对应的归一化值；

19、，

20、式中，、分别为通道i中m个采样数据的最大值和最小值，1≤i≤n，1≤j≤m。

21、作为优选：所述das数据有损压缩模型包括基于rae的有损压缩模型、基于dct的有损压缩模型、基于dwt的有损压缩模型、基于cae的有损压缩模型。

22、作为优选：所述s5中，计算残差为；

23、对d2中的一个通道数据，查找其位于哪个子数据集，并查找该子数据集的中间通道数据，计算d2中该通道数据与该中间通道数据的残差；

24、s5中，用阈值t过滤残差集为；

25、，

26、式中，ε为残差，f(ε)为ε对应的过滤后残差，所有过滤后残差构成过滤残差集。

27、作为优选：s6中，根据下式量化为整数；

28、，

29、式中，、分别为中通道k中m个采样数据的最大值和最小值，为中通道k中第j个采样数据的残差，为对应的整数，为向下取整。

30、作为优选：所述n≤n/3，0≤t＜1，1≤q≤ns-1，ns为das数据集的存储格式中浮点数位数。

31、一种基于通道相关性的das数据有损压缩后处理系统，包括以下单元；

32、预处理单元，用于从待压缩的das数据集dall中选取n个通道数据并归一化处理，构成数据集d，数据集d包括n个通道数据，每个通道数据包括m个采样数据；

33、参数设置单元，用于预设参数和迭代次数，并初始化参数，所述参数包括子数据集通道数n、阈值t和量化参数q，初始化时，n为奇数且能被n整除；

34、数据集划分单元，用于将数据集d划分为s个子数据集，s=n/n，抽取每个子数据集的中间通道数据，按顺序拼接为原始数据集d1，数据集d中其余通道数据构成原始数据集d2；

35、das数据有损压缩模型，所述das数据有损压缩模型经过预训练，包括有损压缩单元和有损解压单元，所述有损压缩单元用于将d1压缩得到压缩集dc1，所述有损解压单元用于将dc1解压得到重构数据集dr1；

36、残差计算单元，用于计算d2和d1的残差，得到残差集，

37、残差过滤单元，用于使用阈值t过滤残差集，得到第一过滤残差集；

38、量化单元，用于根据量化参数q将中每个元素量化为整数，得到量化后残差集；

39、哈夫曼编码单元，用于对编码，得到压缩集dc2；

40、哈夫曼解码单元，用于对dc2解码；

41、反量化单元，用于反量化哈夫曼解码单元的输出，得到第二过滤残差集；

42、重构单元；用于对中每个元素，与dr1中相同子数据集的元素相加，构成d2的重构数据集dr2；

43、数据集合并单元，用于合并dr1和dr2，得到完整重构数据集dr；

44、信噪比计算单元，用于计算重构数据集dr与数据集d二者间的信噪比；

45、最优参数获取单元，用于根据多次迭代，将信噪比最大时迭代次数中的三个参数，作为最优参数；

46、最终处理单元，用于基于最优参数对dall进行压缩和解压。

47、与现有技术相比，本发明的优点在于：

48、本发明利用将das数据的数据集d分为多个子数据集，对每个子数据集，利用每个通道数据与中间通道数据求残差、以及设置阈值过滤较小残差的方式，充分利用了das数据的空间相关性，成倍地降低了耗时的有损压缩的数据量，从而成倍地提高了压缩速度；通过对残差进行量化以及哈夫曼编码，进一步消除残差中的冗余信息从而提升压缩比。

49、本发明能极大地减低das数据有损压缩模型的压缩量。因为das数据有损压缩模型一般压缩速度较慢，本发明压缩速度较快，因而通过划分数据集，让das数据有损压缩模型压缩小部分数据，本发明压缩大部分数据的方式加快压缩速度。

50、在使用rae模型进行das数据压缩过程中，通过本发明的方法仅以信噪比降低1.3db的代价，将压缩比从8提升到16，压缩时间从268s降低到43s，其最大压缩比更是从512提升到了960，以极低的代价极大地提升了压缩比与压缩速度。

51、本发明提供的das数据有损压缩后处理方法有效地提高了重构das信号的压缩速度，且提供了更大的压缩比，显著提高了das信号传输和存储效率。