一种气象预报数据降维压缩方法与流程

本发明涉及气象数据处理，尤其涉及一种气象预报数据降维压缩方法。

背景技术：

1、气象数值模式是一种运行在超级计算机上的超大型模拟计算程序，它以全球各地的气象站、卫星探测等真实数据为初始场，通过预设的计算流程，生成覆盖全球的气象预报数据。该数据包含气温、气压、湿度、风向、风速、降水量等数十种气象变量，每个要素都按照时间顺序排列，因此气象预报数据是一种多维嵌套的结构化数据，第一层包含变量、时间两个维度，第二层包含经度、纬度、高度三个维度。

2、当前国际主流的气象预报机构有中国气象局、欧洲中期天气预报中心、美国国家环境预报中心等，这些机构所研发的气象数值模式均已达到水平分辨率0.125度、垂直分层近50层、时间间隔1-3小时、可预报10天的水平，且仍在向分辨率更高、可预报天数更长、准确率更高的方向发展。高分辨率的气象预报数据体积较大（grib2格式，单次约14 gb～15gb），对于使用有线传输网络的气象用户来说，这种数据体积可以接受。但对于使用卫星无线传输网络的气象用户，例如海上船舶、高山海岛等，网络带宽较低且价格昂贵，大体量数据传输很难实现。因此需要对气象数值模式产生的预报数据进行压缩。

3、目前，针对气象数据的数据压缩算法可以分为两种类型：无损压缩和有损压缩。无损压缩可保留源数据中的全部信息，但是压缩比不高，一般为2:1到5:1，主要的无损压缩编码有预测编码、变换编码、矢量编码、算术编码等。有损压缩是指使用压缩后的数据进行重构后，得到的数据与源数据有所不同，但不会让人对源数据表达的信息造成误解，有损压缩可获得较高的压缩比。中国专利cn116683915a提出了一种气象数据压缩方法、系统及介质，其舍弃了某一尺度内大量细节数据和小于该尺度的所有数据，虽然对于用户来说，可从这些数据中还原出天气情况的大致情况，但无法完整还原所有细节。其本质属于有损压缩算法。

4、基于此，如何实现对气象数据的无损压缩，是本发明主要解决的技术问题。

技术实现思路

1、本发明为了解决现有气象数据的数据压缩算法造成数据损失，导致无法完整还原细节信息的技术问题，提出了一种气象预报数据降维压缩方法，可以解决上述问题。

2、为了解决上述技术问题，本发明采用以下技术方案予以实现：

3、一种气象预报数据降维压缩方法，包括：

4、原始数据解码分割步骤，对原始数据按照时间、气象变量两个维度进行解码分割，获取到分别按照时间-气象变量排布的多个数据体，所述数据体中的数据分别按照经度、纬度、高度三个维度排列，所述气象变量至少包括气温、气压、湿度、风向、风速以及降水量；

5、数据体降维步骤，包括：逐层、逐行获取所述数据体中的数据并排列拼接成数据列表l，数据列表l呈一行或一列排布，每个数据体对应一个数据列表；

6、重复值处理步骤，包括：分别检测各数据列表中的重复数据，若存在连续k个相同的数据float，则将该连续k个相同数据表示为float*k并替换，形成合并数据列表l’；

7、将合并数据列表l’中的数据采用连接字符进行连接，形成一个临时字符串t，所述临时字符串t中包括多种字符；

8、编码步骤，所述临时字符串t中的部分字符组合在编码表中对应有编码字符，从编码表中查找出所对应的编码字符，并使用所述编码字符替代所述字符组合，构建形成编码字符串t’，所述编码表中的编码字符不同于所述临时字符串中的任意字符；

9、压缩传输步骤，将所有的编码字符串顺次首尾相接，拼接形成一维的数据集s3；

10、将数据集s3进行压缩传输。

11、在有的实施例中，数据体降维步骤中，还包括获取任一数据体中的总行数l、总列数m、总层数n，以及获取所有数据体的时间t，组成基础信息码info。

12、在有的实施例中，编码步骤中，对所述临时字符串t中的部分字符组合进行编码的方法包括：

13、统计所述合并数据列表l’中所有数据的整数部分的出现频率，得到前m个高频整数；

14、分别对该m个高频整数在合并数据列表中的字符组合进行编码，所述字符组合包括连接字符、高频整数和小数点的组合，所述字符组合对应编码表中的任一个编码字符，不同的字符组合所对应的编码字符不同。

15、在有的实施例中，编码步骤中，还包括记录所述字符组合和编码字符的对应关系，并保存在所述基础信息码info中。

16、在有的实施例中，临时字符串t中位于小数点字符之后且下一个连接字符之前的数字字符不进行编码。

17、在有的实施例中，所述编码表中所有编码字符的位置顺序固定，且编码字符的数量为m，所述编码步骤中还包括将所述前m个高频整数按照出现频率从大到小进行排序，任一高频整数的字符组合与所述编码表中同一位置的编码字符对应。

18、在有的实施例中，对于编码字符串t’中的第一个字符，若为编码字符，在解压还原时去掉其对应的字符组合中的连接字符。

19、在有的实施例中，压缩传输步骤中，将所述数据集s3压缩成为zip、rar、7z、tgz中的任一格式数据。

20、与现有技术相比，本发明的优点和积极效果是：本发明的气象预报数据降维压缩方法，原始数据解码分割步骤对完整的原始数据进行了分变量、分时间解码分割，数据体降维步骤对每一个数据体进行了完整的一维化处理，确保数据不会缺失。重复值处理步骤，同值合并可根据“float*k”完整还原为k个连续的数据float；利用同一气象变量的整数部分的重复率特别高的特点，在编码步骤中将气象变量数据中的整数部分所对应的字符组合（包含有多个字符）采用一个编码字符进行表示，去除了冗余部分，进一步降低了数据的长度。相对于原始数据的压缩比得到极大提高，而且能够在数据还原过程中实现百分百还原，得到完整的、无误差的原始数据。

21、结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

技术特征：

1.一种气象预报数据降维压缩方法，其特征在于，包括：

2.根据权利要求1所述的气象预报数据降维压缩方法，其特征在于，数据体降维步骤中，还包括获取任一数据体中的总行数l、总列数m、总层数n，以及获取所有数据体的时间t，组成基础信息码info。

3.根据权利要求2所述的气象预报数据降维压缩方法，其特征在于，编码步骤中，对所述临时字符串t中的部分字符组合进行编码的方法包括：

4.根据权利要求3所述的气象预报数据降维压缩方法，其特征在于，编码步骤中，还包括记录所述字符组合和编码字符的对应关系，并保存在所述基础信息码info中。

5.根据权利要求3所述的气象预报数据降维压缩方法，其特征在于，编码步骤中，临时字符串t中合并数据列表位于小数点字符之后且下一个连接字符之前的数字字符不进行编码。

6.根据权利要求3所述的气象预报数据降维压缩方法，其特征在于，所述编码表中所有编码字符的位置顺序固定，且编码字符的数量为m，所述编码步骤中还包括将所述前m个高频整数按照出现频率从大到小进行排序，任一高频整数的字符组合与所述编码表中同一位置的编码字符对应。

7.根据权利要求3所述的气象预报数据降维压缩方法，其特征在于，对于编码字符串t’中的第一个字符，若为编码字符，在解压还原时去掉其对应的字符组合中的连接字符。

8.根据权利要求1-7任一项所述的气象预报数据降维压缩方法，其特征在于，压缩传输步骤中，将所述数据集s3压缩成为zip、rar、7z、tgz中的任一格式数据。

技术总结本发明公开了一种气象预报数据降维压缩方法，包括：原始数据解码分割步骤；数据体降维步骤，包括：逐层、逐行获取所述数据体中的数据并排列拼接成数据列表L；重复值处理步骤，将连续出现的重复值进行合并，得到合并数据列表L’，将合并数据列表L’中的数据采用连接字符进行连接，形成一个临时字符串T；编码步骤，临时字符串T中的部分字符组合在编码表中对应有编码字符，构建形成编码字符串T’；压缩传输步骤，将所有的编码字符串拼接形成一维的数据集S3；将数据集S3进行压缩传输。本发明的气象数据降维压缩方法，对每一个数据体进行了完整的一维化处理，确保数据不会缺失。同时降低了数据的长度，相对于原始数据的压缩比得到极大提高。而且能够在数据还原过程中实现百分百还原，得到完整的、无误差的原始数据。技术研发人员：吕海龙,江克孟,常家铭受保护的技术使用者：中国人民解放军92020部队技术研发日：技术公布日：2025/1/6