数据压缩方法、数据解压方法、装置、芯片、车辆与介质与流程
- 国知局
- 2024-08-02 15:52:39
本公开涉及数据处理,具体地,涉及一种数据压缩方法、数据解压方法、装置、芯片、车辆与介质。
背景技术:
1、目前,设备与设备之间的数据流量通信成本较高,因此需要对数据进行压缩,减少数据量,从而有效减少传输时间与带宽消耗,提高数据传输效率。
2、数据压缩技术包括有损压缩与无损压缩。有损压缩会导致数据损失,通常用于图像、音频与视频等数据的压缩,有损压算法通常基于最后输出层的损失进行训练,虽然压缩速度较快,但是会造成较大的数据损失;无损压缩不会导致数据损失,通常用于文本、源代码与二进制文件等数据的压缩,但无损压缩通常基于数据本身的统计特性与频率分别来进行压缩,比如相关技术中,采用的huffman(无损压缩算法)编码和lz77(基于滑动窗口的无损压缩)算法等无损压缩技术在还原数据的过程中虽然没有数据损失,但是其数据压缩速度较慢,难以处理大规模数据。
技术实现思路
1、本公开的目的是提供一种数据压缩方法、数据解压方法、装置、芯片、车辆与介质,以解决上述问题。
2、为了实现上述目的,本公开提供一种数据压缩方法,包括:
3、将待压缩数据输入数据压缩模型进行压缩,得到压缩后的压缩数据;所述数据压缩模型中具有多个第一网络层,所述数据压缩模型基于所述多个第一网络层对应的输出损失训练得到,所述第一网络层对应的输出损失包括所述第一网络层相对于其对称的第二网络层的输出损失,所述第一网络层用于压缩数据,所述第二网络层用于解压数据。
4、可选地,所述待压缩数据包括多组元数据,所述多组元数据是对原始数据序列分割后得到的,所述压缩数据包括所述多组元数据分别压缩后得到的多组压缩数据。
5、可选地,所述多组元数据是将所述原始数据序列进行归一化处理,得到归一化数据序列后,再对所述归一化数据序列分割后得到。
6、可选地,所述第一网络层对称的第二网络层为解压网络结构中与该第一网络层对称的网络层,所述解压网络结构与所述多个第一网络层组成的压缩网络结构相对称。
7、可选地,所述方法还包括:
8、为所述压缩数据分别添加标识符,所述标识符用于区分不同的压缩数据。
9、可选地,所述第一网络层相对于其对称的第二网络层的输出损失指示所述第一网络层的输出特征与其对称的第二网络层的输出特征之间的相似度。
10、可选地,所述数据压缩模型包括编码器,所述多个第一网络层被设置于所述编码器中,所述数据压缩模型是通过所述编码器将所述待压缩数据压缩成所述压缩数据的。
11、可选地,所述多个第一网络层包括依次排序的多个第一隐藏层,首个第一隐藏层用于将所述待压缩数据进行压缩并输出其压缩结果,除所述首个第一隐藏层之外的其余第一隐藏层用于将其在前相邻的第一隐藏层的压缩结果进一步压缩并输出其压缩结果,直至得到所述压缩数据;其中,依次排序的所述多个第一隐藏层的压缩结果的数据量依次减小。
12、可选地,所述数据压缩模型还包括所述多个第一网络层对称的第二网络层。
13、可选地,所述数据压缩模型还包括解码器,所述多个第一网络层对称的第二网络层被设置于所述解码器中。
14、可选地,所述待压缩数据包括图像数据、语音数据、文本数据、生理数据与车载数据中的至少一种。
15、为了实现上述目的,本公开提供一种数据解压方法,包括:
16、将待解压数据输入数据解压模型进行解压,得到解压后的解压数据;所述数据解压模型中具有多个第二网络层,所述数据解压模型基于多个所述第二网络层对应的输出损失训练得到,所述第二网络层对应的输出损失包括该第二网络层相对于其对称的第一网络层的输出损失,所述第一网络层用于压缩数据,所述第二网络层用于解压数据。
17、可选地,所述待解压数据包括多组压缩数据,所述多组压缩数据是根据所述多组压缩数据的多个标识符进行区分的,所述标识符用于标识压缩数据;
18、所述解压数据包括所述多组压缩数据分别解压后得到的多组元数据。
19、可选地,所述方法包括:
20、将所述多组元数据还原为原始数据序列。
21、可选地,所述原始数据序列是根据所述多个标识符对多组原始数据进行拼接后得到的,所述多组原始数据是对所述多组元数据还原后得到的。
22、可选地,所述多组原始数据是对所述多组元数据进行逆归一化处理后得到的。
23、可选地,所述第二网络层对称的第一网络层为压缩网络结构中与所述第二网络层对称的网络层,所述压缩网络结构与所述多个第二网络层组成的解压网络结构相对称。
24、可选地,所述数据解压模型包括解码器,所述多个第二网络层被配置于所述解码器中,所述数据解压模型是通过所述解码器将所述待解压数据解压成所述解压数据的。
25、可选地,所述多个第二网络层包括依次排序的多个第二隐藏层,首个第二隐藏层用于将所述待解压数据进行解压并输出其解压结果,除所述首个第二隐藏层之外的其余第二隐藏层用于将其在前相邻的第二隐藏层的解压结果进一步解压并输出其解压结果,直至得到所述解压数据;其中,依次排序的所述多个第二隐藏层的解压结果的数据量依次增大。
26、可选地,所述数据解压模型还包括所述多个第二网络层对称的第一网络层。
27、可选地,所述数据解压模型还包括解码器,所述多个第二网络层对称的第一网络层配置于所述解码器中。
28、可选地,所述待解压数据包括待压缩数据包括图像数据、语音数据、文本数据、生理数据与车载数据中的至少一种。
29、为了实现上述目的,本公开提供一种电子装置,包括:包括处理器,所述处理器与存储器连接,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述计算机程序,以本公开提出的数据压缩方法或数据解压方法。
30、为了实现上述目的,本公开提供一种芯片,该芯片用于执行本公开提出的数据压缩方法或数据解压方法。
31、为了实现上述目的,本公开提供一种系统级芯片,该系统级芯片包括上述的芯片或上述的电子装置。
32、为了实现上述目的,本公开提供一种车辆,该车辆上配置有上述的系统级芯片、系统级芯片与电子装置中的任意一种。
33、为了实现上述目的,本公开提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,所述计算机程序包括用于执行本公开提出的数据压缩方法或数据解压方法。
34、通过上述技术方案,一方面,本公开的数据压缩模型是基于机器学习的方式训练得到,在学习到数据压缩前与数据压缩后的变化规律之后,则可以基于压缩前的数据快速预测出压缩后的数据,相较于无损压缩技术,本技术的数据压缩模型可以更快地得到压缩后的数据,且压缩数据量更小;另一方面,数据压缩模型被训练时,会以每个网络层相对于其对称的网络层的输出损失来对数据压缩模型进行更新训练,如此,数据压缩模型每个网络层的输出损失才会更小,相较于现有的有损压缩技术而言,本技术的数据压缩模型压缩后的压缩数据会更加贴近无损压缩后的压缩数据,使得压缩后的数据还原之后与压缩前的数据之间差别较小。综上所述,本技术能够尽可能减少数据压缩损失的同时,加快压缩效率,减少压缩数据量。
35、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
本文地址:https://www.jishuxx.com/zhuanli/20240801/248324.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表