一种自适应的智能网联汽车自定义采集数据的压缩方法与流程

本发明涉及数据处理，具体地，涉及一种自适应的智能网联汽车自定义采集数据的压缩方法。

背景技术：

1、智能网联汽车系统需要对汽车进行自定义的数据采集，以便对数据进行后续的处理。当前智能网联汽车领域的数据传输方案都是使用通用的压缩算法，如deflate、gzip、lzo、lz4、snappy等。上述算法的原理都是基于lz77算法和霍夫曼编码优化而来。lz77算法的主要功能是在不损失数据信息的前提下，通过编码重复的数据片段来减小数据的大小。这使得数据在存储和传输时更加高效，并且可以被还原为原始数据。霍夫曼编码的主要功能是通过使用出现频率较高的字符或数据片段的短编码来实现数据的高效压缩，从而降低存储和传输数据时的资源消耗，同时还能够确保编码和解码的唯一性和可靠性。

2、但是，智能网联汽车云端系统需要根据用户自定义的字段进行数据周期性采集，传统算法无法很好地适应实时传输的压缩方式，字典传输方法将导致实时性降低；霍夫曼树针对新的数据需要重新构建，导致实时性无法满足。具体来说，lz77算法使用一个字典来存储已经出现的数据片段，会占用额外的内存空间。对于非常大的数据流，字典可能会变得非常庞大，导致内存占用问题。同时，lz77算法在处理随机数据时效果较差，因为它依赖于找到重复的数据片段来实现压缩，而随机数据通常没有重复的模式。霍夫曼编码则面临着动态更新困难的问题，如果数据流是动态的，即数据不断添加或删除，那么已经构建的霍夫曼树就不再有效。每次更改数据都需要重新构建霍夫曼树，这会导致开销较大。

3、由于汽车数量庞大，对于实时数据传输时云端需要的带宽有特别大的需求。为满足智能网联汽车根据不同的需要进行实时的、不同数据类型的采集，需要一种能够针对智能网联汽车上传的数据进行有效压缩的方法来对数据进行高效压缩。同时由于每次采集的数据类型都是由云端自定义的，所以还需要一种方法能够自动的适配每次不同的数据类型。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种自适应的智能网联汽车自定义采集数据的压缩方法，通过采用自适应的方法划分关键帧及预测帧，再使用关键帧及预测帧的方法对智能网联汽车数据进行划分，实现智能网联汽车自适应自定义格式化数据的压缩，提高数据的压缩率和数据传输的实时性，降低网络所需总带宽和资源费用。

2、为实现上述发明目的，本发明提供如下所述技术方案：

3、根据本发明提供的一种自适应的智能网联汽车自定义采集数据的压缩方法，所述压缩方法包括：

4、s1：获取从云端下发的周期采集任务和关键帧划分参数；

5、s2：车辆对数据进行周期性采集，并将压缩后的数据上传至云端；

6、s3：云端对压缩后的数据进行还原和应用；

7、s4：重新计算关键帧划分参数，并将新的关键帧划分参数下发至车辆；

8、重复上述s1至s4，直至周期采集任务结束；

9、其中，所述车辆对数据进行周期性采集包括：

10、s21：根据云端下发的周期采集任务，对任务中所描述的采集项进行数据采集；

11、s22：根据云端下发的关键帧划分参数，将采集到的数据划分为关键帧与原始预测帧；

12、s23：通过运动估计的方式将原始预测帧与关键帧进行比较，生成新的预测帧，每个原始预测帧再与前一个原始预测帧进行运动估计生成新的预测帧，直到下一帧为关键帧，重复此流程直至所有数据处理完成；

13、s24：将关键帧进行rle压缩，将新的预测帧进行csc压缩；

14、其中，所述重新计算关键帧划分参数包括：

15、s41：将车辆上传的数据进行汇总，使用遍历的方式计算所有的关键帧选取参数，得出压缩率以及每一段数据上传的计算耗时，根据设定的可接受的耗时选择压缩后内容最小的关键帧选取参数作为新的关键帧划分参数。

16、优选地，所述新的预测帧为稀疏矩阵形式。

17、优选地，所述rle压缩包括：

18、扫描数据：从矩阵的左上角开始，逐行或逐列扫描像素数据；

19、计数重复序列：当发现连续相同的数据值时，开始计数重复的数据数量；

20、记录编码：将重复数据值和其重复的次数记录下来，以(数据值，重复次数)的形式进行编码；

21、不重复序列编码：原样记录不重复的像素序列；

22、生成压缩数据：将记录的编码数据存储为压缩数据。

23、优选地，所述csc压缩包括：

24、确定稀疏矩阵中非零元素的位置，记录每个非零元素的值、行索引和列索引；

25、根据列索引对非零元素进行排序；

26、创建csc数据结构，所述csc数据结构包括values数组，row_indices数组和column_pointers数组；

27、填充csc数组；

28、其中，所述填充csc数组包括：

29、遍历已排序的非零元素列表；

30、将非零元素的值存储在values数组中；

31、将非零元素对应的行索引存储在row_indices数组中；

32、在column_pointers数组中记录每一列的第一个非零元素在values和row_indices数组中的索引位置。

33、与现有技术相比，本发明具有如下的有益效果：

34、1.本发明提供一种自适应的智能网联汽车自定义采集数据的压缩方法，车辆获取从云端下发的周期采集任务和关键帧划分参数后，进行周期性数据采集，并将压缩数据上传至云端，通过云端对压缩数据进行还原和应用，云端重新计算关键帧划分参数后，将新的关键帧划分参数下发至车辆并重复完成以上步骤。通过采用上述方式可以实现自适应自定义格式化数据的实时压缩。

35、2.本发明提供一种自适应的智能网联汽车自定义采集数据的压缩方法，还包括车辆在进行周期性数据采集时，根据关键帧划分参数将数据划分为关键帧及预测帧，并将关键帧进行运动估计进行生成新的预测帧，其中对关键帧进行rle压缩，对预测帧进行csc压缩，可以提高智能网联汽车数据的压缩率，降低网络所需总带宽。

技术特征：

1.一种自适应的智能网联汽车自定义采集数据的压缩方法，其特征在于，所述压缩方法包括：

2.根据权利要求1所述的自适应的智能网联汽车自定义采集数据的压缩方法，其特征在于，所述新的预测帧为稀疏矩阵形式。

3.根据权利要求1所述的自适应的智能网联汽车自定义采集数据的压缩方法，其特征在于，所述rle压缩包括：

4.根据权利要求1所述的自适应的智能网联汽车自定义采集数据的压缩方法，其特征在于，所述csc压缩包括：

技术总结本发明提供了一种自适应的智能网联汽车自定义采集数据的压缩方法，所述压缩方法包括：获取从云端下发的周期采集任务和关键帧划分参数；车辆对数据进行周期性采集，并将压缩后的数据上传至云端；云端对压缩后的数据进行还原和应用；重新计算满足数据实时性和压缩率平衡点要求的关键帧划分参数，并将新的关键帧划分参数下发至车辆；最后重复以上步骤，直至周期采集任务结束。本发明提供的压缩方法可以实现关键帧及预测帧的自适应划分，提高数据的压缩率和数据传输的实时性，降低网络所需总带宽和资源费用。技术研发人员：谷雨丰,张敏,刘钦,黄少堂,丁文敏受保护的技术使用者：江铃汽车股份有限公司技术研发日：技术公布日：2024/8/1