提高车载总线数据记录仪数据写入速率的方法与流程

本发明属于数据记录领域，特别是关于一种提高车载总线数据记录仪数据写入速率的方法。

背景技术：

1、在车载总线数据记录仪领域，确保数据记录准确、完整的关键是数据写入速率，为了提高数据写入速率，行业内常用的方法如下所述：

2、1、采用高速总线接口或者高性能硬件，高速总线接口如can fd(controller areanetwork flexible data rate)接口或ethernet(简写eth，以太网)接口，但采用高速总线接口的采购、维护成本高，耗电量大，电动车辆、混动车辆不宜采用；高性能硬件如处理速度更快的处理器、更大的内存和高速存储设备，但高性能硬件同样存在采购、维护成本高的问题；

3、2、进行数据压缩，通过数据压缩可减小数据文件的数据量，进而提高数据写入速率、减小存储设备的写入负载，但数据压缩存在数据丢失的风险，而且会产生额外的计算负担、消耗更多的计算资源；

4、3、进行多通道记录，通过将数据写入多个存储设备，可均衡数据负载，提高数据写入速率，但多通道记录需要更多的传感器和存储设备，增加了硬件成本；

5、4、进行数据筛选和优化，通过仅记录关键数据，可减少不必要的数据记录，提高数据写入速率，但数据筛选和优化如果过度会导致有用数据丢失，如果不足则不能明显提高数据写入速率；

6、5、进行数据缓存和预处理，通过缓存来存储已处理的数据，可减少磁盘操作频率，从而提高数据写入速率，但缓存需要正确、实时的管理，否则同样会导致数据丢失，尤其是在突发事件时。

7、综上，亟需开发一种新的提高车载总线数据记录仪数据写入速率的方法，对硬件性能要求不高、数据无失真，能大幅提高数据写入速率。

技术实现思路

1、为解决上述技术问题，本发明提供一种提高车载总线数据记录仪数据写入速率的方法，在具备多核并行处理能力的linux操作系统环境下运行，包括以下步骤：

2、fpga接收车载总线数据，并将车载总线数据上传至专用物理内存中，且专用物理内存具有特定数据排布模式；

3、通过与专用物理内存配套的专用驱动，管理专用物理内存的刷新；

4、进行离散内存零拷贝写入，将车载总线数据写入至文件。

5、进一步地，还包括以下步骤：

6、对文件进行dma整合，并将dma整合后的文件存储至高速存储磁盘。

7、进一步地，对专用物理内存进行划分，划分后的专用物理内存包括：依次设置的内存综合管理段、用于有序管理数据记录的多类总线数据控制段、间隔段、用于按类型分离存储车载总线数据的多类数据段、内存综合校验段，

8、其中，间隔段用于分隔多类总线数据控制段、多类数据段。

9、进一步地，多类总线数据控制段包括依次设置的eth类型记录控制段、lin类型记录控制段、can类型记录控制段、uart类型记录控制段。

10、进一步地，多类数据段包括依次设置的eth类型数据段、间隔/校验段、lin类型数据段、间隔/校验段、can类型数据段、间隔/校验段、uart类型数据段、间隔/校验段、内存综合校验段。

11、进一步地，特定数据排布模式为环形缓冲区。

12、进一步地，通过与专用物理内存配套的专用驱动，管理专用物理内存的刷新，包括：

13、专用驱动向车载总线数据记录应用提供读写接口并准确预测读写行为，准确、及时地获取下次读写车载总线数据时所需要操作的专用物理内存的地址，实现数据刷新的“全命中”，完成专用物理内存的多级cache的刷新。

14、进一步地，进行离散内存零拷贝写入包括：

15、车载总线数据记录应用调用专用驱动时，直接获取专用物理内存的、与多类数据段的车载总线数据对应的不同地址，随后读取多类数据段的车载总线数据，将多类数据段的车载总线数据通过dma拷贝方式写入文件写缓冲区，在文件写缓冲区中再将多类数据段的车载总线数据一次性合并写入文件。

16、进一步地，随后读取多类数据段的车载总线数据，包括：为多类数据段中的不同数据段各自分配一个核，并对不同数据段的数据进行并行读取。进一步地，具备多核并行处理能力的linux操作系统与fpga进行实时交互，并对fpga进行配置。

17、与现有技术相比，本发明提供的提高车载总线数据记录仪数据写入速率的方法，可轻易达到900mb(兆字节)/s(秒)的数据写入速率，并可随着记录通道的数量扩展而成比例地提高数据写入速率；对硬件性能尤其是cpu的运算性能要求低，实现原始数据的保真全纪录，可记录所有的总线类型数据。

技术特征：

1.提高车载总线数据记录仪数据写入速率的方法，其特征在于，在具备多核并行处理能力的linux操作系统环境下运行，包括以下步骤：

2.根据权利要求1所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，还包括以下步骤：

3.根据权利要求2所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，对所述专用物理内存进行划分，划分后的所述专用物理内存包括：依次设置的内存综合管理段、用于有序管理数据记录的多类总线数据控制段、间隔段、用于按类型分离存储车载总线数据的多类数据段、内存综合校验段，

4.根据权利要求3所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述多类总线数据控制段包括依次设置的eth类型记录控制段、lin类型记录控制段、can类型记录控制段、uart类型记录控制段。

5.根据权利要求3所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述多类数据段包括依次设置的eth类型数据段、间隔/校验段、lin类型数据段、间隔/校验段、can类型数据段、间隔/校验段、uart类型数据段、间隔/校验段、内存综合校验段。

6.根据权利要求4或5所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述特定数据排布模式为环形缓冲区。

7.根据权利要求6所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述通过与专用物理内存配套的专用驱动，管理专用物理内存的刷新，包括：

8.根据权利要求7所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述进行离散内存零拷贝写入包括：

9.根据权利要求8所述的任一项提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述随后读取多类数据段的车载总线数据，包括：

10.根据权利要求7—9所述的提高车载总线数据记录仪数据写入速率的方法，其特征在于，所述具备多核并行处理能力的linux操作系统与所述fpga进行实时交互，并对所述fpga进行配置。

技术总结本发明公开了一种提高车载总线数据记录仪数据写入速率的方法，在具备多核并行处理能力的Linux操作系统环境下运行，包括以下步骤：FPGA接收车载总线数据，并将车载总线数据上传至专用物理内存中，且专用物理内存具有特定数据排布模式；通过与专用物理内存配套的专用驱动，管理专用物理内存的刷新；进行离散内存零拷贝写入，将车载总线数据写入至文件。所述提高车载总线数据记录仪数据写入速率的方法能达到900MB/S的数据写入速率，对硬件性能尤其是CPU的运算性能要求低，实现原始数据的保真全纪录，可记录所有的总线类型数据。技术研发人员：刘鎏,苏超,李路遥受保护的技术使用者：知迪科技（安徽）有限公司技术研发日：技术公布日：2024/5/29