车端模型部署方法、装置及系统与流程

本技术涉及车辆，尤其涉及一种车端模型部署方法、装置及系统。

背景技术：

1、随着智能网联汽车的普及，车辆可以将车端的车辆数据上报到云端，通过云端部署的如故障预测模型等模型对车辆数据进行处理，实现故障预测结果的确定，进而将故障预测结果等反馈给车端，以便车辆及时进行相应调整，保障车辆使用安全，提升用户体验。

2、但随着由于需要云端进行分析和处理的项目、数据量不断地增多，一方面，云端面临着计算、网络和存储资源等方面消耗量过大的挑战；另一方面，实时性要求高的如故障预测项目等项目不适合在云端进行计算，由于数据传输线路导致的延迟、车端设备交互复杂导致的延迟等原因导致的数据传输延迟会使得云端的数据反馈时间较长，降低用户体验，甚至是影响车端行驶安全。此外，将车辆数据上报到云端，由云端对该车辆数据进行处理反馈结果的方式，也存在由于网络攻击等风险导致的车辆数据泄露、反馈结果的可靠性存疑等问题。

技术实现思路

1、本技术实施例提供一种车端模型部署方法、装置及系统，以解决相关技术中车辆数据安全性存在威胁以及由于模型部署在云端导致云端压力较大，数据处理实时性不能满足车端需要的技术问题。

2、本技术实施例提供了一种车端模型部署方法，所述方法包括：接收合格简化模型模块，所述合格简化模型模块通过对预训练车辆数据处理模型进行模型简化得到；将所述合格简化模型模块部署至车端的车载系统的验证运行时环境；在所述验证运行时环境中对部署的合格简化模型模块进行车端验证；如果车端验证的结果为通过，采集所述车端的待处理车辆数据，对所述待处理车辆数据通过车端数据转换规则进行车端数据转换，得到车端转换待处理数据；将所述车端转换待处理数据输入至部署的合格简化模型模块，得到车辆本地数据处理结果。

3、于本技术一实施例中，在所述验证运行时环境中对部署的合格简化模型模块进行车端验证，包括：获取多个原始验证数据，将所述原始验证数据通过所述车端数据转换规则进行车端数据转换，得到车端转换验证数据；将所述车端转换验证数据输入至部署的合格简化模型模块，得到模型输出验证结果；将每一个原始验证数据的可靠结果与所述模型输出验证结果进行比对；计算比对结果为相同的模型输出结果占比全部的模型输出结果的相同占比；若所述相同占比大于预设车端占比阈值，将车端验证的结果确定为通过；若所述相同占比小于或等于所述预设车端占比阈值，将车端验证的结果确定为不通过。

4、于本技术一实施例中，获取多组原始验证数据，包括以下至少之一：获取所述车端的历史车辆数据和历史输出结果，所述历史输出结果通过所述预训练车辆数据处理模型对历史云端转换数据进行数据处理得到，将所述历史车辆数据确定为一个原始验证数据，将所述历史输出结果确定为所述一个原始验证数据的可靠结果，所述历史云端转换数据通过云端数据转换规则对所述历史车辆数据进行云端数据转换得到；获取所述车端的当前车辆数据，将所述当前车辆数据发送至云端，通过所述云端数据转换规则对所述当前车辆数据进行云端数据转换得到当前云端转换数据，将所述当前云端转换数据输入至部署在云端的所述预训练车辆数据处理模型，得到云端输出结果，将所述当前车辆数据确定为一个验证数据，将所述云端输出结果确定为所述一个验证数据的可靠结果。

5、于本技术一实施例中，若车端验证的结果为不通过，所述方法还包括以下至少之一：对所述车端数据转换规则进行调整，基于调整后的车端数据转换规则重新执行在所述验证运行时环境中对部署的合格简化模型模块进行车端验证的步骤，直到车端验证的结果为通过重新执行的次数超过第一预设次数阈值；重复执行模型重简化步骤直到车端验证的结果变更为通过或模型重简化步骤的重复次数大于第二预设次数阈值，所述模型重简化步骤包括，调整模型简化参数，对预训练车辆数据处理模型重新进行模型简化得到新的合格简化模型模块，将新的合格简化模型模块部署至车端的车载系统的验证运行时环境，并进行车端验证。

6、于本技术一实施例中，将所述车端转换待处理数据输入至部署的合格简化模型模块之前，所述方法还包括：在所述车端配置所述部署的合格简化模型模块在运行过程中的专用内存空间大小。

7、于本技术一实施例中，接收合格简化模型模块之前，所述方法还包括：获取预训练车辆数据处理模型，所述预训练车辆数据处理模型通过原始深度学习框架训练得到；通过简化深度学习模型转化器对所述预训练车辆数据处理模型进行模型简化，得到简化车辆数据处理模型；将所述简化车辆数据处理模型编译为待测简化模型模块，并对所述待测简化模型模块进行本地仿真测试；若本地仿真测试的测试结果为通过，将所述待测简化模型模块确定为所述合格简化模型模块，以完成对所述预训练车辆数据处理模型进行模型简化；

8、将所述合格简化模型模块发送至所述车端。

9、于本技术一实施例中，将所述简化车辆数据处理模型编译为待测简化模型模块，包括：获取编译参数，所述编译参数包括arm neon指令集优化启用状态、编译后端参数、优化级别、mlir优化启用状态、simd指令集优化启用状态、车端的目标硬件架构参数中至少之一；根据所述编译参数将所述简化车辆数据处理模型编译为待测简化模型模块。

10、于本技术一实施例中，通过简化深度学习模型转化器对所述预训练车辆数据处理模型进行模型简化，包括：确定所述预训练车辆数据处理模型中每一个原始算子对所述简化深度学习模型转化器的支持状态；若存在至少一个支持状态为不支持，将全部所述支持状态为不支持的原始算子替换为目标算子，所述目标算子对所述简化深度学习模型转化器的支持状态为支持；对替换后的预训练车辆数据处理模型进行模型预处理，所述模型预处理包括训练后动态范围量化处理和/或剪枝处理；通过简化深度学习模型转化器对模型预处理后的替换后的预训练车辆数据处理模型进行模型简化。

11、本技术实施例还提供了一种车端模型部署装置，所述装置包括：接收模块，用于接收合格简化模型模块，所述合格简化模型模块通过对预训练车辆数据处理模型进行模型简化得到；部署模块，用于将所述合格简化模型模块部署至车端的车载系统的验证运行时环境；车端验证模块，用于在所述验证运行时环境中对部署的合格简化模型模块进行车端验证；数据管道，用于如果车端验证的结果为通过，采集所述车端的待处理车辆数据，对所述待处理车辆数据通过车端数据转换规则进行车端数据转换，得到车端转换待处理数据；执行模块，用于将所述车端转换待处理数据输入至部署的合格简化模型模块，得到车辆本地数据处理结果。

12、本技术实施例还提供了一种车端模型部署系统，所述系统包括模型优化装置和车端模型部署装置，其中，所述模型优化装置包括算子替换模块、模型保存模块、模型预处理模块、简化深度学习模型转化器、编译模块、打包模块和测试模块；所述车端模型部署装置包括接收模块、部署模块、车端验证模块、数据管道和执行模块；所述算子替换模块，用于获取预训练车辆数据处理模型，所述预训练车辆数据处理模型通过原始深度学习框架训练得到，确定所述预训练车辆数据处理模型中每一个原始算子对所述简化深度学习模型转化器的支持状态，若存在至少一个支持状态为不支持，将全部所述支持状态为不支持的原始算子替换为目标算子，所述目标算子对所述简化深度学习模型转化器的支持状态为支持；所述模型保存模块，用于对替换后的预训练车辆数据处理模型进行保存，得到第一格式模型文件；所述模型预处理模块，用于对所述第一格式模型文件进行模型预处理，所述模型预处理包括训练后动态范围量化处理和/或剪枝处理；所述简化深度学习模型转化器，用于对模型预处理后的第一格式模型文件进行模型简化，得到第二格式的简化车辆数据处理模型；所述编译模块，用于获取编译参数，所述编译参数包括arm neon指令集优化启用状态、编译后端参数、优化级别、mlir优化启用状态、simd指令集优化启用状态、车端的目标硬件架构参数中至少之一，根据所述编译参数将所述简化车辆数据处理模型编译为待测简化模型模块；测试模块，用于对所述待测简化模型模块进行本地仿真测试；打包模块，用于若本地仿真测试的测试结果为通过，将所述待测简化模型模块确定为合格简化模型模块，对所述合格简化模型模块进行打包，将打包后的所述合格简化模型模块发送至所述车端；所述接收模块，用于接收打包后的合格简化模型模块；所述部署模块，用于将所述合格简化模型模块部署至车端的车载系统的验证运行时环境；所述车端验证模块，用于在所述验证运行时环境中对部署的合格简化模型模块进行车端验证；所述数据管道，用于如果车端验证的结果为通过，采集所述车端的待处理车辆数据，对所述待处理车辆数据通过车端数据转换规则进行车端数据转换，得到车端转换待处理数据；所述执行模块，用于将所述车端转换待处理数据输入至部署的合格简化模型模块，得到车辆本地数据处理结果。

13、本技术实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项实施例所述的方法。

14、本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例所述的方法。

15、上述提供的车端模型部署方法、装置及系统所实现的方案中，该方法通过车端接收简化后的合格简化模型模块并部署，然后对部署的模型进行车端验证，当验证通过后，将采集的待处理车辆数据通过车端数据转换规则转换为车端转换待处理数据，输入到部署的模型中，得到车辆本地数据处理结果，通过将云端部署的模型转移到车端，能够有效的减少云端计算、网络和存储资源的消耗，在车端本地通过模型进行数据处理，不需要将数据外传，时效性更佳、避免了由于数据传输线路导致的延迟、车端设备交互复杂导致的延迟等原因导致的数据传输延迟，降低了数据泄露的风险，提升了用户体验，有助于提升车端行驶安全性，由于不需要外部将模型输出结果传输回车端，而是由车端自身的模型输出的结果，避免了结果在传输过程中被篡改的问题，提升了模型结果的可信度。