汽车远程检测与故障诊断数据智能处理系统的制作方法

本技术涉及一种车辆远程诊断数据处理系统，特别涉及一种汽车远程检测与故障诊断数据智能处理系统，属于车辆远程数据处理。

背景技术：

1、随着汽车保有量和使用率的快速增加，必然带来汽车故障发生量的增加，使得对汽车持续诊断、维护成为不可或缺的一个环节。汽车故障诊断系统利用汽车上的电子控制单元ecu监控并检测汽车工作情况，一旦检测故障，系统会触发自动故障诊断程序，跟踪并将故障代码dtc存储在汽车存储器当中，如果该故障代码在一段时间内持续存在，该电子元件的信号电路可能存在问题，维修人员便可根据故障代码定位故障位置。例如，机油和发动机冷却液传感器通过测量各种各样的汽车物理参数，像温度、气压，使之与可接受的限值对比，如果汽车真实值超出了可接受限值，那么确认发生故障，将故障代码存储在ecu中。

2、虽然通过汽车故障诊断系统可以获取故障代码，但对于毫无专业背景的普通驾驶员来说，无法识别故障代码具体含义，发生故障后依旧需要求助于专业维修人员。而对于缺乏经验、硬件设备不佳的维修厂商来说，遇到稍微复杂的汽车故障就会束手无策。行车过程中可以通过手持式故障检测仪翻译故障代码，但是这需要硬件支持，在不具备故障检测仪的条件下依旧无法识别故障信息。

3、为了满足智能化监测诊断维修汽车,汽车远程诊断系统逐渐进入人们的视野。汽车远程诊断系统的出现，使得汽车存在的故障隐患被及时发现，这对每年频发安全交通事故来说，极大的保障和提高了行车驾驶的安全性。对于维修车厂和维修人员来说，智能系统能帮助他们分析车况，更快更好的找到故障所在，不仅提高维修效率而且对改进产品也起到重要作用。

4、如果不用繁复的人工检测和硬件支持就能协助维修人员排除故障,不仅大幅降低人工排查时间，而且避免能源过度消耗。汽车远程诊断系统通过实时监测汽车设备将检测信息传送到远程服务器进行诊断，实现真正意义上的防患于未然。其中自动检测的关键依据之一是数据，对包括故障数据在内的历史记录进行统计,为日后的大数据分析提供依据；将设备的各种数据资料进行收集整理形成相应的数字信息，为日后故障检测提供技术支持和经验；通过对实时数据进行实时解析处理，并且以图表的形式更加清晰直观展示，为及时发现故障进行检修提供可视化帮助。但现有技术现实汽车远程检测与故障诊断系统的数据处理还有不少困难。

5、由于汽车远程诊断系统涉及众多技术领域，包括无线通信、定位导航定位，研究开发其中的每一个技术都具有一定难度,因此即使在技术较为先进的车企也没有在该领域取得突破性的进展。现实中，汽车远程诊断技术仅实现了一些简单的功能，更多复杂性实质性的研究还在继续。当前已有的较为典型的远程服务系统包括：一是美国通用onstar汽车远程诊断系统，二是美国福特sync汽车远程诊断系统，三是日本丰田g-book汽车远程诊断系统，四是德国宝马idrive汽车远程诊断系统，但这些远程服务系统在汽车远程检测与故障诊断处理方面特征和性能不突出，无法提供有效的获取、存储和管理车载数据的方式。

6、数据处理系统是远程检测与故障诊断的重点部分，同时也是车载设备和数据处理系统的连接部分，当前亟需研发一种汽车远程诊断系统中的数据处理模块，并对其中数据解析、数据装载和数据存储进一步改进优化,为汽车远程诊断系统提供可靠正确的数据来源。

7、综上，现有技术的汽车远程故障检测诊断数据处理存在若干问题和缺陷，本技术需要解决的问题和关键技术难点包括：

8、(1)由于汽车远程诊断系统涉及众多技术领域，包括无线通信、定位导航定位、行车专业数据处理等，研究开发其中的每一个技术都具有一定难度,当前即使在技术较为先进的车企也没有在该领域取得突破性的进展，现有技术汽车远程检测技术仅实现了一些简单的功能，需要繁复的人工检测和硬件支持才有可能协助维修人员排除故障，现有技术的远程服务系统在汽车远程检测与故障诊断处理方面特征和性能不突出，无法提供有效的获取、存储和管理车载数据的方式。当前亟需研发一种汽车远程诊断系统中的数据处理模块，并对其中数据解析、数据装载和数据存储进一步改进优化,为汽车远程诊断系统提供可靠正确的数据来源。

9、(2)现有技术汽车远程检测诊断数据处理格式标准不统一，数据管理与处理效率较低，对数据的解析质量较差，缺少汽车远程诊断系统对应的车载故障诊断相关协议、can总线编码格式和浮点数运算标准，导致对数据的管理处理处于一种无序状态，数据传输和分析频繁出错，缺少基于不同类型车载数据特征的信号解析方案，无法优化缓存来提高解析速度；数据处理系统缺少实时监测方案，自动监测车载设备传送的新文件无法分为单帧和多帧解析诊断数据，无法定位导航消息解析方法，缺少提升数据解析效率的两种解决方案，车辆数据的分析效率低，分析质量差，无法远程对车辆状态进行实时诊断；无法分布式数据库对数据进行存储，缺少数据自适应整合入库方法，无法满足车载数据高效装载入库需要，不同类型数据入库方案相同，i0操作多，入库速度慢,数据查询效率较低，最终导致车辆远程诊断数据处理解析、装载和存储效率低，对车辆远程诊断数据处理质量差。

10、(3)现有技术缺少从数据解析、数据装载和数据存储三个方面，提供汽车远程数据处理解决方案，一是数据解析：缺少对应的文件解析规则，缺少演化计算不同信号类型的解析方法，诊断数据解析无法根据不同解析规则，将初始asc文件中的消息分类：缺少对应消息的解析流程，造成车辆数据解析混乱、效率低下；二是数据装载：缺少适合不同数据类型的数据加载方式，实时数据缺少外部表，无法利用中间临时文件将数据一次性并行导入数据库中；非实时数据定义范围不清晰，也缺少对应的数据加载方案，数据加载延时较多，实时性差；三是数据存储：缺少基于greenplum的整体架构搭建的分布式集群环境，缺少根据汽车远程诊断系统整体建立e-r模型，无法构建系统模块相关数据库系统；缺少索引、分布、分区方法以及标记字段方法提高查询速度和系统安全性，数据存储和提取速度慢，查询检索困难，远程数据处理效率低，严重制约了汽车检测与故障诊断系统的发展。

技术实现思路

1、本技术大幅改进了汽车远程监测和故障诊断系统中的数据处理系统部分,一是构建了汽车远程诊断系统相关诊断协议以及各类信号解析相关规范,设计了解析汽车数据实施方案,并且实现了各类型信号解析的算法，通过该算法可得到规范化的车载数据，增强了数据的可读性，数据解析速率和质量明显提高。二是基于分布式数据库greenplum对包括实时车载数据在内的汽车相关信息的存储，针对不同数据设计不同表结构存储，满足了海量车载数据的存储需求。三是针对实时数据和非实时数据加载入库的问题，设计了不同的加载数的方式。数据加载入库速度快、延迟少。四是在数据处理系统端给数据分析系统提供便利。五是改进车载设备实时传送数据，设计实时监测方案，实现自动监测新文件并及时处理，以图表的形式更加清晰直观展示，为及时发现故障进行检修提供可视化的帮助。

2、为实现以上技术效果，本技术所采用的技术方案如下：

3、汽车远程检测与故障诊断数据智能处理系统，从数据解析、数据装载和数据存储三个方面，分析提供汽车远程数据处理解决方案，首先，根据汽车远程诊断系统构建车载故障诊断相关协议、can总线编码格式和浮点数运算标准，基于不同类型车载数据特征，设计不同信号解析方案，优化缓存提高解析速度；其次，数据处理系统建立实时监测方案，自动监测车载设备传送的新文件并分为单帧和多帧解析诊断数据，构建定位导航消息解析方法，提出提升数据解析效率的两种解决方案；然后，采用分布式数据库对数据进行存储，建立数据自适应整合入库方法，满足车载数据高效装载入库，不同类型数据采用不同方案，实时数据利用外部表并发快速入库,非实时数据采用批量导入减少i0操作；最后，提出优化数据智能查询效率的二种改进方案，包括基于分区表的优化方法和基于标记字段的优化方法；

4、1)数据解析：定义asc文件、dbc-c文件、report-c文件解析规则，并提出演化计算不同信号类型的解析方法，检测数据解析方案包括车载设备源数据和数据处理系统解析规则，诊断数据解析根据不同解析规则，将初始asc文件中的消息分为三类：诊断消息、定位导航消息和其它汽车消息，并建立对应消息的解析流程；

5、2)数据装载：基于不同数据类型所具有的特征，构建适合不同数据类型的数据加载方式，实时数据设计外部表方式，利用中间临时文件将数据一次性并行导入数据库中，通过外部表并发读取数据；非实时数据是除实时数据外的其他数据，包括解析采用的解析规则、车辆设备中各功能相关数据；

6、3)数据存储：基于数据库greenplum的整体架构，搭建分布式集群环境，根据汽车远程诊断系统整体建立e-r模型，构建系统模块相关数据库系统；采用索引、分布、分区方法以及标记字段方法提高查询速度和系统安全性。

7、优选地，定义report-c文件：基于汽车电子控制单元状态信息、故障码信息的解析规则定义report-c文件，report-c文件基于cdd数据库创建，由汽车类型和电子控制单元共同决定，即一种车型的一个电子控制单元对应一个report-c文件，每个report-c文件中都有唯一标识，这个标识由两个诊断标识组成：诊断请求标识和诊断响应标识；

8、电子控制单元状态信息的格式依次定义如下：

9、1)字节：电子控制单元的状态信息在该消息中的起始字节数，如果不是从第0位开始，还应该标出起始字节的起始比特位；

10、2)字节描述：电子控制单元的状态描述；

11、3)默认值：首帧中，第2个字节表示多帧字节长度，第3至5个字节指明该条信息代表的电子控制单元状态和操作；

12、4)大小：电子控制单元状态不同属性的字节数；

13、5)转义类型/转义名称/转义标识：指示通过字节得到的值应该转换成的形式；

14、故障码信息的格式依次定义如下：

15、故障码：故障码标识，同于电子控制单元状态信息中的默认值，为诊断标识；

16、描述：对该故障码的描述；

17、环境数据/快照数据：分别是故障码的不同信息，是单独的文件，格式与电子控制单元状态信息格式相同，故障码中的这两个属性值分别指向对应文件的链接；

18、report-c文件包括四种类型的子文件：ecu状态信息、故障码信息、环境数据和快照数据，其中环境数据和快照数据是故障码信息的子文件，解释更详细的内容。

19、优选地，诊断数据解析方法：

20、第一步：当获取一个asc文件后，首先抽取文件的基本信息，包括：文件名、文件中消息条数、文件对应的汽车的vin，存储这些信息，然后遍历文件中每一条消息；

21、第二步：按照定义的各属性对行数据进行分割,存储解析前的消息数据，存储未解析数据为数据条件查询还原初始文件做准备。记录该条消息的消息标识；

22、第三步：如果是诊断消息，用report-c文件对其解析存储，否则执行第二步；

23、第四步：如果是定位导航，用ieee 754标准对其解析存储，否则执行第五步；

24、第五步：如果是其它汽车信号，用dbc-c文件对其解析存储。

25、优选地，诊断消息解析流程：

26、(1)单帧

27、单帧信息全包含在一个can帧中，收到消息时，直接对该帧进行拆分解析处理,单帧解析具体流程包括：

28、第1步：对消息进行分割得到时间戳、通道号、消息标识、数据长度和数据属性；

29、第2步：数据的单位是字节，判断数据字节数是否于数据长度，如果不相等，说明该帧出错，丢弃该帧，否则执行第3步；

30、第3步：在容器diagid中找到消息标识id，如果是诊断请求标识，执行第4步，如果是诊断响应标识，执行第5步；

31、第4步：将请求消息放至请求队列中，直至收到其响应消息；

32、第5步：首先移除请求队列中对应的请求消息，然后根据report-c文件解析诊断响应消息的数据部分；

33、在传输过程中，由于延时或其它原因，请求帧和响应帧并不是成对出现，所以定义一个请求队列，存放所有的请求消息，当某条请求消息收到响应消息后，即将该条请求移除，该系统中用诊断标识匹配请求与响应消息；

34、(2)多帧

35、多帧的特征是信息包含在不同can帧中，当收到这类消息时，不能直接处理，而是进行缓存，当所有can帧接收完毕后再进行拆分解析处理，多帧解析具体流程：

36、步骤一：对消息进行分割得到时间戳、通道号、消息标识、数据长度和数据属性；

37、步骤二：根据网络协议控制信息类型判断是否为首帧，如果是首帧，截取多帧长度d和诊断标识，并将数据部分放至事先定义好的多帧数据容器list中，如果是连续帧，执行步骤三；

38、步骤三：根据连续帧编号，将连续帧中的数据按顺序存放至list中；

39、步骤四：如果list中存放数据的字节数于d，那么执行步骤五，否则继续接受消息执行步骤一；

40、步骤五：此时已接收完毕此次响应消息的所有帧，根据report-c文件解析诊断响应消息；

41、多帧传输时，接受到的连续帧是无序的，设置一个有序的容器，每当接收到一个连续帧时，按照连续帧的编号插入至容器中，直至接收到的有效数据长度等于首帧中的数据长度。

42、优选地，定位导航消息解析流程：消息由时间戳、通道号、消息标识、请求/响应、消息类型、数据长度和数据其他部分组成，其中根据通道号和消息标识确定一条消息是否属于定位导航消息，系统中通道号为9、消息标识范围为001至00a的消息属于定位导航消息；

43、定位导航数据解析具体流程为：

44、步骤1：对消息进行分割得到时间戳、通道号、消息标识、数据长度和数据属性；

45、步骤2：判断该消息是否为定位导航时间戳消息，如果是直接计算时间，如果不是，执行步骤3；

46、步骤3：根据ieee 764标准计算定位导航的经纬度；

47、步骤4：如果一个定位导航信号已收集完整，那么存储该条定位导航信号，否则继续接受消息。

48、优选地，其它汽车消息解析流程：除诊断消息和定位导航消息外的其它消息解析流程：

49、流程1：对消息进行分割得到时间戳、通道号、消息标识、数据长度和数据属性；

50、流程2：根据从asc文件获取的汽车类型、该条消息的通道号找到对应的dbc文件file1，再根据消息标识确定file1中的解析规则，如果找不到，则表明此条消息错误，丢弃；如果找到解析规则，那么执行流程3；

51、流程3：根据解析规则解析该条消息，并且判断该消息是否标记，标记执行流程4，否则执行流程5；

52、流程4：根据时间戳，标记秒、分、时相应字段；

53、流程5：存储解析后的信号数据。

54、优选地，提升数据解析效率的解决方案：

55、方案一，利用多线程提高计算速率：采用多线程编程方式，最大程度采用cpu资源，将一个asc大文件拆分成任意小块的文件，同时对小文件进行处理，解析耗时最长的小文件时间即为最终解析时间，按照消息时间对大文件进行分割；

56、方案二，减少数据库访问频率：在数据解析过程中，用到的解析规则事先存储在数据库当中，每解析一条消息都与数据库建立连接然后查询对应的解析规则，一个asc文件即为一辆车某个时间段的实时数据，解析规则来自不同通道对应的dbc-c文件，对于一个已知车型，这些文件固定不变，解析过程中再从缓存查找对应的解析规则，采用cache高速缓存方式。

57、优选地，非实时数据入库：非实时数据是除实时数据外的其他数据，包括新增车辆、解析文件和功能文件；

58、1)新增车辆：当解析一个asc文件之前，先验证该文件所属车辆，如果该车辆在系统中已经存在，那么直接解析数据；如果该车辆不存在，即在此之前系统中从未导入该车辆数据，那么在解析之前，将车辆新增入系统；新增车辆不仅是在vehicle表中添加一条数据，还新增存储该车对应message和signal表；

59、2)解析文件：包括dbc文件和report文件，这些文件在解析之前全部加载至数据库，其中report-c文件在系统运行前已全部加载完毕，车辆远程诊断系统在文件管理模块中为用户提供上传dbc文件接口，加载解析文件时,为了提高加载效率，采用自定义分批次批量处理方案；

60、3)功能文件：包括功能外部连接文件和功能内部信号文件，该文件的导入方式与解析文件相同。

61、优选地，实时数据入库：以asc文件的形式传送至数据处理系统，数据处理系统开启一个后台进程实时监测指定目录，一旦发现新传送来asc文件立即解析，解析后的消息和信号数据及时导入数据库，供数据分析系统使用；

62、通过外部表的方式让所有segment并发地高速从gpfdist导入数据，包括：

63、流程一：创建gpfdist，在master服务器上创建外部表，并定义外部表的原数据来源，车辆远程诊断系统车载数据实时传送，系统运行前后台创建gpfdist；

64、流程二：数据结点连接到gpfdist获取从外部表导入的数据，如果gpfdist url的个数大于1，数据结点启动相同的并发到gpfdist获取数据；

65、流程三：gpfdist首先读取文件,然后拆分文件多块后分发给数据结点，数据查表进行重分布，每次数据加载完毕后会自动删除过程中创建的外部表；

66、流程四：读取数据和重分布同时进行；

67、实现外部导入数据：首先，将解析后的消息和信号文件地址和应该插入的物理表作为参数传入存储过程，执行过程中创建外部表，然后，通过外部表加载数据至物理表，最后，当所有数据插入物理表后，删除该外部表。

68、优选地，基于分区表的优化方法：采用范围分区方式对实时数据表进行分区，选取信号时间作为分区依据，包括：

69、1)创建对应汽车实时数据主表，该表中不存储任何数据，同时，按照时间戳创建子表,采用动态创建子表方式,一分钟数据存储在一个子表当中；

70、2)为子表动态创建索引，采取的方案是创建分区后三分钟再创建索引,提高查询效率又不会因为重分布影响数据加载速度。

71、与现有技术相比，本技术的创新点和优势在于：

72、(1)本技术大幅改进了汽车远程监测和故障诊断系统中的数据处理系统部分,对汽车远程诊断系统进行整体功能性分析，明确其中数据处理系统部分的需求，一是构建了汽车远程诊断系统相关诊断协议以及各类信号解析相关规范,设计了解析汽车数据实施方案,并且实现了各类型信号解析的算法，通过该算法可得到规范化的车载数据，增强了数据的可读性，数据解析速率和质量明显提高。二是基于分布式数据库greenplum对包括实时车载数据在内的汽车相关信息的存储，综合数据特征和对查询效率的考虑，针对不同数据设计不同表结构存储，满足了海量车载数据的存储需求。三是针对实时数据和非实时数据加载入库的问题，设计了不同的加载数的方式。车载设备传送来的实时数据量非常大而且实时性要求高，基于外部表工具快速导入；非实时数据量小，但为了快速加载入库，实现了批量导入的算法，数据加载入库速度快、延迟少。四是在数据处理系统端编写若干存储过程以及数量动态增加的视图，给数据分析系统提供了便利、快速查询功能。五是改进车载设备实时传送数据，数据处理系统设计实时监测方案，实现自动监测新文件并及时处理。通过对实时数据进行实时解析处理，并且以图表的形式更加清晰直观展示，为及时发现故障进行检修提供可视化的帮助。

73、(2)本技术创造性的提出了一种汽车远程诊断系统中的数据处理模块，并对其中数据解析、数据装载和数据存储进一步改进优化,提供有效的获取、存储和管理车载数据的方式，为汽车远程诊断系统提供可靠正确的数据支撑。解决了当前汽车远程检测诊断数据处理格式标准不统一的问题，数据管理与处理效率提高，对数据的解析质量较好，构建了汽车远程诊断系统对应的车载故障诊断相关协议、can总线编码格式和浮点数运算标准，对数据的管理处理进入高效状态，数据传输和分析快速准确，设计了基于不同类型车载数据特征的信号解析方案，优化缓存来提高解析速度；提出了实时监测方案，自动监测车载设备传送的新文件分为单帧和多帧解析诊断数据，高效定位导航消息解析方法，提出了提升数据解析效率的两种解决方案，车辆数据的分析效率高，分析质量好，能够远程对车辆状态进行实时诊断；采用分布式数据库对数据进行存储，设计了数据自适应整合入库方法，满足车载数据高效装载入库需要，不同类型数据入库方案不同，i0操作少，入库速度块,数据查询效率高，促进车辆远程诊断数据处理解析、装载和存储效率提高，对车辆远程诊断数据处理质量明显改善。

74、(3)本技术从数据解析、数据装载和数据存储三个方面，提供了汽车远程数据处理高质量解决方案。一是数据解析：定义asc文件、dbc-c文件、report-c文件解析规则，并提出了演化计算不同信号类型的解析方法，诊断数据解析根据不同解析规则分类，并建立对应消息的解析流程，车辆数据解析有序、效率高；二是数据装载：构建了适合不同数据类型的数据加载方式，实时数据设计外部表方式，利用中间临时文件将数据一次性并行导入数据库中，通过外部表并发读取数据，数据加载延时少，实时性好；三是数据存储：基于数据库greenplum的整体架构，搭建了分布式集群环境，根据汽车远程诊断系统整体建立e-r模型，构建了系统模块相关数据库系统；采用索引、分布、分区方法以及标记字段方法提高查询速度和系统安全性。数据存储和提取速度快，查询检索容易，远程数据处理效率高，从数据处理角度有力的促进了汽车检测与故障诊断系统的发展。