高速公路收费车道日志采集处理方法及系统与流程

本发明涉及数据处理，尤其涉及一种高速公路收费车道日志采集处理方法及系统。

背景技术：

1、车道日志在运营业务分析、特情分析、交易对账、收费稽核等多个业务都有很重要的作用。现有技术通过filebeat车道日志采集层对目标高速公路收费站内的车道进行实时日志读取，并获得实时全局评价结果以基于车道日志存储层对q个收费车道日志序列、q个车道联合评价结果和实时全局评价结果进行链式存储，提高了采集处理效率，但是由于日志信息数据量大，导致数据处理效率低。

2、中国专利申请号：cn202311287134.1公开了一种高速公路收费车道日志采集处理方法及系统，该发明公开了高速公路收费车道日志采集处理方法及系统，涉及数据处理领域，其中，所述方法包括：根据filebeat车道日志采集层对目标高速公路收费站内的q个实时收费车道进行实时日志读取，获得q个车道实时日志集；基于车道日志预处理层内的日志过滤器和日志转换器，分别对q个车道实时日志集进行数据清洗，获得q个收费车道日志序列；获得q个车道联合评价结果；基于q个车道联合评价结果，获得实时全局评价结果；基于车道日志存储层对q个收费车道日志序列、q个车道联合评价结果和实时全局评价结果进行链式存储。解决了现有技术中高速公路收费车道日志的采集处理效率低，以及高速公路收费车道日志的日志分析效果差的技术问题。由此可见，所述高速公路收费车道日志采集处理方法及系统存在以下问题：由于日志信息数据量大，导致数据处理效率低。

技术实现思路

1、为此，本发明提供一种高速公路收费车道日志采集处理方法及系统，用以克服现有技术中由于日志信息数据量大导致数据处理效率低的问题。

2、为实现上述目的，本发明提供一种高速公路收费车道日志采集处理方法。包括：

3、步骤s1、采集模块采集车辆的车辆信息，检测模块检测该车辆信息与预设车辆信息的相似度，数据分析模块根据测得的相似度判定是否符合日志信息采集预设标准；

4、步骤s2、所述数据分析模块在判定所述车辆符合日志信息采集预设标准时控制所述采集模块采集该车辆的日志信息；

5、步骤s3、提取模块提取所述日志信息中的关键词，所述数据分析模块根据该关键词的数量判定该日志信息是否符合预设标准，并将日志信息标记为一级数据、二级数据，或三级数据；

6、步骤s4、所述数据分析模块根据各级数据的占比对所述日志信息进行处理，处理方式包括：将所述日志信息存储至数据库中，并筛除标记为三级数据的日志信息，或，统计关键词信息，并根据关键词信息对数据库中的预设关键词进行更新；

7、步骤s5、所述数据分析模块完成更新数据库中的预设关键词时完成针对所述日志信息的处理。

8、进一步地，所述检测模块检测采集的单个车辆的所述车辆信息与所述数据分析模块中预设的所述预设车辆信息的相似度，数据分析模块根据该相似度确定该车辆是否符合日志信息采集预设标准，以及，在判定车辆不符合日志信息采集预设标准时根据相似度将采集的所述车辆信息的清晰度调节至对应值，或，按照采集的车辆信息创建新的预设车辆信息，

9、数据分析模块在判定车辆符合日志信息采集预设标准时控制所述采集模块采集该车辆的日志信息。

10、进一步地，所述数据分析模块在判定将采集的所述车辆信息的清晰度调节至对应值时基于所述相似度设有若干针对采集的所述车辆信息的清晰度的调节方式，且各调节方式针对清晰度的调节幅度均不相同。

11、进一步地，所述检测模块在完成针对所述车辆信息的清晰度的调节时重新确定车辆信息与所述数据分析模块中预设的预设车辆信息的相似度，所述数据分析模块根据重新确定的相似度确定所述车辆是否符合日志信息采集预设标准，以及，在判定车辆符合日志信息采集预设标准时控制所述采集模块采集该车辆的日志信息，数据分析模块在判定车辆不符合日志信息采集预设标准时按照采集的车辆信息创建新的预设车辆信息。

12、进一步地，提取模块在所述数据分析模块判定所述车辆符合日志信息采集预设标准时提取所述车辆的日志信息中的关键词，数据分析模块将提取的关键词与数据库中预设的预设关键词相匹配的关键词的数量与该日志信息中的总关键词数量的比值记为一级比值，并根据一级比值判定所述日志信息是否符合预设标准，以及，在判定所述日志信息符合预设标准时，将该日志信息存储至数据库中，并将该日志信息标记为一级数据，

13、数据分析模块在判定所述日志信息不符合预设标准时将该日志信息标记为二级数据，或三级数据。

14、进一步地，所述数据分析模块基于预设周期内获取的各级数据的占比确定针对所述日志信息的处理方式，处理方式包括：将日志信息存储至数据库中且筛除标记为三级数据的日志信息，以及统计关键词信息以根据关键词信息对数据库中的预设关键词进行更新。

15、进一步地，所述数据分析模块在判定筛除标记为三级数据的日志信息时将二级数据数量与一级数据数量的比值记为二级比值，并根据二级比值确定针对所述日志信息的处理方式，处理方式包括：筛除二级数据，以及对数据库中的预设关键词进行更新。

16、进一步地，所述数据分析模块在判定根据所述关键词信息对数据库中的预设关键词进行更新时根据所述日志信息中含有的与所述数据库中的预设关键词不匹配的单个关键词出现的频次p和出现的平均时间间隔t确定该关键词的综合评价值s，设定综合评价值s＝p/p0+t0/t,其中p0为数据分析模块中预设的预设频次，t0为数据分析模块中预设的预设平均时间间隔。

17、进一步地，所述数据分析模块根据单个所述关键词的综合评价值判定该关键词是否符合更新预设标准，并在判定所述关键词符合更新标准时将该关键词更新至数据库中。

18、另一方面，本发明还提供一种高速公路收费车道日志采集处理系统，包括：

19、采集模块，其用于采集车辆的车辆信息，以及车辆的日志信息；

20、检测模块，其与所述采集模块相连，用以检测采集的单个车辆的所述车辆信息与所述预设车辆信息的相似度；

21、数据分析模块，其与所述采集模块、所述检测模块相连，用以根据检测模块测得的所述相似度判定所述车辆是否符合日志信息采集预设标准，并在判定该车辆不符合日志信息采集预设标准时根据该相似度将所述车辆信息的清晰度调节至对应值，或，按照采集的车辆信息创建新的预设车辆信息；

22、提取模块，其与所述数据分析模块相连，用以根据数据分析模块的判定结果提取所述车辆的日志信息中的关键词。

23、与现有技术相比，本发明的有益效果在于，本发明中所述数据分析模块根据车辆信息与预设车辆信息的相似度判定车辆是否符合日志采集预设标准，提高了对车辆信息的控制精度，避免因车辆信息采集过程不合格导致对车辆的日志信息采集过程产生影响，提高日志信息采集效率，数据分析模块根据提取模块提取的关键词的数量对日志信息进行评级，并根据各级数据的占比选用对应的处理方式对日志信息进行处理，提高了对日志信息的数据处理效率。

24、进一步地，本发明中所述数据分析模块根据车辆信息的相似度判定所述车量是否符合日志信息采集预设标准，并在判定车辆不符合日志信息预设标准时将车辆信息的清晰度调节至对应值以重新检测该车辆信息的相似度，进一步提高了对车辆信息的控制精度，数据分析模块按照采集的车辆信息创建新的预设车辆信息，避免了因预存车辆信息与车辆信息不匹配导致日志信息无法采集。

25、进一步地，本发明中所述数据分析模块根据相似度与预设相似度的差值选用对应的调节系数将车辆信息的清晰度调节至对应值，提高了对车辆信息的控制精度，进一步提高了日志信息的采集效率。

26、进一步地，本发明中所述数据分析模块根据重新确定的相似度判定车辆信息是否符合日志信息采集预设标准，进一步提高了对日志信息采集过程的控制精度，提高了日志信息的采集效率。

27、进一步地，本发明中所述数据分析模块根据日志信息中关键词数量判定该日志信息是否符合预设标准，根据关键词数量对日志信息评级，提高了对日志信息的控制精度，进一步提高了日志信息处理效率。