一种车辆炸街识别方法、车辆炸街抓拍方法和系统与流程

本发明涉及车辆违法监控，具体涉及一种车辆炸街识别方法、车辆炸街抓拍方法和系统。

背景技术：

1、车辆炸街行为指的是驾驶非法改装的高噪音机动车辆，在道路上高速飙车、追逐竞驶的违法行为；这种行为严重危害道路交通安全和驾乘人员的自身安全，并且因为通常发生在深夜，产生的巨大噪音严重影响周边居民的正常生活和身心健康，严重扰乱公共秩序。

2、从使用场景来看，炸街抓拍系统与鸣笛抓拍系统具备很多场景上的相似性，不管是监测目标，还是音频加视频的技术方向，还是执法辅助的目标，都有这一定的相似性，比如“2018114234296一种汽车鸣笛抓拍系统”就是现在主流的抓拍技术，通过麦克风阵列加车牌抓拍相机的手段实现声源定位及违法抓拍，鸣笛抓拍系统的核心技术主要包括声学定位技术和图像识别技术；其中，鸣笛抓拍中的声学定位技术是利用高精度麦克风阵列来采集车辆鸣笛声音信号，通过声音信号的采集、处理和分析，识别出车辆的鸣笛声并定位其位置；图像识别技术则是通过高精度摄像头和图像处理算法，对车辆图像进行识别和处理，提取出车辆的特征信息，如车牌号码、车型等。

3、传统的抓拍手段对于车辆定位的方法主要依赖于声音定位成像技术，它是将声音信号转换为图像信号，从而实现声音的可视化，这种技术主要利用了声学和电子学的原理，通过高精度的麦克风阵列来采集车辆鸣笛声音信号，然后通过声音处理算法和图像处理算法，将声音信号转换为图像信号，最终呈现出车辆鸣笛的声场分布和声音强度；不过声音定位成像技术在针对炸街场景时难以保障较高的精准度，炸街声音主要是车辆快速起步、高速通过时所发出的声音，声音成像技术在面对快速移动的声源时很难保障精准度当声源快速移动时，会产生多普勒效应，即声波的频率或波长会发生变化，这种变化会导致声波的相位和振幅受到影响，进而影响声音成像的精度；在城市环境中，存在各种动态噪声源，如车辆、机械等，这些噪声源可能会干扰声成像的精度，特别是在声源快速移动时，动态噪声的影响可能更加显著。

4、另外，在炸街车辆的抓拍场景中，需要更精准的设备对声音类型进行分类，有效分离鸣笛、炸街、环境音等，从而进行进一步的筛选，精准定位到炸街车辆，其实际应用在炸街场景中存在大量误报的情形，导致需要大量的时间去做人工分类及核查。同时，在设备应用场景设备方面，鸣笛抓拍系统根据抓拍监控设备及麦克风阵列的要求，需要选取车道针对车头的位置进行安装，声呐设备与特定车牌抓拍设备一体安装，其在具体应用在炸街抓拍场景时也存在一些弊端；一是炸街车辆除了小汽车之外，摩托车车牌由于悬挂在车尾的原因无法进行有效抓拍；二是在建设成本上，交管建设有大量的视频监控设备及车牌抓拍设备，对于鸣笛抓拍系统体系外的设备无法兼容及利旧。

技术实现思路

1、针对上述问题，本发明的一个目的是提供一种车辆炸街识别方法，该方法基于cnn的音频算法实现，能从各种背景噪音中准确识别出炸街声音，大大降低了误报和漏报的可能性，同时通过不断积累并学习新的炸街声音样本，进一步提高识别精度。

2、本发明的第二个目的是提供一种车辆炸街识别系统。

3、本发明的第三个目的是提供一种车辆炸街抓拍方法，该方法通过搭载车辆炸街识别系统的智能音频终端检测到炸街事件后，通过流媒体服务将相关信息传递给事件处置分析模块，事件处置分析模块对相关信息进行研判以及综合分析，实现高效率、准确的车辆炸街事件核验和处理。

4、本发明的第四个目的是提供一种车辆炸街抓拍系统，该系统通过设备端(搭载车辆炸街识别系统的智能音频终端、视频监控设备)与事件处置分析模块的紧密配合和协同工作，实现高效率、准确的车辆炸街事件核验和处理，有助于及时发现和处理炸街等违规行为，维护道路交通安全和公共秩序。

5、本发明所采用的第一个技术方案是：一种车辆炸街识别方法，包括以下步骤：

6、获取车辆炸街音频样本与交通常规音频样本；

7、对所述车辆炸街音频样本与交通常规音频样本进行预处理；

8、对预处理后的车辆炸街音频样本与交通常规音频样本进行特征提取，获得车辆炸街音频的特征和交通常规音频的特征；

9、构建车辆炸街识别模型，以及基于所述车辆炸街音频的特征和交通常规音频的特征训练所述车辆炸街识别模型，获得训练好的车辆炸街识别模型；

10、将实时采集的音频数据输入训练好的车辆炸街识别模型，判断所述音频数据包含车辆炸街事件的置信度。

11、优选地，所述车辆炸街音频的特征包括车辆炸街音频的频谱图和梅尔频率倒谱系数，交通常规音频的特征包括交通常规音频的频谱图和梅尔频率倒谱系数。

12、优选地，所述车辆炸街识别模型为cnn模型。

13、本发明所采用的第二个技术方案是：一种车辆炸街识别系统，包括数据获取模块、特征提取模块、模型构建及训练模块和识别模块；

14、所述数据获取模块用于获取车辆炸街音频样本与交通常规音频样本；对所述车辆炸街音频样本与交通常规音频样本进行预处理；

15、所述特征提取模块用于对预处理后的车辆炸街音频样本与交通常规音频样本进行特征提取，获得车辆炸街音频的特征和交通常规音频的特征；

16、所述模型构建及训练模块用于构建车辆炸街识别模型，以及基于所述车辆炸街音频的特征和交通常规音频的特征训练所述车辆炸街识别模型，获得训练好的车辆炸街识别模型；

17、所述识别模块用于将实时采集的音频数据输入训练好的车辆炸街识别模型，判断所述音频数据包含车辆炸街事件的置信度。

18、本发明所采用的第三个技术方案是：一种车辆炸街抓拍方法，包括以下步骤：

19、s100：实时采集音频数据，判断所述音频数据的分贝是否大于车辆噪音阈值，若大于车辆噪音阈值，则基于第一个技术方案中所述的车辆炸街识别方法对所述音频数据进行识别，获得所述音频数据包含车辆炸街事件的置信度，若所述置信度大于设定阈值，则判定存在疑似车辆炸街事件，获取该疑似车辆炸街事件的音频、置信度和最高分贝值；

20、s200：获取该疑似车辆炸街事件所对应的视频数据及其他信息；

21、s300：判断该疑似车辆炸街事件是否满足预设条件，若满足，则基于该疑似车辆炸街事件的音频、置信度、最高分贝值、视频数据及其他信息进行事件研判，获得研判结果；

22、s400：根据所述研判结果划分事件等级，以及对划分的事件等级进行人员检验处置，并给出相应的处置措施。

23、优选地，所述步骤s200中的其他信息包括：事件时间、实时天气、道路信息、关联车牌库、车辆类型、历史违法数据。

24、优选地，所述步骤s300包括：

25、根据客户设定规则及策略分析设置预设条件，预设条件包括布控时间策略、置信度策略、车辆过滤策略、分贝策略，判断车辆炸街事件的事件时间、置信度、最高分贝值和车辆类型是否满足相应的布控时间策略、置信度策略、车辆过滤策略、分贝策略；

26、若满足预设条件，则通过研判评分模型获得研判得分；以及根据预设的等级划分和所述研判得分给出研判结果。

27、优选地，所述研判评分模型如下：

28、车辆类型研判加分：判断研判事件留证中是否存在摩托车，若存在摩托车，则触发车辆类型系数加分；

29、历史违法研判加分：根据平台历史违法信息登记库，通过车牌进行匹配，若存在历史违法行为，则触发历史违法系数加分；

30、天气研判系数分：根据事件产生时间的实时天气进行研判，若天气为多云、晴天，则触发天气系数加分；

31、道路系数分：根据道路性质，提供不同系数分，普通道路的系数分小于高发道路的系数分；

32、研判得分＝置信度×n×天气研判系数分×道路系数分+车辆类型研判加分+历史违法研判加分，n为预设参数。

33、本发明所采用的第四个技术方案是：一种车辆炸街抓拍系统，包括设备端和事件分析端；

34、所述设备端包括如权利要求4所述的车辆炸街识别系统，用于实时采集音频数据，判断所述音频数据的分贝是否大于车辆噪音阈值，若大于车辆噪音阈值，则对所述音频数据进行识别，获得所述音频数据包含车辆炸街事件的置信度，若所述置信度大于设定阈值，则判定存在疑似车辆炸街事件，获取该疑似车辆炸街事件的音频、置信度、最高分贝值和视频数据，并发送至所述事件分析端；

35、所述事件分析端用于接收该疑似车辆炸街事件的音频、置信度、最高分贝值和视频数据，并获取该疑似车辆炸街事件所对应的其他信息；以及判断该疑似车辆炸街事件是否满足预设条件，若满足，则基于该疑似车辆炸街事件的音频、置信度、最高分贝值、视频数据及其他信息进行事件研判，获得研判结果；根据研判结果进行事件划分，以及进行人员检验处置给出相应的处置措施。

36、优选地，所述事件分析端包括流媒体服务和事件处置分析模块；

37、所述流媒体服务采用基于zlmediakit的流媒体服务，用于将设备端的音频数据和视频数据传输至所述事件处置分析模块；

38、所述事件处置分析模块用于当设备端检测到疑似车辆炸街事件后，获取该疑似车辆炸街事件所对应的其他信息；并根据预设条件进行初步筛选，若疑似车辆炸街事件满足所有预设条件，则基于该疑似车辆炸街事件的音频、置信度、最高分贝值、视频数据及其他信息进行事件研判，获得研判结果；根据研判结果进行事件划分，以及进行人员检验处置给出相应的处置措施。

39、上述技术方案的有益效果：

40、(1)本发明提出的一种车辆炸街识别方法是基于cnn的音频算法实现，在特定声音识别的准确率和效率上具有多方面优势：

41、1)交通场景类别分类更细致，算法模型包含了正常交通场景鸣笛、发动机声音、人员喧哗声、风声等交通环境主要声音，在识别过程中能从各种背景噪音中准确识别出炸街声音，大大降低了误报和漏报的可能性；

42、2)特征提取能力更优秀，能够快速地从音频信号中提取出有用的特征，避免了传统方法中手工设计特征的繁琐过程，快音频处理的速度更快，提高效率；

43、3)鲁棒性更强，cnn对音频信号的鲁棒性主要体现在其对噪声、干扰和畸变的抵抗能力上，由于cnn具有强大的自适应能力，它能够学习并适应不同的噪声和畸变情况，从而在复杂环境中实现较为鲁棒的音频识别和分类；

44、4)灵活性更好，cnn具有灵活的架构和参数调整能力，可以根据不同的任务需求调整网络结构和参数，从而实现对不同音频信号的精确处理；此外，cnn还可以与其他深度学习技术相结合，进一步扩展其应用范围。

45、(2)本发明提供的车辆炸街抓拍系统在炸街事件的识别能力上，具有以下优势：

46、1)高精度识别：利用神经网络，尤其是深度学习技术，该系统能够从各种背景噪音中准确识别出炸街声音，大大降低了误报和漏报的可能性；随着时间的推移，系统会不断积累并学习新的炸街声音样本，进一步提高识别精度；

47、2)实时处理能力：系统能够实时接收音频数据，并快速处理，实现了对炸街行为的即时检测，支持同时处理多个音频通道，满足大规模部署和多区域监控的需求；

48、3)自适应环境变化：随着环境的变化，如天气、季节、时间段等，系统能够自我学习和调整，确保在各种条件下都能保持高效的识别性能；

49、4)降低人工成本：无需大量人力进行实时监控，节省了大量人力成本，同时减少了人为因素导致的误判。

50、(3)本发明提供的车辆炸街抓拍系统在系统的建设及维护上，具备以下优势：

51、1)成本效益：与传统的基于硬件的鸣笛监测系统相比，基于神经网络的系统主要依赖于软件和算法，从而大大降低了硬件成本和维护成本；支持利旧道路上主流摄像头，再加上轻量化的智能音频终端即可实现炸街场景的布控，该系统可以与现有的安全监控系统无缝集成，无需对现有设备进行大规模更换或改造；

52、2)完善的算法库：随着技术的不断进步和优化，算法也需不断地更新和迭代，算法库支持版本管理功能，可以追踪每个算法的变更历史，确保每次更新都有迹可循；同时，通过ota(over-the-air)更新功能，可以远程为所有音频设备推送最新的算法版本，实现快速且高效的更新；同时算法库设定了一套完整的质量控制流程，确保每一个算法在进入库中前都经过严格的测试和验证。这大大降低了因算法质量问题导致的误报或漏报的可能性。

53、(4)本发明提供的车辆炸街抓拍系统在使用上，具有以下优势：

54、1)布控自由度高，覆盖场景多：系统支持接入普通监控、车牌抓拍监控等多种监控设备，基于交管系统已有基础建设，可自由组合搭配多个监控系统终端及智能拾音终端，可覆盖95％以上的路口路段；另外针对于监管要求，针对于不同时段，不同车辆的管理要求，系统支持灵活配置时间、置信度、车辆类型等参数，满足多种管理场景，例如，十字路口起步炸街车辆抓拍，禁摩路段摩托车炸街事件抓拍，非通勤时间炸街车辆抓拍，性能车抓拍等；通过这种灵活的配置方式，该系统能够更好地适应各种复杂的监控需求，提高监控效率和准确性；这不仅有助于交通管理部门更好地打击违规行为和维护交通秩序，还能为公众提供更加安全、便捷的出行环境；总之，该系统凭借其强大的功能和灵活性，为用户提供了一种高效、可靠的监控解决方案；

55、2)事件核验效率高、体系健全：系统提供综合事件研判能力，大大提高事件核验的准确性及效率，在算法产生事件告警后，系统会从算法识别的事件置信度、相关车辆历史违法、实时天气、抓拍车牌、车辆类型、时间、道路性质、最高分贝全要素进行综合研判，在每次监测到炸街告警事件时，会根据全要素对炸街事件进行研判，并给出事件相应的评估结果；

56、3)该系统通过综合运用多种技术和方法，建立了一套高效、完善的事件核验体系，有助于及时发现和处理炸街等违规行为，维护道路交通安全和公共秩序。

57、(5)本发明综合利用深度学习音频技术与音视频融合技术，提出了一套更适用于炸街违法行为抓拍的系统，在炸街行为抓拍上有用更好的抓拍效果，并在系统建设时候有更灵活的建设方案、更低的建设成本；同时，车辆炸街抓拍系统具备高度自由度及兼容性，支持通用协议设备接入，同时支持用户在场景下自由组合使用；

58、1)在设备数据管理上，系统提供了zlmediakit流媒体服务给智能音频终端、视频监控设备提供流的管理及播放服务，zlmediakit流媒体服务支持不同品牌、不同协议的音视频设备进行接入管理，兼容市面上主流协议的智能音频及监控设备；同时提供音视频混流能力，支持音视频流高自由度管理，支持自由将不同智能音频设备及智能适配设备实现业务绑定及音视频混流；在兼容性方面，支持跨系统linux、windows部署，同时支持集群化部署方式；

59、2)在应用功能上，监管部门可以根据不同路况进行灵活的布点及管理，对于视频监控设备，监管部门可以利旧接入已安装的其他各类型网络监控设备，并与音频设备实现业务绑定，支持智能音频终端一对多绑定视频终端；在管理视图上，系统提供离线地图服务，管理人员可以自定义进行地图标注，从而实现交通行为可视化管理；

60、3)在车辆炸街识别算法能力上，支持将车辆炸街识别算法模型ota更新至前端智能音频终端，同时支持车辆炸街识别算法模型的版本管理，可以让设备及时获得新的功能和性能升级。

61、(6)本发明结合法律法规、违法评估依据设定了完善的评估标准，事件核验效率高、体系更健全，车辆炸街抓拍系统提供综合事件研判能力，大大提高事件核验的准确性及效率，在车辆炸街识别算法产生事件告警后，车辆炸街抓拍系统会从算法识别的事件置信度、相关车辆历史违法、实时天气、抓拍车牌、车辆类型、时间、历史违法信息、道路性质、最高分贝全要素进行综合研判，在每次监测到炸街告警事件时，会根据全要素对炸街事件进行研判，并给出事件相应的评估结果，相对于传统的检测手段及评估手段更为健全。