一种基于语谱图的车辆碰撞识别方法与流程

本发明涉及大数据处理，更具体地说，涉及一种基于语谱图的车辆碰撞识别方法。

背景技术：

1、目前，对于汽车主机厂而言，如何准确地识别车辆是否发生事故已经成为一个至关重要的问题。这不仅关系到车主的安全和生命，还涉及到为车主提供及时救援和关怀的责任。

2、在车辆事故的各种形式中，碰撞是最常见的一种。然而，目前主要的车辆碰撞识别方式是通过后装传感器实现的，这种方法存在着一系列问题。首先，已经售出的车辆大多数没有安装这些传感器，而这部分车辆占据了主机厂市场的绝大多数，因此召回和安装传感器变得异常困难。其次，加装传感器需要额外的费用，无论是车主还是主机厂都不愿意轻易承担这一成本。这导致了无法在这一巨大的车辆群体中推广碰撞传感器的使用，因此无法满足主机厂的需求。

3、另外一种识别方式是依赖车辆信号，如加速度和速度等，但这种方式容易受到噪声和异常信号的干扰，从而影响了准确性，也无法满足主机厂的需求。因此，寻找一种无需加装传感器、准确率高的车辆碰撞识别方法成为了主机厂急需要解决的课题。

技术实现思路

1、本发明要解决的技术问题在于，针对上述技术方案存在的不足，提供一种提高救援效率的基于语谱图的车辆碰撞识别方法。

2、本发明提供一种基于语谱图的车辆碰撞识别方法，所述方法包括以下步骤：

3、s1，采集公开在网络平台的发生事故的和未发生事故的行车录像视频数据，并对行车录像视频数据进行切分得到多段视频片段；

4、s2，采样多段视频片段中的音频数据，将音频数据进行归一化，基于短时傅里叶变换方法将归一化后的音频数据转换为时频谱数据，并绘制成语谱图；

5、s3，对绘制的语谱图进行转换，将转换后的语谱图构建训练样本，通过深度学习神经网络模型对训练样本进行模型训练，得到图像二分类模型；

6、s4，将步骤s3得到的图像二分类模型部署在汽车的车机系统中，实时采集车辆环境音频信号数据后输入图像二分类模型进行判断车辆是否发生碰撞，若判断为碰撞则输出碰撞告警，否则不输出告警，告警发生后主机厂实施救援。

7、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s1包括以下步骤：

8、s11，从各个媒体平台下载时长超过 t的且带有环境背景声音的行车录像视频数据，其中 t为视频最低时长阈值；

9、s12，将获取的所有行车录像视频数据依次按照 δ时长切分为多段视频片段，查看每段视频片段，将有车辆碰撞瞬间的视频片段归类为碰撞视频集合，并记为，将无车辆碰撞瞬间的视频片段归类为无碰撞集合，并记为，其中和分别表示第 m个视频的第 i和第 j段视频，且不等于， δ为记录时长阈值。

10、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s2包括以下步骤：

11、s21，将碰撞视频集合与无碰撞视频集合中的视频格式文件转换成音频格式文件。

12、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s2还包括以下步骤：

13、s22，以16000hz音频采样率读取音频格式文件，得到音频数据，并音频数据表示为，其中，表示第 n个时刻的声音振幅，n=16000× δ， δ为记录时长阈值，对音频数据进行归一化，得到，其中，表示为归一化后的音频数据，表示第 n个时刻的声音振幅归一化后的数据，且。

14、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s2还包括以下步骤：

15、s23，根据短时傅里叶变换方法对进行变换，得到图片集合，其中为语谱图集合，表示第 n个时刻的声音数据绘制成的语谱图。

16、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s3包括以下步骤：

17、s31，分别对和数据集合进行转换，得到集合和集合，其中表示为碰撞语谱图集合，表示为非碰撞语谱图集合；和分别表示第 k个碰撞语谱图和第 l个非碰撞语谱图。

18、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s3还包括以下步骤：

19、s32，将中的图片作为正样本，作为负样本，通过深度学习神经网络模型对正样本与负样本进行训练得到图像二分类模型。

20、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s4包括以下步骤：

21、s41，汽车的车机系统每隔 δ/2时长采集一次距离当前时刻 δ/2时长的音频，并保存距离当前时刻最近的两段音频数据，其中 δ为记录时长阈值。

22、本发明所述的基于语谱图的车辆碰撞识别方法中；所述步骤s4还包括以下步骤：

23、s42，在汽车的车机系统中构建碰撞判断触发程序，通过车辆速度信号数据进行判断，其判断公式为，且，其中和分别表示当前车速和前 δ时长的车速，单位为m/s。

24、本发明所述的基于语谱图的车辆碰撞识别方法中；在所述步骤s42中所述的碰撞判断触发程序为当满足判断条件时，合并前 δ/2和后 δ/2时长的两段音频数据，得到一段 δ时长的音频数据，并将音频数据转换为语谱图，将语谱图输入步骤s32中得到的图像二分类模型进行判断，当判断为碰撞则输出告警，否则不输出告警，告警发生后主机厂实施救援。

25、本发明的基于语谱图的车辆碰撞识别方法通过融合语谱信号和车辆信号判断车辆是否发生碰撞。实现无需外装传感器识别碰撞，且低成本、高准确率。使主机厂能够迅速给予救援和关怀，同时使得救援效率大幅提升。

技术特征：

1.一种基于语谱图的车辆碰撞识别方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s1包括以下步骤：

3.根据权利要求2所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s2包括以下步骤：

4.根据权利要求3所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s2还包括以下步骤：

5.根据权利要求4所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s2还包括以下步骤：

6.根据权利要求5所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s3包括以下步骤：

7.根据权利要求6所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s3还包括以下步骤：

8.根据权利要求7所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s4包括以下步骤：

9.根据权利要求8所述的基于语谱图的车辆碰撞识别方法，其特征在于，所述步骤s4还包括以下步骤：

10.根据权利要求9所述的基于语谱图的车辆碰撞识别方法，其特征在于，在所述步骤s42中所述的碰撞判断触发程序为当满足判断条件时，合并前δ/2和后δ/2时长的两段音频数据，得到一段δ时长的音频数据，并将音频数据转换为语谱图，将语谱图输入步骤s32中得到的图像二分类模型进行判断，当判断为碰撞则输出告警，否则不输出告警，告警发生后主机厂实施救援。

技术总结本发明提供了一种基于语谱图的车辆碰撞识别方法，包括以下步骤S1，采集公开在网络平台的发生事故的和未发生事故的行车录像视频数据，并对行车录像视频数据进行切分得到多段视频片段；S2，采样多段视频片段中的音频数据，将音频数据进行归一化，基于短时傅里叶变换方法将归一化后的音频数据转换为时频谱数据，并绘制成语谱图；S3，对绘制的语谱图进行转换，将转换后的语谱图构建训练样本，通过深度学习神经网络模型对训练样本进行模型训练，得到图像二分类模型；通过融合语谱信号和车辆信号判断车辆是否发生碰撞。实现无需外装传感器识别碰撞，且低成本、高准确率。使主机厂能够迅速给予救援和关怀，同时使得救援效率大幅提升。技术研发人员：黎伟洋,晏鹏,江翰,魏庆华,宋云生,叶绍湘,梁君铭,温小蓝受保护的技术使用者：深圳联友科技有限公司技术研发日：技术公布日：2024/5/27