一种车内外声音交流方法、系统及车辆与流程

本技术涉及语音交互，尤其涉及一种车内外声音交流方法、系统、车辆及计算机可读存储介质。

背景技术：

1、随着汽车的普及，车辆占比越来越高，车辆的车载设备往往采用麦克风来收集车内的语音信号，从而实现语音控制功能，使得用户能够通过声控指令来控制各种应用程序，例如，打开音乐、书籍朗读、搜索兴趣点、对讲机应用等。

2、然而，现有技术中，在汽车内部与外部之间进行声音交流时，车辆在不打开车窗的条件下，车内人员与车外人员无法进行精确、高效的语音沟通，即必须打开车窗，但是车辆在行驶时开窗会影响车内的空调效果，造成资源的浪费，并且会毫无疑问的增大车内人员的驾乘安全风险，同时如果交流受到其它噪音的影响，如环境噪音的干扰或者汽车声音干扰，对话者之间距离稍微远一点就难以听清对方的声音。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本技术的主要目的在于提供一种车内外声音交流方法、系统、车辆及计算机可读存储介质，旨在解决现有技术中车内和车外声音交互受限，车内的人员难以听清车外传来的声音的问题。

2、本技术第一方面实施例提供一种车内外声音交流方法，包括以下步骤：获取车外麦克风阵列采集的不同声源发出的多个外部声音信号，对所述外部声音信号进行预处理和声音特征提取，得到多个声音特征；将多个所述声音特征输入到声音分类模型中进行分析，得到多个所述声源的类别；获取多个所述声源的类别中的目标类别音源，根据所述目标类别音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别音源相对于车辆的目标位置；控制离所述目标位置最近的所述车外麦克风阵列中预设数量的麦克风处于开启状态，关闭所述车外麦克风阵列中的其他麦克风，通过所述预设数量的麦克风获取所述目标类别音源发出的第一外部目标声音信号；对所述第一外部目标声音信号进行声音增强处理和噪音消除处理，得到第二外部目标声音信号，并将所述第二外部目标声音信号在车内进行播放。

3、根据上述技术手段，本技术实施例将高灵敏度麦克风阵列、声音识别、定位、增强技术以及车载通讯系统等多项技术有机结合，形成了一套完整的声音交互系统；通过对所述外部声音信号进行预处理和声音特征提取，并输入到声音分类模型中进行分析，得到多个所述声源的类别，从所述类别中获取目标类别音源，并基于麦克风列阵时间差实现精确的声音定位，并进行增强处理和双向互动，实现了车内外的高效声音交流；不仅可以提升驾驶员和乘客的体验，还为汽车行业带来了新的商机和市场竞争力。

4、可选地，在本技术的一个实施例中，所述将所述第二外部目标声音信号在车内进行播放，之后还包括：获取车内麦克风阵列采集到的座舱人员发出的内部声音信号，将所述内部声音信号进行预处理、声音增强处理和噪音消除处理后，得到目标内部声音信号，将所述目标内部声音信号通过车内距离所述目标类别音源最近的所述车外麦克风阵列中预设数量的麦克风发送到车外进行播放。

5、根据上述技术手段，本技术实施例中驾驶员向外发出的声音可以经过预处理、声音增强处理和噪音消除处理后，基于之前获取到的车内距离所述目标类别音源最近的所述车外麦克风阵列中预设数量的麦克风发送到车外进行播放，进而与行人进行语音沟通，例如在交通拥堵时向行人询问路况或向行人说明自己的意图，实现双向的沟通交互。

6、可选地，在本技术的一个实施例中，所述获取车外麦克风阵列采集的不同声源发出的多个外部声音信号，对所述外部声音信号进行预处理和声音特征提取后得到多个声音特征，具体包括：获取所述车外麦克风阵列采集到的多角度和多源的多个外部声音信号；对每个外部声音信号进行去噪处理，得到去噪后的多个外部声音信号；将去噪后的每个外部声音信号进行时域滤波和自适应滤波，得到滤波后的多个外部声音信号；将滤波后的每个外部声音信号进行放大处理，得到预处理后的多个外部声音信号；将预处理后的每个外部声音信号进行分帧，对分帧后的每一帧使用离散傅里叶变换得到多个频谱，将多个所述频谱映射到梅尔频率域中，分别得到多个所述频谱的多个对数，对多个所述对数进行离散余弦变换得到的多个梅尔频率倒谱系数，将多个梅尔频率倒谱系数作为多个所述声音特征。

7、根据上述技术手段，本技术实施例可以将采集到的包含不同频率、幅度和时域特性的声音信号进行预处理，包括去除噪音、滤波、放大等处理，并计算预处理后的每个外部声音信号的梅尔频率倒谱系数，得到多个声音特征，得到的声音特征更加的精确合理，实现对采集到的声音信号的分析、分类和准确识别，为后续的声音定位、增强和交互提供必要的信息；为后续声源的类别的确定打下基础，有助于提高后续识别算法的准确性。

8、可选地，在本技术的一个实施例中，所述将多个所述声音特征输入到声音分类模型中进行分析，得到多个所述声源的类别，之前还包括：获取声音训练样本数据，将所述声音训练样本数据进行数据清理，将清理后的声音训练样本数据按照预设比例随机分成训练集与验证集；将所述训练集输入到分类模型中对所述分类模型进行训练，并使用验证集验证训练后的分类模型的性能，当训练后的分类模型的性能满足预设要求后得到声音分类模型；所述分类模型包括高斯混合模型、支持向量机和深度学习模型中的任意一个。

9、根据上述技术手段，本技术实施例可以采用先进的声音识别算法，基于深度学习技术对预处理后的声音信号进行分析和分类，通过预先训练好的神经网络模型算法将声音信号分为不同的声音源类别，如行人、车辆、自然环境等，每个声音源类别具有独特的声音特征，通过训练的算法可以根据这些特征进行分类，从而确定声音的来源，具备实时性和高度精确性。

10、可选地，在本技术的一个实施例中，所述根据所述目标类别音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别音源相对于车辆的目标位置，具体包括：获取所述目标类别音源到达所述车外麦克风阵列中多个不同麦克风之间的时间，根据若干不同的到达时间，通过交叉相关函数或者相位差测量法计算所述目标类别音源到达不同麦克风的时间差；根据所述时间差，通过三角测量法确定所述目标类别音源相对于车辆的目标位置。

11、根据上述技术手段，本技术实施例可以通过计算目标类别音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别音源相对于车辆的目标位置，实现声音的定位与跟踪，并针对声音的位置，对麦克风阵列中的麦克风进行调整，控制离所述目标位置最近的所述车外麦克风阵列中预设数量的麦克风处于开启状态，关闭所述车外麦克风阵列中的其他麦克风，通过所述预设数量的麦克风获取所述目标类别音源发出的声音信号，保证所收到的声音信号噪音最小。

12、可选地，在本技术的一个实施例中，所述对所述第一外部目标声音信号进行声音增强处理和噪音消除处理，得到第二外部目标声音信号，具体包括：通过声音增强算法对所述目标位置的所述目标类别音源发出的所述第一外部目标声音信号进行响度加大处理，得到增强后的声音信号；通过自适应噪声抑制技术将所述增强后的声音信号中包含的杂音和干扰进行消除，得到所述第二外部目标声音信号。

13、根据上述技术手段，本技术实施例可以对定位到的特定声音源，应用声音增强算法，以提高其声音信号的响度，同时，通过自适应噪声抑制技术，消除背景环境中的杂音和干扰，对目标音源的声音进行二次处理，进一步降低了目标音源声音中噪音的干扰，确保车内的声音清晰可辨，提升了驾驶员和乘客的驾车体验。

14、可选地，在本技术的一个实施例中，所述根据所述目标类别的音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别的音源相对于车辆的目标位置，之后还包括：计算除了所述目标类别音源以外的其他类别音源相对于车辆的位置，将所述目标类别音源相对于车辆的目标位置和其他类别音源相对于车辆的位置在车内的显示屏上显示；在车辆移动时，通过泛波束形成技术对所有音源相对于车辆的位置进行实时更新，并将更新后的所有音源相对于车辆的位置在车内的显示屏上显示。

15、根据上述技术手段，本技术实施例可以采用泛波束形成技术精确计算所有采集到的声音源的位置，并在汽车坐标系中进行显示和跟踪，帮助车内人员了解外部的声音分布情况，辅助车内驾驶者做出正确的判断，根据显示屏上显示的音源类型和位置，准确定位到车外人员的声音方向；并确保随着车辆移动声音源位置的实时更新，能够提高道路安全性和交通效率。

16、本技术第二方面实施例提供一种车内外声音交流系统，所述车内外声音交流系统包括：声音特征提取模块，用于获取车外麦克风阵列采集的不同声源发出的多个外部声音信号，对所述外部声音信号进行预处理和声音特征提取，得到多个声音特征；声源类别获取模块，用于将多个所述声音特征输入到声音分类模型中进行分析，得到多个所述声源的类别；声源位置获取模块，用于获取多个所述声源的类别中的目标类别音源，根据所述目标类别音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别音源相对于车辆的目标位置；第一外部目标声音获取模块，用于控制离所述目标位置最近的所述车外麦克风阵列中预设数量的麦克风处于开启状态，关闭所述车外麦克风阵列中的其他麦克风，通过所述预设数量的麦克风获取所述目标类别音源发出的第一外部目标声音信号；第二外部目标声音获取模块，用于对所述第一外部目标声音信号进行声音增强处理和噪音消除处理，得到第二外部目标声音信号，并将所述第二外部目标声音信号在车内进行播放。

17、可选地，在本技术的一个实施例中，所述声音特征提取模块包括：外部声音获取单元，用于获取车外麦克风阵列采集的不同声源发出的多个外部声音信号；第一声音处理单元，用于对所述外部声音信号进行预处理和声音特征提取，得到多个声音特征。

18、可选地，在本技术的一个实施例中，所述声源位置获取模块包括：目标类别音源获取单元，用于获取多个所述声源的类别中的目标类别音源；目标位置计算单元，用于根据所述目标类别音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别音源相对于车辆的目标位置。

19、可选地，在本技术的一个实施例中，第一外部目标声音获取模块包括：麦克风阵列控制单元，用于控制离所述目标位置最近的所述车外麦克风阵列中预设数量的麦克风处于开启状态，关闭所述车外麦克风阵列中的其他麦克风；目标声音信号接收单元，用于通过所述预设数量的麦克风获取所述目标类别音源发出的第一外部目标声音信号。

20、可选地，在本技术的一个实施例中，第二外部目标声音获取模块包括：第二声音处理单元，用于对所述第一外部目标声音信号进行声音增强处理和噪音消除处理，得到第二外部目标声音信号；声音信号播放单元，用于将所述第二外部目标声音信号在车内进行播放。

21、本技术第三方面实施例提供一种车辆，所述车辆包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车内外声音交流程序，所述车内外声音交流程序被所述处理器执行时实现如上述实施例所述的车内外声音交流方法的步骤。

22、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有车内外声音交流程序，所述车内外声音交流程序被处理器执行时实现如上述实施例所述的车内外声音交流方法的步骤。

23、本技术的有益效果：

24、(1)本技术实施例可以将高灵敏度麦克风阵列、声音识别、定位、增强技术以及车载通讯系统等多项技术有机结合，形成了一套完整的声音交互系统；通过对所述外部声音信号进行预处理和声音特征提取，并输入到声音分类模型中进行分析，得到多个所述声源的类别，从所述类别中获取目标类别音源，并基于麦克风列阵时间差实现精确的声音定位，并进行增强处理和双向互动，实现了车内外的高效声音交流；不仅可以提升驾驶员和乘客的体验，还为汽车行业带来了新的商机和市场竞争力。

25、(2)本技术实施例可以将采集到的包含不同频率、幅度和时域特性的声音信号进行预处理，包括去除噪音、滤波、放大等处理，并计算预处理后的每个外部声音信号的梅尔频率倒谱系数，得到多个声音特征，得到的声音特征更加的精确合理，实现对采集到的声音信号的分析、分类和准确识别，为后续的声音定位、增强和交互提供必要的信息；为后续声源的类别的确定打下基础，有助于提高后续识别算法的准确性。

26、(3)本技术实施例可以采用先进的声音识别算法，基于深度学习技术对预处理后的声音信号进行分析和分类，通过预先训练好的神经网络模型算法将声音信号分为不同的声音源类别，如行人、车辆、自然环境等，每个声音源类别具有独特的声音特征，通过训练的算法可以根据这些特征进行分类，从而确定声音的来源，具备实时性和高度精确性。

27、(4)本技术实施例可以通过计算目标类别音源到达所述车外麦克风阵列中不同麦克风之间的时间差计算所述目标类别音源相对于车辆的目标位置，实现声音的定位与跟踪，并针对声音的位置，对麦克风阵列中的麦克风进行调整，控制离所述目标位置最近的所述车外麦克风阵列中预设数量的麦克风处于开启状态，关闭所述车外麦克风阵列中的其他麦克风，通过所述预设数量的麦克风获取所述目标类别音源发出的声音信号，保证所收到的声音信号噪音最小。

28、(5)本技术实施例可以对定位到的特定声音源，应用声音增强算法，以提高其声音信号的响度，同时，通过自适应噪声抑制技术，消除背景环境中的杂音和干扰，对目标音源的声音进行二次处理，进一步降低了目标音源声音中噪音的干扰，确保车内的声音清晰可辨，提升了驾驶员和乘客的驾车体验。

29、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。