会议终端的音频数据处理方法、设备及存储介质与流程

【】本技术属于语音交互，具体涉及一种会议终端的音频数据处理方法、设备及存储介质。

背景技术

0、背景技术：

1、目前，在进行线上会议时，需要对音频采集组件采集的音频数据进行处理得到清晰不含噪声的音频数据。

2、传统的会议终端的音频数据处理方法包括：获取注册人的声纹特征信息，注册人为进行线上会议时的主讲人；对音频采集组件采集的不含声纹特征信息的音频数据进行抑制，得到处理后的音频数据。

3、然而，由于注册人的声纹特征信息的注册数量有限，若在进行线上会议时，未注册声纹特征信息的主讲人进行讲话时，这样就会导致不能准确对本次会议其它主讲人的音频数据进行处理的问题。

技术实现思路

0、技术实现要素：

1、本技术提供了会议终端的音频数据处理方法、设备及存储介质，可以解决由于注册人的声纹特征信息的注册数量有限，若在进行线上会议时，未注册声纹特征信息的主讲人进行讲话时，这样就会导致不能准确对本次会议其它主讲人的音频数据进行处理的问题。本技术提供如下技术方案：

2、第一方面，提供了一种会议终端的音频数据处理方法，所述会议终端包括音频采集组件和图像采集组件，所述方法包括：

3、响应于所述音频采集组件以第一采集参数采集到目标区域的音频数据，获取所述图像采集组件采集的所述目标区域的当前环境信息，所述目标区域为所述主讲人在进行会议时所在的区域；

4、在所述当前环境信息存在目标用户、且所述目标用户具有目标特征的情况下，获取所述目标用户的发声位置信息；所述目标特征用于指示所述目标用户正在发言；

5、基于所述发声位置信息将所述第一采集参数调节为第二采集参数，以使所述音频采集组件以所述第二采集参数采集基于所述发声位置信息确定的目标子区域内的音频数据，所述目标子区域属于所述目标区域、且所述目标子区域小于所述目标区域。

6、可选地，所述第一采集参数包括波束的第一相位、第一相位差值、和第一采集距离范围；所述第二采集参数包括波束的第二相位、第二相位差值和第二采集距离范围；所述基于所述发声位置信息将所述第一采集参数调节为第二采集参数，包括：

7、基于所述目标子区域在所述目标区域中的位置信息确定所述第二相位；将所述第一相位调节为所述第二相位；

8、基于所述目标子区域在所述目标区域中的尺寸信息确定所述第二相位差值；将所述第一相位差值调节为第二相位差值，所述第一波束相位差值大于所述第二波束相位差值；

9、基于所述目标子区域在所述目标区域中的位置信息和尺寸信息确定所述第二采集距离；将所述第一采集距离范围调节为所述第二采集距离范围；所述第一采集范围距离大于所述第二采集距离范围。

10、可选地，所述方法还包括：

11、确定所述图像采集组件是否启动；

12、在所述图像采集组件启动、且在所述当前环境信息不存在所述目标用户的情况下，或者在所述当前环境信息存在所述目标用户、且所述目标用户不具有目标特征的情况下，对所述音频采集组件以第一采集参数采集到目标区域的音频数据进行第一程度的降噪处理；

13、在所述图像采集组件未启动的情况下，对所述音频采集组件以第一采集参数采集到目标区域的音频数据进行第二程度的降噪处理，所述第一程度的降噪处理强度大于所述第二程度的降噪处理强度。

14、可选地，所述确定所述图像采集组件是否启动，包括：

15、响应于所述音频采集组件采集到所述音频数据，向所述图像采集组件发送第一启动指令；在预设时长内接收到所述图像采集组件基于所述第一启动指令发送的图像数据的情况下，确定所述图像采集组件启动；

16、或者，

17、响应于所述会议终端启动，向所述图像采集组件发送第二启动指令；在预设时长内接收到所述图像采集组件基于所述第二启动指令发送的图像数据的情况下，确定所述图像采集组件启动。

18、可选地，对所述音频采集组件以第一采集参数采集到目标区域的音频数据进行降噪处理，包括：

19、在所述降噪处理为第一程度的降噪处理的情况下，将所述音频数据输入预先训练的第一降噪模型，得到第一处理后的音频数据，所述第一降噪模型使用第一训练数据对预设的神经网络模型训练得到；所述第一训练数据包括样本音频数据和对所述样本音频数据进行第一程度的降噪处理后得到的第一标签数据；在所述降噪处理为第二程度的降噪处理的情况下，将所述音频数据输入预先训练的第二降噪模型，得到第二处理后的音频数据，所述第二降噪模型使用第二训练数据对预设的神经网络模型训练得到；所述第二训练数据包括样本音频数据和对所述样本音频数据进行第二程度的降噪处理后得到的第二标签数据。

20、可选地，所述获取所述目标用户的发声位置信息，包括：

21、在所述目标特征包括所述目标用户的面部特征的情况下，基于所述面部特征确定所述目标用户的发声位置信息；

22、和/或，

23、在所述目标特征包括所述目标用户的肢体特征的情况下，将所述肢体特征输入预先训练的肢体识别模型，得到识别结果，所述肢体识别模型使用训练数据对预设的神经网络模型训练得到；所述训练数据包括样本肢体特征和所述样本肢体特征对应的目标用户的讲话状态；在所述识别结果指示为目标用户正在讲话的情况下，将所述目标用户的位置信息作为发声位置信息。

24、可选地，所述基于所述面部特征确定所述目标用户的发声位置信息，包括：

25、在所述面部特征为嘴部特征的情况下，确定所述目标用户的嘴部是否在预设时长内持续发生变化；在所述目标用户的嘴部在预设时长内持续发生变化的情况下，确定所述目标用户正在讲话；将所述目标用户的嘴部位置信息确定为发声位置信息；所述面部特征包括所述嘴部位置信息和嘴部开合状态；

26、或者，

27、在所述面部特征为表情特征的情况下，将所述表情特征输入预先训练的表情识别模型，得到识别结果，所述表情识别模型使用训练数据对预设的神经网络模型训练得到；所述训练数据包括样本表情特征和所述样本表情特征对应的目标用户的讲话状态；在所述识别结果指示为目标用户正在讲话的情况下，将所述目标用户的位置信息作为发声位置信息。

28、可选地，所述响应于所述音频采集组件以第一采集参数采集到目标区域的音频数据之前，还包括：

29、控制所述音频采集组件以全局采集参数对当前会议场景进行音频采集，得到初始音频数据；

30、识别所述初始音频数据中的人声数据；

31、在识别出所述初始音频数据中的人声数据的情况下，确定发出所述人声数据的声源所在的目标区域的区域位置；

32、基于所述目标区域的区域位置确定音频采集组件的波束的第一相位、第一相位差值、和第一采集距离范围以确定所述音频采集组件的第一采集参数。

33、第二方面，提供了一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如第一方面所述的会议终端的音频数据处理方法。

34、第三方面，提供了一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如第一方面所述的会议终端的音频数据处理方法。

35、本技术的有益效果在于：通过响应于音频采集组件以第一采集参数采集到目标区域的音频数据，获取图像采集组件采集的目标区域的当前环境信息，目标区域为主讲人在进行会议时所在的区域；在当前环境信息存在目标用户、且目标用户具有目标特征的情况下，获取目标用户的发声位置信息；目标特征用于指示目标用户正在发言；基于发声位置信息将第一采集参数调节为第二采集参数，以使音频采集组件以第二采集参数采集基于发声位置信息确定的目标子区域内的音频数据，目标子区域属于目标区域、且目标子区域小于目标区域；可以解决由于注册人的声纹特征信息的注册数量有限，若在进行线上会议时，未注册声纹特征信息的主讲人进行讲话时，这样就会导致不能准确对本次会议其它主讲人的音频数据进行处理的问题；由于可以首先对主讲人所在的区域的音频数据进行采集，同时通过图像采集组件判断主讲人是否正在发言，若主讲人正在发言则根据主讲人的发声位置信息采集主讲人发声位置的音频数据，这样可以保证在主讲人发言的区域，若存在主讲人发言，则可以根据图像采集组件确定发言人的主讲人，同时准确采集主讲人发言的音频数据。

36、另外，由于首先确定目标用户的面部特征是否满足讲话状态，在目标用户的面部特征满足讲话状态的情况下，确定目标用户的肢体特征是否满足讲话状态，这样可以使得目标用户的讲话状态的确定方式更加精准，提高了目标用户的讲话状态确定的鲁棒性。

37、另外，由于在当前环境信息不存在目标用户或者存在目标用户但是目标用户不具有目标特征的情况下，对当前环境的音频数据进行第一程度的降噪处理，第一程度的降噪处理大于第二程度的降噪处理，因此可以对目标区域以及目标区域以外的杂声进行噪声抑制，这样可以保证目标区域以外的杂声不会对目标区域产生影响，从而可以保证会议场景的安静效果。

38、另外，由于在图像采集组件未启动的情况下，对音频采集组件以第一采集参数采集到目标区域的音频数据进行第二程度的降噪处理，第二程度的降噪处理小于第一程度的降噪处理，这样一方面可以保证对目标区域的杂声进行抑制处理，另一方面由于不确定目标区域是否存在目标用户，也无法确定目标用户是否发出声音，因此第二程度的降噪处理可以避免错误抑制目标用户发出的声音，因此可以在图像采集组件未启动的情况下也可以保证会议正常进行。