一种合唱音频数据处理方法、装置、电子设备及介质与流程

本发明涉及计算机，尤其涉及一种合唱音频数据处理方法、装置、电子设备及介质。

背景技术：

1、目前语音app中，用户在歌房合唱是很普遍的现象，若用户出现网络波动，或者用户直接退出app，程序检测用户离线需要一定时间，这时候歌房的用户也听不到掉线用户声音，让合唱的用户和歌房的用户带来不好的体验。现有技术一般通过心跳检测方案检测用户是否掉线，客户端通常会定期发送小的数据包(也叫做“心跳”)到服务器，以保持与服务器的连接。如果服务器在规定的时间内没有收到心跳，那么就判断用户已经掉线。

2、上述现有技术存在以下缺点：

3、1、使用心跳检测方案判断用户掉线需要一定时间，这时歌房没有用户声音，给用户带来不好体验；

4、2、心跳检测只能检查网络连接是否存在，而不能检查连接的质量。例如，若网络严重拥堵，虽然心跳包可以通过，但是用户可能因为网络质量差，唱歌的声音也无法触达到歌房用户。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种反应及时、优化效果好的合唱音频数据处理方法、装置、电子设备及介质。

2、一方面，本发明实施例提供了一种合唱音频数据处理方法，包括：

3、从音乐授权方获取当前歌曲的伴奏版本；

4、根据所述当前歌曲的歌曲名称，获取对方用户的声纹文件和用户使用授权；

5、根据所述用户使用授权，对所述声纹文件与所述伴奏版本进行id匹配，得到匹配结果；

6、根据所述匹配结果，将所述声纹文件发送到对方用户和所有听众的终端设备；

7、实时检测对方用户声音流，当一定时间段内没有收到所述对方用户声音流时，根据歌曲进度自动播放所述声纹文件，直至再次收到所述对方用户声音流。

8、可选地，所述声纹文件的生成步骤包括：

9、根据用户的请求，向所述用户发送朗读语句；

10、获取所述用户根据所述朗读语句录制的原始音频文件，并获取目标歌曲的声乐文件；

11、对所述原始音频文件进行预处理，得到训练音频文件；

12、将所述声乐文件和所述训练音频文件输入初始声纹文件生成模型进行模型训练，得到目标声纹文件生成模型；

13、通过所述目标声纹文件生成模型，生成声纹文件。

14、可选地，所述对所述原始音频文件进行预处理，得到训练音频文件，包括：

15、消除所述原始音频文件的背景杂音，得到第一音频文件；

16、删除所述第一音频文件中的空白片段和无声片段，得到第二音频文件；

17、配置最大文件长度，将所述第二音频文件拆分为若干个长度不超过所述最大文件长度的训练音频文件。

18、可选地，所述将所述声乐文件和所述训练音频文件输入初始声纹文件生成模型进行模型训练，得到目标声纹文件生成模型，包括：

19、基于语音转换工具的框架，构建初始声纹文件生成模型；

20、当本次训练是首次训练，则将所述声乐文件和所述训练音频文件导入所述初始声纹文件生成模型中进行模型训练，得到目标声纹文件生成模型；

21、当本次训练不是首次训练，则将所述声乐文件、所述训练音频文件和前次训练模型导入初始声纹文件生成模型进行模型训练，得到目标声纹文件生成模型；

22、可选地，所述方法还包括：

23、在合唱结束时，删除缓存的所述声纹文件。

24、可选地，所述方法还包括：

25、合唱时，不定时采集麦克风数据，根据所述麦克风数据与进行模型训练的原始音频文件进行特征比对，得到比对结果；

26、根据所述比对结果，重新采集所述原始音频文件以进行重新训练。

27、可选地，所述方法还包括：

28、对所述原始音频文件进行语音识别检测，根据所述语音识别检测确定所述原始音频文件的合规结果；

29、当所述合规结果为不合规，则删除所述原始音频文件并重新获取；对上传不合规的所述原始音频文件的用户下发警告信息或者惩罚。

30、本发明实施例还提供了一种合唱音频数据处理装置，包括：

31、第一模块，用于从音乐授权方获取当前歌曲的伴奏版本；

32、第二模块，用于根据所述当前歌曲的歌曲名称，获取对方用户的声纹文件和用户使用授权；

33、第三模块，用于根据所述用户使用授权，对所述声纹文件与所述伴奏版本进行id匹配，得到匹配结果；

34、第四模块，用于根据所述匹配结果，将所述声纹文件发送到对方用户和所有听众的终端设备；

35、第五模块，用于实时检测对方用户声音流，当一定时间段内没有收到所述对方用户声音流时，根据歌曲进度自动播放所述声纹文件，直至再次收到所述对方用户声音流。

36、需要说明的是，一些实施例中，所述装置还包括如下模块：

37、第六模块，用于在合唱结束阶段，删除缓存的声纹文件；

38、第七模块，用于不定时的采集用户麦克风数据进行特征比对，发现跟原始音频文件上的声音差异非常大，则要求用户重新训练ai声纹文件，以防止用户使用其他人的声音。

39、另一方面，本发明实施例还提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现如前面所述的方法。

40、另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如前面所述的方法。

41、本发明实施例具有如下有益效果：本发明实施例通过获取对方用户的声纹文件，在一定时间段内没有收到非己方声音流时自动播放该声纹文件，能够利用声纹文件为合唱掉线问题提供优化方案，优化效果好，使得即使有一方网络故障或者掉线，也能够及时反应，继续进行合唱，有利于提高合唱体验和听众用户的收听体验。

技术特征：

1.一种合唱音频数据处理方法，其特征在于，包括：

2.根据权利要求1所述的一种合唱音频数据处理方法，其特征在于，所述声纹文件的生成步骤包括：

3.根据权利要求2所述的一种合唱音频数据处理方法，其特征在于，所述对所述原始音频文件进行预处理，得到训练音频文件，包括：

4.根据权利要求2所述的一种合唱音频数据处理方法，其特征在于，所述将所述声乐文件和所述训练音频文件输入初始声纹文件生成模型进行模型训练，得到目标声纹文件生成模型，包括：

5.根据权利要求1所述的一种合唱音频数据处理方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的一种合唱音频数据处理方法，其特征在于，所述方法还包括：

7.根据权利要求2所述的一种合唱音频数据处理方法，其特征在于，所述方法还包括：

8.一种合唱音频数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器以及存储器；

10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结本发明公开了一种合唱音频数据处理方法、装置、电子设备及介质，方法包括：从音乐授权方获取当前歌曲的伴奏版本；根据当前歌曲的歌曲名称，获取对方用户的声纹文件和用户使用授权；根据用户使用授权，对声纹文件与伴奏版本进行id匹配，得到匹配结果；根据匹配结果，将声纹文件发送到对方用户和所有听众的终端设备；实时检测对方用户声音流，当一定时间段内没有收到对方用户声音流时，根据歌曲进度自动播放声纹文件，直至再次收到对方用户声音流。本发明实施例能够利用声纹文件为合唱掉线问题提供优化方案，使得即使有一方网络故障或者掉线，也能够及时反应，有利于提高合唱体验和听众用户的收听体验，可以广泛应用于计算机技术领域。技术研发人员：舒伟,郭曼丽,祝炳坚受保护的技术使用者：广州随手玩网络科技有限公司技术研发日：技术公布日：2024/3/5