基于深度学习的伴奏提取方法、系统、存储介质及设备与流程

本申请属于短距离无线通信，特别是涉及一种基于深度学习的伴奏提取方法、系统、存储介质及设备。

背景技术：

1、在短距离无线通信领域，为了给消费者提供更好的高清音频体验，由中国电子音响行业协会(caia)和中国电子技术标准化研究院联合国内近四十家单位制定的l2hc标准，是全球首个统一架构、全码率无线音频编解码标准，在传输速率、抗干扰、兼容性等多个方面全球领先。l2hc将音频传输码率扩展至64k～1920kbps，支持96khz/24bit高清音频传输。

2、无线k歌已成为一种流行的娱乐方式，是短距离无线通信的一个典型应用。现有技术中，获取无线k歌的伴奏的一种方法是，在发射端(譬如手机、平板等设备)的k歌软件库里面搜索相应的伴奏音乐并通过无线通信发送到接收端麦克风。

3、由于历史原因，部分歌曲没有独立的伴奏音乐。对于这部分歌曲，现有技术获取伴奏的方法有两种：一种是传统的方法，使用左右声道相减或使用主成分分析(pca)，前者音效一般后者复杂度太高且音质也有局限；二是基于深度学习的方法，其中，基于频域幅度谱特征的方法复杂度较低，可以部署在嵌入式系统中，但其重建的信号是基于原始信号的相位，因此限制了音质，而基于端到端的时域方法音质较好，但神经网络结构十分复杂且每次处理的音频长度过长，既不能在嵌入式系统部署，也无法满足实时应用的要求。

技术实现思路

1、针对现有技术中存在的上述技术问题，本申请提供了一种基于深度学习的伴奏提取方法、系统、存储介质及设备，通过采用深度学习与音频编码相结合的方法，使用既兼顾幅度又兼顾相位的mdft特征提取歌曲中的伴奏音乐，能够提高伴奏音乐的音质，并降低系统时延。

2、为了实现上述目的，本申请采用的第一个技术方案是：提供一种基于深度学习的伴奏提取方法，包括：在无线发射端，对歌曲pcm信号进行分帧，并按帧执行加窗，得到加窗信号；使用改进型离散余弦变换对加窗信号进行时频变换，得到mdct谱系数；对加窗信号进行特征提取，得到加窗信号对应的mdft幅度谱；将mdft幅度谱输入预训练神经网络模型中，得到浮值掩膜；将mdct谱系数与浮值掩膜进行点乘，得到伴奏信号的谱系数；根据伴奏信号的谱系数，继续执行编码过程，输出伴奏信号的压缩码流；以及在无线接收端，对伴奏信号的压缩码流进行解码，得到伴奏音乐。

3、本申请采用的第二个技术方案是：提供一种基于深度学习的伴奏提取系统，包括：用于在无线发射端，对歌曲pcm信号进行分帧，并按帧执行加窗，得到加窗信号的模块；用于使用改进型离散余弦变换对加窗信号进行时频变换，得到mdct谱系数的模块；用于对加窗信号进行特征提取，得到加窗信号对应的mdft幅度谱的模块；用于将mdft幅度谱输入预训练神经网络模型中，得到浮值掩膜的模块；用于将mdct谱系数与浮值掩膜进行点乘，得到伴奏信号的谱系数的模块；用于根据伴奏信号的谱系数，继续执行编码过程，输出伴奏信号的压缩码流的模块；以及用于在无线接收端，对伴奏信号的压缩码流进行解码，得到伴奏音乐的模块。

4、本申请采用的第三个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行方案一中的基于深度学习的伴奏提取方法。

5、本申请采用的第四个技术方案是：提供一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中处理器操作计算机指令以执行方案一中的基于深度学习的伴奏提取方法。

6、本申请技术方案可以达到的有益效果是：本申请的技术方案可以应用于短距离无线k歌，通过采用深度学习与音频编码相结合的方法，在音频编码的同时，使用既兼顾幅度又兼顾相位的mdft特征提取歌曲中的伴奏音乐，能够提高伴奏音乐的音质，并降低系统时延。

技术特征：

1.一种基于深度学习的伴奏提取方法，其特征在于，包括：

2.如权利要求1所述的基于深度学习的伴奏提取方法，其特征在于，对所述加窗信号进行特征提取，得到所述加窗信号对应的mdft幅度谱，包括：

3.如权利要求1所述的基于深度学习的伴奏提取方法，其特征在于，所述预训练神经网络模型的训练过程，包括：

4.如权利要求3所述的基于深度学习的伴奏提取方法，其特征在于，所述获取训练用伴奏音乐信号和训练用混合音乐信号，包括：

5.如权利要求3所述的基于深度学习的伴奏提取方法，其特征在于，所述根据所述伴奏音乐信号mdft幅度谱和所述混合音乐信号mdft幅度谱，得到理想浮值掩膜，包括：

6.如权利要求1所述的基于深度学习的伴奏提取方法，其特征在于，所述歌曲pcm信号包括纯净人声信号和伴奏音乐信号。

7.如权利要求1所述的基于深度学习的伴奏提取方法，其特征在于，所述继续执行编码过程，包括：

8.一种基于深度学习的伴奏提取系统，其特征在于，包括：

9.一种计算机可读存储介质，其存储有计算机指令，其中所述计算机指令被操作以执行权利要求1-7任一项所述的基于深度学习的伴奏提取方法。

10.一种计算机设备，其包括处理器和存储器，所述存储器存储有计算机指令，其中所述处理器操作所述计算机指令以执行权利要求1-7任一项所述的基于深度学习的伴奏提取方法。

技术总结本申请公开了一种基于深度学习的伴奏提取方法、系统、存储介质及设备，属于短距离无线通信技术领域，该方法包括在无线发射端对歌曲PCM信号进行分帧，并按帧执行加窗，得到加窗信号；使用改进型离散余弦变换对加窗信号进行时频变换，得到MDCT谱系数；对加窗信号进行特征提取，得到加窗信号对应的MDFT幅度谱；将MDFT幅度谱输入预训练神经网络模型中，得到浮值掩膜；将MDCT谱系数与浮值掩膜进行点乘，得到伴奏信号的谱系数；根据伴奏信号的谱系数，继续执行编码过程，输出伴奏信号的压缩码流；在无线接收端对伴奏信号的压缩码流进行解码，得到伴奏音乐。本申请通过深度学习与音频编码相结合，在音频编码过程中提取伴奏，能够提高伴奏音乐音质，降低系统时延。技术研发人员：李强,王凌志,叶东翔,朱勇受保护的技术使用者：百瑞互联集成电路（上海）有限公司技术研发日：技术公布日：2024/6/11