针对网络音频丢包的低延迟修复和隐藏方法及其设备与流程

本发明涉及音频修复，尤其涉及一种针对网络音频丢包的低延迟修复和隐藏方法及其设备。

背景技术：

1、网络音乐直播旨在通过电信网络使远程音乐家可以互动并共同演出，从而彻底改变传统的音乐交互概念。然而，由于其对音频质量和网络延迟方面的极其严格的要求，为了最大限度地减少音频传输的端到端延迟，nmp应用程序的典型实现是使用未压缩的双向音频流，并利用udp作为传输协议。由于udp无连接且不可靠，因此通过udp传输的音频数据包在传输过程中有丢失的风险，且不会重新传输，因此会导致接收器的音频播放出现故障。

技术实现思路

1、本发明的目的在于提供一种针对网络音频丢包的低延迟修复和隐藏方法及其设备，旨在解决现有技术中的由于udp无连接且不可靠，因此通过udp传输的音频数据包在传输过程中有丢失的风险，且不会重新传输，因此会导致接收器的音频播放出现故障的技术问题。

2、为实现上述目的，本发明采用的一种针对网络音频丢包的低延迟修复和隐藏方法，包括如下步骤：

3、频谱表示：使用短时傅里叶变换将音频信号分成多个时间段，并在每个时间段内计算其频谱表示；

4、时域表示：在每个时间段中，使用自回归模型以及循环神经网络模型对其进行建模和预测；

5、频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测；

6、预测合并：对于每个时间段的每个频谱子带，将时域和频域的预测结果进行合并，得到完整的音频信号预测结果。

7、其中，在频谱表示：使用短时傅里叶变换将音频信号分成多个时间段，并在每个时间段内计算其频谱表示的步骤中：

8、在计算频谱时，根据所需的预测精度和计算复杂度选择窗口大小和重叠率。

9、其中，在时域表示：在每个时间段中，使用自回归模型以及循环神经网络模型对其进行建模和预测的步骤中：

10、在建模时，将已知的音频数据作为输入，将丢失的音频数据作为标签，以监督学习的方式进行模型训练。

11、其中，在时域表示：在每个时间段中，使用自回归模型以及循环神经网络模型对其进行建模和预测的步骤中：

12、在预测时，利用已知的音频数据和模型参数，通过计算预测误差得到丢失的音频数据。

13、其中，在频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测的步骤中：

14、在建模时，将已知的频谱数据作为输入，将丢失的音频数据作为标签，以监督学习的方式进行模型训练。

15、其中，在频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测的步骤中：

16、在预测时，利用已知的频谱数据和模型参数，通过计算预测误差得到丢失的音频数据。

17、其中，在频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测的步骤中：

18、使用卷积神经网络，将100*200*3光谱时间表示作为输入并生成512维矢量；

19、利用卷积神经网络合成一个有效的数据包，以卷积神经网络从过去的信号历史中提取的潜在代码为条件，将大小为128的前一个有效数据包与大小为512的过去光谱时间内容的潜在代码进行连接。

20、本发明还提供一种针对网络音频丢包的低延迟修复和隐藏设备，采用于所述针对网络音频丢包的低延迟修复和隐藏方法，包括负责训练深度学习模型，用于实现音频数据丢包的修复和隐藏的模型训练模块；

21、负责对音频数据进行加密保护，以保护音频数据的隐私的数据加密模块；

22、负责实现音频数据的修复和隐藏的音频修复模块。

23、本发明的一种针对网络音频丢包的低延迟修复和隐藏方法及其设备，通过将音频信号转换为频谱表示，然后使用自回归模型或循环神经网络模型对其进行建模和预测；同时，对于每个频谱子带，可以使用卷积神经网络模型进行建模和预测，最后将时域和频域的预测结果进行合并，得到完整的音频信号预测结果。通过这种混合方法，可以充分利用频谱和时域信号的特点，提高预测精度和鲁棒性；实现实时隐藏错误的能力有助于减轻丢包造成的音频损伤，从而提高现实场景中音频播放的质量。

技术特征：

1.一种针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，包括如下步骤：

2.如权利要求1所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，在频谱表示：使用短时傅里叶变换将音频信号分成多个时间段，并在每个时间段内计算其频谱表示的步骤中：

3.如权利要求1所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，在时域表示：在每个时间段中，使用自回归模型以及循环神经网络模型对其进行建模和预测的步骤中：

4.如权利要求3所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，在时域表示：在每个时间段中，使用自回归模型以及循环神经网络模型对其进行建模和预测的步骤中：

5.如权利要求1所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，在频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测的步骤中：

6.如权利要求5所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，在频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测的步骤中：

7.如权利要求1所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，在频域表示：对于每个频谱子带，使用卷积神经网络对其进行建模和预测的步骤中：

8.一种针对网络音频丢包的低延迟修复和隐藏设备，采用于如权利要求1所述的针对网络音频丢包的低延迟修复和隐藏方法，其特征在于，

技术总结本发明涉及音频修复技术领域，具体涉及一种针对网络音频丢包的低延迟修复和隐藏方法及其设备；使用短时傅里叶变换将音频信号分成多个时间段，并在每个时间段内计算其频谱表示；使用自回归模型以及循环神经网络模型对其进行建模和预测；使用卷积神经网络对其进行建模和预测；将时域和频域的预测结果进行合并，得到完整的音频信号预测结果；在针对网络音频丢包的低延迟修复和隐藏设备中，包括模型训练模块、数据加密模块和音频修复模块；通过上述方式，实现实时隐藏错误的能力有助于减轻丢包造成的音频损伤，从而提高现实场景中音频播放的质量。技术研发人员：赵胜,丁卓受保护的技术使用者：南京龙垣信息科技有限公司技术研发日：技术公布日：2024/2/8