一种剪枝可调的音频分离模型优化方法和装置

本申请涉及音频处理，尤其涉及一种剪枝可调的音频分离模型优化方法和装置。

背景技术：

1、近年来，在深度学习技术在音频分离领域的应用中，一些关键的方案已经被提出并广泛研究。例如，基于深度神经网络的端到端学习模型，如基于长短期记忆网络的音频分离系统，已显示出在处理复杂音频信号时的有效性。此外，基于注意力机制的模型也在音频分离任务中取得了显著成绩，通过关注音频信号的特定部分来提高分离质量。然而，这些方案通常存在一些共同的限制：这些模型的训练和部署过程中对硬件的要求较高，这限制了它们在移动设备或边缘计算设备上的应用，并且在运行时往往需要大量的计算资源和存储空间，使得这些模型无法在当前这种资源受限的环境使用。剪枝和量化是缩小模型体积常用的方式，然而现有技术中通常采用按比例剪枝的方式和预设的量化方法，即剪枝哪些参数、采用什么量化方式都是根据经验设置的，而非最适应于当前模型的优化方式，例如cn202210218441.3，导致模型优化效果不佳。此外，部分现有技术开始尝试从参数重要性入手，通过训练时的损失函数，将不重要的参数进行剪枝，例如cn202011006089.4，然而训练阶段的模型和使用时候的模型性能完全不同，损失函数的变化评价的是前后两次训练对模型带来的改动，即通过训练方法确定模型的剪枝范围，完全没有考虑模型实际使用过程中的状态，忽略了在实际使用的领域模型性能发生的变化，所优化的模型不是最适配于应用领域的，且单纯的筛选剪枝容易导致模型关联参数的联系被打断，反而降低了模型的性能。

技术实现思路

1、有鉴于此，本申请提供一种剪枝可调的音频分离模型优化方法和装置，用以对音频分离模型完成最佳的轻量化优化。

2、具体地，本申请是通过如下技术方案实现的：

3、本申请第一方面提供一种音频分离模型的优化方法，所述方法包括：

4、基于目标分离场景的实际待分离音频检测预训练的音频分离模型的第一性能，基于所述第一性能确定所述预训练的音频分离模型的参数的第一排序，所述第一排序为根据各个参数对所述第一性能的影响程度由低到高获得的排序；

5、根据优化目标对所述预训练的音频分离模型的参数进行聚类，获得多个参数簇；

6、基于第一冗余阈值、所述第一排序和所述多个参数簇筛选第一剪枝范围，所述第一剪枝范围为需要对所述预训练的音频分离模型进行剪枝的参数范围，其中每个参数簇中心参数被剪枝的优先级低于参数簇中其他参数；

7、基于所述第一剪枝范围对预训练的音频分离模型进行剪枝和量化，都得到第二音频分离模型；

8、基于目标分离场景的实际待分离音频检测所述第二音频分离模型的第二性能，所述第二性能与所述第一性能的性能指标不同，基于所述第二性能调整聚类参数簇和所述第一冗余阈值，返回根据优化目标对所述预训练的音频分离模型的参数进行聚类的步骤，以对所述预训练的音频分离模型重新剪枝和量化。

9、本申请第二方面提供一种音频分离模型的优化装置，所述装置包括排序模块、聚类模块、筛选模块、优化模块和调整模块；其中，

10、所述排序模块用于基于目标分离场景的实际待分离音频检测预训练的音频分离模型的第一性能，基于所述第一性能确定所述预训练的音频分离模型的参数的第一排序，所述第一排序为根据各个参数对所述第一性能的影响程度由低到高获得的排序；

11、所述聚类模块用于根据优化目标对所述预训练的音频分离模型的参数进行聚类，获得多个参数簇；

12、所述筛选模块用于基于第一冗余阈值、所述第一排序和所述多个参数簇筛选第一剪枝范围，所述第一剪枝范围为需要对所述预训练的音频分离模型进行剪枝的参数范围，其中每个参数簇中心参数被剪枝的优先级低于参数簇中其他参数；

13、所述优化模块用于基于所述第一剪枝范围对预训练的音频分离模型进行剪枝和量化，都得到第二音频分离模型；

14、所述调整模块用于基于目标分离场景的实际待分离音频检测所述第二音频分离模型的第二性能，所述第二性能与所述第一性能的性能指标不同，基于所述第二性能调整聚类参数簇和所述第一冗余阈值，由所述聚类模块重新对参数进行聚类。

15、本申请提供的剪枝可调的音频分离模型优化方法和装置，在传统的剪枝、量化模型优化方法下，通过模型实际使用场景中的性能评估不断优化求解剪枝的参数范围和参数本身，同时，也通过模型性能和量化效率匹配最优的量化方法，实现了自动自适应剪枝和量化，同时兼顾了模型性能和模型体积，即可以在保证音频分离模型性能与鲁棒性的前提下，减少音频分离模型的体积和计算需求，同时兼具更低的精度损失和更高的模型压缩率。本发明参考模型使用时的性能信息，同时融合了聚类、自适应剪枝和最优量化三种方式对模型的体积进行优化，获得较小的模型同时保证了模型的性能满足待应用场景的需求。此外，三种方式的结果又是相互影响和作用的，提高了模型体积轻量化的效果，具体来说，剪枝和量化是在聚类的基础上进行的，一个聚类簇中仅部分参数被剪枝，实现了从相类似的参数中选择部分进行剪枝的效果，通过实现聚类为剪枝提供了指引，避免将关联参数进行剪枝，完全打断了参数之间的关联，同时也避免保留过多重复作用的参数，提高了剪枝的科学性；量化又是在剪枝的结果上进行的，基于剪枝和量化的结果反馈调整剪枝和量化的范围、方法，因此，本发明通过将三种方式的输出结果不断融合利用的方式，进一步提高了模型轻量化的程度，提高了模型优化的科学性、准确性。

技术特征：

1.一种剪枝可调的音频分离模型优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，基于第一冗余阈值、所述第一排序和所述多个参数簇筛选第一剪枝范围，具体包括：

3.根据权利要求1所述的方法，其特征在于，根据优化目标对所述预训练的音频分离模型的参数进行聚类，获得多个参数簇，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述基于gapstatistic确定最优聚类簇数，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一剪枝范围对预训练的音频分离模型进行剪枝和量化，都得到第二音频分离模型，具体包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述第二性能调整聚类参数簇和所述第一冗余阈值，具体包括：

7.根据权利要求1所述的方法，其特征在于，所述基于目标分离场景的实际待分离音频检测预训练的音频分离模型的第一性能，基于所述第一性能确定所述预训练的音频分离模型的参数的第一排序，具体包括：

8.根据权利要求1所述的方法，其特征在于，所述基于第一冗余阈值、所述第一排序和所述多个参数簇筛选第一剪枝范围之前，所述方法还包括：

9.根据权利要求5所述的方法，其特征在于，所述根据所述第一音频分离模型的参数量级匹配最优量化方式，具体包括：

10.一种剪枝可调的音频分离模型优化装置，其特征在于，所述装置包括排序模块、聚类模块、筛选模块、优化模块和调整模块；其中，

技术总结本申请提供一种剪枝可调的音频分离模型优化方法和装置。包括：基于所述第一性能确定所述预训练的音频分离模型的参数的第一排序；根据优化目标对所述预训练的音频分离模型的参数进行聚类，获得多个参数簇；基于第一冗余阈值、所述第一排序和所述多个参数簇筛选第一剪枝范围；基于所述第一剪枝范围对预训练的音频分离模型进行剪枝和量化，都得到第二音频分离模型；检测所述第二音频分离模型的第二性能，基于所述第二性能调整聚类参数簇和所述第一冗余阈值，对所述预训练的音频分离模型重新剪枝和量化。本申请不断调整剪枝和量化的尺度，自适应实现剪枝、量化程度的调整，从而实现音频分离模型的最佳优化效果，保证音频分离效果，同时优化模型体积。技术研发人员：周若华,张巍受保护的技术使用者：北京建筑大学技术研发日：技术公布日：2024/4/22