基于元学习任务一致性的低资源语音识别模型训练方法

本发明涉及人工智能语音识别，特别涉及一种基于元学习任务一致性的低资源语音识别模型训练方法。

背景技术：

1、多语迁移学习在训练过程中对不同语言的交互较少，它重在多个语言知识对目标语言的知识补充。因此，迁移学习对目标语言的泛化性不强，其在少样本的情况下效果往往有限。元学习是人工智能中一种专门的学习范式，传统的深度学习方法中是从头开始学习训练，对算力和时间有更大的消耗和考验；而元学习与传统的深度学习方法不同，其强调从不同的若干小任务/小样本来学习一个对未知样本未知类别，有较好的判别和泛化能力。因元学习能够学习一个好的初始化使模型具备对新任务快速适应的能力，其已应用到人脸识别、语音识别、机器翻译、对话系统等诸多领域。元学习在多语言学习中追求高层次的共享特征，模型能够更好地理解和捕捉任务之间的关联性，提高整体学习能力。因此，多语元学习在少样本的情况下展现出更快的适应能力和更好的效果。但是在多语元学习中，一个常见的问题是任务冲突。不同的语言来自不同的地区，具有不同的文化特色、发音系统等，这些差异导致在元学习过程中任务梯度方向会产生差异。而这种不同语言学习方向的区别会导致对模型有限资源的有害竞争，从而导致了任务冲突问题。目前的研究主要集中在解决任务不平衡、训练不稳定和低效率学习等问题，而对于任务冲突问题没有很好的解决方案。

技术实现思路

1、针对不同语言任务之间的区别导致模型有限资源的有害竞争引起的任务冲突问题，本发明提供一种基于元学习的任务一致性的低资源语音识别模型训练方法及对应的语音识别方法和系统，解决现有语音识别学习训练中的任务冲突问题，提升模型训练效果。

2、按照本发明所提供的设计方案，一方面，提供一种基于元学习任务一致性的低资源语音识别模型训练方法，包含：

3、将语音识别元学习任务样本数据按语种划分为对应语种元学习任务下的训练集和验证集，将每个语种元学习的训练集和验证集再依次分成支持集和查询集；

4、构建语音识别模型，并通过遍历样本数据中每个语种，基于训练集对每个语种下元学习任务中的语音识别模型进行训练，其中，训练过程中，基于训练集中的支持集进行模型训练并获取任务梯度方向，利用梯度一致性算法计算各任务的权重，基于训练集中对应的查询集和对应的任务权重更新模型参数；

5、基于对应的验证集数据对训练后的语音识别模型进行测试，利用测试性能最优的模型参数配置目标语音识别模型。

6、作为本发明基于元学习的任务一致性的低资源语音识别模型训练方法，进一步地，所述语音识别模型包括：用于提取输入数据特征的vgg卷积网络，和用于对特征进行编码并识别处理的transformer模型。

7、作为本发明基于元学习任务一致性的低资源语音识别模型训练方法，进一步地，基于训练集对每个语种下元学习任务中的语音识别模型进行训练，包含：

8、设置最大迭代训练轮次，并在每次迭代训练过程中，基于当前遍历语种的元学习任务支持集数据对语音识别模型进行训练，在训练中基于模型训练损失更新模型参数获取对应元学习任务的模型参数梯度；基于各元学习任务的模型参数梯度获取任务梯度方向；基于对应语种元学习任务的查询集数据测试模型识别性能并获取该元学习任务的查询集损失，利用梯度一致性并基于任务梯度方向调整该元学习任务模型参数更新权重，基于该元学习任务的查询集损失及调整后的元学习任务模型参数更新权重再次更新模型参数，直至满足最大迭代训练轮次，将最后一次迭代训练中参数更新后的模型作为训练后的语音识别模型。

9、作为本发明基于元学习任务一致性的低资源语音识别模型训练方法，进一步地，获取任务梯度方向的过程，包含：

10、首先，在训练过程获取各元学习任务的模型参数梯度；

11、然后，对所有元学习任务的模型参数梯度进行平均计算，平均计算公式表示为：gi为第i个元学习任务的模型参数梯度，n为对应样本数据中语种类别的元学习任务总数。

12、作为本发明基于元学习任务一致性的低资源语音识别模型训练方法，进一步地，在训练过程获取各元学习任务的模型参数梯度中，还包含：基于网络模型结构中所有层的梯度，将最后一层的输出层梯度作为用于计算任务梯度方向的模型参数梯度。

13、作为本发明基于元学习任务一致性的低资源语音识别模型训练方法，进一步地，利用平均梯度与每个任务的梯度一致性调整各元学习任务权重，包含：

14、将对应元学习任务的模型参数梯度与任务梯度方向进行内积运算，以该内积运算结果作为对应元学习任务的权重。

15、作为本发明基于元学习任务一致性的低资源语音识别模型训练方法，进一步地，利用梯度一致性调整第i个元学习任务权重ωi的过程表示为：

16、进一步地，本发明还提供一种基于元学习任务一致性的低资源语音识别方法，包含：

17、基于上述的模型训练方法训练语音识别模型，将语音识别模型的初始模型参数调整为与目标语音类型匹配的目标模型参数；

18、利用配置有目标模型参数的语音识别模型识别目标语音类型下的目标语音。

19、进一步地，本发明还提供一种基于元学习任务一致性的低资源语音识别系统，包含：模型训练模块和语音识别模块，其中，

20、模型训练模块，基于上述的模型训练方法训练语音识别模型，将语音识别模型的初始模型参数调整为与目标语音类型匹配的目标模型参数；

21、语音识别模块，用于利用配置有目标模型参数的语音识别模型识别目标语音类型下的目标语音。

22、本发明的有益效果：

23、本发明将梯度一致算法引入语音识别的模型学习训练中，能够较好的解决元学习中的任务冲突问题，能够获得较好的语音识别预训练模型，从而在低资源语音识别上获得更好的判别和泛化能力；并进一步针对语音信号的稀疏特性及噪声干扰，将靠近模型输出层的梯度作为学习权重，极大节省模型学习训练中的运算及存储开销，便于实际应用场景中的部署。

技术特征：

1.一种基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，包含如下内容：

2.根据权利要求1所述的基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，所述语音识别模型包括：用于提取输入数据特征的vgg卷积网络，和用于对特征进行编码并识别处理的transformer模型。

3.根据权利要求1所述的基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，基于训练集对每个语种下元学习任务中的语音识别模型进行训练，包含：

4.根据权利要求1或3所述的基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，获取任务梯度方向的过程，包含：

5.根据权利要求4所述的基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，在训练过程获取各元学习任务的模型参数梯度中，还包含：基于网络模型结构中所有层的梯度，将最后一层的输出层梯度作为用于计算任务梯度方向的模型参数梯度。

6.根据权利要求4所述的基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，利用梯度一致性调整各元学习任务权重，包含：

7.根据权利要求5所述的基于元学习任务一致性的低资源语音识别模型训练方法，其特征在于，利用梯度一致性调整第i个元学习任务权重ωi的过程表示为：

8.一种基于元学习任务一致性的低资源语音识别方法，其特征在于，包含如下内容：

9.一种基于元学习任务一致性的低资源语音识别系统，其特征在于，包含：模型训练模块和语音识别模块，其中，

10.一种电子设备，其特征在于，包括：

技术总结本发明涉及人工智能语音识别技术领域，特别涉及一种基于元学习任务一致性的低资源语音识别模型训练方法，将样本数据按语种划分为训练集和验证集，将每个语种元学习的训练集和验证集再依次分成支持集和查询集；构建语音识别模型，并通过遍历样本数据中每个语种，基于训练集对每个语种下元学习任务中的语音识别模型进行训练，其中，基于支持集进行模型训练并获取任务梯度方向，利用梯度一致性调整各元学习任务权重，基于对应查询集和元学习任务权重更新模型参数；基于验证集数据对训练后的语音识别模型进行测试，利用测试性能最优的模型参数配置目标语音识别模型。本发明能够解决现有语音识别学习训练中的任务冲突问题，提升语音识别模型训练效果。技术研发人员：屈丹,陈雅淇,张昊,张文林,杨绪魁,牛铜,彭思思受保护的技术使用者：中国人民解放军战略支援部队信息工程大学技术研发日：技术公布日：2024/1/25