基于数据选择网络的多领域自适应神经机器翻译方法

技术特征：
1.基于数据选择网络的多领域自适应神经机器翻译方法，其特征在于：所述基于数据选择网络的多领域自适应神经机器翻译方法的具体步骤如下：step1、收集训练数据集，使用工具对数据进行分词、字节对处理操作，对训练数据添加领域标签，在句子级层面进行词嵌入处理；step2、在transformer模型的基础上，增加一个由两层全连接感知层构成的数据选择网络，在双层优化技术的基础上采用最小化风险训练更新模型和数据选择器参数；step3、平衡训练过程中各个领域的数据，最终获得一个统一的翻译性能好的多领域神经机器翻译模型进行翻译。2.根据权利要求1所述的基于数据选择网络的多领域自适应神经机器翻译方法，其特征在于：所述step 1的具体步骤为：在wmt、ccmt及um-corpus网站下载通用数据集及领域数据集，使用sentencespiece、stanford nlp及moses tokenizer工具对数据进行分词、字节对处理操作，完成数据预处理；使用dts、pad、unk和eos标签做标记，得到由领域标签嵌入和词嵌入组成的源语言和目标语言句子集，获取领域的特征信息。3.根据权利要求1所述的基于数据选择网络的多领域自适应神经机器翻译方法，其特征在于：所述step2包括：在transformer模型的基础上，增加一个由两层全连接感知层构成的数据选择网络，得到初始的基于数据选择网络的多领域自适应神经机器翻译模型；在训练过程中，使用最小化风险训练为每个领域单独使用验证集数据来选择最佳模型；由于在多领域nmt中，所有领域的性能都需要进行优化，则能将这个目标规范化为最小化验证风险的平均值；然后使用基于强化学习的奖励函数对数据选择网络进行参数更新，通过从训练数据和验证集中计算得到的每一个之间的梯度对齐奖励，取这些对齐奖励的平均值作为最终奖励，保证奖励函数的保真度和数据选择网络的稳定性；最后利用双层优化技术不断迭代更新模型和数据选择网络的参数。4.根据权利要求1或3所述的基于数据选择网络的多领域自适应神经机器翻译方法，其特征在于：所述step2的具体步骤为：step2.1、在transformer模型的基础上，增加一个由两层全连接感知层构成的数据选择网络，得到初始的基于数据选择网络的多领域自适应神经机器翻译模型；其中transformer的编码器和解码器均为6层；step2.2、在训练过程中，通过小批量输入训练集数据d
train
，采用最小化风险训练，得到最优模型参数θ，则训练集数据d
train
服从分布为(x,y∈d
tiain
)～p(x,y；θ)，在最小化风险训练中，随机采样训练集样本，得到第i个句对<x
(i)
,y
(i)
>，y为模型的预测值，计算出预测值y和标准值y
(i)
之间的差异程度，记作损失l(x,y；θ)＝δ(y,y
(i)
)，从而寻找一组最优参数使得模型在训练集d
train
上损失的期望值最小：其中
针对特定语言对的多领域神经机器翻译，在不丢失通用领域翻译性能的前提下，能够对多个领域术语及文本风格精确翻译；为了达到上述目的，将训练集数据表示为则特定领域i的训练集数据服从分布为并且某个领域的最小化风险可根据公式(1)推断出为于是多领域nmt整体的训练目标定义为：其中在多领域神经机器翻译，每个领域都需要使用自身的验证集数据在多领域神经机器翻译，每个领域都需要使用自身的验证集数据来选择最佳模型；并且多领域nmt的目的是优化所有领域的性能，则将这个目标规范化为最小化验证风险r
valid
(θ,d
valid
)的平均值，即：为了能够最小化验证风险的平均值r
valid
(θ,d
valid
)，数据选择网络p(x,y；ψ)通过双层优化技术构建，其中ψ为数据选择网络的参数；训练数据经过数据选择网络随机采样并加权，最后利用验证集数据来优化模型性能，由此在等式(2)中的整体训练目标改写成：ψ
*
＝argmin
ψ
r
valid
(θ
*
(ψ),d
valid
)，
ꢀꢀꢀꢀꢀꢀ
(4)其中θ
*
(ψ)＝argmin
θ
r
multi-domain
(θ,d
train
)；ψ参数化的数据选择网络p(x,y；ψ)根据多领域nmt的训练数据集采样分布进行初始化，其表达式为：同时整个训练过程中不断迭代优化θ和ψ，其中θ的更新规则为：其中t为整个训练过程中的轮次数，为θ的梯度；step2.3、使用基于强化学习的奖励函数j(x
i
,y
i
；θ
t
)更新数据选择网络p(x,y；ψ)，计算训练数据与n个验证集之间的梯度对齐奖励，然后对这些奖励值进行平均操作，得到的平均奖励值作为最终奖励，从而确保奖励函数的保真度和防止数据选择网络的过大波动，其公式表达如下：其中cos(
·
)函数是计算两个向量之间的cosine相似度；奖励函数表明选用验证集中加权数据的梯度相似性越高，更新数据选择网络的效果越好，根据强化算法，数据选择网络ψ的更新规则如下：
其中t为整个训练过程中的轮次数，为ψ的梯度。

技术总结
本发明提供基于数据选择网络的多领域自适应神经机器翻译方法。现有方法通常混合多个领域数据在单个模型上实现多领域翻译，但通常忽略通用领域和特定领域二者训练数据极不平衡现象导致的模型翻译性能下降问题。在此本发明先在基于Transformer的架构下添加一个数据选择网络，同时在利用双层优化技术的基础上通过最小化风险训练来同步更新数据选择网络和模型参数。本发明对通用领域数据和多个特定领域数据做到了有效平衡，解决了对于多个特定领域数据混合会造成模型翻译性能下降的问题。实验结果表明：在多领域神经机器翻译中，本发明从英语到德语和汉语到英语的BLEU值相比基线模型，分别平均提高了1.55和1.09。分别平均提高了1.55和1.09。分别平均提高了1.55和1.09。


技术研发人员：余正涛 徐金磊 文永华 黄双宏
受保护的技术使用者：昆明理工大学
技术研发日：2022.06.14
技术公布日：2022/9/13