一种同声传译模型训练方法、装置、设备及存储介质

本发明涉及人工智能，特别是指一种同声传译模型训练方法、装置、设备及存储介质。

背景技术：

1、机器翻译是利用计算机将一种自然语言（源语言）转换为另一种自然语言（目标语言）的过程。典型的机器翻译方案有：(1)基于词典和规则的机器翻译，依靠人工制定的词汇对应规则进行翻译，翻译质量低。(2)统计机器翻译，使用大规模平行语料训练机器翻译模型,典型方法有词对齐模型、短语基础模型等。统计机器翻译提高了翻译质量,但仍存在词序错误、意译错误等问题。(3)神经网络机器翻译,典型方法是编码器-解码器框架，使用长短期记忆网络（lstm，long short-term memory）等循环神经网络对源语言进行编码，再解码生成目标语言。提高了翻译流畅性,但仍存在无法处理长句子的问题。(4)注意力机制机器翻译，在seq2seq模型中加入注意力模块，可以建模源语言和目标语言词之间的相关性，显著提升了翻译质量。

2、文本同声传译是机器翻译技术的一种，文本同声传译根据时延策略也可以分为固定读写策略和动态读写策略。固定读写策略将输入文本划分固定大小片段后进行翻译，时延一致但容易产生语序错误。动态读写策略根据整句语义进行翻译，时延不稳定但语序正确。

3、典型的文本同传系统也采用流行的机器翻译模型，以seq2seq模型等机器学习模型为主，配合触发词预测、缓存机制等技术进行翻译。

4、当前文本同声传译系统中，固定读写策略较为常用，其典型模型是wait-k模型。然而，目前的wait-k模型在训练过程中使用最大似然估计的交叉熵作为训练目标，而在推理阶段则使用翻译质量评估指标（如bleu-4、comet等）作为推理评估目标。导致训练和推理过程之间存在不一致性，进而影响了翻译的准确性和流畅性。

5、综上所述，现有的文本同传模型存在训练和推理不一致的问题，影响翻译的准确性和流畅性。

技术实现思路

1、为了解决现有技术存在的同声传译的准确性和流畅性不高的技术问题，本发明实施例提供了一种同声传译模型训练方法、装置、设备及存储介质。所述技术方案如下：

2、一方面，提供了一种同声传译模型训练方法，该方法由同声传译模型训练设备实现，该方法包括：

3、对源语言文字序列和目标语言文字序列进行预处理；

4、初始化编码器模型参数和解码器模型参数；

5、将所述源语言文字序列输入编码器，通过编码器的多头注意力机制和前馈神经网络层，生成所述源语言文字序列的上下文表示；

6、将所述源语言文字序列的上下文发送给解码器；

7、解码器结合历史生成的目标语言文字序列和所述源语言文字序列的上下文表示，通过掩码多头注意力机制进行推理，生成候选目标语言文字序列；

8、将所述源语言文字序列和所述候选目标语言文字序列输入到解码器；

9、解码器确定每个候选目标语言文字序列在不同位置的注意力得分；

10、对所述注意力得分进行归一化处理，确定每个候选目标语言文字序列的置信度；

11、基于翻译质量评估指标，将每个候选目标语言文字序列与所述源语言文字序列进行比较，确定每个候选目标语言文字序列的质量得分；

12、将所述质量得分确定为目标函数的风险；

13、采用梯度下降优化算法，最小化目标函数，根据所述目标函数通过反向传播算法对编码器和解码器进行迭代更新，生成同声传译模型，其中，所述置信度作为迭代更新过程中的不确定性权重。

14、可选地，所述同声传译模型训练方法，还包括：

15、将待翻译的源语言序列输入所述同声传译模型的编码器；

16、所述同声传译模型的编码器生成所述待翻译的源语言序列的语义向量；

17、所述解码器根据所述语义向量与历史生成的目标语言文字序列，确定当前目标语言文字序列。

18、可选地，所述翻译质量评估指标，包括：

19、bleu、rouge、meteor。

20、可选地，所述解码器确定每个候选目标语言文字序列在不同位置的注意力得分包括：

21、解码器通过自注意力机制确定每个候选目标语言文字序列在不同位置的注意力得分。

22、可选地，所述解码器确定每个候选目标语言文字序列在不同位置的注意力得分包括：

23、解码器通过源-目标注意力机制确定每个候选目标语言文字序列在不同位置的注意力得分。

24、可选地，所述编码器为transformer结构。

25、可选地，所述解码器为transformer结构。

26、另一方面，提供了一种同声传译模型训练装置，该装置应用于同声传译模型训练方法，该装置包括：

27、预处理模块，用于对源语言文字序列和目标语言文字序列进行预处理；

28、初始化模块，用于初始化编码器模型参数和解码器模型参数；

29、上下文生成模块，用于将所述源语言文字序列输入编码器，通过编码器的多头注意力机制和前馈神经网络层，生成所述源语言文字序列的上下文表示；

30、发送模块，用于将所述源语言文字序列的上下文表示发送给解码器；

31、候选目标语言文字序列生成模块，设置在解码器中，用于结合历史生成的目标语言文字序列和所述源语言文字序列的上下文表示，通过掩码多头注意力机制进行推理，生成候选目标语言文字序列；

32、输入模块，用于将所述源语言文字序列和所述候选目标语言文字序列输入到解码器；

33、注意力得分确定模块，用于确定每个候选目标语言文字序列在不同位置的注意力得分；

34、置信度确定模块，用于对所述注意力得分进行归一化处理，确定每个候选目标语言文字序列的置信度；

35、质量得分确定模块，用于基于翻译质量评估指标，将每个候选目标语言文字序列与所述源语言文字序列进行比较，确定每个候选目标语言文字序列的质量得分；

36、目标函数确定模块，用于将所述质量得分确定为目标函数的风险；

37、模型生成模块，用于采用梯度下降优化算法，最小化目标函数，根据所述目标函数通过反向传播算法对编码器和解码器进行迭代更新，生成同声传译模型，其中，所述置信度作为迭代更新过程中的不确定性权重。

38、另一方面，提供一种同声传译模型训练设备，所述同声传译模型训练设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述同声传译模型训练方法中的任一项方法。

39、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述同声传译模型训练方法中的任一项方法。

40、本发明实施例提供的技术方案带来的有益效果至少包括：

41、本发明通过基于翻译质量评估指标，确定目标函数的风险，根据目标函数对编码器和解码器进行迭代更新，以生成同声传译模型，可以训练出翻译的准确性和流畅性更高的同声传译模型，提高翻译的准确性和流畅性。