数据处理方法、装置、设备和存储介质与流程

本技术涉及模型训练，具体涉及一种数据处理方法、装置、设备和存储介质。

背景技术：

1、目前，随着人工智能中自然语言处理领域逐渐成熟，自然语言处理中的机器翻译也在各行业得以广泛应用，机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程，常见的机器翻译模型为编码器—解码器结构。然而现有的机器翻译模型依赖数据驱动，需要大量平行语料，泛化能力不足，并且在训练过程中依赖于训练集对监督学习技术的分类的准确性，从而导致训练和推理不一致，影响机器翻译模型训练准确性和泛化能力。

技术实现思路

1、本技术实施例提供一种数据处理方法、装置、设备和存储介质，旨在解决现有技术中翻译模型训练准确性和泛化能力较差的技术问题。

2、一方面，本技术实施例提供一种数据处理方法，所述数据处理方法包括以下步骤：

3、将原始训练语料输入预设的初始翻译模型进行编码，得到编码输出数据，根据所述编码输出数据计算第一对比损失，所述初始翻译模型为包含多个编码器的机器翻译模型；

4、将所述原始训练语料和所述编码输出数据输入所述初始翻译模型进行解码，得到解码输出数据，根据所述解码输出数据计算第二对比损失；

5、根据所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型，所述目标翻译模型为联合训练完成后用于将目标语料转换为等价语义的目标翻译文本的初始翻译模型。

6、在本技术一种可能的实现方式中，所述根据所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型，包括：

7、根据所述初始翻译模型中第一损失函数的训练步数、所述第一对比损失和预设超参数计算所述第一损失函数的第一权重；

8、根据所述初始翻译模型中第二损失函数的训练步数、所述第二对比损失和预设超参数计算所述第二损失函数的第二权重；

9、按照所述第一权重对所述第一损失函数进行加权，得到第一加权损失函数，按照所述第二权重对所述第二损失函数进行加权，得到第二加权损失函数；

10、根据所述第一加权损失函数、所述第二加权损失函数和所述初始翻译模型中的模型损失函数进行计算所述初始翻译模型的目标损失函数；

11、根据所述目标损失函数、所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型。

12、在本技术一种可能的实现方式中，所述根据所述目标损失函数、所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型，包括：

13、根据所述第一对比损失对所述初始翻译模型中的编码器进行参数更新，得到更新编码器；

14、根据所述第二对比损失对所述初始翻译模型中的解码器进行参数更新，得到更新解码器；

15、根据所述目标损失函数和所述原始训练语料对所述初始翻译模型进行训练，得到更新翻译模型；

16、根据所述更新翻译模型、所述更新编码器和所述更新解码器生成所述目标翻译模型。

17、在本技术一种可能的实现方式中，所述将所述原始训练语料和所述编码输出数据输入所述初始翻译模型进行解码，得到解码输出数据，包括：

18、对所述原始训练语料和所述编码输出数据进行解码，得到初始输出向量，对所述初始输出向量进行概率分布采样，得到目标采样词，以及所述目标采样词的候选替换序列；

19、根据所述初始输出向量的当前训练步数和预设训练步数计算所述候选替换序列的替换概率；

20、获取替换概率超过预设概率阈值的目标替换序列，根据所述目标采样词和目标替换序列对所述原始训练语料进行替换，得到增强训练语料；

21、将所述增强训练语料和所述编码输出数据输入所述初始翻译模型中的解码器进行解码，得到解码输出数据。

22、在本技术一种可能的实现方式中，所述编码器包括第一编码器和第二编码器，所述将原始训练语料输入预设的初始翻译模型进行编码，得到编码输出数据，包括：

23、根据所述初始翻译模型中第一编码器，以及所述第一编码器的第一随机失活参数对所述原始训练语料进行编码，得到第一编码数据；

24、根据所述初始翻译模型中第二编码器，以及所述第二编码器的第二随机失活参数对所述原始训练语料进行编码，得到第二编码数据；

25、将所述第一编码数据和所述第二编码数据输入所述初始翻译模型中预设的池化层进行池化处理，得到所述编码输出数据。

26、在本技术一种可能的实现方式中，所述根据所述编码输出数据计算第一对比损失，包括：

27、获取所述初始翻译模型的目标训练批次，以及所述目标训练批次的训练语句总数量，以及非填充语料数量；

28、根据所述非填充语料数量和所述训练语句总数量计算目标比例系数；

29、获取所述编码输出数据中的目标语句对，并计算所述目标语句对的语句相似度，根据所述语句相似度和预设指示函数计算所述目标语句对的对比损失；

30、根据所述目标比例系数、所述训练语句总数量和所述对比损失生成第一损失函数，根据所述第一损失函数和所述编码输出数据计算所述第一对比损失。

31、在本技术一种可能的实现方式中，所述根据所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型之后，还包括：

32、响应语料翻译请求，获取所述语料翻译请求中待翻译的目标语料；

33、将所述目标语料分别输入所述目标翻译模型中的第一编码器和第二编码器进行编码，得到目标编码数据；

34、将所述目标编码数据和所述目标语料输入所述目标翻译模型中的解码器进行解码，得到目标翻译文本。

35、另一方面，本技术提供一种数据处理装置，所述数据处理装置包括：

36、编码训练模块，被配置为将原始训练语料输入预设的初始翻译模型进行编码，得到编码输出数据，根据所述编码输出数据计算第一对比损失，所述初始翻译模型为包含多个编码器的机器翻译模型；

37、解码训练模块，被配置为将所述原始训练语料和所述编码输出数据输入所述初始翻译模型进行解码，得到解码输出数据，根据所述解码输出数据计算第二对比损失；

38、联合训练模块，被配置为根据所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型，所述目标翻译模型为联合训练完成后的初始翻译模型。

39、另一方面，本技术还提供一种数据处理设备，所述数据处理设备包括：

40、一个或多个处理器；

41、存储器；以及

42、一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的数据处理方法。

43、另一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的数据处理方法中的步骤。

44、本技术中通过将原始训练语料输入预设的初始翻译模型进行编码，得到编码输出数据，根据所述编码输出数据计算第一对比损失；将所述原始训练语料和所述编码输出数据输入所述初始翻译模型进行解码，得到解码输出数据，根据所述解码输出数据和所述初始翻译模型计算第二对比损失；根据所述第一对比损失和所述第二对比损失对所述初始翻译模型进行联合训练，得到目标翻译模型，从而实现在模型训练过程中通过二阶段对比学习算法拉近训练语料中同义句距离，提升编码器的句子表征能力，从而提升机器翻译模型训练后的翻译性能，并通过联合训练提高模型的泛化能力。