文本复述模型的训练方法、文本复述方法和装置与流程

1.本说明书涉及人工智能领域，尤其涉及一种文本复述模型的训练方法、文本复述方法和装置。


背景技术：

2.文本复述是指在保持语义不变的情况下，改变文本的表述方式。文本复述在机器翻译、信息检索、问答系统等领域有着广泛的应用。如何提高文本复述的多样性与准确性已成为亟待解决的技术问题。


技术实现要素：

3.有鉴于此，本说明书提供一种文本复述模型的训练方法、文本复述方法和装置。
4.具体地，本说明书是通过如下技术方案实现的：
5.一种文本复述模型的训练方法，包括：
6.获取训练文本对，所述训练文本对包括原始训练文本和复述训练文本；
7.为所述复述训练文本生成词汇控制条件和语法控制条件；
8.将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本；
9.基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练；
10.其中，所述文本复述模型包括预训练的语言模型和解码器，所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编码，输出所述原始训练文本的语义表征向量，所述解码器用于基于所述语义表征向量进行复述文本的预测，输出复述预测文本。
11.可选的，所述语法控制条件为复述样例文本；
12.所述为所述复述训练文本生成语法控制条件，包括：
13.为所述复述训练文本生成截断线性化成分树lct；
14.在范例字典中查找所述截断lct匹配的复述样例文本，作为所述复述训练文本的语法控制条件；其中，所述范例字典中包括截断lct与复述样例文本之间的映射关系。
15.可选的，所述在范例字典中查找所述截断lct匹配的复述样例文本，包括：
16.计算所述复述训练文本的截断lct与所述范例字典中各截断lct之间的语法编辑距离；
17.将所述范例字典中计算得到最小语法编辑距离的截断lct对应的复述样例文本确定为所述匹配的复述样例文本。
18.可选的，所述范例字典的生成方法，包括：
19.为各训练文本对中的复述训练文本生成截断lct，得到截断lct和复述训练文本之间的映射关系；
20.针对每个截断lct，在所述截断lct对应多个复述训练文本的情况下，从中选择一个复述训练文本作为复述样例文本；在所述截断lct对应一个复述训练文本的情况下，将所述复述训练文本确定为复述样例文本；
21.基于所述截断lct与所述复述样例文本之间的映射关系生成范例字典。
22.可选的，所述为所述复述训练文本生成截断lct，包括：
23.为所述复述训练文本生成lct；
24.过滤掉所述lct中叶子节点词性，得到截断lct。
25.可选的，所述为所述复述训练文本生成词汇控制条件，包括：
26.采用关键词抽取算法从所述复述训练文本中抽取出关键词，作为所述复述训练文本的词汇控制条件。
27.可选的，所述语法控制条件包括：所述复述训练文本的词性标注、lct、语法框架模板和复述样例文本中的一种，所述文本复述模型对应于所述语法控制条件。
28.一种文本复述方法，包括：
29.获取待复述文本和所述待复述文本的控制条件；
30.将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果；
31.其中，所述文本复述模型基于前述方法训练。
32.可选的，所述控制条件包括词汇控制条件和语法控制条件，所述已训练的文本复述模型与所述语法控制条件对应。
33.一种文本复述模型的训练装置，包括：
34.样本获取单元，获取训练文本对，所述训练文本对包括原始训练文本和复述训练文本；
35.条件生成单元，为所述复述训练文本生成词汇控制条件和语法控制条件；
36.模型输入单元，将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本；
37.参数更新单元，基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练；
38.其中，所述文本复述模型包括预训练的语言模型和解码器，所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编码，输出所述原始训练文本的语义表征向量，所述解码器用于基于所述语义表征向量进行复述文本的预测，输出复述预测文本。
39.一种文本复述装置，包括：
40.文本获取单元，获取待复述文本和所述待复述文本的控制条件；
41.文本复述单元，将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果；
42.其中，所述文本复述模型基于前述方法训练。
43.一种文本复述模型的训练装置，包括：
44.处理器；
45.用于存储机器可执行指令的存储器；
46.其中，通过读取并执行所述存储器存储的与文本复述模型的训练逻辑对应的机器可执行指令，所述处理器被促使：
47.获取训练文本对，所述训练文本对包括原始训练文本和复述训练文本；
48.为所述复述训练文本生成词汇控制条件和语法控制条件；
49.将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本；
50.基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练；
51.其中，所述文本复述模型包括预训练的语言模型和解码器，所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编码，输出所述原始训练文本的语义表征向量，所述解码器用于基于所述语义表征向量进行复述文本的预测，输出复述预测文本。
52.一种文本复述装置，包括：
53.处理器；
54.用于存储机器可执行指令的存储器；
55.其中，通过读取并执行所述存储器存储的与文本复述逻辑对应的机器可执行指令，所述处理器被促使：
56.获取待复述文本和所述待复述文本的控制条件；
57.将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果；
58.其中，所述文本复述模型基于前述方法训练。
59.采用上述实施方式，本说明书在训练文本复述模型时，将复述训练文本的词汇控制条件和语法控制条件作为文本复述模型的输入，使得文本复述模型可以所述词汇控制和语法控制条件为约束来进行复述文本的预测。结合词汇控制条件和语法控制条件进行模型训练，可兼顾文本复述过程中的词汇替换和语法变换，训练得到的文本复述模型可提高文本复述的多样性与准确性。另一方面，本说明书采用预训练的语言模型和解码器构建文本复述模型，可兼容目前主流的预训练语言模型，通用性更好。
附图说明
60.图1是本说明书一示例性实施例示出的一种文本复述模型的训练方法的流程示意图。
61.图2是本说明书一示例性实施例示出的一种文本复述模型的框架示意图。
62.图3是本说明书一示例性实施例示出的另一种文本复述模型的训练方法的示意图。
63.图4是本说明书一示例性实施例示出的一种范例字典的生成方法的流程示意图。
64.图5是本说明书一示例性实施例示出的一种为复述训练文本生成复述样例文本的流程示意图。
65.图6是本说明书一示例性实施例示出的一种文本复述方法的流程示意图。
66.图7是本说明书一示例性实施例示出的一种文本复述模型的训练装置所在电子设
备的一种硬件结构图。
67.图8是本说明书一示例性实施例示出的一种文本复述模型的训练装置的框图。
68.图9是本说明书一示例性实施例示出的一种文本复述装置的框图。
具体实施方式
69.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
70.在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
71.应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
72.文本复述是指在保持语义不变的情况下，改变文本的表述方式。文本复述在机器翻译、信息检索、问答系统等领域有着广泛的应用。
73.文本复述可包括词汇上的替换，即利用近义词替换原始文本中的指定词汇。文本复述还可包括语法结构上的变换，例如，将主动语态的原始文本转换为被动语态等。然而，目前的文本复述仅关注词汇或者语法结构上的变换，无法满足用户多样性与准确性的需求。
74.本说明书提供一种文本复述模型的训练方案，采用本说明书训练的文本复述模型进行文本复述，可同时解决文本复述多样性和准确性问题。
75.图1是本说明书一示例性实施例示出的一种文本复述模型的训练方法的流程示意图。
76.请参考图1，所述文本复述模型的训练方法可包括如下步骤：
77.步骤102，获取训练文本对，所述训练文本对包括原始训练文本和复述训练文本。
78.在本说明书中，可先获取用于训练文本复述模型的样本，所述样本通常由用于训练的文本对组成，每一训练文本对包括原始训练文本和其对应的复述训练文本。
79.例如，原始训练文本为“no one’s home？”，对应的复述训练文本可以为“is anyone home？”。
80.再例如，原始训练文本为“there was a picture of the revolving earth that have emerged.”，对应的复述训练文本可以为“a picture of the rotating earth showed up.”81.在本说明书中，所述原始训练文本和其对应的复述训练文本可以是句子，也可以是短语。所述原始训练文本和其对应的复述训练文本的语种通常相同，可以是前述例子中
的英文文本，也可以是中文文本或其他语种的文本，本说明书对此不作特殊限制。
82.步骤104，为所述复述训练文本生成词汇控制条件和语法控制条件。
83.在本说明书中，针对每组训练文本对，可为该组训练文本对中的复述训练文本生成对应的词汇控制条件和语法控制条件。
84.在本说明书中，词汇控制条件代表词汇替换上的约束条件，可控制生成的复述文本必须包含指定的词汇。
85.例如，可采用关键词抽取算法从复述训练文本中进行关键词抽取，并将抽取到的关键词确定为所述复述训练文本的词汇控制条件。
86.所述关键词抽取算法可包括：tf-idf(term frequency
–
inverse document frequency，词频-逆文本频率指数)算法、keybert(bidirectional encoder representations from transformer，基于转换器的双向编码器表征模型)算法、textrank算法等。
87.以复述训练文本是“is anyone home？”为例，可从该复述训练文本中提取出词汇控制条件“anyone”。
88.以复述训练文本是“a picture of the rotating earth showed up”为例，可从该复述训练文本中提取出词汇控制条件“rotating”和“showed up”。
89.在本说明书中，语法控制条件可代表语法变换上的约束条件，例如，控制生成的复述文本满足指定的语法要求。语法控制条件可包括：文本的词性标注(pos-tagging)、lct(linearized constituent tree，线性化成分树)、语法框架模板(masked template)和复述样例文本(sentential exemplar)等。
90.在本说明书中，词性标注标识文本中各个词语的词性，可基于nltk(natural language toolkit，自然语言处理工具)、corenlp(core natural language processing，核心自然语言处理工具)等词性标注工具实现，例如，将复述训练文本输入词性标注工具中，得到输出的词性标注结果。
91.文本词性标注结果isvbz(动词)anyonenn(常用名词)homenn(常用名词)
92.表1
93.以复述训练文本是“is anyone home？”为例，请参考表1的示例，其词性标注结果为vbz nn nn。
94.文本词性标注结果adt(限定词)picturenn(常用名词)ofin(介词或从属连词)thedt(限定词)rotatingvbg(动名词和现在分词)earthnn(常用名词)showedvbd(动词过去式)
uprp(小品词)
95.表2
96.以复述训练文本是“a picture of the rotating earth showed up.”为例，请参考表2的示例，其词性标注结果为dt nn in dt vbg nn vbd rp。
97.在本说明书中，lct是短语结构树(constituent tree)的序列化表示，也可基于nltk、corenlp等工具生成，例如，将复述训练文本输入相关工具中，得到输出的lct结果。
98.以复述训练文本是“is anyone home？”为例，lct为sq(np)(advp)(？)。
99.其中，sq代表文本级别的标注，意为句子为倒装的疑问句；np与“is”对应，代表名称短语；advp与“anyone home”对应，代表副词短语。
100.以复述训练文本是“a picture of the rotating earth showed up”为例，lct为s(np(np(dt)(nn))(pp(in)(np(dt)(vbg)(nn))))(vp(vbd)(prt(rp)))(..)。
101.其中，pp代表介词短语，vp代表动词短语，prt用于表示关系，也代表动词短语，具体含义可参考本领域的词性标注解释。
102.在本说明书中，语法框架模板可代表文本的语法架构，可将文本中指定词性的词语替换为预设的标记，以生成语法框架模板。例如，在对复述训练文本进行词性标注后，将复述训练文本中的名词替换为标记mask。
103.以复述训练文本是“is anyone home？”为例，在得到词性标注结果vbz nn nn后，将名词“anyone”和“home”替换为mask，得到复述训练文本是“is anyone home？”的语法框架模板“is[mask][mask]？”。
[0104]
以复述训练文本是“a picture of the rotating earth showed up.”为例，在得到词性标注结果dt nn in dt vbg nn vbd rp后，将“picture”、“rotating”、“earth”、“showed”和“up”替换为mask，得到“a picture of the rotating earth showed up.”的语法框架模板a[mask]of the[mask][mask][mask][mask]。
[0105]
在本说明书中，复述样例文本是复述得到的文本的示例，该示例与复述得到的文本的语法结构相同。
[0106]
以复述训练文本是“is anyone home？”为例，其复述样例文本可以为“is this the code word？”。
[0107]
以复述训练文本是“a picture of the rotating earth showed up.”为例，其复述样例文本可以为“the job at school went well.”。
[0108]
其中，复述样例文本可基于范例字典查询得到，例如，可先为复述训练文本生成截断lct，然后使用截断lct在范例字典中查找匹配的复述样例文本。范围字典的生成与复述样例文本的查找过程将在本说明书后续实施例中详细描述。
[0109]
步骤106，将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本。
[0110]
步骤108，基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练。
[0111]
基于前述步骤104，可将训练文本对中的原始训练文本、复述训练文本的词汇控制条件和语法控制条件共同输入文本复述模型，通过文本复述模型输出其预测的复述预测文本。
[0112]
然后，可计算所述复述预测文本与训练文本对中的复述训练文本之间的差异，并基于该差异采用反向传播算法更新文本复述模型的模型参数，以实现对文本复述模型的训练。
[0113]
在本说明书中，文本复述模型可与语法控制条件相对应，即每种语法控制条件均可对应一个文本复述模型。
[0114]
语法控制条件文本复述模型词性标注文本复述模型1lct文本复述模型2语法框架模板文本复述模型3复述样例文本文本复述模型4
[0115]
表3
[0116]
以上述列举的4种语法控制条件：词性标注、lct、语法框架模板和复述样例文本为例，可对应4个文本复述模型，请参考表3的示例，可分别对应文本复述模型1-文本复述模型4。在对文本复述模型进行训练时，可采用其中一种语法控制条件对对应的文本复述模型进行训练。
[0117]
例如，使用词汇控制条件和词性标注对文本复述模型1进行训练；使用词汇控制条件和lct对文本复述模型2进行训练；使用词汇控制条件和语法框架模板对文本复述模型3进行训练；使用词汇控制条件和复述样例文本对文本复述模型4进行训练。
[0118]
本说明书将语法控制条件划分为多种类型，并设置与语法控制条件类型对应的文本复述模型，采用同一批训练文本对可多种文本复述模型进行训练，后续可为用户提供更加丰富多样的选择。
[0119]
在本说明书中，请参考图2，所述文本复述模型可基于预训练的语言模型和解码器构建。
[0120]
其中，预训练的语言模型可以为目前任一种已知的预训练的语言模型，解码器也可以是目前任一种已知的解码器，所述预训练的语言模型和所述解码器均可以为神经网络模型，本说明书对此不作特殊限制。
[0121]
在进行文本复述模型的训练时，将原始训练文本、复述训练文本的词汇控制条件和语法控制条件输入预训练的语言模型。例如，将原始训练文本和上述控制条件之间使用[sep]连接为一个序列，即在原始训练文本之后添加[sep]、不同控制条件之间也可添加[sep]，然后输入预训练的语言模型。
[0122]
请参考图3，以原始训练文本是“no one’s home？”，语法控制条件是复述样例文本为例，可将no one’s home？[sep]anyone[sep]is this the code word？输入文本复述模型4中的预训练的语言模型。其他语法控制条件类似，本说明书不再一一赘述。
[0123]
值得注意的是，图3仅为本例中词汇控制条件和语法控制条件的示例性展示，并不意味着将四种语法控制条件同时输入预训练的语言模型，参考前述论述，在进行文本复述模型的训练时，是将词汇控制条件和一种语法控制条件输入该语法控制条件对应的文本复述模型进行训练。
[0124]
所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编码，生成所述原始训练文本的语义表征向量。然后将该语义
表征向量输入至所述解码器，所述解码器基于所述语义表征向量进行复述文本的预测，输出复述预测文本“is anyone home？”。
[0125]
另一方面，文本复述模型的公式化表述如下：
[0126][0127]
其中，p代表概率，x代表输入到文本复述模型中的需要复述的文本，c代表词汇控制条件和语法控制条件，θ代表模型参数，y代表文本复述模型输出的复述文本，y＝(y1，y2，...，y
t
)，y
t
代表生成的复述文本中的各个词语，t代表生成的文本的最大长度。该公式表达的含义是文本复述模型根据输入的文本和控制条件生成复述文本，复述文本中后一词语的生成依赖于之前已生成的词语。
[0128]
由以上描述可以看出，本说明书在训练文本复述模型时，将复述训练文本的词汇控制条件和语法控制条件作为文本复述模型的输入，使得文本复述模型可以所述词汇控制和语法控制条件为约束来进行复述文本的预测。结合词汇控制条件和语法控制条件进行模型训练，可兼顾文本复述过程中的词汇替换和语法变换，训练得到的文本复述模型可提高文本复述的多样性与准确性。
[0129]
另一方面，本说明书采用预训练的语言模型和解码器构建文本复述模型，可兼容目前主流的预训练语言模型，通用性更好。
[0130]
下面分别介绍范例字典的生成以及为复述训练文本生成复述样例文本的具体实现过程。
[0131]
一、范例字典的生成
[0132]
在本说明书中，可预先生成包括截断lct和复述样例文本之间映射关系的范例字典，后续基于范例字典进行复述样例文本的查找。
[0133]
其中，所述截断lct是指将短语结构树中的叶子节点过滤后，得到的序列化表示，即过滤掉lct中对应叶子节点词性，得到截断lct。在进行过滤时，可将位于括号最内侧，左右邻居均为括号的词性作为叶子节点过滤掉。
[0134]
图4是本说明书一示例性实施例示出的一种范例字典的生成方法的流程示意图。
[0135]
请参考图4，所述范例字典的生成方法可包括以下步骤：
[0136]
步骤402，为各训练文本对中的复述训练文本生成截断lct，得到截断lct和复述训练文本之间的映射关系。
[0137]
在本实施例中，针对每组训练文本对，可先为该训练文本对中的复述训练文本生成截断lct，得到截断lct和复述训练文本之间的映射关系。
[0138]
以复述训练文本是“a picture of the rotating earth showed up.”为例，其lct为s(np(np(dt)(nn))(pp(in)(np(dt)(vbg)(nn))))(vp(vbd)(prt(rp)))(..)，去掉叶子节点词性dt、nn、in、dt、vbg、nn、vbd和rp，得到截断lct为s(np(np)(pp(np)))(vp(prt))(..)。
[0139]
以复述训练文本是“is this the code word？”为例，其lct为sq(vbz)(np(dt))(np(dt)(nn)(nn))(.？)，去掉叶子节点词性vbz、dt、dt、nn和nn，得到截断lct为sq(np)(np)(.？)。
[0140]
以复述训练文本是“is anyone home？”为例，其lct为sq(np)(advp)(？)，由于该lct中不存在左右邻居均为括号的叶子节点，其截断lct和lct相同，也是sq(np)(advp)(？)。
[0141]
在本实施例中，可得到各个复述训练文本及其对应的截断lct。
[0142]
步骤404，针对每个截断lct，在所述截断lct对应多个复述训练文本的情况下，从中选择一个复述训练文本作为复述样例文本；在所述截断lct对应一个复述训练文本的情况下，将所述复述训练文本确定为复述样例文本。
[0143]
步骤406，基于所述截断lct与所述复述样例文本之间的映射关系生成范例字典。
[0144]
基于前述步骤402，由于截断lct过滤掉了叶子节点词性，在生成截断lct后，会存在一个截断lct对应多个复述训练文本的情况。针对这种情况，可在该截断lct对应的多个复述训练文本中选择一个复述训练文本作为复述样例文本，例如，随机选择一个复述训练文本作为复述样例文本，然后基于该截断lct和所述复述样例文本生成范例字典。
[0145]
举例来说，假设第一截断lct对应了复述训练文本a、b和c这3个复述训练文本，从复述训练文本a、b和c中随机选择复述训练文本b作为复述样例文本，并可基于第一截断lct和复述样例文本b之间的映射关系生成范例字典。
[0146]
当然，若某个截断lct仅对应一个复述训练文本，可将该复述训练文本作为复述样例文本，并可基于二者之间的映射关系生成范例字典。
[0147]
值得注意的是，为避免文本复述模型生成的复述文本引入复述样例文本中无关的词语，可将复述样例文本所在的训练文本对过滤掉，即不采用复述样例文本所在的训练文本对对文本复述模型进行训练。
[0148]
二、为复述训练文本生成复述样例文本
[0149]
图5是本说明书一示例性实施例示出的一种为复述训练文本生成复述样例文本的流程示意图。
[0150]
请参考图5，所述为复述训练文本生成复述样例文本可包括以下步骤：
[0151]
步骤502，为复述训练文本生成截断lct。
[0152]
在本实施例中，截断lct的生成方法可参考前述图4所示实施例中的描述，在此不再一一赘述。
[0153]
为便于后续区分，可将文本复述模型训练过程中为复述训练文本生成的截断lct称为目标截断lct。
[0154]
步骤504，在范例字典中查找所述截断lct匹配的复述样例文本，作为所述复述训练文本的复述样例文本。
[0155]
基于前述步骤502，在为复述训练文本生成目标截断lct后，可在范例字典中查找与该目标截断lct匹配的截断lct，然后将范例字典中匹配的截断lct对应的复述样例文本确定为所述目标截断lct匹配的复述样例文本，即将该对应的复述样例文本确定为所述复述训练文本的语法控制条件。
[0156]
其中，截断lct的匹配过程可基于语法编辑距离来确定。例如，可分别计算目标截断lct与范例字典中各截断lct之间的语法编辑距离，然后将语法编辑距离最小的截断lct确定为匹配的截断lct。
[0157]
语法编辑距离d的计算公式如下：
[0158][0159]
其中，s代表目标截断lct，k代表范例字典中的截断lct，levedit代表字符级的编辑距离，|*|代表长度，即截断lct的序列长度。
[0160]
截断lct复述样例文本s(np)(advp)(vp)(.)they almost finished.sq(np)(np)(？)is this the code word？sq(np)(vp(np))(？)do you smell burning？
[0161]
表4
[0162]
以表4所示的范例字典为例，假设复述训练文本为“is anyone home？”，其目标截断lct是sq(np)(advp)(？)，与表4所示的范例字典中截断lct sq(np)(np)(？)的编辑距离最小，进而可将范例字典中截断lct sq(np)(np)(？)对应的复述样例文本“is this the code word？”确定为“is anyone home？”的复述样例文本，然后进行文本复述模型的训练。
[0163]
当然，编辑距离仅为截断lct匹配的一种可选算法，在其他例子中，还可采用词移距离等算法来进行截断lct的匹配。
[0164]
由以上描述可以看出，本说明书采用训练样本对中的复述训练文本作为复述样例文本对文本复述模型进行训练，相较于语法信息提取的方式，可避免提取过程中的信息损失，提升文本复述模型预测的准确性，使得生成的复述文本更加流畅、准确。另一方面，采用与复述训练文本语法相似的复述样例文本进行文本复述模型的训练，相较于采用复述训练文本本身作为复述样例文本进行训练，可有效降低预测出的复述文本中引入无关词语的概率，提升文本复述模型预测的准确性。
[0165]
在本说明书中，在采用图1所示的实施例对文本复述模型进行训练之后，还可对文本复述模型进行测试。在进行测试时，可先获取用于模型测试的测试文本对，所述测试文本对包括原始测试文本和复述测试文本。然后生成词汇控制条件和语法控制条件，并将原始测试文本、该词汇控制条件和语法控制条件输入与语法控制条件对应的已完成训练的文本复述模型，得到所述文本复述模型输出的复述预测文本。接着，再基于复述预测文本和复述测试文本之间的差异评估文本复述模型的训练效果。若文本复述模型的训练效果符合预期，可结束训练。若文本复述模型的训练效果不符合预期，可继续对其进行训练。
[0166]
其中，测试时使用的词汇控制条件可基于原始测试文本生成，例如，将原始测试文本输入至关键词生成模型，得到关键词生成模型输出的关键词，并将该关键词确定为所述词汇控制条件。所述关键词生成模型可采用训练文本对进行训练，例如，将原始训练文本输入关键词生成模型，得到输出的关键词，然后根据该关键词和复述训练文本中提取出的关键词之间的差异更新关键词生成模型的参数。在测试时使用的复述样例文本可人工编写。测试文本对中的复述测试文本也可人工编写，本说明书对此不作特殊限制。
[0167]
在本说明书中，还提供一种文本复述方法，请参考图6，所述文本复述方法可包括以下步骤：
[0168]
步骤602，获取待复述文本和所述待复述文本的控制条件。
[0169]
在本实施例中，待复述文本可由用户输入。
[0170]
例如，用户想对一条英文文本进行改写润色，可通过交互界面中提供的输入框输入这条英文文本作为所述待复述文本。
[0171]
所述控制条件可包括词汇控制条件和语法控制条件，用户可根据需要指定词汇控制条件和/或语法控制条件。
[0172]
其中，所述词汇控制条件指用户想要生成的文本中包含的指定词语。以用户输入的待复述文本是“there was a picture of the revolving earth that have emerged.”，用户可指定生成的复述文本中必须包括“showed up”。
[0173]
所述语法控制条件可以是与用户想要生成的文本相同语法结构的样例文本，仍以前述待复述文本“there was a picture of the revolving earth that have emerged.”为例，用户可输入“the job at school went well.”作为样例文本。采用样例文本作为输入，对于用户而言不涉及难以理解的词性、语法信息，对于用户而言更加友好，可操作性高，便于实现。
[0174]
当然，在其他例子中，用户也可输入词性标注、lct、语法框架模板等语法控制条件，本说明书对此不作特殊限制。
[0175]
步骤604，将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果。
[0176]
在本实施例中，可将前述待复述文本、词汇控制条件和语法控制条件输入与所述语法控制条件对应的已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果。其中，所述文本复述模型可采用前述图1所示的文本复述模型训练方法进行训练。
[0177]
由以上描述可以看出，采用本说明书提供的文本复述模型进行文本复述，可由用户指定词汇控制条件和语法控制条件，然后采用与语法控制条件对应的文本复述模型进行文本复述，实现更加多样、准确的文本复述。
[0178]
另一方面，采用本说明书提供的文本复述模型进行文本复述，可满足不同用户的不同需求。对于普通用户而言，输入关键词和样例文本即可实现文本复述，不涉及难以理解的词性、语法信息，更加友好，可操作性高。对于专业用户而言，也可输入词性、lct、语法框架模板等专业语法信息，满足专业用户的专业化需求。
[0179]
与前述文本复述模型的训练方法的实施例相对应，本说明书还提供了文本复述模型的训练装置的实施例。
[0180]
本说明书文本复述模型的训练装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本说明书文本复述模型的训练装置所在电子设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0181]
图8是本说明书一示例性实施例示出的一种文本复述模型的训练装置的框图。
[0182]
请参考图8，所述文本复述模型的训练装置800可以应用在前述图7所示的电子设备上，包括有：样本获取单元801、条件生成单元802、模型输入单元803和参数更新单元804。
[0183]
其中，样本获取单元801，获取训练文本对，所述训练文本对包括原始训练文本和
复述训练文本；
[0184]
条件生成单元802，为所述复述训练文本生成词汇控制条件和语法控制条件；
[0185]
模型输入单元803，将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本；
[0186]
参数更新单元804，基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练；
[0187]
其中，所述文本复述模型包括预训练的语言模型和解码器，所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编码，输出所述原始训练文本的语义表征向量，所述解码器用于基于所述语义表征向量进行复述文本的预测，输出复述预测文本。
[0188]
可选的，所述语法控制条件为复述样例文本；
[0189]
所述条件生成单元802：
[0190]
为所述复述训练文本生成截断线性化成分树lct；
[0191]
在范例字典中查找所述截断lct匹配的复述样例文本，作为所述复述训练文本的语法控制条件；其中，所述范例字典中包括截断lct与复述样例文本之间的映射关系。
[0192]
可选的，所述条件生成单元802：
[0193]
计算所述复述训练文本的截断lct与所述范例字典中各截断lct之间的语法编辑距离；
[0194]
将所述范例字典中计算得到最小语法编辑距离的截断lct对应的复述样例文本确定为所述匹配的复述样例文本。
[0195]
可选的，所述范例字典的生成方法，包括：
[0196]
为各训练文本对中的复述训练文本生成截断lct，得到截断lct和复述训练文本之间的映射关系；
[0197]
针对每个截断lct，在所述截断lct对应多个复述训练文本的情况下，从中选择一个复述训练文本作为复述样例文本；在所述截断lct对应一个复述训练文本的情况下，将所述复述训练文本确定为复述样例文本；
[0198]
基于所述截断lct与所述复述样例文本之间的映射关系生成范例字典。
[0199]
可选的，所述条件生成单元802：
[0200]
为所述复述训练文本生成lct；
[0201]
过滤掉所述lct中叶子节点词性，得到截断lct。
[0202]
可选的，所述条件生成单元802：
[0203]
采用关键词抽取算法从所述复述训练文本中抽取出关键词，作为所述复述训练文本的词汇控制条件。
[0204]
可选的，所述语法控制条件包括：所述复述训练文本的词性标注、lct、语法框架模板和复述样例文本中的一种，所述文本复述模型对应于所述语法控制条件。
[0205]
与前述文本复述方法的实施例相对应，本说明书还提供了文本复述装置的实施例。
[0206]
本说明书文本复述装置的实施例可以应用在电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义
上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，本说明书文本复述装置所在电子设备的硬件结构与前述文本复述模型的训练装置所在电子设备的硬件结构类似，也可包括处理器、内存、网络接口、非易失性存储器等硬件，对此不再赘述。
[0207]
图9是本说明书一示例性实施例示出的一种文本复述装置的框图。
[0208]
请参考图9，所述文本复述装置900可包括：文本获取单元901和文本复述单元902。
[0209]
其中，文本获取单元901，获取待复述文本和所述待复述文本的控制条件；
[0210]
文本复述单元902，将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果；
[0211]
所述文本复述模型基于前述文本复述模型的训练方法训练得到。
[0212]
可选的，所述控制条件包括词汇控制条件和语法控制条件，所述已训练的文本复述模型与所述语法控制条件对应。
[0213]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0214]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0215]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
[0216]
与前述文本复述模型的训练方法的实施例相对应，本说明书还提供一种文本复述模型的训练装置，该装置包括：处理器以及用于存储机器可执行指令的存储器。其中，处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。
[0217]
在本实施例中，通过读取并执行所述存储器存储的与文本复述模型的训练逻辑对应的机器可执行指令，所述处理器被促使：
[0218]
获取训练文本对，所述训练文本对包括原始训练文本和复述训练文本；
[0219]
为所述复述训练文本生成词汇控制条件和语法控制条件；
[0220]
将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本；
[0221]
基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练；
[0222]
其中，所述文本复述模型包括预训练的语言模型和解码器，所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编
码，输出所述原始训练文本的语义表征向量，所述解码器用于基于所述语义表征向量进行复述文本的预测，输出复述预测文本。
[0223]
可选的，所述语法控制条件为复述样例文本；
[0224]
所述为所述复述训练文本生成语法控制条件，包括：
[0225]
为所述复述训练文本生成截断线性化成分树lct；
[0226]
在范例字典中查找所述截断lct匹配的复述样例文本，作为所述复述训练文本的语法控制条件；其中，所述范例字典中包括截断lct与复述样例文本之间的映射关系。
[0227]
可选的，所述在范例字典中查找所述截断lct匹配的复述样例文本，包括：
[0228]
计算所述复述训练文本的截断lct与所述范例字典中各截断lct之间的语法编辑距离；
[0229]
将所述范例字典中计算得到最小语法编辑距离的截断lct对应的复述样例文本确定为所述匹配的复述样例文本。
[0230]
可选的，所述范例字典的生成方法，包括：
[0231]
为各训练文本对中的复述训练文本生成截断lct，得到截断lct和复述训练文本之间的映射关系；
[0232]
针对每个截断lct，在所述截断lct对应多个复述训练文本的情况下，从中选择一个复述训练文本作为复述样例文本；在所述截断lct对应一个复述训练文本的情况下，将所述复述训练文本确定为复述样例文本；
[0233]
基于所述截断lct与所述复述样例文本之间的映射关系生成范例字典。
[0234]
可选的，所述为所述复述训练文本生成截断lct，包括：
[0235]
为所述复述训练文本生成lct；
[0236]
过滤掉所述lct中叶子节点词性，得到截断lct。
[0237]
可选的，所述为所述复述训练文本生成词汇控制条件，包括：
[0238]
采用关键词抽取算法从所述复述训练文本中抽取出关键词，作为所述复述训练文本的词汇控制条件。
[0239]
可选的，所述语法控制条件包括：所述复述训练文本的词性标注、lct、语法框架模板和复述样例文本中的一种，所述文本复述模型对应于所述语法控制条件。
[0240]
与前述文本复述方法的实施例相对应，本说明书还提供一种文本复述装置，该装置包括：处理器以及用于存储机器可执行指令的存储器。其中，处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。
[0241]
在本实施例中，通过读取并执行所述存储器存储的与文本复述逻辑对应的机器可执行指令，所述处理器被促使：
[0242]
获取待复述文本和所述待复述文本的控制条件；
[0243]
将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果；
[0244]
其中，所述文本复述模型基于前述文本复述模型的训练方法训练。
[0245]
可选的，所述控制条件包括词汇控制条件和语法控制条件，所述已训练的文本复述模型与所述语法控制条件对应。
[0246]
与前述文本复述模型的训练方法的实施例相对应，本说明书还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：
[0247]
获取训练文本对，所述训练文本对包括原始训练文本和复述训练文本；
[0248]
为所述复述训练文本生成词汇控制条件和语法控制条件；
[0249]
将所述原始训练文本、所述词汇控制条件和所述语法控制条件输入待训练的文本复述模型，得到所述文本复述模型输出的复述预测文本；
[0250]
基于所述复述预测文本和所述复述训练文本之间的差异，更新所述文本复述模型的参数，以对所述文本复述模型进行训练；
[0251]
其中，所述文本复述模型包括预训练的语言模型和解码器，所述预训练的语言模型用于以所述词汇控制条件和所述语法控制条件为约束，对所述原始训练文本进行语义编码，输出所述原始训练文本的语义表征向量，所述解码器用于基于所述语义表征向量进行复述文本的预测，输出复述预测文本。
[0252]
可选的，所述语法控制条件为复述样例文本；
[0253]
所述为所述复述训练文本生成语法控制条件，包括：
[0254]
为所述复述训练文本生成截断线性化成分树lct；
[0255]
在范例字典中查找所述截断lct匹配的复述样例文本，作为所述复述训练文本的语法控制条件；其中，所述范例字典中包括截断lct与复述样例文本之间的映射关系。
[0256]
可选的，所述在范例字典中查找所述截断lct匹配的复述样例文本，包括：
[0257]
计算所述复述训练文本的截断lct与所述范例字典中各截断lct之间的语法编辑距离；
[0258]
将所述范例字典中计算得到最小语法编辑距离的截断lct对应的复述样例文本确定为所述匹配的复述样例文本。
[0259]
可选的，所述范例字典的生成方法，包括：
[0260]
为各训练文本对中的复述训练文本生成截断lct，得到截断lct和复述训练文本之间的映射关系；
[0261]
针对每个截断lct，在所述截断lct对应多个复述训练文本的情况下，从中选择一个复述训练文本作为复述样例文本；在所述截断lct对应一个复述训练文本的情况下，将所述复述训练文本确定为复述样例文本；
[0262]
基于所述截断lct与所述复述样例文本之间的映射关系生成范例字典。
[0263]
可选的，所述为所述复述训练文本生成截断lct，包括：
[0264]
为所述复述训练文本生成lct；
[0265]
过滤掉所述lct中叶子节点词性，得到截断lct。
[0266]
可选的，所述为所述复述训练文本生成词汇控制条件，包括：
[0267]
采用关键词抽取算法从所述复述训练文本中抽取出关键词，作为所述复述训练文本的词汇控制条件。
[0268]
可选的，所述语法控制条件包括：所述复述训练文本的词性标注、lct、语法框架模板和复述样例文本中的一种，所述文本复述模型对应于所述语法控制条件。
[0269]
与前述文本复述方法的实施例相对应，本说明书还提供一种计算机可读存储介
质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：
[0270]
获取待复述文本和所述待复述文本的控制条件；
[0271]
将所述待复述文本和所述控制条件输入已训练的文本复述模型，得到所述文本复述模型输出的文本复述结果；
[0272]
其中，所述文本复述模型基于前述文本复述模型的训练方法训练。
[0273]
可选的，所述控制条件包括词汇控制条件和语法控制条件，所述已训练的文本复述模型与所述语法控制条件对应。
[0274]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0275]
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。