基于细粒度规划机制与指令微调的可控文本生成方法

本发明涉及可控文本生成，具体涉及一种基于细粒度规划机制与指令微调的可控文本生成方法。

背景技术：

1、文本生成是自然语言处理领域的重点研究问题之一，在人机交互、智能写作等方面有着重要应用。随着人工智能技术的发展，人们对文本生成的技术的要求越来越高，例如辅助创作高质量的新闻报道、广告文案等，都需要高质量并且可控制的文本生成技术。可控文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等的控制，从而使得生成的文本符合某种预期，提高生成文本的质量和可用性，有助于在各种应用场景中实现更加精准和有效的文本生成。例如在自动化写作领域，可控文本生成技术可以通过控制生成文本的语气、情感倾向、关键信息等属性，使得生成的新闻报道或广告文案更符合目标受众的需求，从而提高文本的质量和效果。因此，如何进行高质量、精细化的可控文本生成具备较高的研究价值。

2、现有的可控文本生成技术主要基于预训练语言模型，利用其已学习到的海量知识，通过对模型输入或者输出进行处理，实现可控文本生成。目前的可控文本生成方法一般分两种：（1）对模型的输出进行处理、修正模型的输出从而符合某种预期，例如通过一个额外的属性控制模型对预训练语言模型的输出结果加以修正，达到控制生成文本属性的目的；（2）将对文本内容方面的需求作为控制生成的指令，目标文本作为输出，对预训练语言模型进行微调，使模型具备在特定指令下生成所需文本的能力。这两种方法对生成文本的内容控制力度不佳，生成文本可能存在不连贯、前后逻辑矛盾等问题，且无法对生成文本的结构进行精细化的把控。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于细粒度规划机制与指令微调的可控文本生成方法，相比现有的可控文本生成技术，本发明使用了规划-生成的方式完成该任务，该方法具有以下方面的优势：（1）从训练数据和任务形式的角度出发完成文本属性控制，模型训练和推理流程与普通的指令微调模型无异，没有引入额外的模型、训练和推理开销；（2）本发明通过生成多层次细粒度提纲作为控制信号，能够实现对文本的精准控制，并且生成的文本逻辑连贯，一致性强；（3）本发明提出的方法便于引入人类审核和修订，增加了生成文本的可控性。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种基于细粒度规划机制与指令微调的可控文本生成方法，包括以下步骤：

4、步骤一，基于主题-正文数据生成多层次细粒度提纲，具体包括以下步骤：

5、s11，从文本数据集中挑选部分由主题和正文组成的数据，根据设计的提纲模板，人工编写提纲，作为示例；文本数据集，其中为第i个主题，为第i个正文，为正整数；编写生成提纲的指令；

6、s12，将主题、正文、生成提纲的指令和示例进行连接，输入到大语言模型m，生成对应的提纲：；

7、s13，遍历文本数据集，并重复步骤s12，构造由主题、提纲和正文组成的三元数据的集合：；

8、步骤二，构造结构化指令微调数据：人工编写部分种子指令；基于种子指令，通过大语言模型生成多条的指令，构成指令集合；种子指令以及大语言模型生成的指令均包括主题变量槽位{topic}、提纲变量槽位{outline}、正文变量槽位{passage}；对于中每条三元数据，从指令集合中随机挑选一条指令，并将三元数据中的主题、提纲和正文分别填入指令中对应的主题变量槽位{topic}、提纲变量槽位{outline}、正文变量槽位{passage}，得到完整指令；进而得到由多个完整指令组成的指令微调数据集；

9、步骤三，基于指令微调数据集，并采用因果语言建模形式对大语言模型进行训练，得到的可控文本生成模型；

10、步骤四，向可控文本生成模型输入包含主题的指令，可控文本生成模型能够根据主题规划提纲，并根据提纲生成正文；或者，向可控文本生成模型输入包含主题和提纲的指令，可控文本生成模型根据主题和提纲生成符合主题要求的正文。

11、进一步地，步骤三中，所述采用因果语言建模形式对大语言模型进行训练，具体包括：

12、最大化大语言模型正确生成下一词的概率：

13、；

14、其中，为大语言模型的可训练参数，为第时刻输出的单词，为前时刻生成的单词所构成的文本，表示为以为因子的最大化操作，表示计算概率；训练选用交叉熵损失函数：

15、；

16、其中，为大语言模型生成的句子中包含的单词的数量。

17、与现有技术相比，本发明的有益技术效果是：

18、（1）没有引入额外开销：本发明使用指令微调的方式进行属性控制，未引入附加的模型用于属性控制，没有引入额外的训练、推理开销，也没有引入额外的权重存储空间；（2）精准的控制：提纲细粒度地限制了正文内容的风格、内容、立场，能够有效实现生成文本的内容可控；（3）便捷的人机协作：两段式生成方法使得生成过程中能够引入用户审核和编辑，使生成过程更为可控。

技术特征：

1.一种基于细粒度规划机制与指令微调的可控文本生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于细粒度规划机制与指令微调的可控文本生成方法，其特征在于，步骤三中，所述采用因果语言建模形式对大语言模型进行训练，具体包括：

技术总结本发明涉及可控文本生成技术领域，公开了一种基于细粒度规划机制与指令微调的可控文本生成方法；基于主题‑正文数据生成多层次细粒度提纲；构造结构化指令微调数据：人工编写部分种子指令，进而得到由多个完整指令组成的指令微调数据集；基于指令微调数据集，并采用因果语言建模形式对大语言模型进行训练，使大语言模型具有根据主题规划提纲、并以提纲作为控制信号撰写正文的能力；向完成训练的大语言模型输入包含主题的指令，大语言模型能够根据主题规划提纲，并根据提纲生成正文；本发明没有引入额外开销，提纲细粒度地限制了正文内容的风格、内容、立场，能够有效实现生成文本的内容可控。技术研发人员：毛震东,张勇东,张立成,朱池苇受保护的技术使用者：中国科学技术大学技术研发日：技术公布日：2024/8/1