语义大模型增量预训练方法及相关装置与流程

本发明属于人工智能领域，涉及一种语义大模型增量预训练方法及相关装置。

背景技术：

1、目前，主流的开源大模型虽然在数十万亿字符上进行了预训练，但它们通常是面向通用领域的，并不专门针对特定行业，比如电力行业等。电力行业有其独特的术语、流程、设备、法规和业务场景，这些在开源大模型中可能没有得到充分的覆盖。具体来说，大模型在电力领域的一个典型应用是智能客服。用户可能会问：“我家的电表显示故障，该怎么办？”，基于大模型的智能客服为了回答这样的问题，需要具备一定的电力行业知识，这要求对大模型进行进一步的专业领域增量预训练，即在通用预训练的基础上，在电力行业的文本数据上进行训练。

2、语义大模型引入专业知识和私域数据的主流方法有三个，分别是重新预训练、增量预训练和基于检索增强的外挂知识库。其中，重新预训练的成本巨大，新预训练一个大模型需要极高的计算资源、人力和时间成本，需要百亿乃至千亿元的投入。并且，时效性低，随着时间的推移，行业私域数据会发生变化，大模型训练周期过长，不支持知识和信息的高频更新。基于检索增强的外挂知识库存在误差传播，该方案的性能高度依赖于检索召回的质量，如果检索到的信息不准确或不相关，会直接导致生成内容质量下降，大模型没有实际掌握行业知识结构，也不理解业务逻辑，导致在一些逻辑推理的业务场景下提升能力有限。

3、增量预训练作为一种相对较好的实现方式得到广泛应用。然而，增量预训练也存在以下两个问题。一是灾难性遗忘，直接启动增量训练无法有效地将新学到的知识与原有知识相结合，甚至会导致大模型直接遗忘原有知识。二是模型崩溃，如果直接使大模型拟合专业知识和私域数据，会导致大模型在训练过程中出现性能急剧下降，或者无法继续学习新信息的情况。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供一种语义大模型增量预训练方法及相关装置。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、本发明第一方面，提供一种语义大模型增量预训练方法，包括：

4、获取专业领域增量训练样本、语义大模型和语义大模型预训练样本；

5、将语义大模型作为生成器和判别器构建对抗生成网络，并基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络；

6、获取训练后的对抗生成网络中的生成器，得到专业领域增量预训练大模型。

7、可选的，所述基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络包括：

8、采用判别器训练步骤和生成器训练步骤交替进行的方式，基于专业领域增量训练样本和语义大模型预训练样本，根据优化目标函数训练对抗生成网络；

9、其中，优化目标函数为：

10、

11、其中，sgd为判别器，sgg为生成器，l(lsgd，lsgg)为衡量生成器和判别器之间对抗性的对抗性函数；lsgd为判别器损失函数，lsgg为生成器损失函数；

12、其中，判别器训练步骤包括：固定生成器参数，基于专业领域增量训练样本和语义大模型预训练样本，通过最大化l(lsgd，lsgg)来训练判别器；

13、生成器训练步骤包括：固定判别器参数，基于专业领域增量训练样本和语义大模型预训练样本，通过最小化l(lsgd，lsgg)来训练判别器。

14、可选的，所述判别器损失函数lsgd为：

15、

16、其中，e表示期望值，sgd(x)为判别器对真实样本x的预测概率，sgd(sgg(z))为判别器对生成器的生成样本sgg(z)的预测概率，z为生成器的输入噪声，pdata(x)是真实样本的分布，pz(z)是输入噪声的分布；真实样本x包括专业领域增量训练样本和语义大模型预训练样本；

17、所述生成器损失函数lsgg为：

18、

19、其中，为生成对抗损失；为语义大模型的下一个样本标记预测损失，t为样本长度，xt为第t个样本标记，p为条件概率，θ为生成器参数；λ为平衡和的超参数。

20、可选的，所述专业领域增量训练样本和语义大模型预训练样本数量相同。

21、可选的，还包括：获取训练后的对抗生成网络中的判别器，得到专业领域增量预训练大模型的检测模型；其中，所述检测模型用于根据专业领域增量预训练大模型的输出，得到专业领域增量预训练大模型的输出的置信度。

22、可选的，所述专业领域增量训练样本为电力领域增量训练样本；所述电力领域增量训练样本通过下述中的一个或几个得到：电力行业的技术手册、操作规程、维修指南、客户服务记录和法律法规文本；所述专业领域增量预训练大模型为电力语义大模型。

23、本发明第二方面，提供一种语义大模型增量预训练系统，包括：

24、数据获取模块，用于获取专业领域增量训练样本、语义大模型和语义大模型预训练样本；

25、增量训练模块，用于将语义大模型作为生成器和判别器构建对抗生成网络，并基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络；

26、结果输出模块，用于获取训练后的对抗生成网络中的生成器，得到专业领域增量预训练大模型。

27、可选的，所述结果输出模块，还用于获取训练后的对抗生成网络中的判别器，得到专业领域增量预训练大模型的检测模型；其中，所述检测模型用于根据专业领域增量预训练大模型的输出，得到专业领域增量预训练大模型的输出的置信度。

28、本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述语义大模型增量预训练方法的步骤。

29、本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述语义大模型增量预训练方法的步骤。

30、与现有技术相比，本发明具有以下有益效果：

31、本发明语义大模型增量预训练方法，通过将语义大模型作为生成器和判别器构建对抗生成网络，并基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络，实现语义大模型的增量预训练。通过构建对抗生成网络的方式进行训练，可有效避免语义大模型在拟合专业领域增量训练样本时发生灾难性遗忘的风险；同时，基于专业领域增量训练样本和语义大模型预训练样本共同进行训练，也有效避免了模型崩溃问题。该方式无需重新训练语义大模型，可以直接基于开源语义大模型，在专业领域的数据基础上使用较小的算力、样本和时间成本完成增量训练，可以借助语义大模型本身的理解能力，更好地学习和适应专业领域的专业术语、知识结构和业务逻辑，提高在专业领域的应用效果。

技术特征：

1.一种语义大模型增量预训练方法，其特征在于，包括：

2.根据权利要求1所述的语义大模型增量预训练方法，其特征在于，所述基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络包括：

3.根据权利要求2所述的语义大模型增量预训练方法，其特征在于，所述判别器损失函数lsgd为：

4.根据权利要求1所述的语义大模型增量预训练方法，其特征在于，所述专业领域增量训练样本和语义大模型预训练样本数量相同。

5.根据权利要求1所述的语义大模型增量预训练方法，其特征在于，还包括：获取训练后的对抗生成网络中的判别器，得到专业领域增量预训练大模型的检测模型；其中，所述检测模型用于根据专业领域增量预训练大模型的输出，得到专业领域增量预训练大模型的输出的置信度。

6.根据权利要求1所述的语义大模型增量预训练方法，其特征在于，所述专业领域增量训练样本为电力领域增量训练样本；所述电力领域增量训练样本通过下述中的一个或几个得到：电力行业的技术手册、操作规程、维修指南、客户服务记录和法律法规文本；所述专业领域增量预训练大模型为电力语义大模型。

7.一种语义大模型增量预训练系统，其特征在于，包括：

8.根据权利要求7所述的语义大模型增量预训练系统，其特征在于，所述结果输出模块，还用于获取训练后的对抗生成网络中的判别器，得到专业领域增量预训练大模型的检测模型；其中，所述检测模型用于根据专业领域增量预训练大模型的输出，得到专业领域增量预训练大模型的输出的置信度。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述语义大模型增量预训练方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述语义大模型增量预训练方法的步骤。

技术总结本发明属于人工智能领域，公开了一种语义大模型增量预训练方法及相关装置，包括：获取专业领域增量训练样本、语义大模型和语义大模型预训练样本；将语义大模型作为生成器和判别器构建对抗生成网络，并基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络；获取训练后的对抗生成网络中的生成器，得到专业领域增量预训练大模型。可有效避免语义大模型在拟合专业领域增量训练样本时发生灾难性遗忘的风险，也有效避免了模型崩溃问题。可以在专业领域的数据基础上使用较小的算力、样本和时间成本完成增量训练，可借助语义大模型本身的理解能力，更好地学习和适应专业领域的专业术语、知识结构和业务逻辑，提高在专业领域的应用效果。技术研发人员：刘同阳,郑和奇,胡宇巍,张赛,王志皓,张强,梁潇,石聪聪,陈晰,周飞,高昆仑受保护的技术使用者：国网智能电网研究院有限公司技术研发日：技术公布日：2024/12/12