语义模型的优化方法、系统、设备、介质及程序产品与流程

本公开涉及语言处理，特别涉及一种语义模型的优化方法、系统、设备、介质及程序产品。

背景技术：

1、现有的语义模型如bert和gpt等在多个领域已经展示了出色的通用性效果，但它们在特定的垂直领域，尤其在旅游行业中，面临着明显的局限性。旅游场景中包含了大量特定的术语和地理位置名称信息，这些专业词汇往往超出了通用模型的训练范围，导致模型无法有效理解这些术语和定义。例如，“自由行”、“全包游”等行业特有名词，在通用模型中往往缺乏足够的语义表示。

2、单一语义模型通过在垂直领域下进行微调确实可以提升在特定场景下的表现，然而这种单一模型的语义泛化能力并不稳定，会随着训练数据的改变而出现不可预估的表现，尤其是当面对用户查询的多样性和复杂性时。此外，虽然采用多个语义模型并行的方式可以增强模型在垂直领域中的稳定性和准确性，但这种方法在实际应用中成本过低，特别是在资源有限的情况下难以实施。

3、现有的语义模型在特定行业应用如旅游场景中面临几个关键问题：首先，现有语义模型难以准确理解和处理行业特有的专业术语和名词；其次，单一语义模型在垂直场景下的微调经常导致泛化能力不稳定，最后，现有的数据集构造方法过多依赖于人工，成本过高。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中的语义模型存在准确性低、泛化能力低、成本高的缺陷，提供一种语义模型的优化方法、系统、设备、介质及程序产品。

2、本公开是通过下述技术方案来解决上述技术问题：

3、本公开第一方面提供了一种语义模型的优化方法，所述优化方法包括：

4、获取产品数据集；

5、基于所述产品数据集对多个单一语义基础模型进行微调，得到微调后的多个单一语义基础模型；

6、对所述微调后的多个单一语义基础模型进行融合，得到新的复合语义模型。

7、优选地，所述获取产品数据集的步骤包括：

8、采用增量约束采样策略从样本数据库中匹配包含产品查询词以及产品查询词的拓展词的样本，形成正样本池；

9、采用相似度约束采样策略从样本数据库中筛选出与产品查询词以及产品查询词的拓展词语义不相关但相似的样本，形成负样本池；

10、基于所述正样本池和所述负样本池构建产品数据集。

11、优选地，所述对所述微调后的多个单一语义基础模型进行融合，得到新的复合语义模型的步骤包括：

12、获取多个单一微调后的语义基础模型的参数权重；

13、将多个单一微调后的语义基础模型的参数权重进行加权，得到加权后的参数权重；

14、基于所述加权后的参数权重得到新的复合语义模型。

15、优选地，所述基于所述正样本池和所述负样本池构建产品数据集的步骤包括：

16、根据产品查询词循环遍历所述正样本池，以及从所述负样本池中随机采样，构建所述产品数据集。

17、优选地，所述基于所述产品数据集对多个单一语义基础模型进行微调，得到微调后的多个单一语义基础模型的步骤包括：

18、基于所述产品数据集对多个单一语义基础模型进行训练，得到微调后的多个单一语义基础模型。

19、优选地，所述优化方法还包括：

20、控制产品样本数量和产品样本质量，以优化所述产品数据集。

21、本公开第二方面提供了一种语义模型的优化系统，所述优化系统包括：

22、获取模块，用于获取产品数据集；

23、微调模块，用于基于所述产品数据集对多个单一语义基础模型进行微调，得到微调后的多个单一语义基础模型；

24、融合模块，用于对所述微调后的多个单一语义基础模型进行融合，得到新的复合语义模型。

25、优选地，所述获取模块包括：

26、匹配单元，用于采用增量约束采样策略从样本数据库中匹配包含产品查询词以及产品查询词的拓展词的样本，形成正样本池；

27、筛选单元，用于采用相似度约束采样策略从样本数据库中筛选出与产品查询词以及产品查询词的拓展词语义不相关但相似的样本，形成负样本池；

28、构建单元，用于基于所述正样本池和所述负样本池构建产品数据集。

29、优选地，所述融合模块包括：

30、第一获取单元，用于获取多个单一微调后的语义基础模型的参数权重；

31、加权单元，用于将多个单一微调后的语义基础模型的参数权重进行加权，得到加权后的参数权重；

32、第二获取单元，用于基于所述加权后的参数权重得到新的复合语义模型。

33、优选地，所述构建单元，用于根据产品查询词循环遍历所述正样本池，以及从所述负样本池中随机采样，构建所述产品数据集。

34、优选地，所述微调模块，用于基于所述产品数据集对多个单一语义基础模型进行训练，得到微调后的多个单一语义基础模型。

35、优选地，所述优化系统还包括：

36、控制模块，用于控制产品样本数量和产品样本质量，以优化所述产品数据集。

37、本公开第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的语义模型的优化方法。

38、本公开第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的语义模型的优化方法。

39、本公开第五方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的语义模型的优化方法。

40、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实例。

41、本公开的积极进步效果在于：

42、本公开通过构建产品数据集结合对多个单一语义基础模型微调，融合微调后的多个单一语义基础模型进行融合，得到新的复合语义模型，能够有效降低资源依赖同时提高语义模型的准确性和泛化能力，降低了成本。

技术特征：

1.一种语义模型的优化方法，其特征在于，所述优化方法包括：

2.如权利要求1所述的语义模型的优化方法，其特征在于，所述获取产品数据集的步骤包括：

3.如权利要求1所述的语义模型的优化方法，其特征在于，所述对所述微调后的多个单一语义基础模型进行融合，得到新的复合语义模型的步骤包括：

4.如权利要求2所述的语义模型的优化方法，其特征在于，所述基于所述正样本池和所述负样本池构建产品数据集的步骤包括：

5.如权利要求1所述的语义模型的优化方法，其特征在于，所述基于所述产品数据集对多个单一语义基础模型进行微调，得到微调后的多个单一语义基础模型的步骤包括：

6.如权利要求1所述的语义模型的优化方法，其特征在于，所述优化方法还包括：

7.一种语义模型的优化系统，其特征在于，所述优化系统包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的语义模型的优化方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的语义模型的优化方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的语义模型的优化方法。

技术总结本公开提供了一种语义模型的优化方法、系统、设备、介质及程序产品，优化方法包括：获取产品数据集；基于产品数据集对多个单一语义基础模型进行微调，得到微调后的多个单一语义基础模型；对微调后的多个单一语义基础模型进行融合，得到新的复合语义模型。本公开通过构建产品数据集结合对多个单一语义基础模型微调，融合微调后的多个单一语义基础模型进行融合，得到新的复合语义模型，能够有效降低资源依赖同时提高语义模型的准确性和泛化能力，降低了成本。技术研发人员：邵智伟受保护的技术使用者：上海携旅信息技术有限公司技术研发日：技术公布日：2024/10/17