一种基于上下文学习的情感预测方法、装置及终端与流程
- 国知局
- 2024-12-06 12:30:37
本发明涉及金融科技,尤其涉及一种基于上下文学习的情感预测方法、装置及终端。
背景技术:
1、当前,众多大型语言模型(llms),如chat-gpt、palm和llma,正推动着自然语言处理(nlp)应用的广泛发展。随着nlp应用领域的不断扩展,llms以多种方式参与其中,包括文本生成、语言理解和逻辑推理等各种任务。这些模型的庞大参数量催生了一种新的学习范式,即上下文内学习(in-context learning,icl),与传统的基于梯度反向传播的学习方式不同。在icl中,llms通过上下文示例和一系列固定模板来预测测试提示(prompt)。icl已经成为评估和推测llms能力的新趋势,使llms能够在处理复杂任务,如解决数学推理问题等方面展现出强大的潜力,这些能力已被广泛验证,并成为大型语言模型的新特征之一。
2、例如,在金融领域中,保险机构在通过电话销售时,可通过与客户的通话过程的情感进行预测,进而获取用户对保险的购买态度。在icl的应用过程中面临一个显著的挑战,即如何确保llms在少量示例的情况下能够充分学习知识以解决下游任务。现有icl方法通常依赖于先前的示例集合,这些示例被用来构建上下文模板,并指导模型的推理过程。然而,icl方法容易受到输入示例的细微变化的影响,不同模板示例的使用或示例排列的不同顺序都可能对最终的输出结果产生显著的影响,没有办法保证llms对上下文示例进行了充分的学习,从而导致在情感预测过程中预测准确度较低。
3、因此,现有技术还有待于改进和发展。
技术实现思路
1、鉴于上述现有技术的不足,本发明提供了一种基于上下文学习的情感预测方法、装置及终端,旨在解决现有技术中i cl方法容易受到输入示例的细微变化的影响,不同模板示例的使用或示例排列的不同顺序都可能对最终的输出结果产生显著的影响,没有办法保证llms对上下文示例进行了充分的学习,从而导致在情感预测过程中预测准确度较低的问题。
2、本发明的技术方案如下:
3、本发明第一实施例提供了一种基于上下文学习的情感预测方法,所述方法包括:
4、获取情感预测训练集中情感分类的训练样本及对应的标签,基于所述训练样本及对应的标签,生成样本示例集;
5、获取查询测试语句,将查询测试语句与所述样本示例集中每一个样本示例分别进行拼接,得到目标示例集;
6、将目标示例集及查询测试语句分别输入大语言模型,并计算目标示例集的元梯度,基于元梯度更新对所述大语言模型进行训练,得到标签预测模型;
7、获取待处理通话数据,对所述待处理通话数据进行预处理,得到待预测示例;
8、将所述待预测示例输入所述标签预测模型,根据所述标签预测模型得到所述待处理通话数据的预测标签;
9、基于预设的标签映射关系,获得所述预测标签对应的情感标签作为所述待处理通话数据的情感预测结果。
10、进一步地,所述获取情感预测训练集中情感分类的训练样本及对应的标签,基于所述训练样本及对应的标签,生成样本示例集,包括:
11、获取情感预测训练集中情感分类的训练样本及对应的标签,将一个训练样本与对应的标签,作为一个样本示例;
12、将每一样本示例存储至预设的示例模型,生成样本示例集。
13、进一步地,所述获取查询测试语句,将查询测试语句与所述样本示例集中每一个样本示例分别进行拼接,得到目标示例集,包括:
14、获取查询测试语句,将所述查询测试语句存储至预设的示例模板中;
15、并按照预设的形式分别将每个示例拼接在所述查询语句后,得到目标示例集。
16、进一步地,所述将目标示例集及查询测试语句分别输入大语言模型,并计算目标示例集的元梯度,基于元梯度更新对所述大语言模型进行训练,得到标签预测模型,包括:
17、分别将目标示例集中的每一个目标示例输入所述大语言模型,基于所述大语言模型计算目标示例的元梯度键值矩阵;
18、将查询测试语句输入大语言模型,获取所述查询测试语句的键值矩阵;
19、将所述元梯度键值矩阵与查询测试语句的键值矩阵进行拼接,得到拼接后的目标键值矩阵;
20、根据目标键值矩阵计算结果,根据所述目标键值矩阵计算结果对所述大语言模型进行元梯度键值更新,直到计算结果满足预设的条件后,得到标签预测模型。
21、进一步地,所述若大语言模型为若干层注意力模块,基于所述大语言模型计算目标示例的元梯度键值矩阵,包括:
22、获取每一层注意力模块每个位置的对应的注意力键值矩阵和查询矩阵;
23、将每一层当前的键值矩阵与历史键值矩阵进行拼接,将拼接后的矩阵作为更新后的目标示例的元梯度键值矩阵。
24、进一步地,所述基于预设的标签映射关系,获得所述预测标签对应的情感标签作为所述待处理通话数据的情感预测结果前,还包括:
25、预先对情感标签与情感预测结果的映射关系进行设置。
26、进一步地,所述获取待处理通话数据,对所述待处理通话数据进行预处理,得到待预测示例,包括:
27、获取待处理通话数据,对所述待处理通话数据进行语音识别,得到待处理文本数据;
28、对所述待处理文本数据进行文本清洗后,得到待预测示例。
29、本发明的另一实施例提供了一种基于上下文学习的情感预测装置,装置包括:
30、样本示例集生成模块,用于获取情感预测训练集中情感分类的训练样本及对应的标签,基于所述训练样本及对应的标签,生成样本示例集;
31、目标示例集生成模块,用于获取查询测试语句,将查询测试语句与所述样本示例集中每一个样本示例分别进行拼接,得到目标示例集;
32、模型训练模块,用于将目标示例集及查询测试语句分别输入大语言模型,并计算目标示例集的元梯度,基于元梯度更新对所述大语言模型进行训练,得到标签预测模型;
33、数据预处理模块,用于获取待处理通话数据,对所述待处理通话数据进行预处理,得到待预测示例;
34、标签预测模块,用于将所述待预测示例输入所述标签预测模型,根据所述标签预测模型得到所述待处理通话数据的预测标签;
35、情感预测模块,用于基于预设的标签映射关系,获得所述预测标签对应的情感标签作为所述待处理通话数据的情感预测结果。
36、本发明的另一实施例提供了一种终端,所述终端包括至少一个处理器;以及,
37、与所述至少一个处理器通信连接的存储器;其中,
38、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的基于上下文学习的情感预测方法。
39、本发明的另一实施例还提供了一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行上述的基于上下文学习的情感预测方法。
40、有益效果:本发明实施例的基于上下文学习的情感预测方法,通过元梯度的更新,以一种显性的方式令llms学习上下文示例内容(i n-context),使其在实际应用中更好地理解上下文信息;采用并行式的方法来独立学习每个示例,最大程度地减少了示例顺序对icl的影响,从而提高了模型的鲁棒性和可靠性。这种方式有助于确保模型对不同示例的学习都能够充分发挥作用,而不会受到示例顺序的限制。
本文地址:https://www.jishuxx.com/zhuanli/20241204/341822.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表