适用于多模态金融分析任务的端到端智能体金融模型方法

本发明涉及金融大模型技术，特别是涉及一种适用于多模态金融分析任务的端到端智能体金融模型方法。

背景技术：

1、金融分析任务主要包括股票趋势预测和金融问答这两个关键领域。目前机器学习和深度学习算法在时序预测方面取得了广泛应用，大语言模型在文本情感分析、文本意图识别、开放域对话等领域也取得了显著的进展。然而，完成金融分析任务要求具有丰富的特定领域背景知识，且时效性较强。机器学习和深度学习算法无法对预测结果提供详细的推理过程，缺乏可解释性；大语言模型在实际应用中仍然存在一定的局限性，无法及时跟进最新的市场动态和信息。通过检索增强生成技术可以有效地提升金融大模型的实时性、可靠性和准确性。

2、在现有的工作中，yang等人(fingpt-open-source financial large languagemodels)使用基于大语言模型的方法完成金融分析任务，利用大语言模型的文本生成能力实现简单的金融问答，但该方法存在实时性、可靠性不足的问题；xie等人(pixiu-a largelanguage model instruction data and evaluation benchmark for finance)提出了一个金融训练数据集，用于训练大语言模型，以提升模型的金融理解能力和分析能力，但该数据集主要侧重于自然语言处理的传统任务，如情感分析、文本摘要等，而在股票涨跌预测、金融问答等实战性任务上较为薄弱；为此，zhang等人(enhancing financial sentimentanalysis via retrieval augmented large language models)利用检索增强技术进行金融分析，通过构造本地金融实时数据库，在完成金融分析任务时，在本地数据库中检索与用户问题相关性最高的知识文档，作为外部知识辅助金融大模型进行回复，从而有效解决了大模型内容幻觉与无法生成实时性内容的问题。然而，现有检索增强生成技术都使用单一的文本模态文档作为外部知识，如新闻、研报等数据，并没有挖掘包含更多具有分析价值的其他模态信息，如市场价格时序数据、市场价格指标图像等。为此，本发明提出了端到端智能体金融大模型方法。

技术实现思路

1、为了至少一定程度上解决现有技术中存在的技术问题之一，本发明提出一种适用于多模态金融分析任务的端到端智能体金融模型方法。

2、本发明至少通过如下技术方案之一实现。

3、适用于多模态金融分析任务的端到端智能体金融模型方法，包括以下步骤：

4、(a)构造多模态金融数据集；

5、(b)使用多模态金融数据集对金融模型进行微调；

6、(c)使用通用大模型作为智能体模型对用户问题进行意图识别，并生成相应的api请求参数或数据库检索参数；

7、(d)对api请求和知识库检索得到的原始知识文档进行文档重写；

8、(e)对获取的所有知识文档进行重排序和倒数排序融合；

9、(f)将知识文档与金融任务提示词相结合，输入微调后的金融模型，进行有效的金融分析。

10、进一步地，所述多模态金融数据集包括：通用金融数据集、金融图像分析数据集、金融新闻和金融问答数据集；

11、其中，通用金融数据集由社区开源英文金融数据集构成，用于增强大模型的信息提取和文本摘要能力；

12、金融新闻和金融问答数据集来自于网络公开股价序列与新闻，用于扩充数据集样本的多样性，提升大模型的金融分析能力；

13、金融图像分析数据集来自于网络公开股价序列数据，用于增强大模型对图像中的金融指标信息的理解能力。

14、进一步地，使用低秩适应lora方法完成微调，微调过程中，金融模型中原有的参数将被冻结，仅更新新增的lora模块中的参数。

15、进一步地，所述智能体模型使用chatglm2-6b、qwen-7b开源模型，或者使用chatgpt模型等api调用模型；通过设置提示词，智能体模型通过回答当前用户问题判断是否需要请求相关知识文档，请求何种类型的知识文档，并按照提示词中约束的格式生成api请求或数据库检索参数的json对象：

16、(r,p)＝agent(q)

17、

18、其中，r和p表示智能体模型agent对用户问题q的意图识别结果集合和请求参数集合，rj取值为0或1，分别代表使用api请求或使用数据库检索，pj为与rj对应的请求参数，dj表示通过api请求或数据库检索得到的与用户问题q相关的知识文档。

19、进一步地，步骤(d)中，使用chatgpt模型对原始文档分别进行文档重写，提取出文档和关键信息，得到细粒度实体级文档：

20、d′j＝llmrewrite(dj)

21、其中，d′j表示通过chatgpt模型重写处理后的细粒度文档，dj表示通过api请求或数据库检索得到的与用户问题q相关的知识文档。

22、进一步地，在本地数据库中使用bm25算法进行稀疏检索，并使用倒数排序融合方法合并向量检索和稀疏检索的结果，同时，使用基于cross-encoder的方法对api请求和数据库检索得到的所有知识文档进行重排序：

23、d＝rerank(d′1,d′2,…,d′j)

24、其中，d表示重排序后的知识文档集合，d′j表示通过chatgpt模型重写处理后的细粒度文档。

25、进一步地，将步骤(e)得到的知识文档与用户问题输入微调后的金融模型，进行最终的金融分析：

26、res＝llmtuned(d,q)

27、其中，d表示重排序后的知识文档集合，q表示用户问题。

28、进一步地，所述金融模型是指任意的预训练通用大语言模型。

29、进一步地，所述预训练通用大语言模型为通义千问视觉理解模型(qwen-vl)、姜子牙-多模态模型。

30、进一步地，所述提示词以文本形式构建，包括角色指定、任务说明、用户问题、回复格式约束、知识文档参考部分

31、与现有技术相比，本发明具有以下有益效果：

32、(1)通过构建多模态金融数据集，高效微调大模型，将金融领域知识注入金融大模型，提升其金融分析能力；

33、(2)引入了智能体模型，利用大模型的能力提升知识文档检索的准确度和相关性；

34、(3)利用重排序和倒数排序融合方法进一步提升知识文档的质量，使得金融大模型更关注相关性更高的文档。

技术特征：

1.适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，所述多模态金融数据集包括：通用金融数据集、金融图像分析数据集、金融新闻和金融问答数据集；

3.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，使用低秩适应lora方法完成微调，微调过程中，金融模型中原有的参数将被冻结，仅更新新增的lora模块中的参数。

4.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，所述智能体模型使用chatglm2-6b、qwen-7b开源模型，或者使用chatgpt模型等api调用模型；通过设置提示词，智能体模型通过回答当前用户问题判断是否需要请求相关知识文档，请求何种类型的知识文档，并按照提示词中约束的格式生成api请求或数据库检索参数的json对象：

5.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，步骤(d)中，使用chatgpt模型对原始文档分别进行文档重写，提取出文档和关键信息，得到细粒度实体级文档：

6.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，在本地数据库中使用bm25算法进行稀疏检索，并使用倒数排序融合方法合并向量检索和稀疏检索的结果，同时，使用基于cross-encoder的方法对api请求和数据库检索得到的所有知识文档进行重排序：

7.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，将步骤(e)得到的知识文档与用户问题输入微调后的金融模型，进行最终的金融分析：

8.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，所述金融模型是指任意的预训练通用大语言模型。

9.根据权利要求1所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，所述预训练通用大语言模型为通义千问视觉理解模型(qwen-vl)、姜子牙-多模态模型。

10.根据权利要求1～9任一项所述的适用于多模态金融分析任务的端到端智能体金融模型方法，其特征在于，所述提示词以文本形式构建，包括角色指定、任务说明、用户问题、回复格式约束、知识文档参考部分。

技术总结本发明公开了适用于多模态金融分析任务的端到端智能体金融模型方法，该方法包括以下步骤：构造适用于微调的多模态金融数据集；使用构建的金融数据集对大语言模型进行微调；使用通用大模型作为智能体模型对用户问题进行意图识别，并生成相应的API请求参数或数据库检索参数对API请求和数据库检索得到的原始知识文档进行文档重写；对获取的所有知识文档进行重排序和倒数排序融合；将知识文档与金融任务提示词相结合，输入微调后的金融大模型，进行有效的金融分析。本发明提出的端到端智能体金融大模型方法主要解决数据库检索知识文档质量低、相关性弱的问题，可以有效提高知识文档的信噪比，从而提升金融大模型输出内容的事实性与可靠性。技术研发人员：杜卿,李振宇,施晨受保护的技术使用者：华南理工大学技术研发日：技术公布日：2024/7/29