一种金融信息的AI分析方法及系统

本发明涉及金融信息分析，尤其涉及一种金融信息的ai分析方法及系统。

背景技术：

1、迁移学习技术(fine-tuning)是一种在自然语言处理(nlp)中使用的技术，用于将预训练的语言模型适应于特定任务或领域。fine-tuning的基本思想是采用已经在大量文本上进行训练的预训练语言模型，然后在小规模的任务特定文本上继续训练它。在nlp中，fine-tuning最著名的例子之一是由openai开发的openai gpt(生成式预训练变压器)模型。gpt模型在大量文本上进行了预训练，然后在各种任务上进行了微调，例如语言建模，问答和摘要。经过微调的模型在这些任务上取得了最先进的性能。gpt-4(generative pre-trained transformer4)是openai发布的最新gpt系列模型。它是一个大规模的多模态模型，可以接受图像和文本输入，产生文本输出。

2、目前金融场景下的分析计算问题主要依靠拥有丰富的相关金融知识的专业人员根据自己的知识储备进行计算与分析，然而由于不同金融场景下的金融从业人员的知识也相对独立，个人实现金融全场景下的分析计算问题几乎不可能。随着大语言模型的发展，业内寄望于使用大语言模型进行金融任务推理计算，但面对较为复杂的分析计算问题，大语言模型无法给出准确的分析工具，用户在各项金融业务过程中需要对金融产品的各项数据指标进行分析比较，掌握各项投资信息、研发数据、财务数据、产品信息等金融数据，但金融数据往往复杂繁琐，且数据量惊人。

3、因此，提出一种金融信息的ai分析方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种金融信息的ai分析方法及系统，通过构建金融大语言模型，从而全面、实时、快速的得出用户所需的分析结果，大大提高了金融数据分析的效率，提高了用户的体验度。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种金融信息的ai分析方法，包括以下步骤：

4、s1.获取数据：基于公共数据集与金融专用数据集获取金融数据；

5、s2.数据预处理：对获取的金融数据进行预处理；

6、s3.数据划分：将预处理后的金融数据划分为训练集和测试集；

7、s4.模型训练：将训练集输入构建的金融大语言模型，对金融大语言模型进行训练，经过若干次训练后，得到训练好的金融大语言模型；

8、s5.训练结束：将测试集输入训练好的金融大语言模型进行验证，输出最终的金融大语言模型；

9、s6.数据分析：将待分析的金融数据输入最终的金融大语言模型，输出分析结果。

10、上述的方法，可选的，s1中的公共数据集包括kaggle数据集和谷歌数据集；金融专用数据集包括smoothnlp金融文本数据集。

11、上述的方法，可选的，s2中对获取的金融数据进行预处理的具体内容为：采用samza+kafka的实时处理框架对金融数据进行数据分类、数据去重、数据清洗和数据转换处理。

12、上述的方法，可选的，s3中将预处理后的金融数据前70％划分为训练集，后30％划分为测试集。

13、上述的方法，可选的，s4中采用gpt-4模型构建金融大语言模型，gpt-4模型基于transformer结构，包括输入嵌入层、自注意力层、前馈神经网络层、输出层。

14、上述的方法，可选的，s4中将训练集输入构建的金融大语言模型，对金融大语言模型进行训练，经过若干次训练后，得到训练好的金融大语言模型的具体内容为：采用无监督学习对金融大语言模型进行训练；

15、s41.将训练集输入gpt-4模型进行k次迭代训练；

16、s42.计算第n次迭代训练结果的最小化损失函数，并根据最小化损失函数调节第n+1次迭代训练的学习率，n∈k，k为正整数；

17、s43.在s41-s42训练的基础上，对金融大语言模型进行微调；

18、s44.根据微调的结果得到训练好的金融大语言模型。

19、一种金融信息的ai分析系统，应用上述任一项的一种金融信息的ai分析方法，包括：获取数据模块、数据预处理模块、数据划分模块、模型训练模块、训练结束模块和数据分析模块；

20、获取数据模块，与数据预处理模块的输入端连接，用于基于公共数据集与金融专用数据集获取金融数据；

21、数据预处理模块，与数据划分模块的输入端连接，用于对获取的金融数据进行预处理；

22、数据划分模块，与模型训练模块的输入端连接，用于将预处理后的金融数据划分为训练集和测试集；

23、模型训练模块，与训练结束模块的输入端连接，用于将训练集输入构建的金融大语言模型，对金融大语言模型进行训练，经过若干次训练后，得到训练好的金融大语言模型；

24、训练结束模块，与数据分析模块的输入端连接，用于将测试集输入训练好的金融大语言模型进行验证，输出最终的金融大语言模型；

25、数据分析模块，与训练结束模块的输出端连接，用于将待分析的金融数据输入最终的金融大语言模型，输出分析结果。

26、经由上述的技术方案可知，与现有技术相比，本发明提供了一种金融信息的ai分析方法及系统，具有以下有益效果：

27、(1)通过gpt-4构建金融大语言模型，gpt-4具有高性能和更强的泛化能力，从而全面、实时、快速的得出用户所需的分析结果，大大提高了金融数据分析的效率，提高了用户的体验度；

28、(2)数据预处理采用分布式实时处理框架，利用分布式消息队列的批量消费的特点，通过制定和开发数据完整性、有效性校验规则，实现对数据完整性、有效性的实时检查和处理。

技术特征：

1.一种金融信息的ai分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种金融信息的ai分析方法，其特征在于，

3.根据权利要求1所述的一种金融信息的ai分析方法，其特征在于，

4.根据权利要求1所述的一种金融信息的ai分析方法，其特征在于，

5.根据权利要求1所述的一种金融信息的ai分析方法，其特征在于，

6.根据权利要求1所述的一种金融信息的ai分析方法，其特征在于，

7.一种金融信息的ai分析系统，其特征在于，应用权利要求1-6任一项所述的一种金融信息的ai分析方法，包括：获取数据模块、数据预处理模块、数据划分模块、模型训练模块、训练结束模块和数据分析模块；

技术总结本发明公开了一种金融信息的AI分析方法及系统，涉及金融信息分析技术领域。包括：基于公共数据集与金融专用数据集获取金融数据；对获取的金融数据进行预处理；将预处理后的金融数据划分为训练集和测试集；将训练集输入构建的金融大语言模型，对金融大语言模型进行训练，经过若干次训练后，得到训练好的金融大语言模型；将测试集输入训练好的金融大语言模型进行验证，输出最终的金融大语言模型；将待分析的金融数据输入最终的金融大语言模型，输出分析结果。本发明通过构建金融大语言模型，从而全面、实时、快速的得出用户所需的分析结果，大大提高了金融数据分析的效率，提高了用户的体验度。技术研发人员：刘冲,杨兆廷,张瑶,申晨,陈刚受保护的技术使用者：河北金融学院技术研发日：技术公布日：2024/7/29