一种数据处理方法、装置、电子设备及存储介质与流程

本发明涉及人工智能领域，特别涉及一种基于智能体的数据处理方法、装置、电子设备及存储介质。

背景技术：

1、现代数字化时代，海量数据涌现在人们面前，数据可视化的处理方式越来越多，最常见的就是通过编程语言(例如：python)和相关数据库(例如：matplotlib、seaborn等)来创建图表，然而，这种方式需要用户具备相应的编程知识，还要对相应的数据库有深入的了解，也就是说，使用者必须具备至少一门编程语言和相关的绘图数据库的相关知识，而且，随着人们对数据可视化形式的要求越来越高，使用者所掌握的绘图数据库中预定义的图类型和样式往往不能满足需求，即使是经验丰富的开发人员，也需要花费大量时间来调试代码对生成图形进行优化，使得图表生成方法过于依赖工程师的编程技能和绘图工具的掌握程度，缺乏普适性和易用性。

技术实现思路

1、为此，本发明提供了一种数据处理方法、装置、电子设备及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。

2、根据本发明的一个方面，提供一种数据处理方法，所述数据处理方法基于智能体(agent，也称智能代理)实现，包括：

3、获取用户的制表指令，其中，所述制表指令包括制表数据和制表需求；

4、对所述制表数据进行第一预处理；

5、根据所述第一预处理后的制表数据和所述制表需求生成应用程序接口调用指令，并根据所述应用程序接口调用指令调用应用程序，生成目标输出图表；

6、根据第一预处理后的所述制表数据和/或所述目标输出图表生成目标解析信息；

7、将所述目标输出图表和所述目标解析信息输出给用户。

8、可选的，在根据本发明的数据处理方法中，所述对所述制表数据进行第一预处理，包括如下操作中的至少一种：

9、去除所述制表数据中的噪声；

10、修改所述制表数据中的错别字；

11、对所述制表数据中的缺失数据进行修复；

12、对所述制表数据中的数据去重。

13、可选的，所述根据所述第一预处理后的制表数据生成目标解析信息，包括：

14、从所述第一预处理后的制表数据中提取关键信息，所述关键信息包括属性信息和数据信息；

15、根据所述关键信息生成目标解析信息。

16、可选的，所述智能体基于大语言模型实现。

17、可选的，所述智能体基于大语言模型实现的过程包括：

18、构建初始大语言模型；

19、获取第一训练样本数据集，所述第一训练样本数据集中的训练样本为文本数据，通过所述第一训练样本数据集对所述初始大语言模型进行训练，获得预训练大语言模型；

20、获取第二训练样本数据集，所述第二训练样本数据集包括样本数据和标注数据，通过所述第二训练样本数据集对所述预训练大语言模型进行微调，获得目标大语言模型；

21、根据所述目标大语言模型生成所述智能体。

22、可选的，所述第一训练样本数据集为超大规模数据集，所述通过所述第一训练样本数据集对所述初始大语言模型进行训练，获得预训练大语言模型，包括：

23、获取大量文本数据组成第一训练样本数据集；

24、对所述第一训练样本数据集中的数据进行第二预处理；

25、通过第二预处理后的第一训练样本数据集对所述初始大语言模型进行训练，直至所述初始大语言模型收敛，获得所述预训练大语言模型。

26、可选的，所述获取第二训练样本数据集，通过所述第二训练样本数据集对所述预训练大语言模型进行微调，包括：

27、获取第二训练样本数据集，其中，所述第二训练样本数据集中的样本数据包括制表数据样本和制表需求样本，所述第二训练样本数据集中的标注数据包括第一标注数据、第二标注数据和第三标注数据，其中，第一标注数据为与所述制表数据样本对应的标准数据表格，第二标注数据为与所述样本数据对应的应用程序接口，第三标注数据为对所述样本数据的分析结果；

28、通过所述预训练大语言模型处理所述第二训练样本数据集中的训练样本，获得输出标签；

29、根据所述输出标签和所述标注数据之间的损失函数对所述预训练大语言模型进行微调，直至所述预训练大语言模型收敛，获得目标大语言模型。

30、根据本发明的又一个方面，提供一种数据处理装置，所述数据处理装置基于智能体实现，所述装置包括：

31、指令获取模块，用于获取用户的制表指令，所述制表指令包括制表数据和制表需求；

32、第一处理模块，用于对所述制表数据进行第一预处理；

33、第二处理模块，用于根据所述第一预处理后的制表数据和制表需求生成应用程序接口调用指令，生成目标输出图表；

34、第三处理模块，用于根据第一预处理后的所述制表数据和/或所述目标输出表格生成目标解析信息；

35、目标数据输出模块，用于将所述目标输出图表和所述目标解析信息输出给用户。

36、根据本发明的又一个方面，提供一种电子设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行如上的任一项所述方法的指令。

37、根据本发明的又一方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行如上的任一项所述的方法。

38、根据本发明的数据处理方法，基于智能体根据数据生成图表，根据用户的制表指令生成应用程序接口调用指令，借助智能体的工具集成功能，即通过生成应用程序接口调用指令调用外部应用程序完成数据处理任务，不仅能够生成图表(即，目标输出图表)，还能获得图表解析信息(即，目标解析信息)，使得根据数据生成图表任务不再依赖使用者的编程技能和绘图工具使用技能，从而使得不具有任何图表开发经验的用户也能通过制表需求提示获得目标图表，节省使用者在生成图像时调试代码的时间，提高制表效率，使得制表任务更具普适性和易用性。

技术特征：

1.一种数据处理方法，其特征在于，所述数据处理方法基于智能体实现，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述对所述制表数据进行第一预处理，包括如下操作中的至少一种：

3.如权利要求1所述的方法，其特征在于，所述根据所述第一预处理后的制表数据生成目标解析信息，包括：

4.如权利要求1至3任一项所述的方法，其特征在于，所述智能体基于大语言模型实现。

5.如权利要求4所述的方法，其特征在于，所述智能体基于大语言模型实现的过程，包括：

6.如权利要求5所述的方法，其特征在于，所述第一训练样本数据集为超大规模数据集，所述通过所述第一训练样本数据集对所述初始大语言模型进行训练，获得预训练大语言模型，包括：

7.如权利要求5所述的方法，其特征在于，所述获取第二训练样本数据集，通过所述第二训练样本数据集对所述预训练大语言模型进行微调，包括：

8.一种数据处理装置，其特征在于，所述数据处理装置基于智能体实现，所述装置包括：

9.一种电子设备，包括：

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-7中任一项所述方法。

技术总结本发明公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：获取用户的制表指令，其中制表指令包括制表数据和制表需求；对制表数据进行第一预处理；根据第一预处理后的制表数据和制表需求生成应用程序接口调用指令，并根据应用程序接口调用指令调用应用程序，生成目标输出图表，根据第一预处理后的制表数据和/或目标输出图表生成目标解析信息；将目标输出图表和目标解析信息输出给用户。通过应用本方案，可以实现通过生成应用程序接口调用指令调用外部应用程序完成数据处理任务生成图表与图表解析信息。技术研发人员：吴鑫,胡晨受保护的技术使用者：上海阶跃星辰智能科技有限公司技术研发日：技术公布日：2024/9/29