数据处理方法及装置与流程

本申请涉及计算机，特别涉及数据处理方法。本申请同时涉及数据处理装置，一种计算设备，一种计算机可读存储介质以及计算机程序产品。

背景技术：

1、在问答业务场景中，系统会根据问题从多个数据源中召回相关文本，包括网站、文档、系统内部的知识库等，这些文本数据的数据量极大，来源多样，内容复杂，给问答系统的准确性和效率带来了挑战。传统的处理方法包括简单的文本合并或基于规则的过滤机制，但这些方法往往不能很好的平衡信息的全面性和问答的质量。

2、为了解决上述问题，目前的实现方法通常是增强语言模型的文本理解能力，或优化文本召回和筛选的策略来提升性能，例如设计更复杂的文本表示技术、使用新的文本排名算法等等，但是这些方法虽然各自在处理多源文本数据和提升问答系统性能方法有显著贡献，但是也存在着资源消耗过大、模型泛化能力有限、准确性局限、信息丢失等问题。因此，技术人员亟需提供一种更加准确、有效，且资源消耗较少的问答处理方法。

技术实现思路

1、有鉴于此，本申请实施例提供了数据处理方法。本申请同时涉及数据处理装置，一种计算设备，一种计算机可读存储介质以及计算机程序产品，以解决现有技术中存在的上述问题。

2、根据本申请实施例的第一方面，提供了一种数据处理方法，包括：

3、获取待处理问题，以及所述待处理问题对应的至少一个待处理文本；

4、将所述待处理问题和各待处理文本输入至第一大语言模型，基于所述第一大语言模型的输出结果确定至少一个待处理文本片段，其中，待处理文本片段用于给出所述待处理问题的参考答案；

5、将所述待处理问题和各待处理文本片段输入至第二大语言模型，获得所述第二大语言模型输出的目标回答。

6、根据本申请实施例的第二方面，提供了一种数据处理装置，包括：

7、获取模块，被配置为获取待处理问题，以及所述待处理问题对应的至少一个待处理文本；

8、文本筛选模块，被配置为将所述待处理问题和各待处理文本输入至第一大语言模型，基于所述第一大语言模型的输出结果确定至少一个待处理文本片段，其中，待处理文本片段用于给出所述待处理问题的参考答案；

9、问答模块，被配置为将所述待处理问题和各待处理文本片段输入至第二大语言模型，获得所述第二大语言模型输出的目标回答。

10、根据本申请实施例的第三方面，提供了一种计算设备，包括：

11、存储器和处理器；

12、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据处理方法的步骤。

13、根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据处理方法的步骤。

14、根据本申请实施例的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据处理方法的步骤。

15、本申请提供的数据处理方法，获取待处理问题，以及所述待处理问题对应的至少一个待处理文本；将所述待处理问题和各待处理文本输入至第一大语言模型，基于所述第一大语言模型的输出结果确定至少一个待处理文本片段，其中，待处理文本片段用于给出所述待处理问题的参考答案；将所述待处理问题和各待处理文本片段输入至第二大语言模型，获得所述第二大语言模型输出的目标回答。

16、本申请一实施例实现了在获得待处理问题和待处理问题对应的待处理文本之后，先利用大语言模型，对待处理文本进行筛选，从至少一个待处理文本中选出至少一个待处理文本片段，选出的待处理文本片段用于给出所述待处理问题的答案，通过大语言模型对待处理文本进行筛选，可以高效的将对待处理问题无用的文本片段删除，只保留能回答待处理问题的文本片段，提升了待处理文本片段与待处理问题之间的相关性，便于后续生成目标回答时避免无效信息造成的资源浪费。再将至少一个待处理文本片段和待处理问题输入到第二大语言模型中进行答案生成，使得第二大语言模型可以更专注的根据待处理文本片段给出目标回答，保证了最终目标回答的高效性，获得了高质量的目标回答。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，获取待处理问题，以及所述待处理问题对应的至少一个待处理文本，包括：

3.如权利要求2所述的方法，其特征在于，获得至少一个索引源返回的至少一个待处理文本，包括：

4.如权利要求1所述的方法，其特征在于，将所述待处理问题和各待处理文本输入至第一语言模型，包括：

5.如权利要求1所述的方法，其特征在于，将所述待处理问题和各待处理文本片段输入至第二大语言模型，包括：

6.如权利要求5所述的方法，其特征在于，拼接各待处理文本片段，获得待识别文本，包括：

7.如权利要求6所述的方法，其特征在于，对各待处理文本片段进行数据清洗，获得各待处理文本片段对应的预处理文本片段，包括：

8.如权利要求7所述的方法，其特征在于，对所述目标待处理文本片段执行去除超链接、修正格式、去重中至少一项处理，获得所述目标待处理文本片段对应的预处理文本片段，包括：

9.如权利要求8所述的方法，其特征在于，所述片段元信息包括片段来源、片段创建时间、片段归属信息中的至少一项。

10.一种数据处理装置，其特征在于，包括：

11.一种计算设备，其特征在于，包括：

12.一种计算机可读存储介质，其存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至9任意一项所述方法的步骤。

13.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至9任意一项所述方法的步骤。

技术总结本申请提供数据处理方法及装置，其中所述数据处理方法包括：获取待处理问题，以及所述待处理问题对应的至少一个待处理文本；将所述待处理问题和各待处理文本输入至第一大语言模型，基于所述第一大语言模型的输出结果确定至少一个待处理文本片段，其中，待处理文本片段用于给出所述待处理问题的参考答案；将所述待处理问题和各待处理文本片段输入至第二大语言模型，获得所述第二大语言模型输出的目标回答。技术研发人员：梁源,崔恒斌受保护的技术使用者：无限光年（上海）技术有限公司技术研发日：技术公布日：2024/9/2