信息处理方法和装置、电子设备及计算机程序产品与流程

本技术涉及人工智能，具体而言，涉及一种信息处理方法和装置、电子设备及计算机程序产品。

背景技术：

1、随着人工智能的发展，往往使用大模型对文档中的知识进行问答。为此，首先需要对文档的内容切块（chunk），然后针对问题对chunk内容进行粗召回，但由于粗召回阶段的集合中，往往包含大量非精准匹配项，和问题真正相关有效的信息往往排名靠后。由于大模型的语义单元（tokens）数量限制，这些有效的信息往往不能够送入到大模型中，这直接影响了问答效果。现有技术中一般依赖于人工监督信号对召回的chunk进行精准排序，这需要大量的人力，并且泛化能力比较弱。此外，在不同领域，召回的信息可能是多种多样的，除了文本的语义信息，还会有作者信息，时间，文档标题等等信息。

2、针对上述的相关技术中通过大模型对文档中的知识进行问答时依赖于人工监督信号对召回的内容进行排序，导致模型回复信息的准确度比较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种信息处理方法和装置、电子设备及计算机程序产品，以至少解决相关技术中通过大模型对文档中的知识进行问答时依赖于人工监督信号对召回的内容进行排序，导致模型回复信息的准确度比较低的技术问题。

2、根据本技术实施例的一个方面，提供了一种信息处理方法，包括：获取针对目标信息的多个第一召回结果，其中，所述多个第一召回结果是通过第一自然语言模型基于所述目标信息输出的回复信息；依据所述目标信息和所述多个第一召回结果中的第一召回结果构建提示信息，得到多个第一提示信息；通过目标自然语言模型对所述多个第一提示信息进行处理，得到所述多个第一提示信息中的第一提示信息对应的概率值，其中，所述概率值用于表征所述第一提示信息中的第一召回结果包含所述目标信息所需的信息的概率；依据所述概率值从所述多个第一召回结果中确定所述目标信息对应的目标回复信息。

3、进一步地，依据所述目标信息和所述多个第一召回结果中的第一召回结果构建提示信息，得到多个第一提示信息包括：对所述目标信息和所述多个第一召回结果中的第一召回结果进行拼接，得到多个第一问答对；依据预设的二分类文本和所述多个第一问答对的第一问答对构建提示信息，得到多个初始提示信息；对所述目标信息所属的领域和所述多个初始提示信息进行拼接，得到所述多个第一提示信息。

4、进一步地，通过目标自然语言模型对所述多个第一提示信息进行处理，得到所述多个第一提示信息中的第一提示信息对应的概率值包括：通过所述目标自然语言模型对所述多个第一提示信息进行并发处理，得到所述多个第一提示信息中的第一提示信息对应的对数几率值；依据所述对数几率值进行计算，得到所述概率值。

5、进一步地，在通过目标自然语言模型对所述多个第一提示信息进行处理，得到所述多个第一提示信息中的第一提示信息对应的概率值之前，所述方法还包括：获取目标训练样本集，其中，所述目标训练样本集包括多个问题和所述多个问题中的问题对应的多个第二召回结果；依据所述目标训练样本集对初始自然语言模型进行训练，得到所述目标自然语言模型。

6、进一步地，获取目标训练样本集包括：获取所述多个问题和获取所述多个第二召回结果；对所述多个问题中的问题和所述问题对应的多个第二召回结果进行拼接，得到多个第二问答对；依据所述多个第二问答对和所述多个第二问答对中的第二问答对的真实标签构建目标训练样本集，其中，所述真实标签用于表征所述第二问答对中的第二召回结果是否包括所述问题所需的信息。

7、进一步地，采用下述步骤获取所述真实标签：依据所述多个第二问答对和预设的二分类文本构建提示信息，得到多个第二提示信息；通过第二自然语言模型对所述多个第二提示信息进行处理，得到所述多个第二提示信息对应的回复信息，其中，所述回复信息用于表征所述第二提示信息中的召回结果是否包括所述问题所需的信息；依据所述回复信息，确定所述真实标签。

8、进一步地，获取所述多个第二召回结果包括：通过目标界面接收所述多个问题，并将所述多个问题输入得到第一自然语言模型中；通过第一自然语言模型对所述多个问题进行处理，得到所述多个问题对应的多个回复信息；依据所述多个回复信息中回复信息的次序，从所述多个回复信息中确定所述多个第二召回结果。

9、进一步地，依据所述概率值从所述多个第一召回结果中确定所述目标信息对应的目标回复信息包括：依据所述概率值对所述多个第一召回结果进行降序排列处理，得到对所述第一召回结果的排序结果；依据所述排序结果，将排列次序满足预设要求的第一召回结果确定为所述目标回复信息。

10、根据本技术实施例的另一方面，还提供了一种信息处理方法，包括：获取客户端发送的针对目标信息的多个第一召回结果，其中，所述多个第一召回结果是通过第一自然语言模型基于所述目标信息输出的回复信息；在云端服务器中依据所述目标信息和所述多个第一召回结果中的第一召回结果构建提示信息，得到多个第一提示信息；通过目标自然语言模型对所述多个第一提示信息进行处理，得到所述多个第一提示信息中的第一提示信息对应的概率值，其中，所述概率值用于表征所述第一提示信息中的第一召回结果包含所述目标信息所需的信息的概率；依据所述概率值从所述多个第一召回结果中确定所述目标信息对应的目标回复信息；将所述目标回复信息返回至所述客户端。

11、根据本技术实施例的另一方面，还提供了一种信息处理装置，包括：第一获取单元，用于获取针对目标信息的多个第一召回结果，其中，所述多个第一召回结果是通过第一自然语言模型基于所述目标信息输出的回复信息；第一构建单元，用于依据所述目标信息和所述多个第一召回结果中的第一召回结果构建提示信息，得到多个第一提示信息；处理单元，用于通过目标自然语言模型对所述多个第一提示信息进行处理，得到所述多个第一提示信息中的第一提示信息对应的概率值，其中，所述概率值用于表征所述第一提示信息中的第一召回结果包含所述目标信息所需的信息的概率；排序单元，用于依据所述概率值从所述多个第一召回结果中确定所述目标信息对应的目标回复信息。

12、进一步地，构建单元包括：拼接模块，用于对所述目标信息和所述多个第一召回结果中的第一召回结果进行拼接，得到多个第一问答对；构建模块，用于依据预设的二分类文本和所述多个第一问答对的第一问答对构建提示信息，得到多个初始提示信息；第一确定模块，用于对所述目标信息所属的领域和所述多个初始提示信息进行拼接，得到所述多个第一提示信息。

13、进一步地，处理单元包括：处理模块，用于通过所述目标自然语言模型对所述多个第一提示信息进行并发处理，得到所述多个第一提示信息中的第一提示信息对应的对数几率值；计算模块，用于依据所述对数几率值进行计算，得到所述概率值。

14、进一步地，所述装置还包括：第二获取单元，用于在通过目标自然语言模型对所述多个第一提示信息进行处理，得到所述多个第一提示信息中的第一提示信息对应的概率值之前，获取目标训练样本集，其中，所述目标训练样本集包括多个问题和所述多个问题中的问题对应的多个第二召回结果；训练单元，用于依据所述目标训练样本集对初始自然语言模型进行训练，得到所述目标自然语言模型。

15、进一步地，第二获取单元包括：获取模块，用于获取所述多个问题和获取所述多个第二召回结果；拼接模块，用于对所述多个问题中的问题和所述问题对应的多个第二召回结果进行拼接，得到多个第二问答对；构建模块，用于依据所述多个第二问答对和所述多个第二问答对中的第二问答对的真实标签构建目标训练样本集，其中，所述真实标签用于表征所述第二问答对中的第二召回结果是否包括所述问题所需的信息。

16、进一步地，采用下述装置获取所述真实标签：第二构建单元，用于依据所述多个第二问答对和预设的二分类文本构建提示信息，得到多个第二提示信息；处理单元，用于通过第二自然语言模型对所述多个第二提示信息进行处理，得到所述多个第二提示信息对应的回复信息，其中，所述回复信息用于表征所述第二提示信息中的召回结果是否包括所述问题所需的信息；确定单元，用于依据所述回复信息，确定所述真实标签。

17、进一步地，获取模块包括：接收子模块，用于通过目标界面接收所述多个问题，并将所述多个问题输入得到第一自然语言模型中；处理子模块，用于通过第一自然语言模型对所述多个问题进行处理，得到所述多个问题对应的多个回复信息；确定子模块，用于依据所述多个回复信息中回复信息的次序，从所述多个回复信息中确定所述多个第二召回结果。

18、进一步地，排序单元包括：排序模块，用于依据所述概率值对所述多个第一召回结果进行降序排列处理，得到对所述第一召回结果的排序结果；第二确定模块，用于依据所述排序结果，将排列次序满足预设要求的第一召回结果确定为所述目标回复信息。

19、根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器，存储有可执行程序；处理器，用于运行所述程序，其中，所述程序运行时执行上述任意一项所述的信息处理方法。

20、根据本发明实施例的另一方面，还提供了计算机程序产品，所述计算机程序产品包括存储的计算机程序，在所述计算机程序由处理器运行时，实现上述任意一项中任意一项所述的信息处理方法。

21、在本技术实施例中，采用以下步骤：获取针对目标信息的多个第一召回结果，其中，多个第一召回结果是通过第一自然语言模型基于目标信息输出的回复信息；依据目标信息和多个第一召回结果中的第一召回结果构建提示信息，得到多个第一提示信息；通过目标自然语言模型对多个第一提示信息进行处理，得到多个第一提示信息中的第一提示信息对应的概率值，其中，概率值用于表征第一提示信息中的第一召回结果包含目标信息所需的信息的概率；依据概率值从多个第一召回结果中确定目标信息对应的目标回复信息，解决了相关技术中通过大模型对文档中的知识进行问答时依赖于人工监督信号对召回的内容进行排序，导致模型回复信息的准确度比较低的技术问题。在本方案中，通过第一自然语言模型基于目标信息得到多个第一召回结果之后，通过目标信息和第一召回结果构建第一提示信息，第一提示信息用于引导目标自然语言模型输出第一召回结果中包含目标信息所需的信息的概率，然后通过概率值，实现对第一召回结果的精准排序，进而达到提高模型回复信息的准确度的效果。