一种多跳问答模型的评估方法、装置及存储介质

技术特征：
1.一种多跳问答模型的评估方法，其特征在于，所述方法包括：获取目标问题和多跳问答模型的数据库中与所述目标问题的真实答案相对应的原始文本；提取所述原始文本中的推理链；所述推理链表示推理得到所述目标问题的答案所使用的多个实体之间的关系；根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本；将所述至少一个干扰文本加入至所述原始文本中，得到测试文本；根据所述多跳问答模型从测试文本中推理得到的推理答案评估所述多跳问答模型的抗干扰能力。2.根据权利要求1所述的方法，其特征在于，所述提取所述原始文本中的推理链包括：根据所述原始文本构建实体图；所述实体图包括多个三元组，每个三元组表征两个实体和所述两个实体之间的关系；提取所述目标问题中的问题实体；从所述实体图中匹配得到所述问题实体对应的真实答案实体；提取所述实体图中所述问题实体到所述真实答案实体的最短路径作为推理链。3.根据权利要求2所述的方法，其特征在于，所述根据所述原始文本构建实体图包括：根据预训练的bert模型计算所述目标问题与所述原始文本中各个段落的相关度；选择相关度大于预设阈值的目标段落构建实体图。4.根据权利要求1所述的方法，其特征在于，根据以下方式确定所述推理链的类型：使用预设模型提取所述推理链的特征；根据所述推理链的特征确定所述推理链的类型。5.根据权利要求1所述的方法，其特征在于，所述根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本包括：在所述推理链的类型为桥接型的情况下，修改所述目标问题中的问题实体的属性关系，以生成假答案；其中，所述桥接型的推理链中的多个实体间的关系产生交叉；获取所述推理链中跳跃点的关系数量；所述跳跃点表示关联多个关系的实体；根据所述假答案构建所述关系数量个干扰文本。6.根据权利要求1所述的方法，其特征在于，所述根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本包括：在所述推理链的类型为比较型的情况下，修改所述目标问题中的问题实体的属性关系，以生成假答案；其中，所述比较型的推理链中的多个实体间的关系不产生交叉；根据所述假答案构建干扰文本。7.根据权利要求1所述的方法，其特征在于，所述根据所述多跳问答模型从测试文本中推理得到的推理答案评估所述多跳问答模型的抗干扰能力包括：比较所述推理答案和所述真实答案；在所述推理答案和所述真实答案相同的情况下，确定所述多跳问答模型的抗干扰能力强；在所述推理答案和所述真实答案不相同的情况下，确定所述多跳问答模型的抗干扰能力弱。
8.一种多跳问答模型的评估装置，其特征在于，所述装置包括：获取模块，用于获取目标问题和多跳问答模型的数据库中与所述目标问题的真实答案相对应的原始文本；提取模块，用于提取所述原始文本中的推理链；所述推理链表示推理得到所述目标问题的答案所使用的多个实体之间的关系；生成模块，用于根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本；测试模块，用于将所述至少一个干扰文本加入至所述原始文本中，得到测试文本；推理模块，用于根据所述多跳问答模型从测试文本中推理得到的推理答案评估所述多跳问答模型的抗干扰能力。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现：获取目标问题和多跳问答模型的数据库中与所述目标问题的真实答案相对应的原始文本；提取所述原始文本中的推理链；所述推理链表示推理得到所述目标问题的答案所使用的多个实体之间的关系；根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本；将所述至少一个干扰文本加入至所述原始文本中，得到测试文本；根据所述多跳问答模型从测试文本中推理得到的推理答案评估所述多跳问答模型的抗干扰能力。10.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现：获取目标问题和多跳问答模型的数据库中与所述目标问题的真实答案相对应的原始文本；提取所述原始文本中的推理链；所述推理链表示推理得到所述目标问题的答案所使用的多个实体之间的关系；根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本；将所述至少一个干扰文本加入至所述原始文本中，得到测试文本；根据所述多跳问答模型从测试文本中推理得到的推理答案评估所述多跳问答模型的抗干扰能力。

技术总结
本说明书实施例提供一种多跳问答模型的评估方法、装置及存储介质，所述方法包括：获取目标问题和多跳问答模型的数据库中与所述目标问题的真实答案相对应的原始文本；提取所述原始文本中的推理链；所述推理链表示推理得到所述目标问题的答案所使用的多个实体之间的关系；根据所述推理链的类型生成干扰所述多个实体之间的关系的至少一个干扰文本；将所述至少一个干扰文本加入至所述原始文本中，得到测试文本；根据所述多跳问答模型从测试文本中推理得到的推理答案评估所述多跳问答模型的抗干扰能力，从而实现定向地对模型进行评估，准确地查找到模型的弱点。确地查找到模型的弱点。确地查找到模型的弱点。


技术研发人员：魏忠钰 丁佳玙
受保护的技术使用者：复旦大学
技术研发日：2022.04.30
技术公布日：2022/8/16