基于最短编辑距离的视障人群的多模垂直领域知识问答方法与流程

本发明涉及人工智能技术在助盲教育领域的应用，尤其涉及基于最短编辑距离的视障人群的多模垂直领域知识问答方法。

背景技术：

1、在当前数字信息时代，视障人群对信息技术的依赖日益增长，尤其是在特定的垂直领域知识获取上，他们面临的挑战更加显著。垂直领域知识指的是某一特定领域内的深层次、专业的信息内容，多模指的是除了文本模态的知识外，还有表格和图片等等。这些内容的获取对于视障人群来说尤为困难，因为它们往往需要更加精细和高效的信息处理能力。

2、目前的信息检索系统，尽管在普适性信息获取方面有所进步，但在应对多模垂直领域知识检索时，仍然存在诸多不便。对于视障人群，他们在使用这类系统时，面临的问题主要包括：多模信息检索过程复杂、多模信息不够直观易懂、缺乏有效的信息过滤和优化机制等。这些问题不仅减缓了知识获取的速度，而且影响了获取知识的准确性。另一方面，由于视障人群无法通过视觉进行信息的快速筛选和评估，因此，他们更加依赖于信息检索系统提供的结果的相关性和准确性。

3、在这种情况下，传统的基于关键词匹配的检索方法往往难以满足其需求。由于缺乏对视障人群特定需求的理解和技术优化，现有的问答系统无法有效地引入和处理多模垂直领域知识，导致视障人群在获取高质量的专业信息时经常遭遇困境。此外，视障人群在面对长段文字阅读时会遇到困难，这进一步增加了他们获取多模垂直领域知识的难度。为了帮助视障人群更好地获取和理解这些知识，现有技术需要在信息的处理、摘要和呈现方式上进行优化，以解决上述问题。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于最短编辑距离的视障人群的多模垂直领域知识问答方法，在信息的摘要和呈现方式上进行优化，能够为视障人群提供更加精确和个性化的多模垂直领域知识引入问答服务。

2、本发明提供了一种基于最短编辑距离的视障人群的多模垂直领域知识问答方法，多模垂直领域知识包括文本模态的知识、表格模态的知识和图片模态的知识，包括以下步骤：

3、s110，将多模垂直领域知识库进行结构化处理，其中，将文本模态的知识分解为标题和内容两部分，用于进行信息检索和匹配；

4、s120，将表格模态的知识进行结构识别并生成为html标签后，分解为表格的标题和内容两部分，用于进行信息检索和匹配；

5、s130，将图片模态的知识通过图文大模型，生成详细描述信息，同时将详细描述信息分解为图片的标题和内容两部分，用于进行信息检索和匹配；

6、s140，文本模态的知识、表格模态的知识和图片模态的知识经过处理和分解后，将分解后的标题和内容两部分形成文档替换原来的字符，并使用id对文档进行标识；

7、s150，接受用户查询请求，采用最短编辑距离算法处理标准化后的查询请求，计算与多模垂直领域知识库中每一个文档的标题和内容的编辑距离，筛选出最相关的前四个文档；

8、s160，对筛选出的前四个文档中的内容进行综合评分，评分依据包括编辑距离、文档的原始评价指标和用户历史交互数据；

9、s170，根据综合评分对四个文档按照相关性从高到低进行重排序；

10、s180，根据四个文档的内容分别各自生成多层次摘要选项，供视障用户选择，同时，利用id标识召回原始的文本模态的知识、表格模态的知识或图片模态的知识，供非视障用户进行检查。

11、进一步地，步骤s110中的将文本模态的知识分解为标题和内容两部分，具体包括：

12、s1101，运用自动化文本分析工具，对文本模态的知识内容执行语义解析；

13、s1102，将解析得到的数据标记为标题和内容两个字段，并将标题和内容存储于索引数据库中以支持高效检索。

14、进一步地，步骤s150中的接受用户查询请求，采用最短编辑距离算法处理标准化后的查询请求，计算与多模垂直领域知识库中每一个文档的标题和内容的编辑距离，筛选出最相关的前四个文档，具体包括：

15、s1501，将用户自然语言的查询请求转换为标准查询格式；

16、s1502，对查询请求和多模垂直领域知识库中的标题进行最短编辑距离的计算；

17、s1503，选定距离最短的前四个文档，并对这前四个文档的内容进行同样的编辑距离计算。

18、进一步地，步骤s160中的对筛选出的前四个文档中的内容进行综合评分，评分依据包括编辑距离、文档的原始评价指标和用户历史交互数据，具体包括：

19、s1601，依据四个文档中的内容与标准化后的查询请求的编辑距离给予初步评分；

20、s1602，结合文档的相关性指标，包括点击率和引用次数，进行评分调整；

21、s1603，参考用户的历史查询请求和用户偏好，再次进行评分调整，得到综合评分。

22、进一步地，步骤s170中的根据综合评分对四个文档按照相关性从高到低进行重排序，具体包括：

23、s1701，利用综合评分对文档进行排序，形成一个按相关性降序的列表；

24、s1702，将排序后的文档列表通过用户交互接口呈现给视障用户，提供语音读出或者点字输出的信息传递方式。

25、进一步地，步骤s180中的多层次摘要选项，包括简要回答选项和详细回答选项,用户根据需求选择阅读简要回答或详细回答。

26、本申请实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本申请任一实施例提供的一种基于最短编辑距离的视障人群的多模垂直领域知识问答方法的步骤。

27、本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以实现本申请任一实施例提供的一种基于最短编辑距离的视障人群的多模垂直领域知识问答方法的步骤。

28、本发明实施例具有以下技术效果：

29、本发明提供了基于最短编辑距离的视障人群的多模垂直领域知识问答方法，将多模垂直领域知识库中的文本模态的知识、表格模态的知识和图片模态的知识进行结构化处理，分解为标题和内容两部分，并形成文档替换原来的字符，使用id对文档进行标识，并采用最短编辑距离算法处理，筛选出最相关的前四个文档进行综合评分和重排序，对四个文档的内容分别各自生成多层次摘要，为视障用户提供多层次摘要选项，同时，利用所述id标识召回原始的文本模态的知识、表格模态的知识或图片模态的知识，供非视障人群进行检查。通过上述方法，能够为视障人群提供更加精确和个性化的多模垂直领域知识引入问答服务，并通过非视障用户的检查，能够对问答结果和最短编辑距离算法进行优化。这种改进方法能够极大地提高视障人群在获取多模垂直领域知识时的效率和准确性，同时减少他们获取无关信息的劳动强度，提升整体的查询体验。

技术特征：

1.基于最短编辑距离的视障人群多模垂直领域知识问答方法，所述多模垂直领域知识包括文本模态的知识、表格模态的知识和图片模态的知识，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法，其特征在于：

3.根据权利要求1所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法，其特征在于：

4.根据权利要求1所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法，其特征在于：

5.根据权利要求1所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法，其特征在于：

6.根据权利要求1所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法，其特征在于：

7.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-6中任一项所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法的步骤。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6中任一项所述的基于最短编辑距离的视障人群的多模垂直领域知识问答方法的步骤。

技术总结本发明涉及人工智能技术在助盲教育领域的应用，公开了一种基于最短编辑距离的视障人群的多模垂直领域知识问答方法。通过将多模垂直领域知识库中的文本模态的知识、表格模态的知识和图片模态的知识进行结构化处理，采用最短编辑距离算法处理标准化后的查询请求，计算与多模垂直领域知识库中每一个文档的标题和内容的编辑距离，筛选出最相关的前四个文档，对其内容进行综合评分和重排序，根据四个文档的内容分别各自生成多层次摘要，为视障用户提供多层次摘要选项，使其能够选择简要回答或详细回答，提高视障人群在获取多模垂直领域知识时的效率和准确性，同时减少他们获取无关信息的劳动强度，提升整体的查询体验。技术研发人员：王炜,俞琦,沈宇帆,陆程红,许诚受保护的技术使用者：杭州小曦智能科技有限公司技术研发日：技术公布日：2024/9/9