一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于关键语句的内容块检索方法、装置、设备和介质与流程

2021-11-15 16:23:00 来源:中国专利 TAG:


1.本发明涉及数据处理领域,尤其涉及基于关键语句的内容块检索方法、装置、设备和介质。


背景技术:

2.为了能够在待检索文档中获取用户需要的内容,需要用户在文档工具中手动输入关键词,从而在待检索文档中查找到关键词相关的位置。以word文档为例,可以利用word文档自带的“查找”功能,在文档中确定关键词的查找结果。例如关键词所在语句等。检索准确度较低。


技术实现要素:

3.本发明实施例提供的基于关键语句的内容块检索方法、装置、设备和介质,可以提高文档的内容块检索准确度。
4.第一方面,提供一种基于关键语句的内容块检索方法、装置、设备和介质方法,包括:基于关键语句的相关度评分模型,得到待检索文档的内容块与关键语句的相关度评分,其中,内容块包括文字段落、标题、表格、图表、图片中的至少一个;基于内容块与关键语句的相关度评分,从内容块中确定关键语句相关的目标内容块;将目标内容块作为待检索文档中关键语句的内容块检索结果。
5.根据本发明实施例中的基于关键语句的内容块检索方法,可以利用关键语句的相关度评分模型计算待检索文档中的内容块与关键语句的相关度评分。再基于相关度评分模型从待检索文档中选出与关键语句相关的目标内容块。由于相关度评分可以准确地表征内容块与关键语句的相关程度,相较于在待检索文档中查找关键词的方法,能够提高内容块检索准确度。
6.在一种可选的实施方式中,基于关键语句的相关度评分模型,得到待检索文档的内容块与关键语句的相关度评分,包括:提取待检索文档的内容块的特征;将内容块的特征输入至相关度评分模型,得到内容块与关键语句的相关度评分。
7.在本示例中,通过提取内容块的特征,再利用内容块的特征计算该内容块与关键语句的相关度评分,能够保证相关度评分的计算准确度,也能提高计算速度。
8.在一种可选的实施方式中,内容块的特征包括以下至少一者:内容块的词特征,内容块的上下文词特征和内容块对应的标题的上级标题的词特征。
9.在本示例中,通过计算内容块的词特征,能够准确地标识内容块的文本特征,提高了相关度评分的计算准确性。通过利用内容块的上下文词特征,能够根据内容块的周围内容块的词特征,来提高相关度评分的计算准确度。通过内容块对应的标题的上级标题的词特征,能够根据内容块与上级标题之间的相关性计算相关度评分,提高了相关度评分的计算准确度。
10.在一种可选的实施方式中,提取待检索文档的内容块的特征,包括:若特征包括内
容块的词特征,对内容块执行预处理操作,并获取预处理后的内容块的词特征,预处理操作包括分词操作和/或去掉冗余文字的操作;若特征包括内容块的上下文词特征,基于内容块以及内容块的相邻内容块,得到内容块的上下文词特征;若特征包括内容块的上级标题的词特征,基于内容块的上级标题,得到内容块的上级标题的词特征。
11.在本示例中,能够准确地获取内容块的特征,从而保证相关度计算的准确度。
12.在一种可选的实施方式中,基于内容块的上级标题,得到内容块的上级标题的词特征,包括:基于标题逻辑树确定内容块的上级标题;基于内容块的上级标题,得到内容块的上级标题的词特征。
13.在本示例中,由于标题逻辑树中任一节点对应的标题为该节点的子节点对应的标题的上一级标题,通过建立标题逻辑树的方式,能够确定各标题组件之间的层级关系,从而能够准确地求得内容块的上级标题的准确性,以及提高相关度评分的计算准确度。
14.在一种可选的实施方式中,方法还包括:获取待检索文档的标题有序序列;将标题有序中序列的标题依次作为第一标题;针对每一第一标题,执行以下操作:若标题逻辑树中第一标题的前一标题所在子树存在与第一标题同级的第二标题,将第一标题作为第二标题的同级节点,第二标题的同级节点的父节点和第二标题的父节点相同;若前一标题所在子树不存在第二标题,将第一标题作为前一标题的子节点。
15.现有技术中利用标题模板生成目录结构的方法,目标结构的层级数目与标题模板中设置的层级数目相同。例如,如果模板中只设置了3个标题层级,则也只能最多生成3个标题层级。而利用本发明实施例中的方法,可以与已添加至标题逻辑树中的标题组件比较是否同级,如果不同级则作为前一标题组件的子节点。即时待处理文档的标题层级较多,也能够生成对应的标题层级。例如,8级、9级等。相较于利用标题模板生成目录结构的方法,能够提高生成目录结构的灵活性、准确性及深度。
16.在一种可选的实施方式中,方法还包括:针对关键语句的相关度评分模型,执行以下操作:将与关键语句相关的内容块样本标记为正样本,将与关键语句无关的内容块样本标记为负样本;利用正样本和负样本,训练关键语句的相关度评分模型。
17.通过将内容块标记为正负样本的方法训练相关度评分模型,能够提高模型的准确度。
18.在一种可选的实施方式中,基于内容块与关键语句的相关度评分,从内容块中确定关键语句相关的目标内容块,包括:将相关度评分最高的前n个内容块确定为目标内容块。
19.在本实施例中,由于相关度评分能够准确地表征内容块与待检索语句的相关程度,因此,通过计算相关度评分,能够提高检索准确度。此外,通过筛选掉与待检索语句相关度较低的目标内容块,能够提高内容块检索效率,以及检索出用户较为期望的内容块检索结果。
20.第二方面,提供一种基于关键语句的内容块检索装置,包括:计算模块,用于基于关键语句的相关度评分模型,得到待检索文档的内容块与关键语句的相关度评分,其中,内容块包括文字段落、标题、表格、图表、图片中的至少一个;确定模块,用于基于内容块与关键语句的相关度评分,从内容块中确定关键语句相关的目标内容块;结果处理模块,用于将目标内容块作为待检索文档中关键语句的内容块检索结果。
21.第三方面,提供一种基于关键语句的内容块检索设备,包括:存储器,用于存储程序;处理器,用于运行存储器中存储的程序,以执行第一方面或第一方面的任一可选的实施方式提供的基于关键语句的内容块检索方法。
22.第四方面,提供一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面或第一方面的任一可选的实施方式提供的基于关键语句的内容块检索方法。
附图说明
23.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
24.图1是示出根据本发明实施例的基于关键语句的内容块检索方法的示意流程图;
25.图2是本发明实施例的一种示例性的元素逻辑树的结构示意图;
26.图3示出了根据本发明实施例提供的基于关键语句的内容块检索装置的结构示意图;
27.图4是本发明实施例中基于关键语句的内容块检索设备的示例性硬件架构的结构图。
具体实施方式
28.下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
29.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括
……”
限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
30.本发明实施例提供了一种基于检索语句的内容块检索方案,适用于在文档中输入待检索语句进行文档内容的关键内容块检索的具体场景中。特别适用于对具有特定文本结构的文档进行检索的具体场景中。例如招股说明书、债券募集说明书、年报、财务报告、并购重组报告、评级报告、研究报告、法律合同文书、舆情新闻等复杂的金融信息文本的检索工作。特别适用于在文档内部对内容块进行检索。本发明实施例在获取关键语句后,可以计算待检索文档中每一内容块与该关键语句的相关度评分,再根据相关度评分从待检索文档中确定与关键语句相关的目标内容块,并将目标内容块作为待检索文档中关键语句的内容块检索结果。
31.在本发明实施例中,待检索文档指能够获取其文字以及图表信息的电子文档。具体地,可以是word格式、pdf格式、txt等格式的电子文档。此外,待检索文档可视为由多个段落组成,其中,表格、图片、图表、标题等均可各自视为一个段落。因此,以段落为单位,可以将待检索文档划分为多个彼此间相独立的内容块。也就是说,待检索文档的内容块包括文本内容段落、标题、表格、图表、图片中的至少一种。
32.通常待检索文档内往往设置有多级标题。按照层级由高到低的次序,依次为一级标题、二级标题、三级标题等等。高层级标题下往往有多个低层级标题,多个低层级标题隶属于高层级标题。针对第l层标题,其隶属于前l-1级标题。针对该第l层标题,其所隶属的前l-1级标题均为其上级标题。示例性的,若待检索文档的第二章中存在五级标题“(1).固定资产情况”,其上级标题按照层级由低到高的次序依次为:四级标题“19、固定资产”、三级标题“七、合并财务报表项目注释”、二级标题“第十一节、财务报告”、一级标题“第二章、固定资产”。为了便于理解,本发明下述实施例将继续利用上述五级标题进行示例性的说明。
33.由于标题往往是对一个或多个连续文本内容段落的内容的高度概括,每个标题后往往紧紧跟随着一个或多个连续的内容块,例如文本内容段落、图片、图表、表格等。在本发明实施例中,可以认为某一标题后紧跟着的内容块与该标题具有对应关系。示例性的,若按照内容块在待检索文档中出现的次序,依次是三级标题a
31
,文本内容段落b2、表格c1、图表d1、四级标题a
41
、文档内容段落b3、文本内容段落b4、三级标题a
32
。则文档内容段落b2、表格c1、图表d1对应于三级标题a
31
,文档内容段落b3、文档内容段落b4对应于四级标题a
41

34.为了更好的理解本发明实施例的技术方案,下面将结合附图,详细描述根据本发明实施例的基于关键语句的内容块检索方法、装置、设备和介质,应注意,这些实施例并不用来限制本发明公开的范围。
35.图1是示出根据本发明实施例的基于关键语句的内容块检索方法的示意流程图。如图1所示,本实施例中的基于关键语句的内容块检索方法100可以包括以下步骤:
36.s110,基于关键语句的相关度评分模型,得到待检索文档的内容块与关键语句的相关度评分。
37.首先,针对关键语句,在s110之前,可以先提前预置若干条关键语句,再从中选择一条作为关键语句。关键语句可以表征用户期望从待检索文档中获取的内容。例如针对招股说明书,关键语句可以是“净利润”、“主营业务收入”等用户期望得到的信息。关键语句可以根据实际需求和待检索文档的应用场景设置,对此不做限定。此外,关键语句可以是由至少一个完整的句子或者由至少一个词语组成,对此不作具体限定。
38.其次,针对内容块与关键语句的相关度评分,该相关度评分用于表示内容块与关键语句的相关程度。相关度评分越高,则内容块与关键语句的相关度越高。示例性的,若待检索文档包括m个内容块,则可以分别计算m个内容块与关键语句的相关度评分。可选的,相关度评分的范围为[0,1]。在一些实施例中,相关度评分可以是基于预先训练好的关键语句的相关度评分模型确定的。
[0039]
再其次,针对关键语句的相关度评分模型,相关度评分模块可以选用梯度提升决策树(gradient boosting decision tree,gbdt)回归模型,或者逻辑回归(logistic regression)模块。优选地,为了兼顾评分计算速度和准确度,相关度评分模型选用逻辑回归模块。
[0040]
在训练相关度评分模型的过程中,首先,可以提前选取l个内容块样本,将l个内容块样本中与该关键语句相关的内容块样本标记为正样本,将l个内容块样本中与该关键语句无关的内容块样本标记为负样本。再利用正样本和负样本,训练关键语句的相关度评分模型。其中,针对l个内容块样本,可以选取k个训练文档,将k个训练文档中的全部内容块作为内容块样本。k个训练文档的内容块个数之和为l。针对正负样本,可以将正样本的标签设置为1,将负样本的标签设置为0。具体地,针对正样本,则将其相关度评分的期望预测值设置为1,针对负样本,则将其相关度评分的期望预测值设置为0。可选的,若利用内容块的特征计算相关度评分,且该特征包括r个子特征,则训练相关度评分模型的训练数据可以具体实现为二维数据矩阵,该二维数据特征包括l行,r列。
[0041]
此外,考虑到在s110之前,可能会提前预置若干条关键语句,并从中选取一条作为关键语句。为了保证相关度评分的计算准确度和计算速度,针对上述多条关键语句中的每一条关键语句,均可以建立该条关键语句的相关度评分模型。在确定关键语句后,可以从训练好的多个相关度评分模型中选取关键语句的相关度评分模块。其中,各关键语句的训练方法与关键语句的相关度评分模型的训练方法类似,在此不再赘述。
[0042]
在一个示例中,若需要利用本发明实施例提供的基于检索语句的内容块检索方案对金融信息文本进行检索时,可以利用各大证券交易所公开的数据文本作为训练文档。为了验证本发明实施例训练的相关度评分模型的准确度,可以用训练文本中与每条关键语句最相关的5个内容块的召回率作为评价指标来评价该条关键语句的相关度评分模型。其中,若共包括p条关键语句,则可以将p条关键语句的评价指标的平均值作为总的评价指标。当依次利用香港证券交易所、上海证券交易所、深圳证券交易所的数据文本作为训练样本时,相关度评分模型总的评价指标分别能够达到88%、97%和93%。相关度评分模型的计算准确率极高。
[0043]
最后,为了能够保证相关评分的计算准确度,可以先提取各内容块的特征,再利用特征计算内容块与关键语句的相关度评分。相应地,s110的具体实施方式包括:
[0044]
第一步骤,提取待检索文档的内容块的特征。其中,内容块的特征包括以下至少一者:内容块的词特征,内容块的上下文词特征和内容块对应的标题的上级标题的词特征。又或者,内容块的特征还可以包括目标内容块在文档中的位置。其中,内容块的特征不同,第一步骤的具体实施方式也不完全相同。本发明下述部分将分为三个示例,结合内容块的特征对第一步骤的具体实施例方式做具体说明。
[0045]
在一个示例中,提取待检索文档的内容块的特征的具体实施方式包括:若内容块的特征包括内容块的词特征,对内容块进行预处理。然后再获取预处理后的内容块的词特征。
[0046]
首先,针对预处理操作,若待检索文档为中文文档,上述预处理可以包括分词操作,可以利用结巴(jieba)分词技术进行分词,还可以根据具体工作场景和工作需求选择除jieba分词方法之外的其他合适的分词方法,对此不做限定。在分词的过程中,可以将表格内所有单元格的文字的集合作为该表格的为文字内容,并对该表格的文字内容进行分词处理。需要说明的是,若待检索文档为中文文档,也可以不对内容块进行分词处理,而是对内容块进行分字操作。例如,可以采用n-gram模型执行分字操作。例如,若内容块包括文字内容“内容块检索模型”,n-gram模型中的n取值为2,则执行分字操作后,可以划分为信息、息
抽、抽取、取模、模型。
[0047]
上述预处理还可以包括去除冗余文字的操作。具体地,可以设置最低词频和/或最高词频。通过设置最低词频,若某一词语在待检索文档中出现的频率低于该最低词频,则可以将该低频词语从内容块中删除,从而能够去掉文档中的不常见词、停用词、以及拼写错误的词语。通过设置最高词频,若某一词语在待检索文档中出现的频率高于该最高词频,则可以将该高频词语从内容块中删除,从而能够去掉文档中语气助词、结构助词等无实际含义的词语,例如“的”、“了”等。通过去除掉上述词语,能够提高相关度评分的准确度。
[0048]
其次,针对内容块的词特征,可以基于词频-逆向文件频率(term frequency

inverse document frequency,tfidf)算法计算内容块的词特征,此时,内容块的词特征可以是一个词向量稀疏矩阵。具体地,针对每一内容块的每一词条,可以利用tfidf算法提取表征该词条在表格中的词特征的第一词特征和表征该词条在非表格中的词特征的第二词特征。示例性的,词特征可以是tfidf值。此外,还可以使用tfidf算法对预处理后的内容块的文字内容进行计算,得到该内容块的词向量稀疏矩阵。需要说明的是,若目标文档中的文字非中文,则还可以不对内容块进行预处理,直接使用tfidf算法对内容块的文字内容进行处理,得到该内容块的词向量稀疏矩阵。此外,还可以利用其它算法获取内容块的词特征,对此不做限定。
[0049]
在另一个示例中,若内容块的特征包括内容块的上下文词特征,基于该内容块以及该内容块的相邻内容块,得到内容块的上下文词特征。其中,可以将相邻内容块的词特征进行拼接,得到内容块的上下文词特征。此外,还可以利用其它算法获取内容块的上下文词特征,对此不做限定。
[0050]
在又一个示例中,若内容块的特征包括内容块的上级标题的词特征,基于内容块的上级标题的文字内容,得到内容块的上级标题的词特征。若该内容块非标题,则该内容块的上级标题包括该内容块对应的标题,以及该内容块对应的标题的上级标题。在计算内容块的上级标题的词特征时,可以根据该内容块对应的标题的文字内容,以及该内容块对应的标题的上级标题的文字内容,计算上级标题的词特征。又或者,若该内容块对应三级标题“七、合并财务报表项目注释”,则可以根据该内容块的文字内容、三级标题“七、合并财务报表项目注释”、二级标题“第十一节、财务报告”、一级标题“第二章、固定资产”,计算该内容块对应的标题的上级标题的词特征。其中,计算该内容块的上级标题的词特征的方式与上述第一个示例中计算预处理后的内容块的词特征的方法相似,对此不再赘述。
[0051]
在一个具体的示例中,为了准确地提取内容块的上级标题的词特征,需要准确地获取内容块的上级标题。其中,获取内容块的上级标题的方式可以包括:根据内容块逻辑树确定该内容块的上级标题。
[0052]
首先,针对标题逻辑树的具体结构,标题逻辑树的结构可以如图2所示。标题逻辑树由根节点r0和子节点a
1-a7组成的第一子树、子节点a
8-a
13
组成的第二子树、子节点a
14-a
19
第三子树组成,其中,a1、a8、a
14
为直接与相连的r0的三个子节点。上述三棵子树彼此之间没有直接的连接关系。
[0053]
在图2所示的标题逻辑树中,根节点r0可以是文档的主题名称或者文档的题目。又或者,图2所示的根节点r0也可以空置,也就是说根节点r0不用于表示目录的层级结构。组成上述三颗子树的所有子节点均为标题。对于子树中的任意子节点,其父节点为其上一级标
题,其子节点为其下一级标题。例如,子节点a1是第一个一级标题,子节点a2是第一个一级标题下的第二个二级标题。
[0054]
相应地,针对标题逻辑树中任意子节点,根据内容块逻辑树确定该内容块的上级标题具体包括:将元素逻辑树中根节点与该任意子节点之间的节点均为该任意子节点的上级节点。例如,针对子节点a6,其上级节点包括a1、a3和a5。
[0055]
其次,构建标题逻辑树的方法可以包括下述第一子步骤和第二子步骤。
[0056]
具体如下:
[0057]
第一子步骤、获取待检索文档的标题有序序列。其中,标题有序序列中各标题的前后次序,与其在待检索文档中出现的先后次序相同。示例性地,若按照标题在待检索文档中出现的先后次序,依次为标题a1,标题a2,
……
,标题a
m
,其中,各标题的下角标表示了标题在文档中出现的先后次序。则标题有序序列为{标题a1,标题a2,
……
,标题a
m
}。其中,m为正整数。
[0058]
第一子步骤、将标题有序序列中的标题依次作为第一标题,并针对每一第一标题,执行以下操作。
[0059]
首先、若标题逻辑树中第一标题的前一标题所在子树存在与第一标题同级的第二标题,将第一标题作为第二标题的同级节点,第二标题的同级节点的父节点和第二标题的父节点相同。其中,判断可以通过标题判别模型判断第一标题和第二标题是否同级。例如,标题判别模型可以包括前馈神经网络模型(feedforward neural network,fnn)和第二softmax分类器。
[0060]
为了充分理解子步骤一,本发明下述部分结合图2对子步骤一作具体说明。继续参见图2,如果标题a
14
作为第一标题,其前一标题a
13
对应的子树为由子节点a8以及与子节点a8直接或间接连接的所有子节点a9至a
14
组成的子树。则需要在子节点a8至a
13
之中确定是否存在a
14
的同级标题。如果a
11
与a
14
同级,则将a
14
确定为a
10
的子节点,将a
14
连接至a
10
的下面。如果子节点a8是a
14
的同级标题,则将a
14
与根节点r0相连。此时,a
14
作为标题逻辑树中第三棵子树的起始节点。
[0061]
其次,若前一标题所在子树不存在第二标题,将第一标题作为前一标题的子节点。继续上一示例,如果子节点a8至a
13
均不是a
14
的同级标题组件,则将a
14
确定为a
13
的子节点,将a
14
连接至a
13
的下面。
[0062]
通过第一步骤提取了内容块的特征之后,s110还可以包括第二步骤,第二步骤,将内容块的特征输入至相关度评分模型,得到内容块与关键语句的相关度评分。其中,相关度评分以及相关度评分模型的相关描述可参见本发明上述实施例的相关内容,在此不再赘述。
[0063]
s120,基于内容块与关键语句的相关度评分,从内容块中确定关键语句相关的目标内容块。
[0064]
在一些实施例中,若待检索文档包括m个内容块,则可以m个内容块中相关度评分最高的前n个内容块确定为目标内容块。其中,n为不大于m的正整数。示例性的,n可以根据具体工作场景和工作需求设置,例如n等于100,对此不做具体的限定。
[0065]
s130,将目标内容块作为待检索文档中关键语句的内容块检索结果。
[0066]
根据本发明实施例中的基于关键语句的内容块检索方法,可以利用关键语句的相
关度评分模型的相关度评分模型计算待检索文档中的内容块与关键语句的相关度评分。再基于相关度评分从关键语句中选出与关键语句相关的目标内容块。由于相关度评分可以准确地表征内容块与关键语句的相关程度,相较于在待检索文档中查找关键词的方法,能够提高内容块检索准确度。
[0067]
在一些实施例,可以按照目标内容块与关键语句的相关度评分从高到低的次序,在显示界面上依次显示目标内容块。
[0068]
在一些实施例中,可以提取目标内容块的位置特征,以在用户需要时对该目标内容块进行快速定位。其中,目标内容块的位置特征可以是该内容块在待检索文档中的页码数与待检索文档的总页数的比值。例如,目标内容块在待检索文档的第7页,待检索文档总共12页,则目标内容块的位置特征的取值是7/12。
[0069]
下面结合附图,详细介绍根据本发明实施例的装置。
[0070]
基于相同的发明构思,本发明实施例提供的基于关键语句的内容块检索装置。图3是本发明实施例提供的一种基于关键语句的内容块检索装置的结构示意图。如图3所示,基于关键语句的内容块检索装置300包括:
[0071]
计算模块310,用于基于关键语句的相关度评分模型,得到待检索文档的内容块与关键语句的相关度评分。其中,内容块包括文字段落、标题、表格、图表、图片中的至少一个。
[0072]
确定模块320,用于基于内容块与关键语句的相关度评分,从内容块中确定关键语句相关的目标内容块。
[0073]
结果处理模块330,用于将目标内容块作为待检索文档中关键语句的内容块检索结果。
[0074]
在本发明的一些实施例中,计算模块310,包括提取单元和评分单元。
[0075]
其中,提取单元,用于提取待检索文档的内容块的特征。
[0076]
评分单元,用于将内容块的特征输入至相关度评分模型,得到内容块与关键语句的相关度评分。
[0077]
在本发明的一些实施例中,内容块的特征包括以下至少一者:内容块的词特征,内容块的上下文词特征和内容块对应的标题的上级标题的词特征。
[0078]
在一些实施例中,提取单元具体用于:若特征包括内容块的词特征,对内容块执行预处理操作,并获取预处理后的内容块的词特征,预处理操作包括分词操作和/或去掉冗余文字的操作;若特征包括内容块的上下文词特征,基于内容块以及内容块的相邻内容块,得到内容块的上下文词特征;若特征包括内容块的上级标题的词特征,基于内容块的上级标题,得到内容块的上级标题的词特征。
[0079]
在一些实施例中,提取单元具体用于:基于标题逻辑树确定内容块的上级标题;基于内容块的上级标题,得到内容块的上级标题的词特征。
[0080]
在一些实施例中,基于关键语句的内容块检索装置300还包括获取模块和逻辑树生成模块。
[0081]
其中,获取模块,用于获取待检索文档的标题有序序列。
[0082]
逻辑树生成模块,用于将标题有序中序列的标题依次作为第一标题。以及,针对每一第一标题,执行以下操作:若标题逻辑树中第一标题的前一标题所在子树存在与第一标题同级的第二标题,将第一标题作为第二标题的同级节点,第二标题的同级节点的父节点
和第二标题的父节点相同。
[0083]
若前一标题所在子树不存在第二标题,将第一标题作为前一标题的子节点。
[0084]
在本发明一些实施例中,基于关键语句的内容块检索装置300还包括模型训练模块。
[0085]
其中,模型训练模块用于针对关键语句的相关度评分模型,执行以下操作:将与关键语句相关的内容块样本标记为正样本,将与关键语句无关的内容块样本标记为负样本。利用正样本和负样本,训练关键语句的相关度评分模型。
[0086]
在本发明一些实施例中,确定模块320具体用于:将相关度评分最高的前n个内容块确定为目标内容块。
[0087]
根据本发明实施例的基于关键语句的内容块检索装置的其他细节,与以上结合图1至图2描述的根据本发明实施例的基于关键语句的内容块检索方法类似,并能达到其相应的技术效果,在此不再赘述。
[0088]
图4是本发明实施例中基于关键语句的内容块检索设备的示例性硬件架构的结构图。
[0089]
如图4所示,基于关键语句的内容块检索设备400包括输入设备401、输入接口402、中央处理器403、存储器404、输出接口405、以及输出设备406。其中,输入接口402、中央处理器403、存储器404、以及输出接口405通过总线410相互连接,输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接,进而与基于关键语句的内容块检索设备400的其他组件连接。
[0090]
具体地,输入设备401接收来自外部的输入信息,并通过输入接口402将输入信息传送到中央处理器403;中央处理器403基于存储器404中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器404中,然后通过输出接口405将输出信息传送到输出设备406;输出设备406将输出信息输出到基于关键语句的内容块检索设备400的外部供用户使用。
[0091]
也就是说,图4所示的基于关键语句的内容块检索设备也可以被实现为包括:存储有计算机可执行指令的存储器;以及处理器,该处理器在执行计算机可执行指令时可以实现结合图1至图2描述的基于关键语句的内容块检索设备的方法和装置。
[0092]
在一个实施例中,图4所示的基于关键语句的内容块检索设备400可以被实现为一种设备,该设备可以包括:存储器,用于存储程序;处理器,用于运行存储器中存储的程序,以执行本发明实施例的基于关键语句的内容块检索方法。
[0093]
本发明实施例还提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现本发明实施例的基于关键语句的内容块检索方法。
[0094]
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
[0095]
上述结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以
硬件方式实现时,其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0096]
以上,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献