基于文档标题层级结构的文档内容切分方法、装置及设备与流程

本发明涉及自然语言处理，尤其涉及一种基于文档标题层级结构的文档内容切分方法、装置及设备。

背景技术：

1、随着基于大语言模型问答应用的普及，越来越多的用户通过上传一份或多份文档，基于大语言模型进行提问。大语言模型在进行响应时，需要在文档中定位与问题相关的语义片段，再进行回答。因此，对于文档进行切分是至关重要的。

2、现有技术中，通常采用基于固定长度的文档切片方式，无法保证切分片段的语义完整性，经常将句子切断，导致切分后的片段无法包含完整语义。

3、为改善上述文档切分方式，还可利用深度学习技术对文档进行语义切分。但是，基于深度学习技术进行文档语义切分，需要进行高成本的文本标注和训练，文档切分方式复杂。并且，在文档所属行业类型不同时，可能还需要重新进行训练。

技术实现思路

1、本发明提供了一种基于文档标题层级结构的文档内容切分方法、装置及设备，以通过简便的切分方式对文档切分，最大程度保留完整语义信息。

2、根据本发明的一方面，提供了一种基于文档标题层级结构的文档内容切分方法，该方法包括：

3、获取待切分文档，并识别所述待切分文档中的文档名称、各层级文档标题、以及文档段落；

4、根据各文档段落在文档中所处的章节位置，确定与各文档段落对应的文档标题集；

5、其中，所述文档标题集中包括文档名称以及与文档段落对应的各层级文档标题；

6、根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件；

7、若是，则更新当前文档段落以及下一文档段落，并返回根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件步骤；

8、若否，则根据上一切分结果至所述当前文档段落的上一文档段落之间的段落内容，以及对应的文档标题集，生成当前切分结果。

9、根据本发明的另一方面，提供了一种基于文档标题层级结构的文档内容切分装置，该装置包括：

10、内容识别模块，用于获取待切分文档，并识别所述待切分文档中的文档名称、各层级文档标题、以及文档段落；

11、文档标题集确定模块，用于根据各文档段落在文档中所处的章节位置，确定与各文档段落对应的文档标题集；

12、其中，所述文档标题集中包括文档名称以及与文档段落对应的各层级文档标题；

13、条件判断模块，用于根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件；

14、循环判断模块，用于若当前文档段落满足预设切片条件，则更新当前文档段落以及下一文档段落，并返回根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件步骤；

15、当前切分结果生成模块，用于若当前文档段落不满足预设切片条件，则根据上一切分结果至所述当前文档段落的上一文档段落之间的段落内容以及对应的文档标题集，生成当前切分结果。

16、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

17、至少一个处理器；以及

18、与所述至少一个处理器通信连接的存储器；其中，

19、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于文档标题层级结构的文档内容切分方法。

20、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于文档标题层级结构的文档内容切分方法。

21、根据本发明的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的基于文档标题层级结构的文档内容切分方法。

22、本发明实施例的技术方案，通过获取待切分文档，并识别待切分文档中的文档名称、各层级文档标题、以及文档段落；根据各文档段落在文档中所处的章节位置，确定与各文档段落对应的文档标题集；其中，文档标题集中包括文档名称以及与文档段落对应的各层级文档标题；根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件；若是，则更新当前文档段落以及下一文档段落，并返回根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件步骤；若否，则根据上一切分结果至所述当前文档段落的上一文档段落之间的段落内容，以及对应的文档标题集，生成当前切分结果，解决了文档的切分问题，通过无监督的简便切分方式，保证语切分片段的语义完整性，最大程度保留语义信息，有利于快速确定切分结果的语义。

23、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于文档标题层级结构的文档内容切分方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件，包括：

3.根据权利要求1所述的方法，其特征在于，根据各文档段落在文档中所处的章节位置，确定与各文档段落对应的文档标题集，包括：

4.根据权利要求3所述的方法，其特征在于，根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件，包括：

5.根据权利要求4所述的方法，其特征在于，根据上一切分结果至所述当前文档段落的上一文档段落之间的段落内容，以及对应的文档标题集，生成当前切分结果，包括：

6.根据权利要求1所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，还包括：

8.一种基于文档标题层级结构的文档内容切分装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于文档标题层级结构的文档内容切分方法。

技术总结本发明实施例公开了一种基于文档标题层级结构的文档内容切分方法、装置及设备。该方法包括：获取待切分文档，并识别待切分文档中的文档名称、各层级文档标题、以及文档段落；根据各文档段落在文档中所处的章节位置，确定与各文档段落对应的文档标题集；根据待切分文档的上一切分结果、当前文档段落以及下一文档段落，确定当前文档段落是否满足预设切片条件；若是，则更新当前文档段落以及下一文档段落继续判断；若否，则根据上一切分结果至当前文档段落的上一文档段落之间的段落内容，及对应的文档标题集，生成当前切分结果。该方法切分方式简便、可以保证切分片段的语义完整性，最大程度保留语义信息，有利于快速确定切分结果的语义。技术研发人员：纪传俊,杨慧宇,张芸,焦嘉烽,阳建林受保护的技术使用者：达观数据有限公司技术研发日：技术公布日：2024/10/10