一种实体识别方法及电子设备与流程

本技术涉及信息抽取的，特别是涉及一种实体识别方法及电子设备。

背景技术：

1、随着计算机应用的爆发式增长，在计算机领域也出现很多重要的下游应用技术，如对自然语言进行处理的命名实体识别技术，通常是通过端到端的提取模块来实现。

2、在实践过程中，本技术的发明人发现，当前的实体识别方法，有通过引入少量位置索引标注进行微调，解决实体之间交叉包含的问题，但由于领域之间的差异性交叉，用于微调的标注数据难以实现较准确的结果；还有通过半监督的方式实现的数据增强方法来迭代地改进识别模型，其缺点在于仍然需要少量的人工标注工作，而数据更新策略不够精细时，较难得到识别效果上的提升，影响了实体的提取效果，进而影响了命名实体的识别效果。

技术实现思路

1、本技术主要解决的技术问题是提供一种实体识别方法及电子设备，能有效对复杂场景下的文本进行多种实体类别的提取，进而进行实体类别的分析，提高识别结果的准确性。

2、为解决上述技术问题，本技术采用的一个技术方案是：提供一种实体识别方法，包括：获取待识别文本；利用至少两个不同的识别方法获取所述待识别文本中每一实体对应的实体类别，并构成所述待识别文本的至少两个初始识别结果；对所述至少两个初始识别结果进行实体类别分析，以确定最终的识别结果。

3、在本技术一实施例中，所述实体类别包括：通用实体类别、领域实体类别以及领域专有名词实体类别；所述利用至少两个不同的识别方法获取所述待识别文本中每一实体对应的实体类别，并构成所述待识别文本的至少两个初始识别结果，包括：通过预训练的实体识别模型的多个提取模块，分别提取所述待识别文本的每一所述实体的实体类别，得到每一所述实体对应的多个实体类别；其中，不同的所述提取模块采用不同的识别方法所构建；以每一所述提取模块所提取的每一所述实体的实体类别，确定所述待识别文本的一个初始识别结果，进而以多个所述提取模块所获取的实体类别确定所述待识别文本的多个初始识别结果；其中，多个所述提取模块分别提取同一所述实体不同的所述通用实体类别和/或所述领域实体类别和/或所述领域专有名词实体类别。

4、在本技术一实施例中，每一所述提取模块包括有通用实体子模型、至少一个领域实体子模型、至少一个领域专有名词子模型；所述通过预训练的实体识别模型的多个提取模块，分别提取所述待识别文本的每一所述实体的实体类别，得到每一所述实体对应的多个实体类别，包括：每一所述提取模块分别通过所述通用实体子模型、至少一个所述领域实体子模型、至少一个所述领域专有名词子模型，提取所述待识别文本的每一所述实体的实体类别，得到实体类别组，其中，所述实体类别组包括每一所述实体对应的通用实体类别和/或至少一个领域实体类别和/或至少一个领域专有名词类别；以多个所述提取模块对同一所述实体所提取的不同所述实体类别组，确定每一所述实体对应的多个实体类别。

5、在本技术一实施例中，所述每一所述提取模块分别通过所述通用实体子模型、至少一个所述领域实体子模型、至少一个所述领域专有名词子模型，提取所述待识别文本的每一所述实体的实体类别，得到实体类别组，包括：每一所述提取模块通过所述通用实体子模型提取每一所述实体的通用实体类别，确定每一所述实体的通用实体类别；和/或每一所述提取模块通过至少一个所述领域实体子模型提取每一所述实体的至少一个领域实体类别，确定每一所述实体的至少一个领域实体类别；和/或每一所述提取模块通过至少一个所述领域专有名词子模型提取每一所述实体的至少一个所述领域专有名词类别，确定每一所述实体的至少一个领域专有名词类别；以所述通用实体类别和/或至少一个所述领域实体类别和/或至少一个所述领域专有名词类别，构成所述实体类别组。

6、在本技术一实施例中，所述对所述至少一初始识别结果进行实体类别分析，以确定最终的识别结果，包括：将所述至少一初始识别结果输入至预训练的实体识别模型的融合模块中，依据所述融合模块对所述至少一初始识别结果进行融合并分析，确定最终的识别结果。

7、在本技术一实施例中，所述实体识别模型的融合模块的训练过程如下：对输入的待识别文本依据预设语料类别进行语料划分，确定所述待识别文本的语料类别；对所述待识别文本的每一实体依据实体类别进行划分，确定所述待识别文本中每一实体的模型类别；依据所述语料类别和所述模型类别的匹配结果确定样本数据；以所述样本数据进行训练，以获取所述融合模块；将所述初始识别结果作为观测值，以及将所述模型类别作为随机变量，根据所述观测值和所述随机变量确定发射概率，其中，所述发射概率为在所述模型类别观察到特定实体的概率；获取所述实体对应的实体类别之间的关联性，依据所述关联性确定转移概率，其中，所述转移概率为所述实体从一实体类别转移到另一实体类别的概率；根据所述发射概率和所述转移概率，调整所述实体识别模型中所述融合模块的参数。

8、在本技术一实施例中，所述获取所述实体对应的实体类别之间的关联性，依据所述关联性确定转移概率，包括：依据所述实体对应的实体类别之间的关联性，获取向前序实体类别转移的向前概率、向后续实体类别转移的向后概率；根据所述向前概率和所述向后概率确定状态混合概率；进而依据所述向前概率、所述向后概率和所述状态混合概率确定转移概率统计量；根据所述转移概率统计量调整所述实体识别模型中所述融合模块的参数。

9、在本技术一实施例中，还包括：对所述发射概率和所述转移概率进行更新，依据更新后的所述发射概率和所述转移概率，调整所述实体识别模型中所述融合模块的参数；通过动态规划方式对调整后的所述融合模块的输出结果进行解码，以获取最终的识别结果。

10、在本技术一实施例中，所述实体识别模型还包括多个提取模块；每一所述提取模块包括通用实体子模型、至少一个领域实体子模型、至少一个领域专有名词子模型；所述通用实体子模型采用通用实体数据集进行训练而得，用于获取所述实体的通用实体类别；所述领域实体子模型采用特定领域数据集进行训练而得，用于获取所述实体的领域实体类别；所述领域专有名词子模型采用特定领域专有名词构建字典，并以所述字典进行匹配训练而得，用于获取所述实体的领域专有名词类别；其中，不同的所述提取模块包含的所述领域实体子模型和/或所述领域专有名词子模型的数量和/或领域不同。

11、为解决上述技术问题，本技术采用的再一技术方案是：提供一种电子设备，所述电子设备包括存储器以及与所述存储器耦接的处理器，所述存储器存储有至少一计算机程序，所述至少一计算机程序被所述处理器加载并执行时，用于实现如上述的实体识别方法。

12、区别于当前技术，本技术提供的实体识别方法，包括：获取待识别文本；利用至少两个不同的识别方法获取待识别文本中每一实体对应的实体类别，并构成所述待识别文本的至少两个初始识别结果；对所述至少两个初始识别结果进行实体类别分析，以确定最终的识别结果；即本技术中通过不同的识别方法对每一实体获取不同的实体类别，并构成不同的初始识别结果，进而基于不同的初始识别结果进行分析，能有效对复杂场景下的文本进行多种实体类别的提取，进而进行实体类别的分析，提高识别结果的准确性。