企业相关文本语义相似度计算方法、终端及存储介质

本发明涉及自然语言处理，尤其涉及一种企业相关文本语义相似度计算方法、终端及存储介质。

背景技术：

1、企业是技术创新的重要主体，也是创新产业进行融合的关键，随着国家和政府对于企业创新能力的关注不断增加，关于企业创新能力的分析研究也逐渐增多。正确的分析企业创新能力，是衡量企业发展、政府制定政策的重要依据，也是企业分析自身发展制定企业发展战略的重要支点。

2、传统的企业创新能力评价方法研究中主要通过统计学方式对数值型数据进行分析研究，通常可以采用相对估值法、折现现金流法、成本法、清算价值法、经济增加值法等，但其一般需要专家针对性的进行人工分析，不仅评价结果较为主观，而且一旦专家团队成员发生变动，则评价结果的可对比性将大打折扣。而且，随着社会高速发展，企业的发展变化更加迅速，对企业创新能力分析的实时性要求也逐渐提高，因此，考虑基于深度学习进行企业创新能力分析。

3、在基于深度学习进行企业创新能力分析时，考虑企业相关文本信息，例如企业主营业务信息、企业战略信息、企业专利信息等可以在一定程度上体现企业创新能力。因此，引入日渐丰富的企业相关文本信息进行辅助分析，可以丰富企业创新能力的分析角度和评价指标，特别是在创新知识产权公开的情况下，有效分析企业创新知识产权与企业主营业务、企业战略等的关系，对分析企业创新能力至关重要。

4、而为了有效分析企业创新知识产权与企业主营业务、企业战略等的关系，可以进行文本语义相似度计算。但在利用企业相关文本信息进行语义相似度计算时，一方面由于企业相关文本信息包含大量专业术语、缩写和复杂的语境，导致准确理解文本的语义变得更为困难。另一方面，企业相关文本信息中大量的多义词、歧义词、在不同上下文中具有不同含义的词以及文本中包含的隐含信息等等，导致语义分析模型在处理这些情况时难以准确捕捉语境的变化并正确识别和挖掘这些隐含信息，进而导致难以保持语义分析的有效性和准确性。

技术实现思路

1、本发明实施例提供了一种企业相关文本语义相似度计算方法、终端及存储介质，以解决目前难以准确有效的分析企业相关文本信息的语义相似度的问题。

2、第一方面，本发明实施例提供了一种企业相关文本语义相似度计算方法，包括：

3、基于孪生神经网络，利用第一强化预训练语言模型提取第一企业相关文本的第一句特征矩阵和第二企业相关文本的第二句特征矩阵，其中，所述第一强化预训练语言模型为利用各行业的专有训练集训练后的第一预训练语言模型；

4、基于孪生神经网络，利用双向长短期记忆网络对所述第一句特征矩阵和所述第二句特征矩阵进行处理，获得第一上下文特征矩阵和第二上下文特征矩阵；

5、基于孪生神经网络，对所述第一上下文特征矩阵和所述第二上下文特征矩阵进行维度匹配与多视角拓展融合，获得融合特征矩阵；

6、对所述融合特征矩阵进行降维，获得所述第一企业相关文本和所述第二企业相关文本的语义相似度。

7、在一种可能的实现方式中，对所述第一上下文特征矩阵和所述第二上下文特征矩阵进行维度匹配与多视角拓展融合，获得融合特征矩阵，包括：

8、利用线性投影对所述第一上下文特征矩阵和所述第二上下文特征矩阵进行维度匹配，得到第一投影矩阵和第二投影矩阵；

9、根据所述第一投影矩阵和所述第二投影矩阵的乘积，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的相关性矩阵；

10、根据所述第一投影矩阵中的每个向量与所述第二投影矩阵中各个向量的余弦相似度的最大值，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的最大值相关矩阵；

11、根据所述第二投影矩阵中的每个向量，以及所述第一投影矩阵中的每个向量与所述第二投影矩阵中每个向量的余弦相似度，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的加权平均相关矩阵；

12、对所述第一投影矩阵与所述相关性矩阵、所述最大值相关矩阵、所述加权平均相关矩阵或所述第二投影矩阵分别进行多视角拓展，获得相关性多视角相似度矩阵、最大值多视角相似度矩阵、加权多视角相似度矩阵和原始多视角相似度矩阵；

13、对所述相关性多视角相似度矩阵、所述最大值多视角相似度矩阵、所述加权多视角相似度矩阵和所述原始多视角相似度矩阵进行拼接，获得融合特征矩阵。

14、在一种可能的实现方式中，根据所述第一投影矩阵和所述第二投影矩阵的乘积，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的相关性矩阵，包括：

15、根据ai,j＝softmax(pi,:·q:,j)，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的相关性矩阵；

16、其中，ai,j为所述第一上下文特征矩阵和所述第二上下文特征矩阵的相关性矩阵中第i行第j列的值，pi,:为所述第一投影矩阵中的第i行对应的向量，q:,j为所述第二投影矩阵中的第j列对应的向量，pi,:·q:,j表示所述第一投影矩阵中的第i行对应的向量与所述第二投影矩阵中的第j列对应的向量的点积。

17、在一种可能的实现方式中，根据所述第一投影矩阵中的每个向量与所述第二投影矩阵中各个向量的余弦相似度的最大值，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的最大值相关矩阵，包括：

18、根据获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的最大值相关矩阵；

19、其中，mi为所述第一投影矩阵中的第i个向量与所述第二投影矩阵中各个向量的余弦相似度的最大值，βij为所述第一投影矩阵中的第i行对应的向量与所述第二投影矩阵中的第j列对应的向量的余弦相似度，j∈(1,2,…n)，n为所述第二投影矩阵中的列数，pi,:为所述第一投影矩阵中的第i行对应的向量，q:,j为所述第二投影矩阵中的第j列对应的向量。

20、在一种可能的实现方式中，根据所述第二投影矩阵中的每个向量，以及所述第一投影矩阵中的每个向量与所述第二投影矩阵中每个向量的余弦相似度，获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的加权平均相关矩阵，包括：

21、根据获得所述第一上下文特征矩阵和所述第二上下文特征矩阵的加权平均相关矩阵；

22、其中，ei为所述第一上下文特征矩阵和所述第二上下文特征矩阵的加权平均相关矩阵中的第i个值，βij为所述第一投影矩阵中的第i行对应的向量与所述第二投影矩阵中的第j列对应的向量的余弦相似度，j∈(1,2,…n)，n为所述第二投影矩阵中的列数，pi,:为所述第一投影矩阵中的第i行对应的向量，q:,j为所述第二投影矩阵中的第j列对应的向量。

23、在一种可能的实现方式中，对所述第一投影矩阵与所述相关性矩阵、所述最大值相关矩阵、所述加权平均相关矩阵或所述第二投影矩阵分别进行多视角拓展，获得相关性多视角相似度矩阵、最大值多视角相似度矩阵、加权多视角相似度矩阵和原始多视角相似度矩阵，包括：

24、根据获得相关性多视角相似度矩阵、最大值多视角相似度矩阵、加权多视角相似度矩阵和原始多视角相似度矩阵；

25、其中，d1为所述相关性多视角相似度矩阵，d2为所述最大值多视角相似度矩阵，d3为所述加权多视角相似度矩阵，d4为所述原始多视角相似度矩阵，a为所述相关性矩阵，m为所述最大值相关矩阵，e为所述加权平均相关矩阵，q为所述第二投影矩阵，p为所述第一投影矩阵，w1、w2、w3、w4分别为所述相关性矩阵、所述最大值相关矩阵、所述加权平均相关矩阵和所述第二投影矩阵对应的拓展矩阵，通过训练确定。

26、在一种可能的实现方式中，对所述融合特征矩阵进行降维，获得所述第一企业相关文本和所述第二企业相关文本的语义相似度，包括：

27、对所述融合特征矩阵进行降维，获得所述第一企业相关文本和所述第二企业相关文本的第一语义相似度；

28、利用第二强化预训练语言模型提取所述第一企业相关文本的第一词特征矩阵和所述第二企业相关文本的第二词特征矩阵，其中，所述第二强化预训练语言模型为利用各行业的专有训练集训练后的第二预训练语言模型；

29、根据所述第一词特征矩阵和所述第二词特征矩阵，获得所述第一企业相关文本和所述第二企业相关文本的第二语义相似度；

30、根据所述第一语义相似度和所述第二语义相似度，获得所述第一企业相关文本和所述第二企业相关文本的语义相似度。

31、在一种可能的实现方式中，根据所述第一词特征矩阵和所述第二词特征矩阵，获得所述第一企业相关文本和所述第二企业相关文本的第二语义相似度，包括：

32、计算所述第一词特征矩阵和所述第二词特征矩阵的余弦相似度和欧式距离，并对所述第一词特征矩阵和所述第二词特征矩阵进行卷积提取，获得所述第一词特征矩阵和所述第二词特征矩阵的局部信息相似度；

33、对所述余弦相似度、所述欧式距离和所述局部信息相似度进行加权求和，获得所述第一企业相关文本和所述第二企业相关文本的第二语义相似度。

34、第二方面，本发明实施例提供了一种终端，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

35、第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

36、本发明实施例提供一种企业相关文本语义相似度计算方法、终端及存储介质，首先通过利用各行业的专有训练集训练后得到的第一强化预训练语言模型，使第一强化预训练语言模型学习到各行业的专有名词或术语以及各行业基础理论和行业法规等专业知识，进而利用第一强化预训练语言模型，在准确理解文本语义的基础上提取第一企业相关文本的第一句特征矩阵和第二企业相关文本的第二句特征矩阵。在此基础上，基于孪生神经网络，利用双向长短期记忆网络对第一句特征矩阵和第二句特征矩阵进行处理，获得第一上下文特征矩阵和第二上下文特征矩阵，然后对第一上下文特征矩阵和第二上下文特征矩阵进行维度匹配与多视角拓展融合，获得融合特征矩阵，从而通过维度匹配与多视角拓展融合，对第一企业相关文本和第二企业相关文本进行多视角语义分析，从而进一步挖掘文本序列之间的匹配信息以及语法结构上的匹配信息，以从全局匹配角度在不同语义上捕捉信息，考虑文本之间的全局语义一致性，获得融合特征矩阵，进而通过对融合特征矩阵进行降维，更准确有效的分析得到第一企业相关文本和第二企业相关文本的语义相似度。