基于多模态异质图的专利推荐方法及系统与流程

本发明涉及一种专利推荐方法，尤其涉及一种基于多模态异质图的专利推荐方法及系统。

背景技术：

1、专利推荐是通过专利的转让历史，企业的技术领域和专利的技术特征为基础，为企业在对接新的技术成果中，提供专利的推荐服务。专利相似度检测是指通过计算两个或多个专利文本之间的相似度，以评估它们之间的关联程度。专利相似度检测可用于帮助人们更好地理解专利之间的关联性，并促进专利的转化运用、专利申请和专利侵权检测等方面的工作，为生产实际中的技术需求推荐合适的专利成果。在专利分析领域中，最常见的单模态数据类型是文本，因此许多专利相似度检测方法都是基于专利文本的。基于单模态的专利相似度检测方法的优点是简单、易于实现，但也存在一些限制，例如无法处理多模态数据、无法考虑专利文本中的语义信息、难以处理专利文本的复杂性等，而且这样就会导致专利推荐精度就会下降，降低了用户的专利检索体验。

技术实现思路

1、本发明克服了现有技术的不足，提供了一种基于多模态异质图的专利推荐方法及系统。

2、为达上述目的，本发明采用的技术方案为：

3、本发明第一方面提供了一种基于多模态异质图的专利推荐方法，包括以下步骤：

4、获取被推荐的专利库中的第一专利信息、第二专利信息以及企业信息，引入resnet50模型，通过所述resnet50模型对第二专利的图片信息进行数字化表征，生成第一表征信息；

5、引入roberta模型，并通过所述roberta模型对所述第一专利信息以及企业信息进行文字内容的数字化表征，生成各属性所对应的第二表征信息，通过对各属性所对应的第二表征信息进行分析，生成分析后的各属性所对应的第二表征信息；

6、通过多层感知机模型对所述第一表征信息以及分析后的各属性所对应的第二表征信息进行融合，生成专利的多模态异质图融合表征；

7、基于lightgcn构建专利推荐模型，将所述专利的多模态异质图融合表征输入到所述专利推荐模型中进行训练，获取训练完成的专利推荐模型。

8、进一步的，在本方法中，引入resnet50模型，通过所述resnet50模型对第二专利信息进行数字化表征，生成第一表征信息，具体包括：

9、通过对所述第二专利信息进行滤波以及降噪处理，获取预处理后的图像数据信息，并将所述预处理后的图像数据信息输入到所述resnet50模型中；

10、通过第一层的卷积、池化运算之后，判断通道数是否达到预设通道数阈值，当通道数未达到预设通道数阈值时，则持续卷积以及池化运算，直至通道数达到预设通道数阈值时，获取降维后的图像信息；

11、将所述降维后的图像数据输入到resnet50模型中的残差模块，经过预设次数的残差操作，获取数字化表征后的图像数据信息，并将所述数字化表征后的图像数据信息作为第一表征信息输出。

12、进一步的，在本方法中，引入roberta模型，并通过所述roberta模型对所述第一专利信息以及企业信息进行数字化表征，生成各属性所对应的第二表征信息，具体包括：

13、根据所述第一专利信息以及企业信息构建字符向量、分句向量以及位置向量，引入roberta模型，基于所述字符向量、分句向量以及位置向量构建嵌入向量；

14、将所述嵌入向量输入到所述roberta模型中，将所述嵌入向量经过预设层数的transformer编码器单元处理后，最后输出各属性所对应的词向量表示，并将所述各属性所对应的词向量表示作为各属性所对应的第二表征信息输出。

15、进一步的，在本方法中，通过对各属性所对应的第二表征信息进行分析，生成分析后的各属性所对应的第二表征信息，具体包括：

16、根据所述各属性所对应的第二表征信息构建检索标签，基于所述检索标签通过大数据获取进行检索，获取与所述各属性所对应的第二表征信息相关联的文本数据信息，引入多头注意力机制；

17、对与所述各属性所对应的第二表征信息相关联的文本数据信息进行字符划分，获取若干个字符信息，通过所述多头注意力机制计算字符信息与各属性所对应的第二表征信息之间的关联度信息；

18、判断所述关联度信息是否大于预设关联度阈值，当所述关联度信息大于预设关联度阈值，则构建有向边描述关系，获取关联度信息大于预设关联度阈值所对应的字符信息，基于所述关联度信息大于预设关联度阈值所对应的字符信息构建关联词向量；

19、根据所述有向边描述关系将所述关联词向量以及各属性所对应的第二表征信息连接，并对所述各属性所对应的第二表征信息进行更新，生成分析后的各属性所对应的第二表征信息。

20、进一步的，在本方法中，通过多层感知机模型对所述第一表征信息以及分析后的各属性所对应的第二表征信息进行融合，生成专利的多模态异质图融合表征，具体包括：

21、引入多层感知机模型，并将所述第一表征信息以及分析后的各属性所对应的第二表征信息输入到所述多层感知机模型中，并在多层感知机模型的第一层网络以及第二层网络之间引入激活函数rdlu和dropout机制；

22、获取经过处理后的特征向量，对所述经过处理后的特征向量使用节点属性和拓扑信息引导对比损失，并对第二层网络生成的特征向量进行优化，使得节点属性与拓扑信息之间小于预设马氏距离值的节点在特征空间中靠近；

23、使得节点属性与拓扑信息之间不小于预设马氏距离值的节点在特征空间中远离，将并第二层网络生成的特征向量输入到第三层网络中，根据在第三层网络中生成的特征向量计算交叉熵损失，判断所述交叉熵损失是否符合预设要求；

24、当所述交叉熵损失符合预设要求时，输出融合后的表征信息，将所述融合后的表征信息作为专利的多模态异质图融合表征，并将所述专利的多模态异质图融合表征输出。

25、进一步的，在本方法中，基于lightgcn构建专利推荐模型，将所述专利的多模态异质图融合表征输入到所述专利推荐模型中进行训练，获取训练完成的专利推荐模型，具体包括：

26、基于lightgcn构建专利推荐模型，将所述专利的多模态异质图融合表征输入到所述专利推荐模型中进行训练，并在所述专利推荐模型中的初始嵌入层，将所述专利的多模态异质图融合表征整合一个嵌入矩阵；

27、将所述嵌入矩阵输入到所述专利推荐模型的轻量化图卷积层中，对每一层的嵌入矩阵中的表征信息进行求和，得到最终的向量表示；

28、根据所述最终的向量表示输入到专利推荐层中做内积运算，获取预测分数，当所述训练完成的专利推荐模型的模型参数符合预设参数要求之后，输出训练完成的专利推荐模型。

29、本发明第二方面提供了一种基于多模态异质图的专利推荐系统，所述推荐系统包括存储器以及处理器，所述存储器中包括基于多模态异质图的专利推荐方法程序，所述基于多模态异质图的专利推荐方法程序被所述处理器实现时，实现如下步骤：

30、获取被推荐的专利库中的第一专利信息、第二专利信息以及企业信息，引入resnet50模型，通过所述resnet50模型对第二专利信息进行数字化表征，生成第一表征信息；

31、引入roberta模型，并通过所述roberta模型对所述第一专利信息以及企业信息进行数字化表征，生成各属性所对应的第二表征信息，通过对各属性所对应的第二表征信息进行分析，生成分析后的各属性所对应的第二表征信息；

32、通过多层感知机模型对所述第一表征信息以及分析后的各属性所对应的第二表征信息进行融合，生成专利的多模态异质图融合表征；

33、基于lightgcn构建专利推荐模型，将所述专利的多模态异质图融合表征输入到所述专利推荐模型中进行训练，获取训练完成的专利推荐模型。

34、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于多模态异质图的专利推荐方法程序，所述基于多模态异质图的专利推荐方法程序被处理器执行时，实现任一项所述的基于多模态异质图的专利推荐方法的步骤。

35、本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：

36、本发明通过获取被推荐的专利库中的第一专利信息、第二专利信息以及企业信息，引入resnet50模型，通过resnet50模型对第二专利信息进行数字化表征，生成第一表征信息，进而引入roberta模型，并通过roberta模型对第一专利信息以及企业信息进行数字化表征，生成各属性所对应的第二表征信息，通过对各属性所对应的第二表征信息进行分析，生成分析后的各属性所对应的第二表征信息，从而通过多层感知机模型对第一表征信息以及分析后的各属性所对应的第二表征信息进行融合，生成专利的多模态异质图融合表征，最后基于lightgcn构建专利推荐模型，将专利的多模态异质图融合表征输入到专利推荐模型中进行训练，获取训练完成的专利推荐模型。本发明通过融合roberta模型、多层感知机模型以及lightgcn来对专利信息中的权利要求、说明书摘要、摘要附图、企业名称、企业经营范围等信息进行融合，形成多模态信息，从而提高专利推荐模型的推荐精度，从而能够更加精准地将相关专利推荐给用户，充分考虑了企业用户特征和专利特征，有利于提升专利的运用转化。