一种基于机器学习模型的专利价值预测方法、系统、电子设备及存储介质

本发明涉及专利价值评估，具体涉及一种基于机器学习模型的专利价值预测方法、系统、电子设备及存储介质。

背景技术：

1、伴随着经济全球化进程不断加快，保护创新以求在科学技术竞争中保持优势已经成为各个国家的共识。在知识经济时代，作为科技创新的竞争基础，知识产权已然成为最具价值的财产形式。而专利作为知识产权的重要载体，是国家科技实力的表现，是企业抢占市场的利器，是个人智慧成果的结晶。专利质押融资作为专利价值化的渠道之一，其增长的数据充分说明了专利在我国保护创新，刺激经济和技术转化方面起到的重要推动作用。

2、相较于有形资产在市场上具有明确的市场价格，专利由于其唯一性特征，并且缺少可供参考的公开交易数据，其评估难度明显更大。实践中专利价值的评估还面临着技术因素、市场因素和法律因素等不确定性影响，这使专利价值评估更具复杂性。目前专利价值评估正向着多元维度不断发展，国内外对专利价值指标已经进行了很多的研究，但是目前学者们还没有达成一致共识，即没有公认的专利价值特征指标体系。

3、传统的专利价值分析方法大多采用人工评分法，此方法可以针对单个专利进行分析，并且能得到比较符合实际的结果，但是专利分析师必须在不同的研究领域拥有一定程度的专业知识，包括数据检索、数据挖掘、特定领域技术和商业智能等，且专利文件冗长并包含大量的技术和法律术语，即使是本领域专家也需要大量的时间来阅读和分析单个专利文档，因此传统方法需要花费大量的时间、财力和人力，且受评估专家主观的影响较大。在现实社会中，专利数据往往来自真实世界的统计，而当前信息公开的程度有待进一步提高，这就势必会导致众多不可避免的问题，如数据缺失、离群点、样本不均衡、样本大小不足等问题，

4、机器学习是指机器识别数据中的模式并根据从这些模式中可以学到的经验来提高其性能的能力，包含许多生成数据模型的计算技术，可用于发现有价值的关系，并用于提供有用的见解，例如预测与现有或未来数据某些相关的事实，发现隐藏于数据中的规律，由于机器学习技术独立于应用领域，为分析和学习不同学科和行业的数据提供了一个有效的平台，这种方法的主要优点之一是它可以从大量数据中生成紧凑的、人类可读的模型。

5、transformer模型是2017年谷歌公司团队提出的一种基于注意力机制的模型，在其最初始用于机器翻译领域，表现优秀，随后一些学者发现了其蕴含的潜力，将transformer模型广泛运用于文本、语音信号、图像或视频等领域并均取得了显著效果，transformer模型与过去流行的cnn、ltsm等不同，其完全基于自注意力机制建立序列处理复杂任务，使用堆叠的自注意力模块与全连接神经网络层，用于左侧的编码器(encoder)和右侧的解码器(decoder)，transformer模型在自然语言处理与图像处理领域的表现远远超越了先前的所有模型，然而在表格数据处理方面却不如另两个领域那样展现出绝对优势，这其中有来自数据的原因，也有来自模型本身的原因。

技术实现思路

1、本发明的目的是提供一种基于机器学习模型的专利价值预测方法、系统、电子设备及存储介质，在现有专利价值指标体系的基础上，改进相关指标和机器学习算法，借助机器学习特征提取和分析学习的能力，从大规模数据中学习潜在的模式和关联，捕捉传统方法无法发现的特征，建立更客观的专利价值评估模型。

2、为实现上述目的，本发明提供的技术方案是：

3、一种基于机器学习模型的专利价值预测方法，包括以下步骤：

4、步骤s1:构建适合机器学习模型的专利价值特征指标集，建立专利价值预测机器学习模型；

5、步骤s2:搜集专利数据制作数据集，采用数据集对建立的专利价值预测机器学习模型进行模型训练，调参寻优，获得优化模型；

6、步骤s3:将优化模型用于专利价值预测，专利价值预测为通过专利价值预测机器学习模型采用专利价值特征指标集对专利价值进行评估；

7、其中，所述的专利价值预测机器学习模型采用改进的transformer模型，其模型输入由以下方式获得：在改进的transformer模型中设有特征分词层，将专利价值特征指标集中的专利价值特征指标经特征分词进行升维处理，生成对应的权重向量，并且将专利价值特征指标划分成数字特征和类别特征两部分，分别作为机器学习模型的两种输入，两种输入结合为以数字特征和类别特征两种特征表示的输入，然后再在以数字特征和类别特征两种特征表示的输入上附加对专利中的所有的分词信息作全局特征聚合的输出分词，得到关联该专利上下文信息的模型输入；向改进的transformer模型输入数字特征和类别特征两种输入以及关联专利上下文信息的输出分词，经过模型预测，获得专利价值预测输出。

8、为优化上述技术方案，采取的具体措施/限定还包括：

9、在搜集专利数据制作数据集后，先将所制作的数据集基于粗糙集理论进行数据离散化及属性约简。

10、所述的专利价值特征指标集包括一级指标和二级指标；所述的一级指标包括技术维度、法律维度和市场维度；所述的技术维度包括的二级指标有：权利要求数量、技术宽度、说明书页数、专利引证次数、被印证次数、发明人数量、当前法律状态和申请人类型；所述的法律维度包括的二级指标有：专利寿命、审查时长、诉讼次数、简单同族个数和拓展同族个数；所述的市场维度包括的二级指标有：转让次数、许可次数和专利类型。

11、其中属于数字特征的指标为：权利要求数量、ipc分类数、专利印证次数、专利被印证次数、发明人数量、专利寿命、审查时长、拓展同族个数、简单同族个数、诉讼次数、转让次数、许可次数和说明书页数；其中属于类别特征的指标为：当前法律状态、申请人类型和专利类型。

12、进一步地，改进的transformer模型采用pre-norm变体，在多头自注意力模块和前馈神经网络之前分别添加一个归一化层。

13、改进的transformer模型的模型输入、模型输出的获得方法具体如下：

14、所述的数字特征在每个维度与其相应的权重向量相乘，并加上偏置量，计算公式如下：

15、

16、其中，表示第j个数字特征，表示第j个数字特征的偏置量，表示数字特征的第j维，表示第j个数字特征的权重向量，表示映射在d维空间中；

17、所述的类别特征首先进行独热编码，独热编码后的类别特征与其相应的权重向量相乘并加上偏置量，计算公式如下：

18、

19、其中，表示第j个类别特征，表示第j个类别特征的偏置量，表示第j个类别特征的独热向量，表示第j个类别特征的权重向量，表示映射在d维空间中；

20、所述的以数字特征和类别特征两种特征表示的输入t，公式表示如下：

21、

22、其中，表示第k个数字特征，表示第k个类别特征，表示升维到k*d的空间；

23、专利价值预测输出的公式表示如下：

24、

25、t0＝stack[[cls],t]

26、其中，表示模型最终输出，表示输出分词向量，t0表示将输出分词嵌入到t之后的新输入，cls表示输出分词，t表示以数字特征和类别特征两种特征表示的输入。

27、进一步地，所述的输出分词固定在以数字特征和类别特征两种特征表示的输入的序列开头。

28、本发明还保护一种基于机器学习模型的专利价值预测方法所采用的系统，包括：

29、专利价值特征指标集构建模块，用于构建适合机器学习模型的专利价值特征指标集；

30、专利价值预测机器学习模型构建模块，用于建立专利价值预测机器学习模型，搜集专利数据制作数据集，采用数据集对建立的专利价值预测机器学习模型进行模型训练，调参寻优，获得优化模型；专利价值预测机器学习模型采用改进的transformer模型，改进的transformer模型的输入为：将专利价值特征指标集中的专利价值特征指标经特征分词进行升维处理，生成对应的权重向量，并将专利价值特征指标划分成数字特征和类别特征两部分，分别作为机器学习模型的两种输入，两种输入结合为以数字特征和类别特征两种特征表示的输入，然后再在以数字特征和类别特征两种特征表示的输入上附加对专利中的所有的分词信息作全局特征聚合的输出分词，得到关联该专利上下文信息的模型输入；

31、专利价值预测模块，通过优化模型采用专利价值特征指标集对专利价值进行评估：向改进的transformer模型输入数字特征和类别特征两种输入以及关联专利上下文信息的输出分词，经过模型预测，获得专利价值预测输出。

32、本发明还保护一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的基于机器学习模型的专利价值预测方法。

33、本发明还保护一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上述的基于机器学习模型的专利价值预测方法。

34、与现有技术相比，本发明的有益效果是：

35、本发明一方面建立了一种用于专利价值预测的机器学习模型，另一方面对专利价值指标体系的构建进行了研究，根据专利数据的特点，以及与专利价值预测机器学习模型相结合，构建出了一套适合机器学习的专利价值特征指标集，利用本发明的机器学习模型及专利价值特征指标集，能够快速、高效、准确地进行专利价值评估工作。

36、本发明采用适合机器学习的专利价值特征指标集，作为统一的专利价值评估指标体系，能够保证评估人员在评估过程中的客观性，避免由于指标选择不统一导致评估结果不一致。本发明的指标选取以全面性、逻辑性、稳定性、动态性、可行性、定量与定性相结合和经济性为主要原则，并重点考虑了各指标相互之间是否存在多重共线性，有内在联系的指标因素将对专利定价产生较大的影响等问题。本发明根据各原则综合选取了专利价值特征指标，并借助机器学习特征提取和表示学习的能力，从大规模数据中学习潜在的模式和关联规律，利用深度学习算法建立了专利价值评估模型，能够捕捉传统方法无法发现的特征，减少主观因素的干扰，提高评估的客观性和准确性。

37、本发明在建立专利价值预测机器学习模型中采用transformer模型，并针对专利数据的特点对transformer模型进行了改进，传统的transformer模型仅仅采用分类特征嵌入，通过transformer模型将其转换为上下文嵌入，随后将数字特征与之连接起来通过多层感知机(multi-layer perceptron)得出结果，由于数字特征被排除在外，在处理一些问题，如处理表格时，无法取得与自然语言处理领域同样的高性能。本发明将专利价值特征指标集中的专利价值特征指标经过特征分词进行升维处理，生成对应的权重向量，并且将专利价值特征指标划分成数字特征和类别特征两部分，分别作为机器学习模型的两种输入，从而将原始的模型输入转化为以数字特征和类别特征两种特征表示的模型输入；然后在以数字特征和类别特征两种特征表示上附加对一个专利中的所有的分词信息作全局特征聚合的输出分词，得到关联该专利上下文信息的模型输入。

38、本发明针对专利数据改进的transformer模型可以显著地弥补粗糙集理论泛化能力不足的缺点，同时其自注意力机制能够有效地捕捉输入数据的全局关系，采用的特征分词与输出分词更可以全面地捕捉到数字特征与类别特征，全面地提高transformer模型在处理表格数据时的表现，提高了模型在处理表格数据上的泛化能力和适应性。

39、本发明选取了人工智能应用层子领域——智能制造领域专利数据对改进的transformer模型进行了应用分析，经验证该模型在处理该领域的特定问题时取得良好的性能，具有一定的鲁棒性和适应能力，并将该模型的实验结果与运用原始transformer模型以及bp神经网络模型等传统模型分析的结果对比后发现，改进模型各项结果指标均优于后者。

40、本发明的改进的transformer模型在特征选择与降维、可解释性、泛化能力与模型稳健性等方面综合了粗糙集与transformer模型各自特点，实现了优势互补，具有较强的实用性。

41、本发明构建的改进的transformer模型在解决专利价值评估问题上的表现优于其他传统模型，在专利价值特征指标的选取上也更适用于机器学习方法的需要，拓展了深度学习和transformer模型的应用场景，同时也给专利价值评估的实践工作提供了高效可行的新工具。