基于图编码面向刑事案件羁押风险评估的特征选择方法与流程

1.本发明属于自然语言处理领域，涉及到一种基于图编码面向刑事案件羁押风险评估的特征选择方法。


背景技术：

2.随着机器学习的高速发展，各类机器学习算法被广泛应用于越来越多的领域，这些机器学习的成果为人们带来了很大的便利。在机器学习中，特征工程是重中之重，选择合适的特征会使模型的性能得到提升。更具体地讲，选择更好的特征，可以为机器学习模型带来以下几点好处：1）降低了模型的复杂度，节省了大量计算资源以及计算时间；2）提高了模型的泛化能力。泛化能力指的是机器学习算法对新鲜样本的适应能力。通俗的来讲，如果一个模型对训练样本有较好的效果，而对测试样本或样本以外的实例效果较差，则该模型的泛化能力就较差。
3.由于特征选择在机器学习领域十分重要，所以关于特征选择的方法也有很多，不同种类方法特点不同，各具优劣。目前，常见的特征选择方法有如下几类：1）过滤法（filter）：按照发散性或者相关性对各个特征进行评分，对分数设定阈值或者选择靠前得分的特征。该类方法较为简单，但若存在相关性较强的特征都排名靠前，就会造成冗余特征的引入，最终导致特征选择效果较差；2）包裹法（wrapper）：根据目标函数，每次选择若干特征或者排除若干特征，对排除特征后的模型进行评价，直到选择出最佳的特征子集。该方法一般不会造成过滤法导致的冗余特征选择，但需要消耗大量的计算资源；3）嵌入法（embedding）：先使用某些机器学习的算法和模型进行训练，评价不同特征对模型的贡献，进而选择贡献较大的特征。
4.目前，在辅助判决人工智能领域，特征选择的重要性也日渐凸显。例如，检察机关在对刑事案件审理的过程中，会对嫌疑人的犯罪特征对羁押必要性进行判断，作为是否羁押的重要因素之一。但由于对犯罪嫌疑人特征的统计越来越全面，对犯罪种类和情况的考虑越来越具体，特征选择工作的难度逐渐提升。基于此，本工作提出了一种基于图编码面向刑事案件羁押风险评估的特征选择方法。主要用于在给定数据的条件下对影响羁押风险结果的重要特征进行选择。


技术实现要素：

5.本发明要解决的技术问题在于不同种类犯罪的嫌疑人的不同特征对其羁押必要性结果的影响大小不同，难以简单通过这些特征对该嫌疑人的羁押必要性进行准确判断，本发明提供了一种基于图编码面向刑事案件羁押风险评估的特征选择方法。
6.本发明解决其技术问题所采用的技术方案是：一种基于图编码面向刑事案件羁押风险评估的特征选择方法。该方法首先引入了外部知识库，通过将数据键值映射到外部知
识库后根据句向量的余弦相似程度利用多视角构建三个特征子图，之后对子图进行编码，通过对图谱的多任务学习完成对嫌疑人的人身危险性，社会危害性和再犯罪风险性的预测，预测出犯罪嫌疑人的羁押必要性，随后由本文解码器输出对羁押结果的预测原因。最后，在特征的选择方面，我们可以在模型训练完成后从特征图权重较高的一些特征节点筛选出影响羁押结果的重要特征。
7.本发明的基于图编码面向刑事案件羁押风险评估的特征选择方法包括如下步骤：1）构建与嫌疑人犯罪特征相关的法律知识库；2）根据计算出的特征结点的相似度和相似度关系判定条件构建犯罪特征知识图谱；3）根据设计的模型结构图进行图编码；4）基于犯罪知识图谱使用多任务学习训练三个子任务；5）利用文本解码器输出预测结果的原因；6）计算模型中预测任务和生成任务的损失函数；7）根据特征图编码部分的注意力分布情况，选取特征图权重较高的特征结点，其对应特征即对羁押风险评估的重要特征。
8.作为本发明的一种改进，所述步骤1）中，具体如下：构建了关于不同犯罪涉及到的犯罪特征的知识库，该知识库主要包含了不同犯罪特征的定义或解释，知识库的具体构建方法为使用爬虫爬取特征的定义或解释后人工筛选构建知识库。
9.作为本发明的一种改进，所述步骤2）中，具体如下：利用实体链接将数据映射到知识库中的对应实体上，之后使用分词工具分词，得到词向量，并取平均得到句向量，通过计算句向量的余弦相似度和相似度关系，从多视角构建特征子图。
10.作为本发明的一种改进，所述步骤3）中，具体如下：引入了图注意力网络和多图交互学习模块，具体内容如下：31）构建完特征子图之后，使用图注意力网络即graph attention network, gat来分别学习每个特征子图中的节点的表示图注意力网络用以下公式来更新节点表示：来分别学习每个特征子图中的节点的表示图注意力网络用以下公式来更新节点表示：；其中，和是可以学习的参数, 表示向量拼接操作，为子图经过编码的节点表示， 为 激活函数对参数的计算结果，为上述结果的规范化概率，为函数,为更新的节点表示；32）使用了一个多图交互的联合学习模块，该模块有两部分组成，第一部分通过自注意力层进行所有视图的交互，实现信息共享，第二部分是融合层，通过计算不同视图的权重，将多视图表示结合起来。
11.作为本发明的一种改进，所述步骤4）中，具体如下：使用多任务学习，同时基于犯罪特征图谱训练三个子任务，来分别预测犯罪嫌疑人的人身危险性，社会危害性和再犯罪风险性，根据子任务结果和相关特征预测羁押必要性结果。
12.作为本发明的一种改进，步骤 5）利用文本解码器输出预测结果的原因；具体如下：解码器是一个循环神经网络即recurrent neural network, rnn，根据编码信息来生成句子，具体来说，循环神经网络通过之前时刻预测的词，隐状态和上下文向量，来预测下一时刻的输出，上下文向量是根据子图中经过编码的节点表示计算得到，动态地捕捉到编码器的注意力信息，每个节点表示都包含关于整个特征图的信息，并且重点关注输入图中的第个节点周围的局部信息，上下文向量为这些节点表示的加权和，每个节点表示的权值计算为：其中为对齐模型对每个节点的评分结果，为节点表示，为计算的每个节点的权值,为上下文向量,是一个对齐模型，它对位置周围的输入节点和位置的输出匹配程度进行评分，分数基于rnn隐藏状态和输入图的第个节点表示，我们将对齐模型参数化为前馈神经网络，与其他网络一起进行训练。
13.作为本发明的一种改进，所述步骤6）中，具体如下：将任务分为两类，一部分为预测任务，一部分为生成任务，在预测任务中，模型要预测人身危险性，社会危害性，再犯罪风险性和羁押必要性，损失函数按任务的种类分为两类：a）预测任务：预测结果为二分类，以下为二分类交叉熵损失函数的公式：其中，为预测任务的损失函数，为样本的个数，为求和符号,为模型预测值， 为真实值，为对数符号；b）生成任务；在传统的序列生成任务中，使用交叉熵损失函数：;其中是第个位置的真实输出序列，但交叉熵损失函数的一个限制在于，它只能优化模型在训练集上的效果，在测试集上由于没有真实的输出序列作为参照，模型并不能优化交叉熵损失函数。因此，除了常规的交叉熵损失函数之外，我们还使用了一种强化学习
损失函数来增强模型训练。强化学习损失是基于评估指标，因此在训练集和测试集上都可以进行优化。
14.我们将生成任务的训练分为两个阶段：在第一阶段中使用常规的交叉熵损失函数进行训练，使用交叉熵损失函数：其中是第个位置的真实输出序列，在第二阶段中使用交叉熵损失函数和强化学习损失函数一起来微调模型,生成函数的损失函数可以表示为：；为缩放因子，用来控制两个损失的比重，我们采用了一种高效的强化学习算法，称为自临界序列训练(self
‑
critical sequence training, scst)，它直接优化离散的评估指标。自临界序列训练是一种有效的强化学习算法，它利用自己的测试时间推理算法的输出来规范化它得到的奖励。在每次训练迭代中，强化学习损失函数是通过比较采样输出的奖励与基线输出的奖励来定义的，公式如下：；其中，为强化学习的损失函数,为基线输出，是通过多项式采样获得，为采样输出，为每一个词的似然结果，是每一个词
ꢀꢀ
都是根据似然得到的，最小化上述损失相当于最大化采样输出的奖励高于相应的基线输出的奖励的可能性，强化学习中一个关键的问题在于挑选损失函数，定义 为输出的奖励，通过计算比较生成的句子和真实的句子在某种评估指标即使用ble下的得分可以得到，所以，模型的总损失为：。
15.其中，分别表示人身危险性，社会危害性，再犯罪风险性和羁押必要性的二分类交叉熵损失函数，为第二阶段生成函数的损失函数，由交叉熵损失函数和强化学习损失函数组成。
16.作为本发明的一种改进，所述步骤7）中，具体如下：根据特征图编码部分的注意力分布情况，通过特征图权重较高的一些特征节点对特征进行选择。
17.相对于现有技术，本发明的优点如下：经过实验分析表明，本方法提出的基于图编码面向刑事案件羁押风险评估的特征选择方法，可以有效地在不同的刑事案件中对人身危险性，社会危害性，再犯罪风险性和羁押必要性进行预测，生成有关嫌疑人是否被羁押的原因描述，同时可以有效的筛选出在这些任务中起到重要作用的嫌疑人犯罪特征。结果显示，该模型的预测效果较好，对人身危险性，社会危害性，再犯罪风险性和羁押必要性的预测结果符合预期，正确率高，模型对特征的筛选具有代表性，有良好的应用前景。
附图说明
18.图1是本发明的模型结构图；图2是联合学习模块结构图；图3是模型的工作流程示意图。
具体实施方式
19.下面结合原始数据、具体实施步骤和说明书附图对本发明作进一步的说明。
20.原始数据关于刑事案件的原始数据的内容如表1所示：表1：原始数据内容；由于刑事案件种类较多，我们以盗窃罪为例，来介绍数据，完整的特征种类见附件。盗窃罪所包含的嫌疑人犯罪特征名有：扒窃；立功；坦白；自首；谅解；赔偿；系累犯；企图自杀；企图逃跑；入户盗窃；共同犯罪；出生日期；参与情况；多次盗窃；认罪认罚；有前科劣迹；实施新的犯罪；携带凶器盗窃；毁灭伪造证据；盗窃价值累计；达成刑事和解；因盗窃造成严重后果；干扰证人作证串供；可能实施新的犯罪；可能毁灭、伪造证据；具有法定从宽处罚情节；曾因盗窃受过刑事处罚；犯罪嫌疑人系未成年人；犯罪预备、未遂或中止；其他情节轻微、危害不大；组织、控制未成年人盗窃；犯罪嫌疑人的刑事责任能力；犯罪嫌疑人系75周岁以上的人；一年内曾因盗窃受过行政处罚；犯罪嫌疑人达到刑事责任年龄；违反取保候审规定，情节严重；违反监视居住规定，情节严重；可能判处十年有期徒刑以上刑罚；在医院盗窃病人或者其亲友财物；犯罪嫌疑人系盲人或又聋又哑的人；对被害人举报人控告人实施打击报复；本次可能判处徒刑以上刑罚、身份不明；本次可能判处徒刑以上刑罚、曾有故意犯罪；盗窃残疾人、孤寡老人、丧失劳动能力人的财物；有危害国家安全公共安全或者社会秩序的现实危险；盗窃救灾、抢险、防汛、优抚、扶贫、移民、救济款物；自然灾害、事故灾害、社会安全事件等突发事件期间，在事件发生地盗窃。
21.针对每一个盗窃罪嫌疑人，案件处理部门都会统计上述特征对应的属性值，通常为是否或者为一些数值等。每一个特征可以看成一个键值对(key, value)。例如：(扒窃：是)，(立功：否)，(企图逃跑：是)，(出生日期：1978年7月12日)，等等。
22.根据以上数据内容，本方法的具体实施步骤如下：1）构建与嫌疑人犯罪特征相关的法律知识库针对不同的犯罪特征，我们使用爬虫从互联网上爬取与特征的相关解释或定义，
然后通过人工筛选的方式，进行法律知识库的构建。我们构建的知识库主要包含了不同犯罪特征的定义或解释，我们从库中选取了几个例子，这些例子的内容如下：例子1：扒窃：在公共场所或公共交通工具上窃取他人随身携带的财物的行为为扒窃。
23.例子2：立功：是指犯罪分子有揭发他人犯罪行为，查证属实的，或者提供重要线索，从而得以侦破其他案件等情形的行为。
24.例子3：犯罪预备：为了犯罪，准备工具、制造条件。
25.2）构建犯罪特征知识图谱我们通过实体链接，把犯罪特征键值对中的键映射到知识库中对应的实体上，找到犯罪特征在知识库中的解释。比如对于键值对“扒窃：是”，我们将键“扒窃”提取出来，然后通过字符串匹配，在知识库中进行检索，可以链接到知识库中的实体“扒窃”，从而提取到实体对应的属性，即犯罪特征的解释。我们提取出对每一个解释，使用jieba[1]分词工具进行分词，例如实体“扒窃”所对应的特征属性使用jieba分词后的结果为：“在公共场所或公共交通工具上窃取他人随身携带的财物的行为为扒窃”。然后使用基于中文维基百科训练的词向量，计算出分词后的每一个词对应词向量。通过对所有词向量的的值求平均，得到句向量，公式如下：；其中为用jieba分词后从维基百科词向量中获得的第k个词的词向量，n为每一句解释经过分词后获得的词的总个数，为经过计算后该解释的句向量。由此，我们计算出知识库中每一个特征对应解释的句向量，然后使用余弦相似函数，计算两两特征节点之间的余弦相似度s；；我们从多视角(multi
‑
view)来构建三个特征子图。设定两个阈值和，，根据两两特征节点之间相似度s的和阈值，的关系，我们在满足条件的节点之间添加边，从而构建出特征子图，我们用三个相似度关系判定条件构建出三个特征子图：出三个特征子图：分别为通过根据不同的相似度来构建三个特征子图，通过这种构建方式可以让模型从多个视角学习局部特征关系。
[0026]
3）图编码；模型的结构图如图1所示。
[0027]
a）图注意力网络层(graphattentionlayer);构建完特征子图之后，我们使用图注意力网络(graph attention network, gat)来分别学习每个特征子图中的节点的表示。图注意力网络在图结构数据上使用注意力机制，它通过将信息传播到相邻顶点来更新节点的表示，而相邻顶点的权值则通过注意机制自动学习。给定输入节点特征，图注意力网络用以下公式来更新节点表示：其中，和是可以学习的参数, 表示向量拼接操作，为了提高网络性能，我们使用两层图注意力网络作为一个图注意力模块。我们将图注意力模块分别作用于三个不同的特征子图，分别得到 为经过图注意力模块之后的输出表示；b）多图交互联合学习模块(joint learning module)；经过上面的注意力网络，模型学习到了基于单视图的子图表示。为了在学习过程中实现不同视图之间的协作，有效融合多视图表示，我们使用了一个多图交互的联合学习模块。该模块有两部分组成，第一部分通过自注意力层进行所有视图的交互，实现信息共享。第二部分是融合层，通过计算不同视图的权重，将多视图表示结合起来。
[0028]
多图信息共享：虽然我们从不同视角提取了犯罪特征子图，但是这些犯罪特征子图也是高度相关的。为了让模型更好地学习到犯罪特征之间的关系，我们将不同的犯罪特征子图信息进行交互共享，增强模型从单视图的学习过程。我们使用自注意力层(self
‑
attention layer)来传递信息，进行多视图的交互。由于我们从三个视角提取了特征子图，，对于每一个表示 ,我们分别将一个健矩阵和一个查询矩阵与之关联，可以表示为：；对于每一个视角，我们用以下公式在所有视角间进行信息传递：经过多图之间的信息交互共享，可以被看做为第个视角的全局的信息。为了将这个每个视角全局信息与局部信息相结合，使用以下公式：；为学习融合了局部和全局信息的第 个子图的表示，为全局信息的权重。
[0029]
多视角融合：使用了一个融合层(fusion layer)来将多视角的子图表示进行融合。为了强调重要的视角，将赋予每个视角一个权重，融合后的表示就是不同视角的子图表示的加权平均；表示的加权平均；为多视角的不同子图的平均表示，为不同视角的权重，如果一个视角的子图表示距离平均表示越接近，那么这么视角就越重要，赋予的权重就越高。通过这种方式，我们可以将每个视角独立学习到的特征子图表示进行融合，获得更加丰富的原始特征图表示。然后将融合后的视角与多视图交互后的表示进行结合，得到最终的视图表示：；4）多任务学习；我们使用多任务学习，即同时基于犯罪特征图谱训练三个子任务，来分别预测犯罪嫌疑人的人身危险性，社会危害性和再犯罪风险性。再用三个子任务的预测结果，综合预测出犯罪嫌疑人的羁押必要性。最后经过文本解码器，生成有关嫌疑人是否被羁押的原因描述。
[0030]
5）文本解码器；解码器是一个循环神经网络即recurrent neural network, rnn，根据编码信息来生成句子，具体来说，循环神经网络通过之前时刻预测的词，隐状态和上下文向量，来预测下一时刻的输出。上下文向量是根据子图中经过编码的节点表示计算得到，动态地捕捉到编码器的注意力信息，每个节点表示都包含关于整个特征图的信息，并且重点关注输入图中的第个节点周围的局部信息，上下文向量为这些节点表示的加权和，每个节点表示的权值；计算为：其中为对齐模型对每个节点的评分结果,为节点表示，为计算的每个节点的权值，为上下文向量，是一个对齐模型，它对位置周围的输入节点和位置的输出匹配程度进行评分，分数基于rnn隐藏状态和输入图的第个节点表示，将对齐模型参数化为前馈神经网络，与其他网络一起进行训练。
[0031]
将任务分为两类，一部分为预测任务，一部分为生成任务。在预测任务中，模型要预测人身危险性，社会危害性，再犯罪风险性和羁押必要性。损失函数按任务的种类分为两类：a）预测任务：预测结果为二分类，以下为二分类交叉熵损失函数的公式：其中,为预测任务的损失函数，为样本的个数，为求和符号，为模型预测值，为真实值，为对数符号；b）生成任务：在传统的序列生成任务中，一般都使用交叉熵损失函数：；其中是第个位置的真实输出序列。但交叉熵损失函数的一个限制在于，它只能优化模型在训练集上的效果，在测试集上由于没有真实的输出序列作为参照，模型并不能优化交叉熵损失函数。因此，除了常规的交叉熵损失函数之外，我们还使用了一种强化学习损失函数来增强模型训练。强化学习损失是基于评估指标，因此在训练集和测试集上都可以进行优化。
[0032]
将生成任务的训练分为两个阶段：在第一阶段中使用常规的交叉熵损失函数进行训练，在第二阶段中使用交叉熵损失函数和强化学习损失函数一起来微调模型。生成函数的损失函数可以表示为：；为缩放因子，用来控制两个损失的比重。我们采用了一种高效的强化学习算法，称为自临界序列训练(self
‑
criticalsequencetraining,scst)，它直接优化离散的评估指标。自临界序列训练是一种有效的强化学习算法，它利用自己的测试时间推理算法的输出来规范化它得到的奖励。在每次训练迭代中，强化学习损失函数是通过比较采样输出的奖励与基线输出的奖励来定义的，公式如下：；是通过多项式采样获得，也就是每一个词都是根据似然得到的。最小化上述损失相当于最大化采样输出的奖励高于相应的基线输出的奖励的可能性。强化学习中一个关键的问题在于挑选损失函数。我们定义为输出的奖励，通过计算比较生成的句子和真实的句子在某种评估指标(使用bleu)下的得分可以得到。所以，模型的总损失为：；7）特征选择；
当模型训练完成后，我们通过关注特征图编码部分的注意力分布情况，可以找出特征图权重较高的一些特征节点，作为筛选出的对羁押风险评估起重要作用的特征。
[0033]
需要说明书的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。