一种多模态数据融合的盗窃犯罪风险评估方法

本发明涉及城市犯罪风险评估，具体指一种多模态数据融合的盗窃犯罪风险评估方法。

背景技术：

1、盗窃犯罪风险评估旨在分析和评估盗窃犯罪事件发生的概率，以及识别、量化和理解潜在的盗窃犯罪风险因素。其中，城市街区功能、街道网络布局、城市绿化环境、人车流量等是影响城市犯罪发生的主要因素，其在空间分布上呈现差异性。例如，繁华商业区与住宅区面临不同的盗窃风险，道路网络结构和交通流量也会对犯罪活动产生影响。

2、现有盗窃犯罪分享评估方法包括：基于犯罪地理学等理论的分析方法，基于历史盗窃案件的专家打分与评估方法，以及基于环境特征、多源大数据和机器学习等数据和模型的建模与评估方法等。然而，随着城市快速发展，城市规模不断扩张，城市的布局复杂度不断提高，单纯基于犯罪地理学和环境心理学等理论难以有效支持分析和预测区域犯罪风险；而基于历史盗窃案件的专家打分与评估方法依赖单一维度的历史数据和人工的专业评分经验，难以充分联系和挖掘城市建成环境、空间结构和人类感知等维度的有效信息，并且现有基于机器学习的方法未能充分利用城市建成环境的多模态数据，未能充分考虑街道尺度的多模态特征信息及其其内在的空间异质性特征信息，对于多模态数据间的局部空间关联性也缺乏系统而深入的综合分析。

技术实现思路

1、本发明针对现有技术的不足，提出一种多模态数据融合的盗窃犯罪风险评估方法，聚焦于街道尺度的建成环境，借助街景全景影像和路网数据提取街道尺度建成环境的视觉特征、空间结构特征和感知特征，设计局部区域加权回归算法来建模区域盗窃犯罪风险因子和建成环境特征，并利用机器学习模型构建盗窃犯罪风险评估模型，实现低成本、较高精度的区域盗窃犯罪风险评估。

2、为了解决上述技术问题，本发明的技术方案为：

3、一种多模态数据融合的盗窃犯罪风险评估方法，包括如下步骤：

4、步骤1、获取待预测区域的地理信息数据集，所述地理信息数据集该区域内的街景图、历史犯罪点信息和经纬度坐标；

5、步骤2、构建并训练多模态数据融合的盗窃犯罪风险评估模型，所述多模态数据融合的盗窃犯罪风险评估模型包括街景感知特征提取模块、视觉特征提取模块、空间结构特征提取模块、盗窃犯罪缓冲区加权平滑模块、多模态特征融合模块和回归预测模块；

6、步骤3、将街景全景影像和路网数据作为输入，分别通过街景感知特征提取模块、视觉特征提取模块、空间结构特征提取模块分别得到街景尺度建成环境的感知特征、视觉特征和空间特征，并通过盗窃犯罪缓冲区加权平滑模块量化盗窃风险指标，将感知特征、视觉特征和空间特征和盗窃风险指标进行数据更新得到多模态数据集；

7、步骤4、将多模态数据集通过多模态特征融合模块融合成多模态特征矩阵；

8、步骤5、将多模态特征矩阵作为自变量矩阵，将量化后的盗窃风险指标作为因变量通过回归预测模块进行预测。

9、作为优选，所述街景感知提取模块采用预训练的卷积神经网络，其预训练方法为：先利用resnet-50网络加载其在imagenet-1k数据集上预先训练得到的模型权重，并将其修改为二分类任务，对分类为正例结果的概率值(0～1)*100作为图片的百分制感知特征。

10、作为优选，所述视觉特征提取模块采用预训练的卷积神经网络，其训练方法为：利用resnet-101骨干网络在cityscapes数据集上预先训练得到的deeplabv3plus网络，并加载预训练权重。

11、作为优选，将待预测区域街景全景图作为输入，通过所述街景感知提取模块提取的感知特征，包括：安全度，活力度，美丽度，富裕度，消极度，无聊度。

12、作为优选，将待预测区域街景图作为输入通过所述视觉特征提取模块提取的视觉特征包括天空开放度、建筑物占比、植被覆盖率和道路占比。

13、作为优选，将待预测区域街景图以及该区域历史犯罪点信息作为输入通过所述空间结构特征提取模块提取空间特征的方法为：首先将双线路网转换成单线路网，通过单线路网计算局部路网密度；然后利用空间句法，计算局部区域路网的空间特征，所述空间特征包括选择度、连接度、控制值、整合度指标。

14、作为优选，通过所述盗窃犯罪缓冲区加权平滑模块量化盗窃风险指标的方法为：

15、以每个犯罪样本点为圆心，设置缓冲区；基于每个犯罪样本点对应的初始盗窃风险指标和经纬度数据，为每个犯罪样本点构建空间局部回归模型，并通过空间局部回归模型量化盗窃风险指标。可根据城市规模设置多个尺度缓冲区，并选择最优结果。

16、作为优选，构建空间局部回归模型的方法为：应用地理加权回归，表达式如下：

17、

18、其中，(ui，vi)为中心样本点i坐标；cik是中心样本点i所在缓冲区内的其余样本点k的初始犯罪指标；βk(ui，vi)为中心样本点i在其缓冲区内第k个样本点(共n个)的回归参数，是关于地理位置的函数，在估算的过程中采用核函数的方法得到，所述核函数方法使用gauss距离法，公式如下：

19、

20、其中，dik是缓冲区中心样本点i到缓冲区内其余犯罪样本点k的距离；b是带宽，令其等于缓冲区半径的值，单位为米；

21、计算每个样本i与其所在缓冲区内的样本j之间的距离dij，并根据核函数计算出样本j对于样本i的回归参数；

22、重复以上步骤，对每个样本点都计算出其缓冲区内的回归参数，得到空间局部回归模型。

23、作为优选，所述步骤3中得到多模态数据的方法为：

24、以每个犯罪样本点为圆心，设置缓冲区半径，单位为米，划定缓冲区，为保证街景样本点特征中感知特征和视觉特征为百分制，采用加权平均方法，公式如下：

25、

26、其中，dik是中心样本点i所在缓冲区内的其余样本点k的初始街景特征数据；wik是缓冲区内样本点k对于中心样本点i的权重参数，该权重参数的采用核函数的方法得到。

27、作为优选，所述多模态特征矩阵每一行代表一个盗窃犯罪样本特征，而每一列则代表一种特定的特征变量，所述特征变量包括视觉特征、感知特征和空间特征。

28、作为优选，所述回归预测模块采用随机森林的集成学习，构建多个决策树，使用k折交叉验证方法创建交叉验证器，利用gridsearchcv进行网格搜索，通过系统地探索模型的超参数空间，以找到最优的参数组合，针对输入的多模态特征矩阵mms_matrix进行训练，得到本发明盗窃犯罪风险评估模型。最后，可依据模型指标(r2、mape和rmse)来评估模型。

29、本发明具有以下的特点和有益效果：

30、采用上述技术方案，综合考虑人们对城市街道尺度建成环境的多模态特征，通过局部区域加权回归建模区域盗窃犯罪因子和建成环境特征，利用机器学习模型构建盗窃犯罪风险评估模型，实现低成本的区域盗窃犯罪风险评估，提供决策支持。

31、本发明通过多模态特征融合模块构建街景场景多模态特征矩阵，增强回归模型对街景空间的多维度感知、理解和表达。

32、本发明有机融合地理加权回归方法，以捕捉数据空间异质性和非平稳性，进一步融合非均匀分布的盗窃犯罪数据，提高了数据的合理性和可靠性，从而提供更准确的评估预测结果。

33、本发明面向城市盗窃犯罪风险评估任务，从视觉、空间结构和语义感知维度来表征城市街景空间的相关特征，充分考虑街景环境对盗窃犯罪发生的影响。可借助如随机森林算法的gini系数、特征重要性排序和消融实验等方法来验证特征有效性，进一步提高模型的可解释性。