一种基于运营商大数据的银行、保险、证券行业信用评估方法与系统与流程

本发明涉及大数据分析，具体为一种基于运营商大数据的银行、保险、证券行业信用评估方法与系统。

背景技术：

1、在银行行业，央行个人征信中心信用记录只覆盖了央行记录人数的28％，虽然金融市场的不断完善和发展，越来越多的无信用记录的自然人需要参与金融信用贷款，如何对这部分人进行信用评估是目前银行业的一个重要问题。

2、现有技术中，在证券行业，随着中国经济快速发展，证券行业交易市场日趋成熟，证券公司一个重要营业收入来源于大量的股民交易中介费，证券公司利用优质基金去扩大客源，如何对客户进行信用评估，来保证基金信贷的风险，也成为一个急需解决的问题；在保险行业，保险公司在获取利益的同时存在巨大风险，因此需要根据用户的信用进行保险欺诈防范识别。

3、因此，我们需要一种基于运营商大数据的银行、保险、证券行业信用评估方法与系统，用来解决现有信用评估方法存在的信用评估风险确实的问题；可以利用运营商的数据进行还款能力评估、还款风险评估。

技术实现思路

1、本发明的目的在于提供一种基于运营商大数据的银行、保险、证券行业信用评估方法与系统，以解决上述背景技术中提出的现有信用评估方法存在的信用评估风险确实的问题；可以利用运营商的数据进行还款能力评估、还款风险评估。

2、为实现上述目的，本发明提供如下技术方案：一种基于运营商大数据的银行、保险、证券行业信用评估方法，所述方法包括以下步骤：

3、在本地搭建的miniconda包上传至大数据集群客户端，为建模提供相应的工具库支撑；

4、取样本数据，在大数据平台客户端，根据评估需要取正负样本进行数据分析；

5、数据预处理，在客户端根据客户的样本数据质量，以iv值和相关性系数等指标分析各个指标数据的可用性；

6、模型训练，在客户端使用处理过的样本数据训练逻辑回归模型并生成评分卡；

7、模型部署，在客户端将评分卡数据写入hive数据表，通过dataos平台读取全量用户的数据，并依据评分卡生成全量用户的信用评分，依据前台需求将评分结果写入redis或者mysql。

8、优选的，取样本数据，根据运营商数据构建的通用型评分卡为例，在大数据集群客户端先依据运营商黑名单取出5w条用户数据做负样本，再取等量正常用户数据做正样本，构建训练和测试数据集。

9、优选的，数据预处理，剔除有效信息较低的数据指标，并保留指定的代表性较强的数据指标，对样本数据进行异常值剔除、缺失值填充，归一化等一系列特征工程。

10、优选的，模型训练，通过实验样本数据进行模型训练，

11、采用r2指标，来评价模型的拟合优度；当自变量x与因变量y完全无关时，类r2值趋近于0；而当回归模型能够全部准确预测时，类r2趋近于1。

12、优选的，模型部署，各指标的信用评估分数通过logistic回归系数加权计算，将各指标的信用评估得分加和，即得用户的信用评估总得分，然后根据分数并结合数据分布特征划分信用等级。

13、一种基于运营商大数据的银行、保险、证券行业信用评估系统，所述系统由工具库搭建模块、数据取样模块、数据预处理模块、模型训练模块以及模型部署模块组成；

14、工具库搭建模块，在本地搭建的miniconda包上传至大数据集群客户端，为建模提供相应的工具库支撑；

15、数据取样模块，在大数据平台客户端，根据评估需要取正负样本进行数据分析；

16、数据预处理模块，在客户端根据客户的样本数据质量，以iv值和相关性系数等指标分析各个指标数据的可用性；

17、模型训练模块，在客户端使用处理过的样本数据训练逻辑回归模型并生成评分卡；

18、模型部署模块，在客户端将评分卡数据写入hive数据表，通过dataos平台读取全量用户的数据，并依据评分卡生成全量用户的信用评分，依据前台需求将评分结果写入redis或者mysql。

19、优选的，数据取样模块，根据运营商数据构建的通用型评分卡为例，在大数据集群客户端先依据运营商黑名单取出5w条用户数据做负样本，再取等量正常用户数据做正样本，构建训练和测试数据集。

20、优选的，数据预处理模块，剔除有效信息较低的数据指标，并保留指定的代表性较强的数据指标，对样本数据进行异常值剔除、缺失值填充，归一化等一系列特征工程。

21、优选的，模型训练模块，通过实验样本数据进行模型训练，

22、采用r2指标，来评价模型的拟合优度；当自变量x与因变量y完全无关时，类r2值趋近于0；而当回归模型能够全部准确预测时，类r2趋近于1。

23、优选的，模型部署模块，各指标的信用评估分数通过logistic回归系数加权计算，将各指标的信用评估得分加和，即得用户的信用评估总得分，然后根据分数并结合数据分布特征划分信用等级。

24、与现有技术相比，本发明的有益效果是：

25、本发明提出的基于运营商大数据的银行、保险、证券行业信用评估方法与系统，基于运营商大数据和logistic回归算法的银行、保险、证券行业信用评估的原理及相关模型方法，结合运营商和互联网行业应用及运营商和互联网行业数据特点，在融合银行、保险、证券公司有业务上的相似性，因此可以统一使用银行业最常用的信用评估维度，即从还款意愿、还款能力、还款风险三个维度进行信用分建模；进一步解决了现有信用评估方法存在的信用评估风险确实的问题；可以利用运营商的数据进行还款能力评估、还款风险评估。

技术特征：

1.一种基于运营商大数据的银行、保险、证券行业信用评估方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种基于运营商大数据的银行、保险、证券行业信用评估方法，其特征在于：取样本数据，根据运营商数据构建的通用型评分卡为例，在大数据集群客户端先依据运营商黑名单取出5w条用户数据做负样本，再取等量正常用户数据做正样本，构建训练和测试数据集。

3.根据权利要求1所述的一种基于运营商大数据的银行、保险、证券行业信用评估方法，其特征在于：数据预处理，剔除有效信息较低的数据指标，并保留指定的代表性较强的数据指标，对样本数据进行异常值剔除、缺失值填充，归一化等一系列特征工程。

4.根据权利要求1所述的一种基于运营商大数据的银行、保险、证券行业信用评估方法，其特征在于：模型训练，通过实验样本数据进行模型训练，

5.根据权利要求1所述的一种基于运营商大数据的银行、保险、证券行业信用评估方法，其特征在于：模型部署，各指标的信用评估分数通过logistic回归系数加权计算，将各指标的信用评估得分加和，即得用户的信用评估总得分，然后根据分数并结合数据分布特征划分信用等级。

6.一种根据权利要求1-5任意一项所述的基于运营商大数据的银行、保险、证券行业信用评估方法的基于运营商大数据的银行、保险、证券行业信用评估系统，其特征在于：所述系统由工具库搭建模块、数据取样模块、数据预处理模块、模型训练模块以及模型部署模块组成；

7.根据权利要求6所述的一种基于运营商大数据的银行、保险、证券行业信用评估系统，其特征在于：数据取样模块，根据运营商数据构建的通用型评分卡为例，在大数据集群客户端先依据运营商黑名单取出5w条用户数据做负样本，再取等量正常用户数据做正样本，构建训练和测试数据集。

8.根据权利要求6所述的一种基于运营商大数据的银行、保险、证券行业信用评估系统，其特征在于：数据预处理模块，剔除有效信息较低的数据指标，并保留指定的代表性较强的数据指标，对样本数据进行异常值剔除、缺失值填充，归一化等一系列特征工程。

9.根据权利要求6所述的一种基于运营商大数据的银行、保险、证券行业信用评估系统，其特征在于：模型训练模块，通过实验样本数据进行模型训练，

10.根据权利要求6所述的一种基于运营商大数据的银行、保险、证券行业信用评估系统，其特征在于：模型部署模块，各指标的信用评估分数通过logistic回归系数加权计算，将各指标的信用评估得分加和，即得用户的信用评估总得分，然后根据分数并结合数据分布特征划分信用等级。

技术总结本发明涉及大数据分析技术领域，具体为一种基于运营商大数据的银行、保险、证券行业信用评估方法与系统，包括以下步骤：在本地搭建的miniconda包上传至大数据集群客户端，为建模提供相应的工具库支撑；取样本数据，在大数据平台客户端，根据评估需要取正负样本进行数据分析；有益效果为：本发明提出的基于运营商大数据的银行、保险、证券行业信用评估方法与系统，基于运营商大数据和Logistic回归算法的银行、保险、证券行业信用评估的原理及相关模型方法，结合运营商和互联网行业应用及运营商和互联网行业数据特点，在融合银行、保险、证券公司有业务上的相似性，因此可以统一使用银行业最常用的信用评估维度。技术研发人员：于洁,王伟受保护的技术使用者：浪潮通信信息系统（天津）有限公司技术研发日：技术公布日：2024/8/1