技术新讯 > 计算推算,计数设备的制造及其应用技术 > 数据评估方法、系统、设备、存储介质和计算机程序产品与流程  >  正文

数据评估方法、系统、设备、存储介质和计算机程序产品与流程

  • 国知局
  • 2024-12-06 12:28:21

本发明涉及计算机应用,更为具体而言,涉及一种数据评估方法、系统、设备、存储介质和计算机程序产品。

背景技术:

1、随着金融业务的快速发展,金融机构通过大数据技术开展自动化贷款审批和风险防控的需求日益增长。目前,市场上的三方数据产品种类繁多,质量参差不齐,金融机构在评价合作供应商三方数据产品价值和效果时面临着巨大的挑战。具体而言,传统三方数据产品价值评估全流程如图1所示,该传统的三方数据价值评估方法依赖于手工编码评估,存在以下问题:

2、1.数据安全性无法保障

3、对数据产品价值评估涉及大量样本客户敏感数据信息处理,传统通过人工数据提取、邮件文件交互的方式,极易造成敏感数据泄露。

4、2.技术门槛高

5、传统手工编码方式的三方数据价值评估要求数据产品价值评估人员熟练掌握hadoop数据处理、python/sas/r等模型开发语言、ks/lift/iv等价值评估指标、模型运行、模型报告编写等技能,才能胜任数据产品价值评估工作。

6、3.评估效率低

7、针对每次数据产品价值评估任务,都需要横跨多个操作系统平台,应用多种软件工具,开发数据提取、调试模型评估代码、编写模型测试报告,操作过程复杂,评估效率极低。

8、4.评估准确性差

9、由于不同人员开发的代码质量参差不齐,低质量的代码可能对数据产品价值评估出现偏差。

10、5.评估过程无法回溯

11、手工编码评估方式全流程无法留痕,数据产品评估过程无法满足内外部审计要求。

12、6.传统评估方法共享低效

13、传统每个人各自手工开展数据产品评估方式,不利于内部知识沉淀共享,一旦发生人员变动极易出现知识断层。

技术实现思路

1、为解决上述现有技术存在的问题或至少部分问题,本发明实施方式提供了一种数据评估方法、系统、设备、存储介质和计算机程序产品,通过自动数据提取、加密传输、评估结果生成和评估报告生成,能够有效保障数据采集、加工、传输、保存的安全性和高效性。

2、根据本发明的第一方面,本发明实施方式提供了一种数据评估方法,其包括:根据预设采集频率自动计算业务数据库中的样本客户信息,根据所述样本客户信息生成样本客户信息宽表,并将所述样本客户信息宽表自动推送至三方数据管理平台的客户信息库进行存储;通过可视化交互式界面获取数据提取信息,根据所述数据提取信息从所述客户信息库自动提取样本数据文件,并存储至测试样本抽样库;将所述样本数据文件自动压缩加密后推送至数据供应商操作端,并同步存储至所述测试样本抽样库;所述数据供应商操作端对压缩加密后的样本数据文件进行解密,根据解密后的样本数据文件生成样本反馈数据文件,并将所述样本反馈数据文件存储至测试样本反馈库;根据数据价值评估算法模板和所述样本反馈数据文件生成评估结果数据;根据数据价值评估报告模板和所述评估结果数据生成测试评估报告。

3、根据本发明上述实施方式,通过自动数据提取、加密传输、评估结果生成和评估报告生成,能够有效保障数据采集、加工、传输、保存的安全性和高效性;通过可视化交互式界面获取数据提取信息并进行样本数据文件的自动提取,使得评估人员不需要掌握高深的模型开发和算法技能,从而节约了人工成本。

4、在本发明的一些实施方式中,根据所述数据提取信息从所述客户信息库自动提取样本数据文件包括:对所述样本数据文件中的客户敏感数据进行加密后提取。

5、根据本发明上述实施方式,通过自动对客户敏感数据进行加密后提取,能够避免人工数据提取、邮件交互造成的敏感数据泄露问题。

6、在本发明的一些实施方式中,将所述样本反馈数据文件存储至测试样本反馈库包括:根据样本客户的客户证件号标识和/或手机标识,将所述样本反馈数据文件自动与测试样本抽样库中的样本数据文件进行匹配并存储。

7、在本发明的一些实施方式中,通过可扩展的数据价值评估算法模板库获取所述数据价值评估算法模板,所述可扩展的数据价值评估算法模板库包括:评分类数据的价值评估算法模板、变量类数据的价值评估算法模板、异常名单类数据的价值评估算法模板;所述评估结果数据包括:样本数据概览、覆盖度指标、稳定性指标、有效性指标、相关性指标、命中率、准确率、召回率指标;根据数据价值评估报告模板和所述评估结果数据生成测试评估报告包括:将所述评估结果数据自动填充至所述数据价值评估报告模板中,生成测试评估报告。

8、根据本发明上述实施方式,根据评分类数据、变量类数据、异常名单类数据的价值评估算法模板进行数据评估,能够实现一致性的数据评估,避免传统评估方式因编写代码差异而影响数据产品评估准确性的问题。

9、根据本发明的第二方面,本发明实施方式提供了一种数据评估系统,其包括:样本客户信息计算模块,用于根据预设采集频率自动计算业务数据库中的样本客户信息,根据所述样本客户信息生成样本客户信息宽表,并将所述样本客户信息宽表自动推送至三方数据管理平台的客户信息库进行存储;样本数据提取模块,用于通过可视化交互式界面获取数据提取信息,根据所述数据提取信息从所述客户信息库自动提取样本数据文件,并存储至测试样本抽样库;所述样本数据提取模块还用于将所述样本数据文件自动压缩加密后推送至数据供应商操作端,并同步存储至所述测试样本抽样库,所述数据供应商操作端对压缩加密后的样本数据文件进行解密,根据解密后的样本数据文件生成样本反馈数据文件,并将所述样本反馈数据文件存储至测试样本反馈库;评估结果生成模块,用于根据数据价值评估算法模板和所述样本反馈数据文件生成评估结果数据;评估报告生成模块,用于根据数据价值评估报告模板和所述评估结果数据生成测试评估报告。

10、根据本发明上述实施方式,通过自动数据提取、加密传输、评估结果生成和评估报告生成,能够有效保障数据采集、加工、传输、保存的安全性和高效性;通过可视化交互式界面获取数据提取信息并进行样本数据文件的自动提取,使得评估人员不需要掌握高深的模型开发和算法技能,从而节约了人工成本。

11、在本发明的一些实施方式中,根据所述数据提取信息从所述客户信息库自动提取样本数据文件包括:对所述样本数据文件中的客户敏感数据进行加密后提取。

12、根据本发明上述实施方式,通过自动对客户敏感数据进行加密后提取,能够避免人工数据提取、邮件交互造成的敏感数据泄露问题。

13、在本发明的一些实施方式中,将所述样本反馈数据文件存储至测试样本反馈库包括:根据样本客户的客户证件号标识和/或手机标识,将所述样本反馈数据文件自动与测试样本抽样库中的样本数据文件进行匹配并存储。

14、在本发明的一些实施方式中,通过可扩展的数据价值评估算法模板库获取所述数据价值评估算法模板,所述可扩展的数据价值评估算法模板库包括:评分类数据的价值评估算法模板、变量类数据的价值评估算法模板、异常名单类数据的价值评估算法模板;所述评估结果数据包括:样本数据概览、覆盖度指标、稳定性指标、有效性指标、相关性指标、命中率、准确率、召回率指标;根据数据价值评估报告模板和所述评估结果数据生成测试评估报告包括:将所述评估结果数据自动填充至所述数据价值评估报告模板中,生成测试评估报告。

15、根据本发明上述实施方式,根据评分类数据、变量类数据、异常名单类数据的价值评估算法模板进行数据评估,能够实现一致性的数据评估,避免传统评估方式因编写代码差异而影响数据产品评估准确性的问题。

16、根据本发明的第三方面,本发明实施方式提供一种计算机可读存储介质,其上存储有计算机可读指令,所述计算机可读指令被处理器执行时,使得计算机执行如下操作:所述操作包括如上任意一种实施方式所数据评估方法所包含的步骤。

17、根据本发明的第四方面,本发明实施方式提供一种包括存储器和处理器的计算机设备,所述存储器用于存储一条或多条计算机可读指令,其中,所述一条或多条计算机可读指令被所述处理器执行时能够实现如上任意一种实施方式所述的数据评估方法。

18、根据本发明的第五方面,本发明实施方式提供一种包括计算机程序的计算机程序产品,所述计算器程序被处理器执行时实现如上任意一种实施方式所述的数据评估方法。

19、由上述可知,本发明实施方式提供的数据评估方法、系统、设备、存储介质和计算机程序产品,通过自动数据提取、加密传输、评估结果生成和评估报告生成,能够有效保障数据采集、加工、传输、保存的安全性和高效性;通过可视化交互式界面获取数据提取信息并进行样本数据文件的自动提取,使得评估人员不需要掌握高深的模型开发和算法技能,从而降低了人工成本。

本文地址:https://www.jishuxx.com/zhuanli/20241204/341586.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。