基于混合引擎的大数据处理系统与方法与流程

技术特征：
1.基于混合引擎的大数据处理系统与方法，其特征在于，包括如下步骤：s1、脱敏规则生成，包括系统规则和用户规则；a、脱敏规则主要包括以下信息，脱敏模板名称和类型、脱敏字段的字段类型(只有符合字段类型要求的字段才能应用该脱敏规则，字段类型列表)、实现脱敏功能的算法为关系映射和本规则对应的脱敏算法预定义的参数列；b、脱敏后的数据要在保证隐私信息被隐藏掉的基础上保持一定的原有特性，包括：1、保持数据类型，即脱敏后的数据与原始数据类型一致，数据类型包括但不限于字符串、数字、日期和时间等；2、保持数据格式，即脱敏后的数据需要符合原始数据的编码规则和类型；3、保持数据间依存关系，常见数据间依存关系包括但不限于：数据引用完整性，不同的数据间通过敏感数据的相互引用产生关联关系；数据之间没有引用关系，但存在业务逻辑上的依存关系；4、保持数据统计特征，脱敏后数据在业务所需的维度上保持统计总体特征不变；5、保持数据频率分布，脱敏后的数据在按业务所需划分的各组内保持数量不变；6、保持数据唯一性，不相同的数据脱敏后不会有同样的数据，相同的数据脱敏后一定相同；c、脱敏规则类型定义的名称，包括：下标遮掩、正则遮掩、哈希、范围映射(一期不支持)、单值映射(一期不支持)；s2、配置表格脱敏规则：选择对应的列、脱敏规则，脱敏后的密级，修改表格脱敏配置时，进行脱敏操作审计日志的记录，记录操作的人员和脱敏配置前后的变化；s3、配置用户密级：对于一般的用户系统，可以设置用户组、用户角色和用户本身可以针对这三类主题进行密级设置，系统综合计算用户的所有身份，获取到最大的密级权限进行验证；s4、执行查询，脱敏执行方式包括：a、三类密级，数据列的原始访问密级、数据列脱敏后密级(一个字段可以定义多种脱敏规则和脱敏后密级)、用户密级；b、脱敏规则确定方式，如果用户密级不低于数据列的原始密级，则无需脱敏；如果用户密级低于字段原始密级，且存在脱敏后密级不高于用户密级脱敏规则，则选择脱敏后密级最高的脱敏规则；如果用户密级低于字段原始密级，且低于所有的脱敏后密级，则退化为无查看权限；c、确定脱敏规则后交由执行引擎下推到计算任务中执行，在presto执行过程中的语义分析环节，通过获取元数据信息和脱敏配置信息，获取到字段脱敏规则名称，通过名称可以关联到presto中预定义的函数，通过替换ast中的对应节点，达到改写sql的目标，实际计算过程中会调用脱敏函数的算法逻辑产出最后的查询结果；执行查询计算时，进行审计日志的记录。2.根据权利要求1所述的基于混合引擎的大数据处理系统与方法，其特征在于：所述本系统与方法存在已经建设好的数据仓库或者数据湖管理系统，支持相应的元数据管理功能存在整体的用户管理系统，能进行用户的认证和鉴权。3.根据权利要求1所述的基于混合引擎的大数据处理系统与方法，其特征在于：所述步骤s1中的系统规则指的是系统中预定义的规则，用户可以直接使用，参数已经配置完成；用户规则指的是用户定义新的脱敏规则，或者新的规则参数。4.根据权利要求1所述的基于混合引擎的大数据处理系统与方法，其特征在于：所述步
骤s1中采用关系映射算法的目的是，可使得原始敏感数据间存在业务关联关系，需要在数据脱敏后仍旧保持这种关系，因此在脱敏处理过程中，利用算法表达式对脱敏后的数据进行函数映射，使其脱敏后仍旧保持业务关联关系。5.根据权利要求1所述的基于混合引擎的大数据处理系统与方法，其特征在于：所述步骤s1中下标遮掩的参数列表为，begin：遮掩开始的下标，可支持负数，-n表示遮掩从最后多少位开始,end：遮掩结束的下标，可支持0和负数，为0表示遮掩到结束，-n表示遮掩到最后多少位结束,char：遮掩字符，默认为*；正则遮掩的参数列表为，regex：匹配分组的正则表达式，replace：遮掩字符串；哈希的参数列表为，algorithm：哈希算法，默认sha256；范围映射(一期不支持)的参数列表为，{
‘
mapping’:[{begin:'0',end:'20',replace:'0～20'},{begin:'20',end:'30',replace:'20～30'},{begin:'31',end:”,replace:'31～'}]}；单值映射的参数列表为，{
‘
mapping’:[{value:'男',replace:'0'}，{value:'女',replace:'1'}]}。6.根据权利要求1所述的基于混合引擎的大数据处理系统与方法，其特征在于：所述本处理系统对于用户权限管理如下步骤：a、系统管理员登录用户端系统，为需要的用户创建浏览角色；b、为相应的浏览角色设置相应的数据源使用权限，即密级；c、浏览角色通过用户登录端进入登录系统内部，同时鉴权判断系统会甄别该浏览角色的权限密级；d、为该浏览角色备至相应密级权限的数据，无法阅览高密级权限的数据。

技术总结
本发明属于计算机技术与信息安全技术领域，且公开了基于混合引擎的大数据处理系统与方法，包括如下步骤：S1、脱敏规则生成，包括系统规则和用户规则；a、脱敏规则主要包括以下信息，脱敏模板名称和类型、脱敏字段的字段类型(只有符合字段类型要求的字段才能应用该脱敏规则，字段类型列表)。本发明通过presto实现动态脱敏功能，支持脱敏规则模板的管理，支持预定义和自定义方式，通过用户密级管理模块，表格字段级别脱敏规则管理(模板、参数、密级、数据字段相互关联)，计算引擎实现动态脱敏功能，从而解决了presto引擎上无法支持灵活高效数据脱敏功能的问题，可以通过自定义脱敏规则，从而实现数据的高效安全的共享。从而实现数据的高效安全的共享。从而实现数据的高效安全的共享。


技术研发人员：邹文景 甘莹 唐良运 孙刚
受保护的技术使用者：南方电网数字电网研究院有限公司
技术研发日：2022.02.23
技术公布日：2022/6/14