一种基于对称加密的数据脱敏及还原方法与流程

1.本发明涉及数据处理技术领域，尤其是涉及一种基于对称加密的数据脱敏及还原方法。


背景技术：

2.随着信息时代的发展，人们对数据信息的安全要求越来越重视，尤其是银行、保险等金融机构，存在大量需要进行脱敏的业务数据，比如对生产环境下的敏感数据的脱敏保护，主要用于数据开发、数据测试等，如果不能有效实施数据加密保护，极易造成敏感数据的泄露。目前一般需要对身份证号、手机号、座机号、银行卡卡号、客户生物信息等数据信息进行脱敏变形，常规技术方案是采用des、sha256、md5等不可逆算法，以对相应的字段进行加密，再将脱敏数据文件下发给其他应用系统进行业务处理。
3.当前技术方案虽然可以基于各个敏感字段类型，按照预定的加密过程进行脱敏运算，并产出脱敏数据文件，可在一定程度上提高数据的安全性，避免敏感信息的泄露，但是还存在以下问题：
4.1、在进行数据脱敏的过程中，由于会产生具备可读性的中间文件，且这部分数据和原始数据存在同一环境下，因此依然存在隐私泄露的风险；
5.2、一旦用户需要使用该数据对应的敏感信息原始文件，比如司法调阅等场景，由于md5/sha256加密算法的不可逆性，导致无法将数据还原成原始数据；
6.3、如需对数据进行还原，通常的做法是使用对称加密方式，如des算法，采用预先保存的加密key进行密文的解密，从而得到原始数据，或者进行暴力撞库，但是密文的产生、管理存在众多不确定因素，暴力撞库方式则严重依赖原始敏感库的数据完备性，存在巨大的不可靠性。


技术实现要素：

7.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于对称加密的数据脱敏及还原方法，能够有效提高数据加密及数据还原的安全性。
8.本发明的目的可以通过以下技术方案来实现：一种基于对称加密的数据脱敏方法，包括以下步骤：
9.t1、获取待脱敏的数据集或数据表；
10.t2、对数据集或数据表中的字段依次进行第一次标记和第二次标记；
11.t3、根据数据集所属库名或数据表的表名称，请求随机加密盐，并对应产出随机加密秘钥；
12.t4、记录和保存随机加密盐、随机加密秘钥；
13.t5、发起数据获取请求，并使用安全传输协议进行数据传输；
14.t6、基于对称加密算法，对获取的数据进行脱敏处理，产出脱敏数据文件；
15.t7、保存脱敏数据文件，并创建对应的表结构，完成数据脱敏过程。
16.进一步地，所述步骤t2具体包括以下步骤：
17.t21、对数据集或数据表中的字段进行第一次敏感类型标记；
18.t22、对数据集或数据表中的字段进行第二次加密方式标记。
19.进一步地，所述敏感类型标记具体是针对手机号码、证件号码、电子邮箱地址、银行卡卡号类型的字段进行标记。
20.进一步地，所述加密方式标记具体是针对证件号码中设定位置的字段进行标记。
21.进一步地，所述步骤t3中随机加密盐包括第一加密盐和第二加密盐，所述第一加密盐和第二加密盐分别独立保存于不同的服务器。
22.进一步地，所述步骤t5具体包括以下步骤：
23.t51、将第一加密盐和第二加密盐拼接后得到完整加密盐；
24.t52、根据完整加密盐以及随机加密秘钥，发起数据获取请求。
25.进一步地，所述步骤t7具体是根据元数据信息，以创建脱敏数据文件的表结构。
26.一种基于对称加密的数据还原方法，包括以下步骤：
27.h1、获取待还原的数据集或数据表；
28.h2、获取数据集或数据表中数据文件的结构信息；
29.h3、根据数据文件的结构信息，依次请求获取加密盐和加密秘钥；
30.h4、根据获取的加密盐和加密秘钥，基于对称加密算法，对数据文件进行还原处理，产出还原数据；
31.h5、保存还原数据，并根据文件结构创建对应的表结构，完成数据还原过程。
32.进一步地，所述步骤h2中数据文件的结构信息包括库名、表名、字段信息、字段类型以及字段敏感类型。
33.进一步地，所述步骤h3具体是根据库名和表名，依次请求获取第一加密盐、第二加密盐和加密秘钥。
34.与现有技术相比，本发明具有以下优点：
35.一、本发明通过对数据字段进行两次标记，一次进行敏感类型标记、二次进行加密方式标记，由此能够对同一字段实现多种加密方式，比如对字段的部分特定部分进行加密、其他部分仍可以原文保存和展示，提高了数据脱敏、即数据加密的灵活度，能够保证数据脱敏过程的安全性。
36.二、本发明将加密盐设置为两部分拼接组成，并由不同服务器独立保存，进行加密时动态获取拼接，使用过程更安全，加密秘钥均自动产出和保存，对用户完全不可见、脱敏数据、原始敏感数据完全物理隔绝，避免撞库风险。
37.三、本发明中，将获取的数据进行传输时，使用安全传输协议进行数据传输，能够防止使用撞库、特征匹配方式造成的信息泄密。
38.四、本发明在执行数据还原过程时，同样根据预先存储的加密盐和加密秘钥进行数据还原，保证了数据还原过程的安全可控性。
39.五、本发明在实际应用中，可结合大数据分布式处理技术，即部署为敏感数据集群、数据脱敏/还原服务器、脱敏数据集群，利用数据脱敏/还原服务器实现随机加密盐、随机加密秘钥的产出与记录保存；实现数据加密或还原处理，由此能够针对海量数据(p级)进行数据脱敏和还原。
附图说明
40.图1为本发明中数据脱敏流程示意图；
41.图2为本发明中数据还原流程示意图；
42.图3为实施例中分布式数据脱敏处理过程示意图；
43.图4为实施例中分布式数据还原处理过程示意图。
具体实施方式
44.下面结合附图和具体实施例对本发明进行详细说明。
45.实施例
46.如图1所示，一种基于对称加密的数据脱敏方法，包括以下步骤：
47.t1、获取待脱敏的数据集或数据表；
48.t2、对数据集或数据表中的字段依次进行第一次标记和第二次标记，具体的：
49.首先对数据集或数据表中的字段进行第一次敏感类型标记，比如针对手机号码、证件号码、电子邮箱地址、银行卡卡号类型的字段进行标记；
50.之后对数据集或数据表中的字段进行第二次加密方式标记，比如针对证件号码中设定位置的字段进行标记；
51.t3、根据数据集所属库名或数据表的表名称，请求随机加密盐，并对应产出随机加密秘钥，其中，随机加密盐包括第一加密盐和第二加密盐，第一加密盐和第二加密盐分别独立保存于不同的服务器；
52.t4、记录和保存随机加密盐、随机加密秘钥；
53.t5、发起数据获取请求，并使用安全传输协议进行数据传输，具体的：
54.首先将第一加密盐和第二加密盐拼接后得到完整加密盐；
55.之后根据完整加密盐以及随机加密秘钥，发起数据获取请求；
56.t6、基于对称加密算法，对获取的数据进行脱敏处理，产出脱敏数据文件；
57.t7、保存脱敏数据文件，并创建对应的表结构，具体是根据元数据信息，以创建脱敏数据文件的表结构，从而完成数据脱敏过程。
58.如图2所示，一种基于对称加密的数据还原方法，包括以下步骤：
59.h1、获取待还原的数据集或数据表；
60.h2、获取数据集或数据表中数据文件的结构信息，包括库名、表名、字段信息、字段类型以及字段敏感类型；
61.h3、根据数据文件的结构信息，依次请求获取加密盐和加密秘钥，具体是根据库名和表名，依次请求获取第一加密盐、第二加密盐和加密秘钥；
62.h4、根据获取的加密盐和加密秘钥，基于对称加密算法，对数据文件进行还原处理，产出还原数据；
63.h5、保存还原数据，并根据文件结构创建对应的表结构，完成数据还原过程。
64.本实施例应用上述技术方案，结合分布式数据处理技术，分别构建敏感数据集群、数据脱敏还原服务器装置以及脱敏数据集群，如图3和图4所示，其中，数据脱敏处理过程主要包括：
65.s001对字段进行一次敏感类型标记，标注字段是否是手机号、证件号，电子邮件地
址、银行卡卡号等类型；
66.s002对字段进行二次加密方式标记，如18位证件号和15位证件号，字段中第x位到第y位为敏感数据需要加密等；
67.s003根据库名和表名称，向脱敏服务器请求随机加密盐，该加密盐由两部分组成，分别向两台独立服务器请求，两台服务器分别记录；
68.s004服务器分别独立保存加密盐；
69.s005获得完整加密盐和秘钥后，向敏感数据集群请求获取数据；
70.s006根据请求参数定位数据文件；
71.s007使用安全传输协议将数据传输至脱敏还原装置；
72.s008使用对称加密算法对数据进行脱敏计算处理，产出脱敏数据文件；
73.s009保存脱敏后的数据文件；
74.s010根据元数据信息，创建脱敏数据文件的表结构，便于业务用户使用。
75.数据还原处理过程主要包括：
76.s001用户选择数据集，可以是表或者数据文件；
77.s002获取该数据文件的结构信息，包括库名、表名，字段信息，字段类型，字段敏感类型，用于下阶段确定字段加密算法；
78.s003将选定的数据集传输至数据还原装置；
79.s004在脱敏还原装置对数据进行临时性保存；
80.s005根据库名和表名，向脱敏还原装置请求加密盐；
81.s006根据库名和表名，向脱敏还原装置请求加密秘钥；
82.s007根据加密盐和加密秘钥，使用对称加密算法，对加密后的数据进行还原计算；
83.s008将计算后的还原数据传输至敏感数据集群；
84.s009根据文件结构创建敏感数据的表结构信息，便于用户使用数据。
85.综上可知，本技术方案在进行数据脱敏处理时，通过对数据进行第一次层标记的判断，如果能匹配到该字段对应的预设加密方法、且无第二层标记，则调用相应的的方案对其进行加密；通过判断数据的第二层标记，如字段的长度等信息等，如有匹配的加密方案，则调用该方案进行加密；保证了加密算法灵活度，也就相应提高了数据脱敏的安全性。
86.本技术方案提出将加密盐设置为两部分拼接组成，分别存储于不同的物理位置，进行加密时动态获取拼接；此外，针对不同的数据，还可根据其特征(库、表、列)使用不同的加密盐，由此进一步提升数据处理的安全性。
87.本技术方案在原始集群上完成加密运算后，将加密后数据使用安全传输方式传输至脱敏集群，有效防止使用撞库、特征匹配方式造成的信息泄密。
88.本技术方案中，脱敏数据使用对称加密方式加密后，根据预存的加密盐和加密密钥进行数据还原，可靠保证了数据还原的安全可控性。