一种数据脱敏的方法、装置、设备及介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据脱敏的方法、装置、设备及计算机可读存储介质。


背景技术：

2.数据脱敏是指通过脱敏规则对某些包含敏感信息的数据进行数据变形，实现对敏感数据的可靠保护。在涉及客户安全数据或者一些商业性隐私数据等敏感数据的情况下，需要对真实数据进行改造后提供测试使用，如身份证号、手机号、卡号、客户号等包括个人信息的敏感数据都需要进行数据脱敏。
3.银行系统中包括大量的敏感数据，在对银行系统进行测试时，需要对银行的数据进行脱敏处理。通常情况下，采用基于可扩展标记性语言的脱敏数据采集方案，这种方案下，当需要对脱敏涉及的表和字段进行更改时，需要修改配置文件，重新编译组包，工作量较大，因此无法灵活地根据需要对于表和字段进行配置。
4.因此，业界亟需一种灵活的数据脱敏方法。


技术实现要素：

5.本技术提供了一种数据脱敏的方法，该方法可以灵活且安全的实现数据脱敏。本技术还提供了上述方法对应的装置、设备、计算机可读存储介质。
6.第一方面，本技术提供了一种数据脱敏的方法，其特征在于，方法包括：
7.获取预先设定的敏感字段的映射关系，敏感字段的映射关系包括将第一字符替换为第二字符的映射关系，第一字符为敏感字段中需要进行替换的字符；
8.根据映射关系，生成数据脱敏编译文件；
9.通过数据脱敏编译文件，从数据库中查询获取敏感字段；
10.通过数据脱敏编译文件，对敏感字段的第一字符进行脱敏，生成脱敏后的数据文本，脱敏后的数据文本包括第二字符。
11.在一些可能的实现方式中，数据脱敏编译文件包括数据脱敏查询文件和数据脱敏替换文件；
12.通过数据脱敏编译文件，从数据库中查询获取敏感字段，包括：
13.通过数据脱敏查询文件，从数据库中查询获取敏感字段；
14.通过数据脱敏编译文件，对敏感字段的第一字符进行脱敏，包括：
15.通过数据脱敏替换文件，对敏感字段的第一字符进行脱敏。
16.在一些可能的实现方式中，数据脱敏查询文件包括查询结构化查询语言sql文件。
17.在一些可能的实现方式中，通过数据脱敏编译文件，从数据库中查询获取敏感字段，包括：
18.通过数据脱敏编译文件，从数据库中多线程查询获取敏感字段
19.在一些可能的实现方式中，敏感字段的映射关系，包括：
20.不同栏位的同一敏感字段的不同映射关系。
21.在一些可能的实现方式中，敏感字段的映射关系，包括：
22.同一栏位的不同敏感字段的不同映射关系。
23.在一些可能的实现方式中，第二字符为第一字符哈希处理后的字符。
24.第二方面，本技术提供了一种数据脱敏的装置，该装置包括：
25.通信模块，用于获取预先设定的敏感字段的映射关系，敏感字段的映射关系包括将第一字符替换为第二字符的映射关系，第一字符为敏感字段中需要进行替换的字符；
26.编译模块，用于根据映射关系，生成数据脱敏编译文件；
27.查询模块，用于通过数据脱敏编译文件，从数据库中查询获取敏感字段；
28.脱敏模块，用于通过数据脱敏编译文件，对敏感字段的第一字符进行脱敏，生成脱敏后的数据文本，脱敏后的数据文本包括第二字符。
29.在一些可能的实现方式中，数据脱敏编译文件包括数据脱敏查询文件和数据脱敏替换文件；
30.查询模块具体用于：
31.通过数据脱敏查询文件，从数据库中查询获取敏感字段；
32.脱敏模块具体用于：
33.通过数据脱敏替换文件，对敏感字段的第一字符进行脱敏。
34.在一些可能的实现方式中，数据脱敏查询文件包括查询结构化查询语言sql文件。
35.在一些可能的实现方式中，查询模块具体用于：
36.通过数据脱敏编译文件，从数据库中多线程查询获取敏感字段
37.在一些可能的实现方式中，敏感字段的映射关系，包括：
38.不同栏位的同一敏感字段的不同映射关系。
39.在一些可能的实现方式中，敏感字段的映射关系，包括：
40.同一栏位的不同敏感字段的不同映射关系。
41.在一些可能的实现方式中，第二字符为第一字符哈希处理后的字符。
42.第三方面，本技术提供一种设备，所述设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令，以使得设备执行如第一方面或第一方面的任一种实现方式中的数据脱敏的方法。
43.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，所述指令指示设备执行上述第一方面或第一方面的任一种实现方式所述的数据脱敏的方法。
44.本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
45.从以上技术方案可以看出，本技术实施例具有以下优点：
46.本技术实施例提供了一种数据脱敏的方法，该方法获取敏感字段的映射关系，根据映射关系生成数据脱敏编译文件，通过数据脱敏编译文件查询获取敏感字段，并根据该数据脱敏编译文件对敏感字段进行替换，根据敏感字段的映射关系，对待替换字符进行替换，生成替换后的数据文本，实现对于数据的脱敏。如此，能够根据脱敏字段的映射关系，灵活生成数据脱敏编译文件，从而利用该数据脱敏编译文件对数据库中的数据进行查询获取
敏感字段，并通过该数据脱敏编译文件对敏感字段进行替换，如此提供了一种灵活的数据脱敏方法。
附图说明
47.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
48.图1为本技术实施例提供的一种数据脱敏的方法的流程示意图；
49.图2为本技术实施例提供的一种数据脱敏的装置的结构示意图；
50.图3为本技术实施例提供的一种数据脱敏的方法的流程示意图。
具体实施方式
51.下面将结合本技术中的附图，对本技术提供的实施例中的方案进行描述。
52.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。
53.为了便于理解本技术的技术方案，下面对本技术涉及的一些技术术语进行介绍。
54.银行系统中包括大量涉及用户隐私的敏感数据，在后线排查客户问题或者是在开发阶段进行测试时，有时候会涉及这些敏感数据，因此需要对敏感数据进行数据脱敏。
55.通常情况下，对于数据的脱敏采用基于可扩展标记性语言(xml)的脱敏方法，通过将需要进行替换的字段以及对应的替换字段的脱敏方式配置在xml文件中脱敏以生成文本，但是当对于不同的数据库进行脱敏时，需要进行替换的字段以及对应的替换字段可能不同，因此需要更改编译组包才能重新使用，无法灵活地根据需要更改替换字段。
56.有鉴于此，本技术提供一种灵活的数据脱敏方法，该方法由处理设备执行，处理设备是指具有数据处理能力的设备，例如可以是智能手机等终端设备，或者是服务器。
57.具体地，处理设备获取预先设定的敏感字段的映射关系，敏感字段的映射关系包括将第一字符替换为第二字符的映射关系，第一字符为敏感字段中需要进行替换的字符，根据映射关系生成数据脱敏编译文件，处理设备从数据库中查询获取待脱敏数据中的敏感字段，通过数据脱敏编译文件对敏感字段的第一字符进行替换，生成脱敏后的数据文本，所述脱敏后的数据文本包括所述第二字符。
58.如此，能够提供一种对于敏感字段的灵活的脱敏方法，通过获取预先设定的敏感字段的映射关系，生成数据脱敏编译文件，能够使数据脱敏编译文件与敏感字段的映射关系对应，然后通过数据脱敏编译文件对待脱敏数据进行脱敏，由于数据脱敏编译文件根据映射关系生成，因此不同的映射关系可以生成不同的数据脱敏编译文件，数据脱敏编译文件根据映射关系灵活生成，而无需重新编译组包，提高了数据脱敏的灵活性。
59.接下来，将结合附图对本技术实施例提供的数据脱敏的方法进行介绍。
60.参见图1所示的数据脱敏的方法的流程图，该方法包括如下步骤：
61.s102：处理设备获取预先设定的敏感字段的映射关系。
62.其中，敏感字段是指需要进行数据脱敏的字段，敏感字段的映射关系是指将敏感字段中的第一字符替换为第二字符的映射关系，其中第一字符为敏感字段中的字符，第二字符为替换后的字符。
63.敏感字段的映射关系可以通过脱敏规则表表示，脱敏规则表用于保存敏感字段以及对应的敏感规则，如表1所示。
64.表1敏感字段的脱敏规则表
[0065][0066][0067]
在一些可能的实现方式中，同一敏感字段可以根据不同的要求，采取不同的敏感字段的映射关系。在表1中，对于敏感字段客户号，可以采用替换的方式，也可以通过生成哈希摘要的方式设定敏感字段的映射关系。
[0068]
进一步地，预先设定的敏感字段的映射关系还包括脱敏栏位表，如表2所示。脱敏栏位表用于配置数据库中每个表对应的脱敏规则，记录各个表的敏感字段的替换方式。
[0069]
表2敏感字段的脱敏栏位表
[0070]
序号表名字段处置序号1表1字段112表1字段333表2字段54
[0071]
其中，表2中的处置序号与表1中的序号相对应。
[0072]
s104：处理设备根据映射关系，生成数据脱敏编译文件。
[0073]
数据脱敏编译文件包括数据脱敏查询文件与数据脱敏替换文件，数据脱敏查询文件用于从数据库中查询获取待脱敏数据中的敏感字段，数据脱敏替换文件用于根据预先设定的敏感字段的映射关系对敏感字段进行替换。
[0074]
处理设备根据映射关系中的敏感字段，生成数据脱敏查询文件，处理设备根据映射关系，生成数据脱敏替换文件。
[0075]
其中，数据脱敏查询文件可以为查询结构化查询语言(structured query language，sql)文件。sql是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。在本实施例中，查询sql文件用于根据预先设定的敏感字段，在待脱敏数据库中查询获取敏感字段。
[0076]
查询sql文件可以用于在不同类型的源数据库中，查询获取敏感字段。数据库主要可以分为关系型数据库和非关系型数据库两大类，关系型数据库主要有oracle、db2、microsoft sql server、microsoft access、mysql等，在关系数据库中，几乎所有的数据库管理系统都配备了一个开放式数据库连接(odbc)驱动程序，使各个数据库之间得以互相集成。非关系型数据库主要有nosql、cloudant、mongodb、redis、hbase等。
[0077]
在一些可能的实现方式中，处理设备预先获取生成数据脱敏编译文件所需要的参数，使处理设备能够根据映射关系，直接生成数据脱敏查询文件与数据脱敏替换文件。
[0078]
s106：处理设备通过数据脱敏编译文件从数据库中查询获取敏感字段。
[0079]
敏感字段为预先设定的敏感字段，例如可以为表1中的敏感字段。处理设备通过数据脱敏编译文件从数据库中查询获取敏感字段。具体地，处理设备通过查询sql文件从数据库中查询获取敏感字段，查询sql文件通过预先设定的敏感字段生成。
[0080]
在一些可能的实现的方式中，查询sql文件可以在线程池中，根据敏感字段，多线程的获取数据。多线程对数据库中的数据进行查询，能够有效提高脱敏数据查询的效率。
[0081]
其中，查询sql文件根据预先设定的敏感字段进行查询，如此能够实现对于非全表数据的采集与脱敏。例如，数据库中数据表a有12个字段，本次脱敏中仅需要对其中6个字段进行脱敏。
[0082]
s108：处理设备通过数据脱敏编译文件，对敏感字段的第一字符进行替换，生成脱敏后的数据文本。
[0083]
其中，数据脱敏编译文件包括数据脱敏替换文件，数据脱敏替换文件用于根据预先设定的敏感字段的映射关系，将敏感字段的第一字符替换为第二字符，生成包括第二字符的脱敏后的数据文本。
[0084]
在一些可能的实现方式中，由于不同栏位中，对于同一敏感字段的脱敏映射关系可能不同，可以建立统一的脱敏入口，以实现对于不同栏位采用不同映射关系的功能。
[0085]
当处理设备通过数据脱敏替换文件对敏感字段进行替换后，生成的数据文本为可以导入到不同类型数据库中的数据文本。本实施例中生成的数据文本为单一类型的文本，支持导入不同类型的数据库中，解除了对于数据库类型的依赖。
[0086]
综上所述，本实施例提供了数据脱敏方法，该方法获取预先设定的敏感字段的映射关系，根据映射关系生成数据脱敏编译文件，利用数据脱敏编译文件在多种类型的数据库中查询获取敏感字段，并利用该数据脱敏编译文件对于敏感字段中需要脱敏的字符进行替换，从而生成脱敏后的数据文本。本实施例中，当需要对数据脱敏的敏感字段进行更改时，直接根据更改后的敏感字段的映射关系，生成对应的数据脱敏编译文件，然后通过数据脱敏编译文件进行脱敏处理，其中，数据脱敏编译文件能够根据设定的敏感字段的映射关系灵活生成，因此整个数据脱敏过程比较灵活，便于更改。
[0087]
为了使得本技术的技术方案更加清楚、易于理解，下面结合附图对本技术实施例提供的数据脱敏方法的系统架构进行介绍。
[0088]
参见图2所示的数据脱敏装置200的架构示意图，数据脱敏装置200包括通信模块202、编译模块204、查询模块206以及脱敏模块208。
[0089]
通信模块202用于获取预先设定的敏感字段的映射关系。其中，敏感字段的映射关系包括将第一字符替换为第二字符的映射关系，第一字符为敏感字段中需要进行替换的字符。
[0090]
在一些可能的实现方式中，通信模块202还用于获取sql条件参数、脱敏表栏位以及其他基础参数。其中，基础参数主要包括线程池参数、数据库类型、文本名称、单词查询的数据量等参数。sql条件包括对于每个表的查询条件。脱敏表栏位包括需要查询的表所涉及到的栏位，以及栏位对应的脱敏规则。
[0091]
在一些可能的实现方式中，通信模块202可以由主控模块控制，主控模块用于整个数据脱敏流程的启动，当主控模块启动时，通信模块202获取对应的参数。
[0092]
编译模块204用于根据敏感字段的映射关系，生成数据脱敏编译文件。具体地，编译模块204根据通信模块202所获取的相应参数，自动生成数据脱敏编译文件。
[0093]
查询模块206用于通过数据脱敏编译文件，从数据库中查询获取敏感字段。
[0094]
其中，查询模块206从数据库中查询获取敏感字段可以多线程从数据库中获取。
[0095]
脱敏模块208用于通过数据脱敏编译文件，对敏感字段的第一字符进行脱敏，生成脱敏后的数据文本。
[0096]
在一些可能的实现方式中，数据脱敏编译文件包括数据脱敏查询文件和数据脱敏替换文件；
[0097]
查询模块206具体用于：
[0098]
通过数据脱敏查询文件，从数据库中查询获取敏感字段；
[0099]
脱敏模块208具体用于：
[0100]
通过数据脱敏替换文件，对敏感字段的第一字符进行脱敏。
[0101]
在一些可能的实现方式中，数据脱敏查询文件包括查询结构化查询语言sql文件。
[0102]
在一些可能的实现方式中，查询模块206具体用于：
[0103]
通过数据脱敏编译文件，从数据库中多线程查询获取敏感字段5、根据权利要求1的方法，其特征在于，敏感字段的映射关系，包括：
[0104]
不同栏位的同一敏感字段的不同映射关系。
[0105]
在一些可能的实现方式中，敏感字段的映射关系，包括：
[0106]
同一栏位的不同敏感字段的不同映射关系。
[0107]
在一些可能的实现方式中，第二字符为第一字符哈希处理后的字符。
[0108]
以上对执行数据脱敏的数据脱敏装置200进行介绍，接下来，对本技术实施例提供的数据脱敏方法进行详细说明。
[0109]
参见图3所示的数据脱敏的方法的流程图，该方法包括：
[0110]
s302：主控模块启动数据脱敏。
[0111]
s304：通信模块202获取预先设定的敏感字段的映射关系。
[0112]
当主控模块启动数据脱敏后，通信模块202获取预先设定的敏感字段的映射关系，并将获取的参数发送至编译模块204。
[0113]
s306：编译模块204根据映射关系，生成数据脱敏编译文件。
[0114]
编译模块204从通信模块202获取数据库类型，以及需要脱敏的表、栏位等以及编译模块204中生成查询sql文件所需要的参数。
[0115]
s308：查询模块206通过数据脱敏编译文件从数据库中查询获取敏感字段。
[0116]
编译模块204在数据脱敏编译文件生成后，将查询sql文件发送至线程池，查询sql文件根据参数，开启多线程获取数据，查找获取敏感字段。
[0117]
s310：脱敏模块208通过数据脱敏编译文件，对敏感字段的第一字符进行替换，生成脱敏后的数据文本。
[0118]
脱敏模块208获取敏感字段，并根据映射关系进行替换。进一步地，脱敏模块208还可以将脱敏后的数据整合生成数据文本，所生成的数据文本能够导入多种类型的数据库中。
[0119]
如此，本实施例中的数据脱敏方法，能够对任何类型是数据库中的数据进行脱敏，并且脱敏后的数据能够导入到任何类型的数据库中，解除了数据库类型对于数据脱敏的限制，数据脱敏无需导入至特定的数据库中，提高了数据脱敏的效率。
[0120]
根据本技术实施例数据脱敏装置200可对应于执行本技术实施例中描述的方法，并且数据脱敏装置200的各个模块的上述和其它操作和/或功能分别为了实现图1中的各个方法的相应流程，为了简洁，在此不再赘述。
[0121]
本技术提供一种设备，用于实现数据脱敏方法。所述设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令，以使得设备执行数据脱敏方法。
[0122]
本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在设备上运行时，使得设备执行上述数据脱敏方法。
[0123]
本技术提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述数据脱敏方法。
[0124]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0125]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本技术各个实施例所述的方法。
[0126]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0127]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。