一种数据处理方法、装置及智能设备、计算机存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置及智能设备、计算机存储介质。


背景技术：

2.随着计算机技术、通信技术的发展，人类已步入了数字化社会，人们在日常工作、生活、学习中会产生各种各样的数据，也会利用各种各样的数据。各种关于数据获取、存储、管理以及传输等功能的方案、产品也广泛应用到各行各业。同时，海量的数据可以通过云技术存储到云服务器中，在云服务器中存储的数据可以应用到医疗、金融、银行、政务、游戏、物联等等行业中。
3.对零散的数据，可以通过数据构建的方式将这些数据转换成可以使用的形式，比如通过数据表的方式构建数据。通过不同的数据构建方式进行数据构建的目的在于满足不同的用户对特性化数据的需求。为了一些新的数据需求而构建数据的过程中，现有的技术方案是需要用户人为地从数据存储环境中挑选数据，再进行数据复制、转存等一系列手动操作，耗费时间，效率较低。


技术实现要素：

4.本技术实施例提供一种数据处理方法、装置及智能设备、计算机存储介质，可基于脚本自动化地从源数据环境中选取数据并加载到目标数据环境中。
5.一方面，本技术实施例提供了一种数据处理方法，包括：
6.获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；
7.解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；
8.获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；
9.向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
10.另一方面，本技术实施例还提供了一种数据处理装置，包括：
11.获取模块，用于获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；
12.处理模块，用于解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据
加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；
13.通知模块，用于向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
14.相应地，本技术实施例还提供了一种智能设备，其特征在于，该智能设备包括存储装置和处理器，所述存储装置中存储有计算机程序，所述处理器调用所述计算机程序，实现上述的数据处理方法。
15.相应地，本技术实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序，该计算机程序被处理器执行的过程中，上述的数据处理方法将被实现。
16.本技术实施例通过自动运行数据选取脚本，能够从源数据环境设备中获取部分所需的数据，通过自动运行数据加载脚本，能够自动将获取到的数据加载到目标环境中，既能够满足数据构建的自动化需求，又能够满足用户的个性化数据需求。整个过程中，用户只需要编写部分脚本并将脚本配置到数据构建任务，通过本技术对应的应用执行该数据构建任务即可实现数据自动化的选取和加载，选取和加载不需要用户手动参与，节省了用户时间，满足了数据构建的自动化需求。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例的数据构建过程的其中一种流程示意图；
19.图2是本技术实施例的一种关于数据构建的框架示意图；
20.图3是对本技术实施例的数据处理相关环境的构建以及管理的示意图；
21.图4是本技术实施例的一种数据处理方法的流程示意图；
22.图5a是本技术实施例的一种数据处理方法的流程示意图；
23.图5b是本技术实施例的对源数据进行分块以便于同步进行数据的提取与转换的流程示意图；
24.图6是本技术实施例的一种数据处理的交互方法的流程示意图；
25.图7是本技术实施例的一种配置界面的示意图；
26.图8是本发明实施例的一种数据处理装置的结构示意图；
27.图9是本发明实施例的一种智能设备的结构示意图。
具体实施方式
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.在本技术实施例中，对于数据构建任务，可以在获取到数据构建任务后，基于该数据构建任务中任务配置信息指示的数据选取脚本、数据加载脚本自动实现从源数据环境设备中获取源数据，并将根据源数据得到的目标数据自动加载到目标数据环境设备中，以便于一些可从目标数据环境设备中获取数据的功能平台或应用能够便捷地获取到所需的目标数据。其中，数据选取脚本被执行后，能够从源数据环境设备中获取部分源数据，至于那些数据为所需的数据可以在数据选取脚本中自定义，同时数据加载脚本能够将选取的源数据所对应的目标数据加载到目标数据环境中供使用，如此既能够满足数据构建的自动化需求，又能够满足用户的个性化数据需求。整个过程中，用户只需要编写脚本，基于编写的脚本，通过本技术对应的应用即可实现数据选取和加载的自动化处理，选取和加载过程不需要用户手动参与，节省了用户时间，满足了数据构建的自动化需求。
30.本技术各实施例所涉及的服务器(例如实施例中提及的智能设备、管理平台中包括的设备)可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
31.本技术实施例可以基于云技术来实现在数据构建过程中相关数据处理操作，云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术(cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
32.本技术所涉及到的源数据、目标数据可以通过云存储的方式存储在云端，源数据环境设备和目标数据环境设备也可以云端中的设备，比如某些实现数据存储功能的服务器。云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。本技术即可通过这些软件或应用接口来选取源数据，将源数据加载到新的数据环境中，以供不同的数据使用方使用。
33.云端存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(id，id entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录
每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
34.存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(raid，redundant array of independent disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
35.数据库(database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
36.数据库管理系统(database management system，dbms)是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、xml(extensible markup language,即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如sql(结构化查询语言(structured query language)、xquery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些dbms能够跨类别，例如，同时支持多种查询语言。
37.在本技术实施例中，数据构建过程分为多个阶段，主要包括选取(select)、提取(extract)、转换(transform)、加载(load)。其中，选取(select)是指源数据的选取，所述源数据可以是数据库、缓存、文件、网络等环境下的数据。可以撰写select脚本(也即数据选取脚本)，进而从上述类型的源数据中获取数据。提取(extract)是指对从源数据中获取的数据进行提取。比如提取数据库中某些字段的数据。同样可以撰写extract脚本(也即数据提取脚本)，进而从select脚本选取的源数据中提取所需数据。转换(tranfrom)是指对extract脚本提取的数据进行转换，根据用户自定义tranfrom脚本(也即数据转换脚本)实现具体的转换过程，数据的转换过程例如包括一些不必要的数据项的删除，一些数据与数据之间的换算等等。加载(load)是指将转换后的数据导入到目标数据库中，或者说加载到目标数据环境中，以便于相应的数据需求端从目标数据库或目标数据环境中读取数据。数据加载由用户定义的load脚本(也即数据加载脚本)实现。
38.在一个实施例中，数据构建的过程示意图如图1所示，数据构建的过程分为4个阶段，在4个阶段中均可利用用户自定义的脚本来自动完成数据的构建。需要说明的是，当某个阶段用户不定义自定义脚本时，则此阶段不对数据做任何处理，例如在没有定义extract脚本时，并不会对通过select脚本获取的源数据进行数据提取出来，又例如，在没有定义tranfrom脚本时，则不存在数据转换处理。
39.再请参见图2，是本技术实施例的一种关于数据构建的框架示意图，图2仅仅示意了一种可能的实现方式，本技术实施例对具体的架构不作限制，例如，在图2中，管理平台和用于进行数据处理的智能设备为两个不同的部件，但在其他实施例中，管理平台和用于进行数据处理的智能设备可以为同一个设备或者同属于一个系统。
40.在源数据环境设备中存储了多种类型的源数据，在图2中示出了cc(config center，配置中心)类型的源数据、bc(business center，业务中心)类型的的源数据、key
(key system，密钥系统)类型的源数据、cmdb(configure management database，配置管理数据库)类型的源数据、ckv(cloud key-value)(一种内存级、持久化、低成本、分布式的key-value存储系统)类型的源数据、db(database，数据库)类型的源数据，当然，还可以包括其他类型的源数据，本技术对于源数据的类型和数量并不限定。源数据环境设备可以是一个云服务器，或者是一个专用存储设备。
41.在图2中，核心服务模块、底层设施模块可以属于同一个管理平台，为管理平台中提供具体服务的设备或者设备组。管理平台一方面能够从源数据环境设备中选取想要的源数据，另一方面能够通过数据构建代理agent将获取到的源数据进行处理后，加载到目标数据环境设备中。所述的数据构建agent可以安装在管理平台中的一个智能设备(例如为一个服务器)，所述数据构建agent也可以安装在目标数据环境设备中，将从管理平台获取到的数据进行处理后存储到目标数据环境设备中配置的cc源数据、bc源数据、key源数据、cmdb源数据、ckv源数据、以及db源数据中。标数据环境设备也可以为管理平台中的其中一个智能设备(例如服务器上)。
42.管理平台通过提供对外接口的方式来与外部的其他系统或平台进行数据交互。在图2中示出了通过环境数据构建接口与环境管理系统交互数据，通过业务数据构建接口与自动化测试系统交互数据，通过账户管理接口与账号管理系统交互数据，当然还可以存在其他专用或通用接口进行数据交互，本技术对此并不限定。交互的数据可以包括相应的系统或平台发起的数据构建事件，管理平台响应数据构建事件提供的目标数据环境设备中通过数据构建代理加载的数据，例如，将图2中目标数据环境设备中包括的cc源数据、bc源数据、key源数据、cmdb源数据、ckv源数据、以及db源数据在内的目标数据环境作为交互数据一并提供给环境管理系统。
43.再请参见图3，是对本技术实施例的数据处理相关环境的构建以及管理的示意图，主要包括：资源初始化，这里的资源包括机器、服务的安装包等。此阶段对机器进行初始化准备，安装系统服务运行的环境等，同时准备需要安装的各服务的安装包以及容器的镜像，在搭建新的环境及目标数据环境时，可以通过下载安装包的方式安装诸如mysql等服务，也可以将这些服务事先打包到镜像中，然后下载镜像并启动容器的方式完成这些服务的部署。容器编排及组网，此阶段完成各服务模块的安装和部署。具体为拉取镜像并启动容器，同时完成各服务的配置。数据构建，此阶段对业务所需要的配置数据、业务数据(如账号)等进行构建生成。服务状态检查，检查服务的运行状态是否正常。环境验证，通过用例验证整个环境是否可用，是否可交付给用户使用。其中，环境验证主要是对搭建的目标数据环境的验证，通过测试用例的方式，在此环境中运行测试用例，测试用例执行达到预期，则表示此环境正确可用。本技术实施例后续提及的源数据环境设备是指加载有源数据环境的服务器等设备，目标数据环境设备是指搭建的目标数据环境服务器等设备，在数据环境中就包含了服务和数据，而相应的数据(源数据或目标数据)则在mysql、file、ckv等中。
44.对于图3中提及的数据构建步骤，本技术实施例中在图2的基础上，数据构建过程大致包括：数据构建任务的触发。一般由管理平台或其它第三方系统调用数据构建的接口进行任务的触发。构建任务的准备，此阶段“数据构建核心server”将数据构建的相关脚本写入到db或缓存中，并创建数据构建任务，同时将任务下发至“数据构建agent”。构建任务执行，“数据构建agent”对数据构建任务进行解析，下载执行过程所需的自定义脚本，开始
任务的执行，按照4个阶段执行，分别是：select、extract、transform、load等4个阶段步骤。执行结果上报。“数据构建agent”将数据构建执行的过程和结果上报至“数据构建核心server”，由“数据构建核心server”更新任务的执行状态。
45.再请参见图4，是本技术实施例的一种数据处理方法的流程示意图，本技术实施例可以由一个智能设备来执行，该智能设备可以通过运行上述提及的数据构建代理来实现所述方法。该智能设备可以为一个单独的服务器等设备，也可以为管理平台中的一部分。所述方法包括如下步骤。
46.s401：获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的。所述数据构建任务可以是诸如图2中的核心服务模块发送的，核心服务模块在接收到用户发起的数据构建事件或者从api处接收到数据构建事件时，生成数据构建任务下发给本技术实施例的智能设备。该数据构建任务中包括了根据数据构建事件而设置的数据选取脚本、数据记载脚本、源数据环境设备的设备标识、目标数据环境设备的标识等。在其他实施例中，数据构建任务还可以包括数据提取脚本、数据转换脚本等等内容。
47.s402：解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据。所述数据选取脚本可以是相关用户直接编写的，也可以是在配置数据构建任务的过程中或者发送数据构建事件之前，根据提供的脚本模板编写得到的。通过运行数据选取脚本，能够到指定的设备中获取指定类型的源数据。数据选取脚本获取的源数据包括：cc类型的源数据、bc类型的源数据、key类型的源数据、cmdb类型的源数据、ckv类型的源数据、以及db类型的源数据中的任意一种或多种，比如，通过运行数据选取脚本，能够获取到源数据环境设备中存储的db源数据，可以将db中存储的所有数据都获取得到。在一个实施例中，在s402运行数据选取脚本的过程中，是通过核心服务模块到源数据环境设备中获取所需的源数据。
48.s403：获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的。数据加载脚本可以是相关用户直接编写的，也可以是在配置数据构建任务的过程中或者发送数据构建事件之前，根据提供的脚本模板编写得到的。通过运行数据加载脚本，能够将在s402中获取到的源数据的全部数据、按照目标数据环境设备的环境要求，加载到目标数据环境设备的数据环境中，例如，可以将在s403中从图2所示的源数据环境设备中获取的db源数据的所有数据，加载到图2中目标数据环境设备中的db数据库中，构成在目标数据环境设备中的db源数据。
49.s404：向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。在加载完成后，可以向下发数据构建任务的管理平台反馈通知消息，以便于管理平台(例如图2中的)管理平台中的核心服务模块对目标数据进行处理，该对目标数据的处理包括直接获取目标数据环境设备中的数据环境所包含目标数据，并且还可以根据实际情况将获取到的目标数据通过api(application programming interface，应用程序接口)接口等方式发送给其他系统或平台。
50.本技术实施例通过自动运行数据选取脚本，能够从源数据环境设备中获取部分所
需的数据，通过自动运行数据加载脚本，能够自动将获取到的数据加载到目标环境中，既能够满足数据构建的自动化需求，又能够满足用户的个性化数据需求。整个过程中，用户只需要编写部分脚本并将脚本配置到数据构建任务，通过本技术对应的应用执行该数据构建任务即可实现数据自动化的选取和加载，选取和加载不需要用户手动参与，节省了用户时间，满足了数据构建的自动化需求。
51.请参见图5a，是本技术实施例的一种数据处理方法的流程示意图，本技术实施例可以由上述提及的智能设备来执行。所述方法包括如下步骤。
52.s501：获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的。所述数据构建事件可以是检测到用户在配置界面上提交了任务配置信息后检测到的；或者所述数据构建事件也可以是通过接口接收到外部的系统或平台发起了数据获取请求后检测到的。不同的方式，在完成数据的构建后会执行不同的处理。其中，所述配置界面的具体表现形式和用途请参考后述实施例的描述。
53.s502：解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据。在一个实施例中，所述源数据环境设备的标识也可以在所述的配置界面上配置。源数据的类型可参考前述实施例中的描述。
54.s503：获取与所述数据构建任务关联的数据提取脚本，并通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据。筛选条件是用户在数据提取脚本中定义的。比如在s502中选取的源数据可能为一个记录了大量类型的数据的表格，在脚本中定义仅获取部分类型的数据。
55.s504：获取与所述数据构建任务关联的数据转换脚本，并通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据。数据转换脚本主要是将中间数据中的部分或全部数据转换成对从目标数据环境设备中读取数据的系统或平台而言有意义的数据，例如，在中间数据中存在计算结果数据和计算原始数据，该计算结果数据为基于一个或多个计算原始数据计算得来的，如果仅仅将该计算结果数据和计算原始数据直接加载到目标数据环境中，可能对于从该目标数据环境提取数据的平台或系统而言，该计算结果数据和计算原始数据是没有任何意义的，并不清楚他们之间的关系，因此，在数据转换脚本中，可以加入关于获取该计算结果数据的计算过程的脚本内容，这样一来，对于计算结果数据和计算原始数据而言，转换得到的满足转换条件的目标数据包括了计算结果数据、计算原始数据、以及计算规则。
56.s505：获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，所述目标数据是根据所述源数据得到的，也即目标数据是对源数据进行上述的数据提取以及数据转换后得到的数据。
57.在所述s502到s504中提及的获取相应脚本的步骤，可以是在一次性从缓存设备中读取所述数据构建任务的所有脚本，以便于进行相应的运行处理，从读取并存储到本地中的所有脚本中再依次获取并执行。也可以是根据数据构建任务的指示依次从缓存中先后获取相应的脚本进行运行处理，即先获取并执行数据选取脚本、再获取并执行数据提取脚本、再获取并执行数据转换脚本、最后获取并执行数据加载脚本。
58.s506：向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消
息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
59.可以理解的是，在本技术中提及的数据交互的方式都可以通过计算机网络来实现。可以显示源数据环境设备中各个源数据的内容、字段格式的描述信息，以便于撰写上述提及的数据选取脚本、数据提取脚本、数据转换脚本以及数据加载脚本的用户基于该描述信息来编写相应的脚本。
60.在一个实施例中，所述数据构建事件是响应检测到的从所述配置界面上接收的用户提交操作生成的，所述向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，包括：生成通知消息，所述通知消息中包括加载到目标数据环境设备中的目标数据的存储指示信息，所述存储指示信息包括数据库类型和存储地址；向管理平台反馈所述通知消息，所述通知消息用于指示所述管理平台根据所述存储指示信息的指示到目标数据环境设备中获取目标数据。也就是说，如果是用户直接在配置界面上发起的任务，那么智能设备可以通知管理平台直接去获取目标数据环境中的目标数据以提供给其他系统或平台。不同的数据库的获取方式不一样，因此，在存储指示信息中加入了数据库类型，以便于管理平台能够正确地发起数据请求到存储地址下获取目标数据。
61.在一个实施例中，所述数据构建事件是响应于从所述管理平台连接的接口接收到的数据构建请求生成的，所述向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，包括：生成通知消息，所述通知消息中包括加载到目标数据环境设备中的目标数据的存储指示信息，所述存储指示信息包括数据库类型和存储地址；向管理平台反馈所述通知消息，所述通知消息用于指示所述管理平台向发起所述数据构建请求的发起端转发所述存储指示信息，以便于所述发起端根据所述存储指示信息的指示到目标数据环境设备中获取目标数据。也就是说，如果是外部的系统或平台通过接口来请求数据构建的，可以触发管理平台将通知消息转发给数据构建请求的发起端，以便于发起端基于存储指示信息到相应的数据库，相应的存储地址中获取数据。不同的数据库的获取方式不一样，因此，在存储指示信息中加入了数据库类型，以便于相应的平台或系统能够正确地发起数据请求到存储地址下获取目标数据。
62.数据构建的过程划分了上述四个层次，以便于对数据构建的过程按不同阶段、层次进行处理。当需要构建的数据量较大时，数据构建的过程所耗费的时长也较大，因此，在本技术实施例中，可以对数据进行分块以便于进行并发处理。并发处理主要涉及两个阶段，即数据选取脚本完成数据选取的阶段和数据转换脚本完成数据转换的阶段。首先，所述通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据可以包括：按照源数据中各个数据项之间的数据关系对所述源数据进行分块，得到源分块数据，并按照数据关系将源分块数据添加到对应的队列中，得到多个源分块队列；通过执行所述数据提取脚本分别同步从各个源分块队列中的各个源分块数据中提取满足筛选条件的中间数据，得到多个中间数据分块队列；
63.紧接着，所述通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据可以包括：通过执行所述数据转换脚本同步对各个中间数据分块队列中的中间数据分块进行转换，分别得到满足转换条件的目标数据，并输出各目标数据。
64.具体请参考图5b所示，为对源数据进行分块以便于同步进行数据的提取与转换的
流程示意图。对于获取到的源数据，基于源数据之间的关系进行数据分块，例如对于获取到的10张表格数据，有3张表格是关于财务数据的，可以分为一源分块数据，有3张表格是关于销售数据的，可以分为一源分块数据，有4张表格是关于成本数据的，可以分为一源分块数据，如此一来可以得到三个源分块数据，分别同时对三个源分块数据进行提取处理、转换处理，提高了处理的效率。
65.本技术实施例通过自动运行数据选取脚本，数据提取脚本、数据转换脚本、数据加载脚本，全自动地实现了数据的转换与构建，满足了用户对数据构建的自动化的需求，同时也满足个性化数据构建的需求。整个过程中，用户只需要编写部分脚本并将脚本配置到数据构建任务，节省了用户时间，满足了数据构建的自动化需求，并且引入了分块处理逻辑，提高处理并发量，进一步地提高了数据构建效率。
66.再请参见图6，是本技术实施例的一种数据处理的交互方法的流程示意图，本技术实施例的所述方法包括如下步骤。
67.s601：管理平台触发数据构建。所述管理平台可以接收诸如图2中的环境管理系统等发起的数据获取请求，也可以检测用户在配置界面上发起确认操作产生数据获取请求。管理平台在接收到数据获取请求后，即确定检测到数据构建事件，根据数据获取请求触发核心服务模块生成数据构建任务。
68.s602：核心服务模块创建数据构建任务，并将数据构建任务对应的相关脚本存储到存储器中。该存储器可以是一个专用的数据库，也可以是一个缓存，以便于安装了数据构建代理的智能设备在执行所述数据创建任务时能够获取到对应的脚本。
69.在一个实施例中，在s602中存储的脚本包括：数据选取脚本、数据提取脚本、数据转换脚本、以及数据加载脚本。存储器在成功存储数据构建任务中的包括脚本在内的相关信息后，可以反馈存储成功的信息。
70.在一个实施例中，核心服务模块是管理平台的一部分，核心服务模块可以直接基于环境管理系统发起的数据获取请求确定存在数据构建事件，即可根据数据构建事件生成数据构建任务。或者，核心服务模块可以直接在接收到用户在配置界面上的确认操作后，确定检测到数据构建事件，基于用户在配置界面上接收的任务配置信息来生成数据构建任务。
71.如图7所示，是本技术实施例的一种配置界面的示意图，该配置界面可以由核心服务模块提供给用户。所示配置界面上包括以下配置项：
72.用于配置源数据环境设备标识的配置项，即图7中的源环境id项701，在图7中示出了一个用户录入的具体的源环境id号：env1597908578t7279981；
73.用于配置目标数据环境设备标识的配置项，即图7中的目标环境id项702，图7中示出了用户录入的具体的目标数据环境id号：env1517208544t6275904；
74.用于配置待构建数据的数据类型的配置项，即图7中的构建数据类型项703，用户可以选择cc数据类型、bc数据类型、密钥key数据类型等，也可以自定义“其他”数据类型；
75.数据指示信息的配置项，例如图7中的配置项704，所述数据指示信息包括：需要通过数据选取脚本选取的数据的来源类型和/或数据关联信息；如图7所示，来源类型可以是指“mysql”类型即从数据库中选取源数据，来源类型可以是指“file”类型及从文件中选取源数据，来源类型还可以是指“api”类型即通过api接口中选取源数据。数据关联信息用于
对来源类型进行指定以便于在运行数据选取脚本时能够正确选取数据，例如图7所示，当用户选取的来源类型为“mysql”时，对应的数据关联信息包括：数据库地址、数据库接口，根据这两个信息可以正确找到所需的源数据，数据关联信息还可以包括用户名、密码、库名，基于这些信息运行数据选取文本获取源数据时，能够得到源数据环境设备对源数据获取进行验证，在得到授权后允许智能设备获取相应数据库地址所对应的源数据。
76.数据存储信息的配置项，例如图7中的配置项705，所述数据存储信息包括：需要通过数据加载脚本加载的数据的存储类型和/或数据存储信息。如图7所示，存储类型可以是指“mysql”类型即向数据库中存储源数据，存储类型可以是指“file”类型即向某个文件存储源数据，存储类型还可以是指“api”类型即通过api接口将源数据存储到与该api接口关联的设备或应用中。数据存储信息用于对存储类型进行指定以便于在运行数据加载脚本时能够正确加载数据，例如图7所示，当用户选取的存储类型为“file”时，对应的数据存储信息包括：文件路径，根据该信息可以正确找到对应的文件确定所需的源数据，数据存储信息还可以包括用户名、密码、文件名，基于这些信息运行数据加载文本向某个文件加载源数据时，能够得到目标数据环境设备对源数据的加载进行验证，在得到授权后允许智能设备将获取到的源数据记载到文件路径所对的文件中。
77.当用户点击了所述配置界面上的提交按钮之后，即可发起数据构建请求，或者作为数据构建事件触发核心服务模块创建数据构建任务。
78.在一个实施例中，对于某些数据构建需求，还可以对选取的源数据中的数据进行筛选，仅提取部分数据。因此，所述配置界面上还可以包括：数据提取脚本的上传配置项，所述数据提取脚本的上传配置项中包括：
79.用于记录上传的数据提取脚本的脚本标识的记录框；例如图7中的记录框706。用于响应用户点击操作而获取用户确认的数据提取脚本并上传该获取的数据提取脚本的上传输入按钮；例如图7中的“上传脚本”按钮。用于响应用户下载操作而向用户显示数据提取脚本模板，并获取根据该数据提取脚本模板生成的数据提取脚本并上传该生成的数据提取脚本的下载输入按钮，例如图7中的“脚本模板下载”按钮。
80.在一个实施例中，还可以对通过数据提取脚本提取的数据或者通过数据选取脚本选取的源数据进行转换，得到满足数据构建需求的目标数据，因此，所述配置界面上还可以包括：数据转换脚本的上传配置项，所述数据转换脚本的上传配置项中包括：
81.用于记录上传的数据转换脚本的脚本标识的记录框；例如图7中的记录框707。用于响应用户点击操作而获取用户确认的数据转换脚本并上传该获取的数据转换脚本的上传输入按钮；例如图7中的“上传脚本”按钮。用于响应用户下载操作而向用户显示数据转换脚本模板，并获取根据该数据转换脚本模板生成的数据转换脚本并上传该生成的数据转换脚本的下载输入按钮，例如图7中的“脚本模板下载”按钮。
82.s603：核心服务模块接收存储成功的反馈消息。
83.s604：核心服务模块将数据构建任务下发给智能设备。对于智能设备而言，接收到数据构建任务，开始执行本技术实施例的数据处理。
84.s605：智能设备解析数据构建任务。智能设备获取数据构建任务，从数据构建任务中读取任务配置信息，以便于执行源数据的选取、数据提取、数据转换以及数据记载。
85.s606：智能设备获取脚本。可以根据所述数据构建任务的标识在存储器中找到对
应的脚本文件。在s606中包括：获取与所述数据构建任务关联的数据选取脚本、获取与所述数据构建任务关联的数据加载脚本、获取与所述数据构建任务关联的数据提取脚本以及获取与所述数据构建任务关联的数据转换脚本。
86.s607：存储器返回所需的脚本。
87.s608：智能设备创建select过程；
88.s609：智能设备通过执行所述数据选取脚本得到源数据。
89.s610：智能设备接收源数据环境设备返回的源数据；
90.s611：智能设备创建extract过程；
91.s612：智能设备通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据。在创建extract过程后，可以对源数据进行分块，创建并发任务进行后续的数据处理。
92.s613：智能设备创建tranfrom过程；
93.s614：智能设备通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据。在执行extract脚本的过程中，如果在s612中对源数据进行分块，那么在s614中也对应地对数据提取脚本提取出的多个分块进行转换处理，得到多个目标数据。
94.s615：智能设备创建load过程；
95.s616：智能设备通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中；
96.s617：智能设备接收目标数据环境设备返回的load结果。
97.s618：智能设备向核心服务模块反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
98.s619：核心服务模块向管理平台发送构建结果更新通知，以通知管理平台相应数据已构建成功。
99.本技术实施例中，可以提供一个简洁直观的配置界面给用户，方便用户配置数据构建所需的信息，并且还可以方便用户上传脚本或者通过模板快速配置并上传脚本，通过自动运行用户配置的数据选取脚本，数据提取脚本、数据转换脚本、数据加载脚本，全自动地实现了数据的转换与构建，满足了用户对数据构建的自动化的需求，同时也满足个性化数据构建的需求。并且引入了分块处理逻辑，提高处理并发量，进一步地提高了数据构建效率。
100.再请参见图8，是本发明实施例的一种数据处理装置的结构示意图，本发明实施例的所述数据处理装置可以设置在服务器等智能设备中，该智能设备可以是前述实施例中的提及的智能设备。所述装置包括如下模块。
101.获取模块801，用于获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；
102.处理模块802，用于解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数
据得到的；
103.通知模块803，用于向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
104.在一个实施例中，所述处理模块802，在执行所述数据选取脚本得到源数据之后、在执行所述数据加载脚本以将目标数据加载到目标数据环境设备中之前，还用于获取与所述数据构建任务关联的数据提取脚本，并通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据；获取与所述数据构建任务关联的数据转换脚本，并通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据。
105.在一个实施例中，所述处理模块802，用于按照源数据中各个数据项之间的数据关系对所述源数据进行分块，得到源分块数据，并按照数据关系将源分块数据添加到对应的队列中，得到多个源分块队列；通过执行所述数据提取脚本分别同步从各个源分块队列中的各个源分块数据中提取满足筛选条件的中间数据，得到多个中间数据分块队列；通过执行所述数据转换脚本同步对各个中间数据分块队列中的中间数据分块进行转换，分别得到满足转换条件的目标数据，并输出各目标数据。
106.在一个实施例中，所述数据构建任务中包括任务配置信息，所述任务配置信息是在配置界面上设置的；所述配置界面包括以下配置项的任意一项或多项：
107.用于配置源数据环境设备标识的配置项；
108.用于配置目标数据环境设备标识的配置项；
109.用于配置待构建数据的数据类型的配置项；
110.数据指示信息的配置项，所述数据指示信息包括：需要通过数据选取脚本选取的数据的来源类型和/或数据关联信息；
111.数据存储信息的配置项，所述数据存储信息包括：需要通过数据加载脚本加载的数据的存储类型和/或数据存储信息。
112.在一个实施例汇总，所述配置界面还包括有数据提取脚本的上传配置项，所述数据提取脚本的上传配置项中包括：
113.用于记录上传的数据提取脚本的脚本标识的记录框；
114.用于响应用户点击操作而获取用户确认的数据提取脚本并上传该获取的数据提取脚本的上传输入按钮；
115.用于响应用户下载操作而向用户显示数据提取脚本模板，并获取根据该数据提取脚本模板生成的数据提取脚本并上传该生成的数据提取脚本的下载输入按钮。
116.在一个实施例中，所述配置界面还包括有数据转换脚本的上传配置项，所述数据转换脚本的上传配置项中包括：
117.用于记录上传的数据转换脚本的脚本标识的记录框；
118.用于响应用户点击操作而获取用户确认的数据转换脚本并上传该获取的数据转换脚本的上传输入按钮；
119.用于响应用户下载操作而向用户显示数据转换脚本模板，并获取根据该数据转换脚本模板生成的数据转换脚本并上传该生成的数据转换脚本的下载输入按钮。
120.在一个实施例中，所述通知模块803，用于生成通知消息，所述通知消息中包括加
载到目标数据环境设备中的目标数据的存储指示信息，所述存储指示信息包括数据库类型和存储地址；向管理平台反馈所述通知消息，所述通知消息用于指示所述管理平台根据所述存储指示信息的指示到目标数据环境设备中获取目标数据。
121.在一个实施例中，所述通知模块803，用于生成通知消息，所述通知消息中包括加载到目标数据环境设备中的目标数据的存储指示信息，所述存储指示信息包括数据库类型和存储地址；向管理平台反馈所述通知消息，所述通知消息用于指示所述管理平台向发起所述数据构建请求的发起端转发所述存储指示信息，以便于所述发起端根据所述存储指示信息的指示到目标数据环境设备中获取目标数据。
122.本技术实施例中，可以提供一个简洁直观的配置界面给用户，方便用户配置数据构建所需的信息，并且还可以方便用户上传脚本或者通过模板快速配置并上传脚本，通过自动运行用户配置的数据选取脚本，数据提取脚本、数据转换脚本、数据加载脚本，全自动地实现了数据的转换与构建，满足了用户对数据构建的自动化的需求，同时也满足个性化数据构建的需求。并且引入了分块处理逻辑，提高处理并发量，进一步地提高了数据构建效率。
123.再请参见图9，是本发明实施例的一种智能设备的结构示意图，本发明实施例的智能设备与前述实施例中提及的智能设备对应，其可以为服务器。本发明实施例的所述智能设备可以包括存储装置901和处理器902，当然还可以包括网络接口903、通信接口904等用于交互数据的接口。还可以包括诸如电源模块、usb数据接口等接口模块。
124.所述网络接口903可以是各类接入到计算机网络的接口，所述通信接口904可以是移动通信接口904，能够接入4g/5g等移动通信网络。
125.所述存储装置901可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储装置901也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，ssd)等；存储装置901还可以包括上述种类的存储器的组合。
126.所述处理器902可以是中央处理器902(central processing unit，cpu)。所述处理器902还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)等。上述pld可以是现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)等。
127.可选地，所述存储装置901还用于存储计算机程序。所述处理器902可以调用所述计算机程序，实现如本技术前述实施例中提及的相关方法。
128.在一个实施例中，所述处理器902，调用所述存储装置901中存储的计算机程序，用于获取数据构建任务，其中，所述数据构建任务是根据检测到的数据构建事件生成的；解析所述数据构建任务，获取与所述数据构建任务关联的数据选取脚本，并通过执行所述数据选取脚本得到源数据，所述数据选取脚本用于从源数据环境设备中获取源数据；获取与所述数据构建任务关联的数据加载脚本，并通过执行所述数据加载脚本将目标数据加载到目标数据环境设备中，其中，所述目标数据是根据所述源数据得到的；向管理平台反馈关于所述目标数据被加载到目标数据环境设备的通知消息，所述通知消息用于指示所述管理平台响应所述数据构建事件，对目标数据环境设备中的目标数据进行处理。
129.在一个实施例中，所述处理器902，在执行所述数据选取脚本得到源数据之后、在执行所述数据加载脚本以将目标数据加载到目标数据环境设备中之前，还用于获取与所述数据构建任务关联的数据提取脚本，并通过执行所述数据提取脚本从所述得到的源数据中提取满足筛选条件的中间数据；获取与所述数据构建任务关联的数据转换脚本，并通过执行所述数据转换脚本将所述中间数据转换为满足转换条件的目标数据。
130.在一个实施例中，所述处理器902，用于按照源数据中各个数据项之间的数据关系对所述源数据进行分块，得到源分块数据，并按照数据关系将源分块数据添加到对应的队列中，得到多个源分块队列；通过执行所述数据提取脚本分别同步从各个源分块队列中的各个源分块数据中提取满足筛选条件的中间数据，得到多个中间数据分块队列；通过执行所述数据转换脚本同步对各个中间数据分块队列中的中间数据分块进行转换，分别得到满足转换条件的目标数据，并输出各目标数据。
131.在一个实施例中，所述数据构建任务中包括任务配置信息，所述任务配置信息是在配置界面上设置的；所述配置界面包括以下配置项的任意一项或多项：
132.用于配置源数据环境设备标识的配置项；
133.用于配置目标数据环境设备标识的配置项；
134.用于配置待构建数据的数据类型的配置项；
135.数据指示信息的配置项，所述数据指示信息包括：需要通过数据选取脚本选取的数据的来源类型和/或数据关联信息；
136.数据存储信息的配置项，所述数据存储信息包括：需要通过数据加载脚本加载的数据的存储类型和/或数据存储信息。
137.在一个实施例中，所述配置界面还包括有数据提取脚本的上传配置项，所述数据提取脚本的上传配置项中包括：
138.用于记录上传的数据提取脚本的脚本标识的记录框；
139.用于响应用户点击操作而获取用户确认的数据提取脚本并上传该获取的数据提取脚本的上传输入按钮；
140.用于响应用户下载操作而向用户显示数据提取脚本模板，并获取根据该数据提取脚本模板生成的数据提取脚本并上传该生成的数据提取脚本的下载输入按钮。
141.在一个实施例中，所述配置界面还包括有数据转换脚本的上传配置项，所述数据转换脚本的上传配置项中包括：
142.用于记录上传的数据转换脚本的脚本标识的记录框；
143.用于响应用户点击操作而获取用户确认的数据转换脚本并上传该获取的数据转换脚本的上传输入按钮；
144.用于响应用户下载操作而向用户显示数据转换脚本模板，并获取根据该数据转换脚本模板生成的数据转换脚本并上传该生成的数据转换脚本的下载输入按钮。
145.在一个实施例中，所述数据构建事件是响应检测到的从所述配置界面上接收的用户提交操作生成的，所述处理器902，用于生成通知消息，所述通知消息中包括加载到目标数据环境设备中的目标数据的存储指示信息，所述存储指示信息包括数据库类型和存储地址；向管理平台反馈所述通知消息，所述通知消息用于指示所述管理平台根据所述存储指示信息的指示到目标数据环境设备中获取目标数据。
146.在一个实施例中，所述数据构建事件是响应于从所述管理平台连接的接口接收到的数据构建请求生成的，所述处理器902，用于生成通知消息，所述通知消息中包括加载到目标数据环境设备中的目标数据的存储指示信息，所述存储指示信息包括数据库类型和存储地址；向管理平台反馈所述通知消息，所述通知消息用于指示所述管理平台向发起所述数据构建请求的发起端转发所述存储指示信息，以便于所述发起端根据所述存储指示信息的指示到目标数据环境设备中获取目标数据。
147.本技术实施例中，可以提供一个简洁直观的配置界面给用户，方便用户配置数据构建所需的信息，并且还可以方便用户上传脚本或者通过模板快速配置并上传脚本，通过自动运行用户配置的数据选取脚本，数据提取脚本、数据转换脚本、数据加载脚本，全自动地实现了数据的转换与构建，满足了用户对数据构建的自动化的需求，同时也满足个性化数据构建的需求。并且引入了分块处理逻辑，提高处理并发量，进一步地提高了数据构建效率。
148.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
149.以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。