数据批量处理方法、装置、设备及存储介质与流程

1.本技术涉及数据处理领域，尤其涉及一种数据批量处理方法、装置、设备及存储介质。


背景技术：

2.在一些生产经营活动中，需要进行处理的数据量较大，此时需要为用户提供数据批量处理的方案，例如在进行仓储管理的场景中，需要能够让用户批量上传大量种类的仓库商品的库存变化，从而批量的更新商品数据。目前进行数据批量处理的方案是使用数据表格，通过对数据表格的解析、数据校验、数据转换以及数据入库等操作来实现数据的批量处理，但是每个批量处理的任务时代码的开发工作是相类似的，这也就导致在进行多个不同的批量处理的任务时，往往需要对代码进行重复开发，存在效率低下的问题。


技术实现要素：

3.本技术提供了一种数据批量处理方法、装置、设备及存储介质，以减少在进行多批次的数据批量任务时，减少代码的重复开发，提高效率。
4.第一方面，本技术提供了一种数据批量处理方法，所述方法包括：
5.获取任务模板和所述任务模板中的任务数据；
6.读取所述任务模板的模板配置，并对所述模板配置进行解析，得到所述任务模板的配置信息；
7.对所述任务数据进行数据解析，得到解析数据；
8.基于所述配置信息对所述解析数据进行数据校验，判断所述解析数据是否通过数据校验；
9.若所述解析数据通过数据校验，则对所述解析数据进行数据入库，以对所述任务数据进行批量处理。
10.第二方面，本技术还提供了一种数据批量处理装置，所述装置包括：
11.数据获取模块，用于获取任务模板和所述任务模板中的任务数据；
12.模板解析模块，用于读取所述任务模板的模板配置，并对所述模板配置进行解析，得到所述任务模板的配置信息；
13.数据解析模块，用于对所述任务数据进行数据解析，得到解析数据；
14.数据校验模块，用于基于所述配置信息对所述解析数据进行数据校验，判断所述解析数据是否通过数据校验；
15.数据入库模块，用于若所述解析数据通过数据校验，则对所述解析数据进行数据入库，以对所述任务数据进行批量处理。
16.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据批量处理方法。
17.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数据批量处理方法。
18.本技术公开了一种数据批量处理方法、装置、设备及存储介质，通过获取任务模板和任务模板中的任务数据；读取任务模板的模板配置，并对模板配置进行解析，得到任务模板的配置信息；对任务数据进行数据解析，得到解析数据；基于配置信息对解析数据进行数据校验，判断解析数据是否通过数据校验；若解析数据通过数据校验，则对解析数据进行数据入库，以对任务数据进行批量处理。在进行数据批量处理任务时，对数据批量处理的全流程进行了优化，把需要反复开发的通用流程如数据解析和数据校验等过程进行了抽取归纳，利用任务模板来对数据进行有规则的批量处理，只需要通过修改任务模板的模板配置，即可实现对不同类型的任务数据进行批量处理的目的，使得开发人员只需要只需要写少量模板代码即可完成改进之前的所有流程，减少了减少进行数据批量处理任务的代码的重复开发，提高了效率并降低了开发上的难度。
附图说明
19.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的一种数据批量处理方法的示意流程图；
21.图2是本技术实施例提供的对模板配置进行解析的步骤示意流程图；
22.图3是本技术实施例提供的进行数据入库的步骤示意流程图；
23.图4是本技术实施例提供的一种数据批量处理装置的示意性框图；
24.图5是本技术实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
27.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
28.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
29.本技术的实施例提供了一种数据批量处理方法、装置、计算机设备及存储介质。数据批量处理方法可用于具有多个数据批量处理的任务的场景，在进行数据的批量处理时，
能够通过修改模板的方式来适应不同的数据批量处理任务，减少在数据批量处理过程中代码的重复开发和书写，提高效率。
30.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
31.请参阅图1，图1是本技术实施例提供的一种数据批量处理方法的示意流程图。该数据批量处理方法利用修改任务模板的方式来适应不同的数据批量处理任务，减少在数据批量处理过程中代码的重复开发和书写，提高效率。
32.如图1所示，该数据批量处理方法，具体包括：步骤s101至步骤s105。
33.步骤s101、获取任务模板和所述任务模板中的任务数据。
34.在需要对数据进行批量处理时，获取该次数据批量处理任务的任务模板和任务数据。在具体实施过程中，用户可以在前端将任务数据写入至任务模板中，然后将写入数据的任务模板进行上传。任务模板可以是从模板库中选择的，任务数据也即是本次进行数据批量处理的数据。
35.其中，模板的类型可以有多个，每一个模板都可以对应至少一个数据批量处理任务。当需要执行数据批量处理任务时，可以从模板库中选择与当前需要执行的数据批量处理任务相对应的模板作为任务模板，以便于进行数据批量处理任务。
36.步骤s102、读取所述任务模板的模板配置，并对所述模板配置进行解析，得到所述任务模板的配置信息。
37.在得到任务模板后，可以基于反射机制对模板配置进行解析。其中，模板配置包括模板字段和所述模板字段的模板注解，因此在对模板配置进行解析时，是解析所有的模板字段以及模板字段的模板注解。
38.在一实施例中，请参阅图2，图2是本技术实施例提供的对模板配置进行解析的步骤示意流程图。如图2中所示，对模板配置进行解析的步骤可以包括步骤s1021和步骤s1022。
39.步骤s1021、解析所述模板注解，得到所述模板字段对应的字段属性；步骤s1022、若所述模板注解中没有与所述模板字段对应的字段属性，则获取除所述任务模板外的其他模板的模板配置，并对所述其他模板的模板配置进行解析，直至得到所述任务模板中每个所述模板字段对应的字段属性，并将所述任务模板中每个所述模板字段对应的字段属性作为所述任务模板的配置信息。
40.首先对任务模板的模板注解进行解析，得到模板注解中所包括的模板字段对应的字段属性。其中，字段属性包括了模板字段中哪些是导入字段、导入字段的顺序、字段的校验规则、字段的转换规则、字段是否可以重复等信息。
41.若任务模板的模板注解中包括了该任务模板中所有模板字段的字段属性，那么在对模板注解进行解析后，可以得到任务模板中每个所述模板字段对应的字段属性，也就可以将所述任务模板中每个所述模板字段对应的字段属性作为所述任务模板的配置信息。
42.但若所述模板注解中没有与所述模板字段对应的字段属性，那么对于这些没有找到字段属性的模板字段，可以获取除了任务模板外的其他模板的模板配置，并从其他模板的模板配置中找到与这些模板字段相对应的字段属性，然后将任务模板中所有模板字段对应的字段属性作为所述任务模板的配置信息。
43.也就是说，不同模板的模板注解是互通的，这是由于在进行数据批量处理的过程中，不同的模板之间可能会存在一些相同的模板字段，例如编号、联系方式、身份证号、性别、年龄等，这些字段可能同时存在于两个或两个以上的模板中，那么在编写模板注解时，对于这些重复字段的字段属性，可以只编写一次，在解析其字段属性时，可以利用不同模板的模板注解是互通的这一特点来解析，从而进一步的减少在执行不同的数据批量处理任务时代码开发的工作量，进而提高效率。并且在新增数据批量处理任务时，只需要增加或修改任务模板，然后在模板上写少量模板注解即可，减少重复性工作。
44.步骤s103、对所述任务数据进行数据解析，得到解析数据。
45.对任务数据进行数据解析是说从上传的任务数据中解析出任务模板中每个模板字段所对应的数据，也即是对任务数据进行内容解析，从而得到解析数据。在进行数据解析时，需要将任务模板中每个模板字段所对应的数据都解析得到。
46.步骤s104、基于所述配置信息对所述解析数据进行数据校验，判断所述解析数据是否通过数据校验。
47.在对数据进行解析后，基于配置信息对解析数据进行数据校验，并判断解析数据是否通过数据校验。其中，数据校验的方式可以包括固定校验、正则校验和自定义校验。
48.固定校验是指一些有固定校验方式的模板字段，例如手机号、身份证号、邮箱等等。在对这些模板字段进行校验时，往往可以通过位数、格式等固定的形式来完成校验。
49.自定义校验是指当个固定校验和正则校验都无法满足校验需求时，可以由开发人员或用户自主设置的校验方式。
50.在一实施例中，所述基于所述配置信息对所述解析数据进行数据校验的步骤可以包括：基于所述配置信息获取校验字段，并在所述解析数据中读取与所述校验字段对应的待校验数据，对所述待校验数据进行数据校验。
51.由于配置信息中包括了模板字段对应的字段属性，而字段属性中可以包括字段的校验规则，因此，可以基于配置信息从模板字段中获取需要校验的字段作为校验字段，其中，校验字段可以是模板字段中的一部分，也可以对模板字段中的全部字段都进行校验。
52.在得到校验字段后，根据校验字段在解析数据中读取与该校验字段相对应的待校验数据，然后根据校验字段的校验规则对该待校验数据进行数据校验。
53.例如，在对手机号码字段进行校验时，若该字段的校验规则为为11位数值，那么若手机号码字段所对应的待校验数据为11位数字，则认为该校验字段通过数据校验，若该手机号码字段所对应的待校验数据中长度不是11位或者有字母或其他非法字符，则认为该校验字段未通过数据校验。
54.另外，在进行数据校验时，若校验字段存在多个，也即需要对多个待校验数据进行数据校验时，可以并行的对多个校验字段进行数据校验，从而提高数据校验的速度。
55.步骤s105、若所述解析数据通过数据校验，则对所述解析数据进行数据入库，以对所述任务数据进行批量处理。
56.当解析数据通过数据校验后，则说明解析数据合法，可以将解析数据进行数据入库，从而完成对该批次的任务数据进行批量数据处理的过程。
57.在一实施例中，该方法还包括：若所述解析数据未通过数据校验，则根据数据校验的结果发出错误提醒。
58.也就是说，若解析数据未通过数据校验，则说明解析数据中有不合法的内容，例如有错误数据。此时可以根据数据校验的结果发出错误提醒，以提示用户对任务数据进行修改，并重新上传填写有任务数据的任务模板。
59.例如，在根据校验结果发出错误提醒时，若是手机号码校验出错，则向用户发出“手机号码不合法”的错误提醒。
60.而在并行的对多个校验字段进行数据校验的情况下，若是有多个校验字段多校验不通过，那么在发出错误提醒时，可以将多个校验不通过的校验字段都进行提醒，以减少数据修改的次数，降低用户的工作量，提高数据批量处理的效率。
61.在一实施例中，在所述解析数据通过数据校验之后，所述方法可以包括：基于所述配置信息对所述解析数据进行数据处理，所述数据处理包括数据转换和数据去重。
62.在解析数据通过数据校验之后，就可以将数据进行数据入库，但在进行数据入库之前，可以先基于配置信息对解析数据进行数据处理，也即对解析数据进行一次数据清洗，之后再对清洗后的数据进行数据入库，从而保证数据库内数据的准确性。其中，数据处理可以包括数据转换和数据去重。
63.数据转换可以是对数据的格式进行转换，以保单为例，若a保单中的性别字段为选项字段，也即给出了男、女两个选项供选择，b保单中的性别字段为填写字段，也即需要手动文字填写男或女。那么这种情况下，可以将两个保单中的性别字段转换为同一种格式，例如都是填写字段，为用文字填写的男或女。
64.数据去重则可以是对重复数据进行去重，以保单为例，为避免出错，相同的保单通常只能够上传一次，因此，在发现有相同保单时，可以进行去重处理，保留相同保单中的一个保单即可。
65.请参阅图3，图3是本技术实施例提供的进行数据入库的步骤示意流程图。如图3中所示，进行数据入库的步骤可以包括步骤s1051和步骤s1052。
66.步骤s1051、基于所述配置信息对所述解析数据进行数值转换，得到每个模板字段对应的转换数据；步骤s1052、将所述转换数据自动写入与所述转换数据对应的模板字段中进行数据入库，以对所述任务数据进行批量处理。
67.基于配置信息对解析数据进行数值转换，其中，数值转换是指将解析数据从与任务模板对应的格式转换为数据库对应的格式，例如，可以将性别字段的男或女转换成0或1。
68.其中，数值转换包括预设转换和自定义转换。预设转换是指该数值是具备固定的转换格式，例如男或女转换为0或1，身份证号码的数值转换、手机号码的数值转换等等。而自定义转换是指在没有预设转换时，开发人员或用户可以自定义的转换格式。
69.在进行数值转换之后，将得到的转换数据分别写入与转换数据对应的模板字段中，并将模板字段和填好的数据保存在数据库中，完成数据入库，当所有的任务数据都完成数据入库后，此次数据批量处理的任务完成。
70.上述实施例提供的数据批量处理方法，通过获取任务模板和任务模板中的任务数据；读取任务模板的模板配置，并对模板配置进行解析，得到任务模板的配置信息；对任务数据进行数据解析，得到解析数据；基于配置信息对解析数据进行数据校验，判断解析数据是否通过数据校验；若解析数据通过数据校验，则对解析数据进行数据入库，以对任务数据进行批量处理。在进行数据批量处理任务时，对数据批量处理的全流程进行了优化，把需要
反复开发的通用流程如数据解析和数据校验等过程进行了抽取归纳，利用任务模板来对数据进行有规则的批量处理，只需要通过修改任务模板的模板配置，即可实现对不同类型的任务数据进行批量处理的目的，使得开发人员只需要只需要写少量模板代码即可完成改进之前的所有流程，减少了减少进行数据批量处理任务的代码的重复开发，提高了效率并降低了开发上的难度。
71.请参阅图4，图4是本技术实施例提供的一种数据批量处理装置的示意性框图，该数据批量处理装置用于执行前述的数据批量处理方法。其中，该数据批量处理装置可以配置于服务器或终端中。
72.其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
73.如图4所示，数据批量处理装置200包括：数据获取模块201、模板解析模块202。
74.数据获取模块201，用于获取任务模板和所述任务模板中的任务数据。
75.模板解析模块202，用于读取所述任务模板的模板配置，并对所述模板配置进行解析，得到所述任务模板的配置信息。
76.在一实施例中，模板解析模块202包括注解解析子模块2021和其他解析子模块2022。
77.其中，注解解析子模块2021，用于解析所述模板注解，得到所述模板字段对应的字段属性。
78.其他解析子模块2022，用于若所述模板注解中没有与所述模板字段对应的字段属性，则获取除所述任务模板外的其他模板的模板配置，并对所述其他模板的模板配置进行解析，直至得到所述任务模板中每个所述模板字段对应的字段属性，并将所述任务模板中每个所述模板字段对应的字段属性作为所述任务模板的配置信息。
79.数据解析模块203，用于对所述任务数据进行数据解析，得到解析数据。
80.数据校验模块204，用于基于所述配置信息对所述解析数据进行数据校验，判断所述解析数据是否通过数据校验。
81.数据入库模块205，用于若所述解析数据通过数据校验，则对所述解析数据进行数据入库，以对所述任务数据进行批量处理。
82.在一实施例中，数据入库模块205包括数值转换子模块2051和数值填写子模块2052。
83.其中，数值转换子模块2051，用于基于所述配置信息对所述解析数据进行数值转换，得到每个模板字段对应的转换数据；
84.数值填写子模块2052，用于将所述转换数据自动写入与所述转换数据对应的模板字段中进行数据入库，以对所述任务数据进行批量处理。
85.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的数据批量处理装置和各模块的具体工作过程，可以参考前述数据批量处理方法实施例中的对应过程，在此不再赘述。
86.上述的数据批量处理装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
87.请参阅图5，图5是本技术实施例提供的一种计算机设备的结构示意性框图。该计
算机设备可以是服务器或终端。
88.参阅图5，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
89.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种数据批量处理方法。
90.处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
91.内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种数据批量处理方法。
92.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
93.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
94.其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
95.获取任务模板和所述任务模板中的任务数据；
96.读取所述任务模板的模板配置，并对所述模板配置进行解析，得到所述任务模板的配置信息；
97.对所述任务数据进行数据解析，得到解析数据；
98.基于所述配置信息对所述解析数据进行数据校验，判断所述解析数据是否通过数据校验；
99.若所述解析数据通过数据校验，则对所述解析数据进行数据入库，以对所述任务数据进行批量处理。
100.在一个实施例中，所述处理器在实现所述模板配置包括模板字段和所述模板字段的模板注解；所述对所述模板配置进行解析，得到所述任务模板的配置信息时，用于实现：
101.解析所述模板注解，得到所述模板字段对应的字段属性；
102.若所述模板注解中没有与所述模板字段对应的字段属性，则获取除所述任务模板外的其他模板的模板配置，并对所述其他模板的模板配置进行解析，直至得到所述任务模板中每个所述模板字段对应的字段属性，并将所述任务模板中每个所述模板字段对应的字段属性作为所述任务模板的配置信息。
103.在一个实施例中，所述处理器在实现所述基于所述配置信息对所述解析数据进行数据校验时，用于实现：
104.基于所述配置信息获取校验字段，并在所述解析数据中读取与所述校验字段对应的待校验数据，对所述待校验数据进行数据校验。
105.在一个实施例中，所述处理器还用于实现：
106.若所述解析数据未通过数据校验，则根据数据校验的结果发出错误提醒。
107.在一个实施例中，所述处理器在实现所述解析数据通过数据校验之后，用于实现：
108.基于所述配置信息对所述解析数据进行数据处理，所述数据处理包括数据转换和数据去重。
109.在一个实施例中，所述处理器在实现所述对所述解析数据进行数据入库，以对所述任务数据进行批量处理时，用于实现：
110.基于所述配置信息对所述解析数据进行数值转换，得到每个模板字段对应的转换数据；
111.将所述转换数据自动写入与所述转换数据对应的模板字段中进行数据入库，以对所述任务数据进行批量处理。
112.在一个实施例中，所述数据校验包括固定校验、正则校验和自定义校验。
113.本技术的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项数据批量处理方法。
114.其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
115.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。