一种数据处理方法、系统、电子设备及存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、系统、电子设备及存储介质。


背景技术：

2.对多种不同来源及格式的数据进行处理分析，是信号分析等数据处理领域的重要工作之一。然而，现有的数据处理系统没有固定的框架结构与流程，没有将数据处理过程中共性的逻辑统一起来使用，系统开发和维护成本较高，不便于进行管理。
3.有鉴于此，如何将数据处理过程中共性的逻辑统一起来使用，降低系统的开发和维护成本，成为了一个重要的研究问题。


技术实现要素：

4.有鉴于此，本公开的目的在于提出一种数据处理方法、系统、电子设备及存储介质用以解决或部分解决上述技术问题。
5.基于上述目的，本公开的第一方面提出了一种数据处理方法，所述数据处理方法应用于数据处理系统，所述数据处理系统包括：接收模块、管理模块、处理模块、发送模块和状态展示模块，所述方法包括：所述接收模块接收原始数据，对所述原始数据进行处理得到传输数据，并将所述传输数据发送至所述管理模块；所述管理模块对所述传输数据进行存储，并将所述传输数据发送至所述处理模块；所述处理模块对所述传输数据进行自定义处理得到目标数据，并将所述目标数据发送至所述管理模块；所述管理模块对所述目标数据进行存储，并将所述目标数据发送至所述发送模块；所述发送模块将所述目标数据进行打包处理，并将所述目标数据发送至目标设备和/或目标节点；所述管理模块获取所述接收模块、所述处理模块和所述发送模块的状态信息，并将所述状态信息发送至所述状态展示模块。
6.在一些实施例中，所述对所述原始数据进行处理得到传输数据，并将所述传输数据发送至所述管理模块，包括：所述接收模块执行下述过程：将所述原始数据发送至所述管理模块进行存储；对所述原始数据是否存在标签信息进行判定处理；响应于确定所述原始数据不存在所述标签信息，对所述原始数据添加所述标签信息得到所述传输数据；或者，
响应于确定所述原始数据存在所述标签信息，将所述原始数据作为所述传输数据，并对所述标签信息进行校验判定；响应于确定所述标签信息校验失败，将所述传输数据丢弃；响应于确定所述标签信息校验成功，将所述传输数据发送至所述管理模块，以供所述管理模块对所述传输数据进行存储。
7.在一些实施例中，所述处理模块对所述传输数据进行自定义处理得到目标数据，并将所述目标数据发送至所述管理模块，包括：所述处理模块执行下述过程：对所述传输数据进行自定义数据处理得到所述目标数据；通过同步数据输出或者异步数据输出将所述目标数据发送至所述管理模块，以供所述管理模块对所述目标数据进行存储。
8.在一些实施例中，所述发送模块将所述目标数据进行打包处理，并将所述目标数据发送至目标设备和/或目标节点，包括：所述发送模块执行下述过程：对所述目标数据进行打包处理，并统计所述目标数据的打包数量；响应于确定所述打包数量大于等于预先设定的打包数量阈值，将所述目标数据发送至所述目标设备和/或所述目标节点；或者，响应于确定所述打包数量小于预先设定的打包数量阈值，获取所述目标数据进行打包处理所用的时长；响应于确定所述时长小于预先设置的时间阈值，对所述目标数据进行打包处理；响应于确定所述时长大于等于预先设置的时间阈值，将所述目标数据发送至所述目标设备和/或所述目标节点。
9.在一些实施例中，还包括：所述管理模块执行下述过程：获取待存储数据，其中所述待存储数据包括下列至少之一：所述原始数据、所述传输数据和所述目标数据；获取所述待存储数据对应的存储开关状态；响应于确定所述存储开关状态为打开状态，将所述待存储数据进行存储；响应于确定所述存储开关状态为关闭状态，所述待存储数据不进行存储。
10.在一些实施例中，还包括：所述状态展示模块执行下述过程：获取所述管理模块中所述接收模块、所述处理模块和所述发送模块对应的所述状态信息；将所述状态信息发送至交互界面，以供所述交互界面显示所述状态信息。
11.在一些实施例中，还包括：所述状态展示模块执行下述过程：对所述接收模块、所述处理模块和所述发送模块进行配置，得到配置信息；将所述配置信息发送至所述管理模块，以供所述管理模块将所述配置信息发送至对应的模块。
12.基于同一个发明构思，本公开的第二方面提出了一种数据处理系统，所述数据处理系统包括：接收模块、管理模块、处理模块、发送模块和状态展示模块；所述接收模块，被配置为接收原始数据，对所述原始数据进行处理得到传输数据，并将所述传输数据发送至所述管理模块；所述管理模块，被配置为对所述传输数据进行存储，并将所述传输数据发送至所述处理模块；所述处理模块，被配置为对所述传输数据进行自定义处理得到目标数据，并将所述目标数据发送至所述管理模块；所述管理模块，被配置为对所述目标数据进行存储，并将所述目标数据发送至所述发送模块；所述发送模块，被配置为将所述目标数据进行打包处理，并将所述目标数据发送至目标设备和/或目标节点；所述管理模块，被配置为获取所述接收模块、所述处理模块和所述发送模块的状态信息，并将所述状态信息发送至所述状态展示模块。
13.基于同一发明构思，本公开的第三方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的方法。
14.基于同一发明构思，本公开的第四方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的方法。
15.从上面所述可以看出，本公开提供的一种数据处理方法、系统、电子设备及存储介质，接收模块接收原始数据，对原始数据进行处理得到传输数据，并将传输数据发送至管理模块；管理模块对传输数据进行存储后发送至处理模块；处理模块对传输数据进行自定义处理得到目标数据，并将目标数据发送至管理模块；由于处理模块对数据处理方式是自定义的，开发人员可以根据数据处理的实际过程设置，其他模块对数据处理的过程是固定通用的，使得该数据处理系统可以广泛适用，便于进行管理，降低系统的开发和维护成本。管理模块对目标数据进行存储后发送至发送模块；发送模块将目标数据进行打包处理，并将目标数据发送至目标设备和/或目标节点；管理模块获取接收模块、处理模块和发送模块的状态信息，并将状态信息发送至状态展示模块。在上述方法中，数据处理系统包括接收模块、处理模块、发送模块、管理模块和状态展示模块，各个模块之间协作完成数据处理，每个模块之间相辅相成，既能高度集成，也可以相对独立，可以根据数据处理过程进行变化。
附图说明
16.为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本公开实施例的数据处理方法的流程图；图2为本公开实施例的接收模块的流程图；
图3为本公开实施例的处理模块的流程图；图4为本公开实施例的发送模块的流程图；图5为本公开实施例的管理模块的流程图；图6为本公开实施例的状态展示模块的流程图；图7为本公开实施例的通用数据处理框架的示意图；图8为本公开实施例的数据处理装置的流程图；图9为本公开实施例的电子设备的结构示意图。
具体实施方式
18.为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
19.需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
20.如上所述，如何将数据处理过程中共性的逻辑统一起来使用，降低系统的开发和维护成本，成为了一个重要的研究问题。
21.基于上述描述，如图1所示，本实施例提出的数据处理方法，所述数据处理方法应用于数据处理系统，所述数据处理系统包括：接收模块、管理模块、处理模块、发送模块和状态展示模块，所述方法包括：步骤101，所述接收模块接收原始数据，对所述原始数据进行处理得到传输数据，并将所述传输数据发送至所述管理模块。
22.具体实施时，接收模块相当于数据处理系统的数据输入模块。接收模块的主要功能：将接收到的原始数据发送至管理模块进行存储；对原始数据进行处理得到传输数据，并将传输数据发送至管理模块进行存储。
23.接收模块接收的原始数据包括：不带有标签信息的原始数据和携带有标签信息的原始数据。不带有标签信息的原始数据具有普遍性，不同类型的原始数据都可以使用，接收模块接收到不带有标签的原始数据后会自动添加对应的标签信息。对于携带有标签信息的原始数据，数据向量系统中的各个模块都可以利用其标签信息，例如利用标签信息对数据进行识别，或者将标签信息传输至下一模块。
24.步骤102，所述管理模块对所述传输数据进行存储，并将所述传输数据发送至所述处理模块。
25.具体实施时，管理模块是数据处理系统中的重要模块。管理模块的功能包括：对数据处理过程中各个阶段的数据进行存储；对接收到的数据进行发送。管理模块对接收到的传输数据进行存储后发送至处理模块。
26.步骤103，所述处理模块对所述传输数据进行自定义处理得到目标数据，并将所述目标数据发送至所述管理模块。
27.具体实施时，处理模块是数据处理系统中的核心模块。传输数据存在不同的数据类型，开发人员可以根据传输数据的数据类型开发对应的处理模块。处理模块可以由数据处理系统定义的标准统一的应用程序编程接口（application programming interface，简称api）开发实现。开发完成之后，处理模块与其它四个模块构成一个整体，处理模块与使用者高度紧密，因为处理得到的目标数据是否正确与处理模块有关。
28.在上述方案中，处理模块是开发人员根据传输数据的数据类型自定义开发的，当需要处理的数据类型不同时，可以根据实际需要进行开发，且只需要对处理模块进行开发即可，灵活且便于管理，降低系统的开发和维护成本。另外，对处理模块进行开发调用统一的数据接口，这样，一方面可以对单个数据处理系统进行规范化，对数据进行归一化处理；另一方面可以将多个数据处理系统进行串联处理，能够很大的提升数据处理效率。
29.步骤104，所述管理模块对所述目标数据进行存储，并将所述目标数据发送至所述发送模块。
30.具体实施时，管理模块是数据处理系统中的重要模块。管理模块的功能包括：对数据处理过程中各个阶段的数据进行存储；对接收到的数据进行发送。管理模块对接收到的目标数据进行存储后发送至发送模块。
31.步骤105，所述发送模块将所述目标数据进行打包处理，并将所述目标数据发送至目标设备和/或目标节点。
32.具体实施时，发送模块相当于数据处理系统的数据输出模块。发送模块接收到管理模块发来的目标数据后，对数据进行打包处理后，发送模块会根据目标数据的数据类型将目标数据发送至对应的目标设备和/或目标节点。在一些情况下，对数据要进行多方面的处理或者多次处理，会将多个通用数据处理系统串联进行数据处理。当所有的数据处理全部完成，则将目标数据发送至目标设备；当该步骤数据处理完成还需要继续下一步骤的数据处理，则将目标数据发送至目标节点，继续进行数据处理。
33.步骤106，所述管理模块获取所述接收模块、所述处理模块和所述发送模块的状态信息，并将所述状态信息发送至所述状态展示模块。
34.具体实施时，管理模块是数据处理系统中的重要模块。管理模块的功能还包括：将数据处理过程中各个模块的状态信息上报给状态展示模块。
35.在上述实施例中，数据处理系统包括接收模块、处理模块、发送模块、管理模块和状态展示模块，每个模块之间相辅相成，既能高度集成，也可以相对独立，可以根据数据处理过程进行变化。另外，处理模块对数据处理方式是自定义的，开发人员可以根据数据处理的实际过程设置，其他模块对数据处理的过程是固定通用的，使得该数据处理系统可以广泛适用，便于进行管理，降低系统的开发和维护成本。
36.在一些实施例中，步骤101包括：所述接收模块执行下述过程：步骤1011，将所述原始数据发送至所述管理模块进行存储。
37.步骤1012，对所述原始数据是否存在标签信息进行判定处理。
38.步骤1013，响应于确定所述原始数据不存在所述标签信息，对所述原始数据添加
所述标签信息得到所述传输数据。
39.步骤1014，响应于确定所述原始数据存在所述标签信息，将所述原始数据作为所述传输数据，并对所述标签信息进行校验判定。
40.步骤1015，响应于确定所述标签信息校验失败，将所述传输数据丢弃。
41.步骤1016，响应于确定所述标签信息校验成功，将所述传输数据发送至所述管理模块，以供所述管理模块对所述传输数据进行存储。
42.具体实施时，如图2所示，图2为本公开实施例的接收模块的流程图。接收模块的主要流程为：步骤201，接收模块通过传输控制协议（transmission control protocol，简称tcp）连接的方式接收原始数据。步骤202，将原始数据发送至管理模块进行存储。步骤203，接收模块对原始数据是否存在标签信息进行判定处理，不存在标签信息的原始数据添加标签信息后作为传输数据；存在标签的原始数据直接作为传输数据。步骤204，对标签信息进行校验判定。步骤205，对于标签信息校验失败（例如，标签信息不合法）的传输数据直接丢弃，这里的丢失不是完全丢弃，因为接收模块在接收到原始数据后，已经将原始数据发送至管理模块进行了存储。步骤206，将存在标签信息且标签信息校验成功的传输数据发送至管理模块。
43.在一些实施例中，步骤103包括：所述处理模块执行下述过程：步骤1031，对所述传输数据进行自定义数据处理得到所述目标数据。
44.步骤1032，通过同步数据输出或者异步数据输出将所述目标数据发送至所述管理模块，以供所述管理模块对所述目标数据进行存储。
45.具体实施时，如图3所示，图3为本公开实施例的处理模块的流程图。处理模块主要流程为：步骤301，处理模块接收管理模块发来的传输数据。步骤302，对传输数据进行自定义数据处理得到目标数据。本实施例中的数据处理系统是通用的，具体的数据处理模块可以根据传输数据的数据类型由开发人员进行开发，可以自定义。例如，数据处理的过程可以是统计数据的流量、校验包序号和计算速率。
46.处理模块将目标数据发送至管理模块进行存储，可以采用同步数据输出或者异步数据输出的方式。步骤303，同步数据输出是指接收到传输数据后，对传输数据进行数据处理得到目标数据，直接将目标数据发送至管理模块，适用场景为主动处理返回。步骤304，异步数据输出是指接收到传输数据后，对传输数据进行数据处理得到的目标数据没有主动输出，会暂时将目标数据进行缓存存储，管理模块会定时调用处理模块的异步数据输出接口来获取异步数据输出的目标数据，适用场景为被动等待返回。
47.在上述方案中，处理模块是开发人员可以根据需要进行自定义开发的。因此，就能满足一个处理模块可以处理多种不同类型的数据，给使用者提供了很大的方便，提高了开发的效率，缩减了系统维护的成本，需要的组件越少维护的成本越低。
48.在一些实施例中，步骤105包括：所述发送模块执行下述过程：步骤1051，对所述目标数据进行打包处理，并统计所述目标数据的打包数量。
49.步骤1052，响应于确定所述打包数量大于等于预先设定的打包数量阈值，将所述目标数据发送至所述目标设备和/或所述目标节点。
50.步骤1053，响应于确定所述打包数量小于预先设定的打包数量阈值，获取所述目标数据进行打包处理所用的时长。
51.步骤1054，响应于确定所述时长小于预先设置的时间阈值，对所述目标数据进行打包处理。
52.步骤1055，响应于确定所述时长大于等于预先设置的时间阈值，将所述目标数据发送至所述目标设备和/或所述目标节点。
53.具体实施时，如图4所示，图4为本公开实施例的发送模块的流程图。发送模块的主要流程为：步骤401，发送模块接收管理模块发来的目标数据。步骤402，对目标数据进行打包处理，并根据目标数据的打包情况判断是否将目标数据发送至目标设备和/或目标节点。
54.对目标数据是否发送至目标设备和/或目标节点的判断过程包括：步骤403，统计目标数据的打包数量，判断打包数量是否达到设定的阈值。步骤405，当打包数量大于等于预先设定的打包数量阈值时，将目标就发送至目标设备和/或目标节点。步骤404，当打包数量小于预先设定的打包数量阈值时，获取目标数据打包所用的时长，将打包所用的时长与预先设置的时间阈值进行比较，判断是否超时，当时长小于时间阈值时，返回步骤402，对目标数据继续进行打包处理；当时长大于等于时间阈值时，执行步骤405，将目标就发送至目标设备和/或目标节点。
55.在上述方案中，当目标数据打包达到一定数量或者打包时长达到一定时长，将目标数据发送至目标设备和/或目标节点。通过设定打包数量阈值和时间阈值，使得界定标准更准确。
56.在一些实施例中，步骤106之后还包括：所述管理模块执行下述过程：步骤1061，获取待存储数据，其中所述待存储数据包括下列至少之一：所述原始数据、所述传输数据和所述目标数据。
57.步骤1062，获取所述待存储数据对应的存储开关状态。
58.步骤1063，响应于确定所述存储开关状态为打开状态，将所述待存储数据进行存储。
59.步骤1064，响应于确定所述存储开关状态为关闭状态，所述待存储数据不进行存储。
60.具体实施时，管理模块是通用数据处理系统的重要模块，主要用来对数据控制和转移。管理模块的主要功能包括：一是向各个模块下发状态展示模块发来的配置信息；二是对数据进行转移，将数据发送至下一模块；三是数据处理过程中的状态信息上报；四是对数据处理各个阶段的数据进行存储。
61.如图5所示，图5为本公开实施例的管理模块的流程图。管理模块的主要流程为：步骤501，获取各个模块的配置信息。步骤502，将各个模块的配置信息分别下发。步骤503，获取接收模块接收的原始数据并进行存储。步骤504，获取接收模块添加标签信息后的传输数据发送至处理模块并对传输数据进行存储。步骤505，获取经过处理模块处理后的目标数据并进行存储。步骤506，将目标数据发送至发送模块。步骤507，上报各个模块的状态信息。在上述过程中定时上报状态信息，对于原始数据、输入数据、目标数据三个阶段的数据根据对应的配置项进行落地存储。
62.步骤503中对原始数据进行存储的过程具体包括：步骤5031，对原始数据的存储开关状态进行判定。步骤5032，若原始数据的存储开关状态为打开状态，则将原始数据输入数据存盘进行存储。步骤5033，若原始数据的存储开关状态为关闭状态，则对原始数据不存盘。
63.步骤504中对传输数据进行存储的过程具体包括：步骤5041，对传输数据的存储开关状态进行判定。步骤5042，若传输数据的存储开关状态为打开状态，则将传输数据输入数据存盘进行存储。步骤5043，若传输数据的存储开关状态为关闭状态，则对传输数据不存盘。
64.步骤505中对目标数据进行存储的过程具体包括：步骤5051，对目标数据的存储开关状态进行判定。步骤5052，若目标数据的存储开关状态为打开状态，将目标数据输入数据存盘进行存储。步骤5053，若目标数据的存储开关状态为关闭状态，则对目标数据不存盘。
65.获取处理模块处理后的目标数据，获取目标数据有两种方式，同步获取和异步获取，两种方式获取的数据都要送入到发送模块；将处理后的目标数据发送至发送模块。
66.上报各个模块包括管理模块自身的状态信息给状态展示模块，上报的状态信息由状态展示模块触发，状态展示模块有时间配置，会根据配置的时间定时获取各个模块的状态信息。例如，时间配置可以设置定时时间为5秒、10秒等。
67.在上述方案中，管理模块对各个阶段的数据都存盘进行存储，对于数据源的回溯有很好的辅助作用。
68.在一些实施例中，步骤106之后还包括：所述状态展示模块执行下述过程：步骤106a，获取所述管理模块中所述接收模块、所述处理模块和所述发送模块对应的所述状态信息。
69.步骤106b，将所述状态信息发送至交互界面，以供所述交互界面显示所述状态信息。
70.具体实施时，状态展示模块是通用数据处理系统中唯一的展现形式。状态展示模块的主要功能包括：一是获取各个模块的状态信息，并展示各个模块的状态信息；二是下发各个模块的配置信息。
71.状态展示模块可以展示各个模块数据处理的状态信息。其中，状态信息包括下列至少之一：流量统计、速率统计、丢包统计、数据的业务状态、处理过程中的通知消息、处理过程报错信息等。通过用户界面（user interface，简称ui界面）可以很直观的看到当前数据处理的进度，以及整个数据处理系统的状态是否正常等。开发人员可以使用状态展示模块搭配其他四个模块组成任意一种数据处理系统，并且只需要维护一套状态展示模块的代码，极大的提高了程序的集成性和稳定性。
72.在一些实施例中，步骤106之后还包括：所述状态展示模块执行下述过程：步骤106a，对所述接收模块、所述处理模块和所述发送模块进行配置，得到配置信息。
73.步骤106b，将所述配置信息发送至所述管理模块，以供所述管理模块将所述配置信息发送至对应的模块。
74.具体实施时，状态展示模块是通用数据处理系统中唯一的展现形式。状态展示模块的主要功能包括：一是获取各个模块的状态信息，并展示各个模块的状态信息；二是下发各个模块的配置信息。
75.下发各个模块的配置信息跟处理的数据类型有关系，不同的数据类型可以下发不同的配置信息，配置的内容格式为格式化数据，例如tlv格式数据（tlv格式数据是指由tag，length，value组成的数据）、json格式数据（javascript object notation，简称josn，是一种用字符表示数据的数据格式）等，配置的内容可以由开发人员自己定义，提高了配置的多样性和低依赖性。其中，配置信息包括下列至少之一：存储各个模块数据的路径、数据的标签信息和数据处理过程的队列大小。
76.如图6所示，图6为本公开实施例的状态展示模块的流程图。状态展示模块的主要流程为：步骤601，配置各个模块的配置信息。步骤602，将配置信息下发到管理模块，再由管理模块分发给各个模块。步骤603，状态展示模块定时从管理模块获取各个模块的状态信息。步骤604，将状态信息展示在用户界面上。
77.在上述实施例中，每个模块之间相辅相成，既能高度集成，也可以将各个模块独立出来，可根据实际的数据处理灵活多变，处理模块对数据处理方式是自定义的，开发人员可以根据数据处理的实际过程设置，其他模块对数据处理的过程是固定通用的，使开发人员省去了很大的前期准备工作，大大提高了开发的效率，且可以广泛适用，便于进行管理，降低系统的开发和维护成本。系统有统一的数据接口，不同类型的数据调用统一的数据接口，这样一方面可以对单个处理流程进行规范化，对数据进行归一化处理，另一方面，使用此框架的系统可以直接进行多个步骤串接处理，能够很大的提升数据处理效率。
78.另外，数据处理的每个环节都有数据存盘，对于数据源的回溯有很好的辅助作用，每个模块都会对数据进行校验，防止数据丢包后无法定位问题，每个模块都是统一的接口，使用起来简单、方便，适合开发人员在此基础上快速的进行二次开发。
79.需要说明的是，本公开的实施例还可以以下方式进一步描述：如图7所示，图7为本公开实施例的通用数据处理框架的示意图。图7中将处理步骤1和处理步骤2两个数据处理系统串联起来，通过将处理步骤1中的发送模块和处理步骤2中的接收模块串联起来实现两个步骤系统的串联。其中，状态展示模块为各个模块进行配置得到配置信息，并发送给管理模块，通过管理模块下发给对应的模块。管理模块可以获取各个模块的状态信息，并将状态信息发送至状态展示模块进行展示。
80.处理步骤1中的数据处理过程主要为：接收模块接收原始数据，管理模块对原始数据进行存储。接收模块对数据添加标签信息并校验得到传输数据发送至管理模块，管理模块对传输数据进行存储并发送至处理模块。处理模块对传输数据进行自定义处理得到目标数据并将目标数据发送至管理模块，管理模块对目标数据进行存储并发送至发送模块。处理步骤1中数据处理完毕，发送模块将得到的目标数据发送至处理步骤2中的接收模块进行下一步骤的数据处理。
81.多个数据处理步骤之间可以通过发送模块和接收模块利用网络串联起来，这样为复杂的、需要多步骤完成的、数据处理场景，提供了极大的方便，多个步骤可以同时进行开发，开发完成后再串联处理，极大的减少了开发周期，增加了程序的复用性。
82.本方法及系统用于具有相同或者部分相同处理步骤的多种数据处理场景，原始数
据通过网络传输到接收模块之后，会根据开发者的需要对数据进行存储，对原始数据添加标签信息得到传输数据，然后将传输数据发送至开发人员开发的处理模块中进行处理，得到目标数据，将目标数据由管理模块输入到发送模块，由发送模块发送到下游设备或者进行本地存储，其中数据处理过程中的状态信息、流量统计、日志信息则由管理模块去完成统计和上报，开发者只需要完成处理模块的内容，上报的状态信息由状态展示模块进行展示。
83.数据处理系统主要由五个部分组成，分别是接收模块、处理模块、发送模块、管理模块和状态展示模块，接受模块接收原始数据后添加标签信息得到传输数据，经过管理模块发送至处理模块，传输数据经过处理之后得到目标数据并将目标数据发送至管理模块，随后管理模块将目标数据发送至发送模块，发送模块再将目标数据输出到目标设备或目标节点。在上述数据处理和传输的过程中产生的状态信息由管理模块上报给状态展示模块，状态展示模块将接收到的状态信息展示在ui界面上，使用者可通过状态展示ui界面来追踪数据处理的进度以及数据处理的状态信息。
84.在上述实施例中，每个模块之间相辅相成，既能高度集成，也可以将各个模块独立出来，可根据实际的数据处理灵活多变，处理模块对数据处理方式是自定义的，开发人员可以根据数据处理的实际过程设置，其他模块对数据处理的过程是固定通用的，使开发人员省去了很大的前期准备工作，大大提高了开发的效率，且可以广泛适用，便于进行管理，降低系统的开发和维护成本。系统有统一的数据接口，不同类型的数据调用统一的数据接口，这样一方面可以对单个处理流程进行规范化，对数据进行归一化处理，另一方面，使用此框架的系统可以直接进行多个步骤串接处理，能够很大的提升数据处理效率。
85.另外，数据处理的每个环节都有数据存盘，对于数据源的回溯有很好的辅助作用，每个模块都会对数据进行校验，防止数据丢包后无法定位问题，每个模块都是统一的接口，使用起来简单、方便，适合开发人员在此基础上快速的进行二次开发。
86.需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
87.需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
88.基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种数据处理系统。
89.参考图8，所述数据处理系统，所述数据处理系统包括：接收模块、管理模块、处理模块、发送模块和状态展示模块；所述接收模块801，被配置为接收原始数据，对所述原始数据进行处理得到传输数据，并将所述传输数据发送至所述管理模块；所述管理模块802，被配置为对所述传输数据进行存储，并将所述传输数据发送至所述处理模块；
所述处理模块803，被配置为对所述传输数据进行自定义处理得到目标数据，并将所述目标数据发送至所述管理模块；所述管理模块804，被配置为对所述目标数据进行存储，并将所述目标数据发送至所述发送模块；所述发送模块805，被配置为将所述目标数据进行打包处理，并将所述目标数据发送至目标设备和/或目标节点；所述管理模块806，被配置为获取所述接收模块、所述处理模块和所述发送模块的状态信息，并将所述状态信息发送至所述状态展示模块。
90.在一些实施例中，所述接收模块801包括：原始数据存储单元，被配置为将所述原始数据发送至所述管理模块进行存储；判定处理单元，被配置为对所述原始数据是否存在标签信息进行判定处理；标签信息添加单元，被配置为响应于确定所述原始数据不存在所述标签信息，对所述原始数据添加所述标签信息得到所述传输数据；或者，标签信息校验单元，被配置为响应于确定所述原始数据存在所述标签信息，将所述原始数据作为所述传输数据，并对所述标签信息进行校验判定；传输数据丢弃单元，被配置为响应于确定所述标签信息校验失败，将所述传输数据丢弃；传输数据发送单元，被配置为响应于确定所述标签信息校验成功，将所述传输数据发送至所述管理模块，以供所述管理模块对所述传输数据进行存储。
91.在一些实施例中，所述处理模块803包括：数据自定义处理单元，被配置为对所述传输数据进行自定义数据处理得到所述目标数据；目标数据发送单元，被配置为通过同步数据输出或者异步数据输出将所述目标数据发送至所述管理模块，以供所述管理模块对所述目标数据进行存储。
92.在一些实施例中，所述发送模块805包括：目标数据打包单元，被配置为对所述目标数据进行打包处理，并统计所述目标数据的打包数量；目标数据发送单元，被配置为响应于确定所述打包数量大于等于预先设定的打包数量阈值，将所述目标数据发送至所述目标设备和/或所述目标节点；或者，打包时长获取单元，被配置为响应于确定所述打包数量小于预先设定的打包数量阈值，获取所述目标数据进行打包处理所用的时长；目标数据打包单元，被配置为响应于确定所述时长小于预先设置的时间阈值，对所述目标数据进行打包处理；目标数据发送单元，被配置为响应于确定所述时长大于等于预先设置的时间阈值，将所述目标数据发送至所述目标设备和/或所述目标节点。
93.在一些实施例中，所述管理模块802和/或所述管理模块804，还包括：待存储数据获取单元，被配置为获取待存储数据，其中所述待存储数据包括下列至少之一：所述原始数据、所述传输数据和所述目标数据；存储开关状态获取单元，被配置为获取所述待存储数据对应的存储开关状态；
存储打开单元，被配置为响应于确定所述存储开关状态为打开状态，将所述待存储数据进行存储；存储关闭单元，被配置为响应于确定所述存储开关状态为关闭状态，所述待存储数据不进行存储。
94.在一些实施例中，所述状态展示模块包括：状态信息获取单元，被配置为获取所述管理模块中所述接收模块、所述处理模块和所述发送模块对应的所述状态信息；状态信息发送单元，被配置为将所述状态信息发送至交互界面，以供所述交互界面显示所述状态信息。
95.在一些实施例中，所述状态展示模块包括：配置信息获取单元，被配置为对所述接收模块、所述处理模块和所述发送模块进行配置，得到配置信息；配置信息发送单元，被配置为将所述配置信息发送至所述管理模块，以供所述管理模块将所述配置信息发送至对应的模块。
96.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
97.上述实施例的装置用于实现前述任一实施例中相应的数据处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
98.基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的数据处理方法。
99.图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
100.处理器1010可以采用通用的cpu（central processing unit，中央处理器）、微处理器、应用专用集成电路（application specific integrated circuit，asic）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
101.存储器1020可以采用rom（read only memory，只读存储器）、ram（random access memory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
102.输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/ 模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
103.通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如usb、网线等）实现通信，也可以通过无线方式
（例如移动网络、wifi、蓝牙等）实现通信。
104.总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
105.需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
106.上述实施例的电子设备用于实现前述任一实施例中相应的数据处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
107.基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的数据处理方法。
108.本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（pram）、静态随机存取存储器（sram）、动态随机存取存储器（dram）、其他类型的随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、快闪记忆体或其他内存技术、只读光盘只读存储器（cd-rom）、数字多功能光盘（dvd）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
109.上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的数据处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
110.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
111.另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（ic）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
112.尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态ram（dram））可以使用所讨论的实施例。
113.本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。