一种数据处理装置及方法与流程

1.本发明涉及数据处理技术领域，尤其涉及一种数据处理装置及方法。


背景技术：

2.随着国民经济和金融业务处理技术的发展，参与金融业务的客户人数不断增多，资金交易数据的数据量也不断增大。
3.需要说明的是，金融机构在生成资金交易数据之后，需要将其发送至监管机构进行监管。当前，部分地域监管机构对资金交易数据监管的要求越来越高。
4.具体的，金融机构可以由工作人员通过人工操作的方式，周期性的对一定时长内的资金交易数据进行汇总，并将汇总所获得的资金交易数据发送至监管机构。
5.但是，资金交易数据的数据量过大时，人工操作的方式效率较低，从而导致数据报送效率低。


技术实现要素：

6.鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数据处理装置及方法，技术方案如下：
7.一种数据处理装置，所述数据处理装置包括：数据分发模块、实时计算模块、持久化存储模块和报送控制模块；其中：
8.所述数据分发模块，用于获得资金交易数据，并将所述资金交易数据发送至所述实时计算模块；
9.所述实时计算模块，用于对所述资金交易数据进行数据处理，获得处理后交易数据并发布到所述持久化存储模块中进行持久化存储；
10.所述报送控制模块，用于从所述持久化存储模块中获得所述处理后交易数据，从所述处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将所述目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将所述封装后交易数据报送至监管设备。
11.可选的，所述数据处理装置还包括分布式存储模块；
12.所述数据分发模块，还用于将所述资金交易数据发送至所述分布式存储模块中进行备份存储。
13.可选的，所述数据处理装置还包括第一报送模块；
14.所述第一报送模块，用于当数据报送出现异常时，将存储在所述分布式存储模块中的所述资金交易数据发送至所述客户端中进行人工补录。
15.可选的，所述数据分发模块，用于获得并保存资金交易数据，当已保存的所述资金交易数据的数据量到达预设数据量阈值时，将当前已保存的所述资金交易数据发送至所述实时计算模块。
16.可选的，所述数据分发模块，还用于当已保存的所述资金交易数据的数据量未到
达所述预设数据量阈值，且当前的保存时长已到达预设时长阈值时，将当前已保存的所述资金交易数据发送至所述实时计算模块。
17.可选的，所述预设的报送时间频度包括：秒级报送时间频度、分钟级报送时间频度和/或小时级报送时间频度。
18.一种数据处理方法，应用于数据处理装置，所述数据处理装置包括：数据分发模块、实时计算模块、持久化存储模块和报送控制模块；所述数据处理方法包括：
19.所述数据分发模块获得资金交易数据，并将所述资金交易数据发送至所述实时计算模块；
20.所述实时计算模块对所述资金交易数据进行数据处理，获得处理后交易数据并发布到所述持久化存储模块中进行持久化存储；
21.所述报送控制模块从所述持久化存储模块中获得所述处理后交易数据，从所述处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将所述目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将所述封装后交易数据报送至监管设备。
22.可选的，所述数据处理装置还包括分布式存储模块；所述数据处理方法还包括：
23.所述数据分发模块将所述资金交易数据发送至所述分布式存储模块中进行备份存储。
24.可选的，所述数据处理装置还包括第一报送模块；所述数据处理方法还包括：
25.当数据报送出现异常时，所述第一报送模块将存储在所述分布式存储模块中的所述资金交易数据发送至所述客户端中进行人工补录。
26.可选的，所述数据分发模块获得资金交易数据，并将所述资金交易数据发送至所述实时计算模块，包括：
27.所述数据分发模块获得并保存资金交易数据，当已保存的所述资金交易数据的数据量到达预设数据量阈值时，将当前已保存的所述资金交易数据发送至所述实时计算模块。
28.可选的，所述数据处理方法还包括：
29.当已保存的所述资金交易数据的数据量未到达所述预设数据量阈值，且当前的保存时长已到达预设时长阈值时，所述数据分发模块将当前已保存的所述资金交易数据发送至所述实时计算模块。
30.可选的，所述预设的报送时间频度包括：秒级报送时间频度、分钟级报送时间频度和/或小时级报送时间频度。
31.本发明提出的数据处理装置及方法，数据处理装置可以包括：数据分发模块、实时计算模块、持久化存储模块和报送控制模块。其中，数据分发模块，用于获得资金交易数据，并将资金交易数据发送至实时计算模块；实时计算模块，用于对资金交易数据进行数据处理，获得处理后交易数据并发布到持久化存储模块中进行持久化存储；报送控制模块，用于从持久化存储模块中获得处理后交易数据，从处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将封装后交易数据报送至监管设备。本发明通过数据分发模块、实时计算模块、持久化存储模块和报送控制模块的设置，可以无需人工
操作，即可以自动化且有效的完成对资金交易数据的接收、保存、分发、处理和报送等过程，实现资金交易数据至监管机构的报送，可以有效减少人力资源的消耗，提高数据报送效率，保障数据报送的可靠性。
32.上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
33.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
34.图1示出了本发明实施例提供的第一种数据处理装置的结构示意图；
35.图2示出了本发明实施例提供的第二种数据处理装置的结构示意图；
36.图3示出了本发明实施例提供的第三种数据处理装置的结构示意图；
37.图4示出了本发明实施例提供的一种数据处理方法的流程图；
38.图5示出了本发明实施例提供的二种数据处理方法的流程图；
39.图6示出了本发明实施例提供的三种数据处理方法的流程图。
具体实施方式
40.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
41.如图1所示，本实施例提出了第一种数据处理装置，该数据处理装置可以包括：数据分发模块101、实时计算模块102、持久化存储模块103和报送控制模块104；其中：
42.数据分发模块101，用于获得资金交易数据，并将资金交易数据发送至实时计算模块102；
43.实时计算模块102，用于对资金交易数据进行数据处理，获得处理后交易数据并发布到持久化存储模块103中进行持久化存储；
44.报送控制模块104，用于从持久化存储模块103中获得处理后交易数据，从处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将封装后交易数据报送至监管设备。
45.其中，数据分发模块101为可以对资金交易数据进行存储和发送的模块。可选的，数据分发模块101可以为分布式消息组件，如kafka。
46.具体的，数据分发模块101可以获得和保存在资金交易业务运营过程中产生的资金交易数据，并可以将资金交易数据发送至实时计算模块102进行数据处理。
47.其中，实时计算模块102为可以按照预设的数据处理方式和数据处理频度，对资金
交易数据进行实时数据处理，以获得能满足监管机构对资金交易数据规范要求的模块，如实时流计算平台storm。可以理解的是，本发明可以对实时计算模块102的数据处理频度进行调整，使其数据处理周期延长，降低其数据处理压力。
48.可选的，实时计算模块102也可以通过kafka来订阅实时的资金交易数据。
49.其中，处理后交易数据为实时计算模块102按照预设的数据处理方式，对资金交易数据进行数据处理后所获得的、能满足监管机构关于资金交易数据的数据规范要求的数据。
50.具体的，实时计算模块102在接收到数据分发模块101发送的资金交易数据后，可以按照预设的数据处理方式和数据处理频度，对接收到的资金交易数据进行实时数据处理，获得处理后交易数据。
51.具体的，当实时计算模块102为storm时，其可以包括有spout组件和bolt组件。其中，spout组件可以对资金交易数据进行随机分组，之后bolt组件可以并行的对每组的资金交易数据进行筛选、加工等数据处理，生成可以满足报送要求的处理后交易数据。
52.具体的，实时计算模块102在生成处理后交易数据后，可以将处理后交易数据发送至持久化存储模块103中进行持久化存储。
53.具体的，持久化存储模块103为可以对数据进行持久化存储的模块，如redis数据库和硬盘等。持久化存储模块103可以在实时计算模块102生成处理后交易数据之后，获得和持久化保存实时计算模块102发布的处理后交易数据。
54.需要说明的是，本发明将处理后交易数据生成后，将处理后交易数据发送到持久化存储模块103中进行持久化存储，可以避免处理后交易数据在数据报送出现异常而导致的数据缺失、被删除和无法恢复等情况，提高数据安全性和可靠性，从而保障数据报送的可靠性。
55.其中，报送控制模块104为可以按照预设的数据报送方式，对实时计算模块102发布的处理后交易数据进行报送的模块。
56.可选的，本发明可以由技术人员预先的在报送控制模块104中，按照实际情况对其进行报送账户类型、报送时间频度和报送文件格式进行设置，使其数据报送方式可以满足监管机构的数据报送要求，保证数据报送的有效性。
57.可选的，报送账户类型可以是所有账户，也可以仅是个人账户或对公账户等。需要说明的是，本发明可以根据监管机构的具体账户监管要求，来在报送控制模块104中设置其报送账户类型。
58.可以理解的是，对于监管机构不要求报送的账户类型，报送控制模块104可以在获得处理后交易数据后，在处理后交易数据中删除不要求报送的账户类型的处理后交易数据，仅保留和报送监管机构要求报送的账户类型的目标交易数据，减少报送数据量，提高数据报送效率。
59.可选的，预定义文件格式可以包括xml和json等格式。具体的，报送控制模块104可以在确定目标交易数据之后，按照监管机构对于报送数据的文件格式要求，对目标交易数据进行相应的封装，即对目标交易数据的文件格式进行转换，获得文件格式满足监管要求，即文件格式为预定义文件格式的封装后交易数据。
60.需要说明的是，本发明可以通过对预设账户类型的设置，使得报送控制模块104可
以满足监管机构对于不同文件格式的报送数据的要求，进一步保障数据报送的通用性。
61.具体的，报送控制模块104在生成封装后交易数据之后，可以按照预先设置的报送时间频度，将封装后交易数据发送至指定的客户端，由客户端将封装后交易数据报送至监管设备。其中，监管设备可以为监管机构接收企业所报送的封装后交易数据所使用的电子设备。
62.可选的，预设的报送时间频度包括：秒级报送时间频度、分钟级报送时间频度和/或小时级报送时间频度。具体的，本发明可以通过设置报送时间频度，实现按小时级、分钟级和秒级的数据报送。可以理解的是，本发明可以通过报送时间频度的控制，实现对资金交易数据的实时报送。
63.需要说明的是，本实施例数据处理装置通过数据分发模块101、实时计算模块102、持久化存储模块103和报送控制模块104的设置，可以无需人工操作，即可以自动化且有效的完成对资金交易数据的接收、保存、分发、处理和报送等过程，实现资金交易数据至监管机构的报送，可以有效减少人力资源的消耗，提高数据报送效率，保障数据报送的可靠性。
64.本实施例提出的数据处理装置，可以包括：数据分发模块101、实时计算模块102、持久化存储模块103和报送控制模块104。其中，数据分发模块101，用于获得资金交易数据，并将资金交易数据发送至实时计算模块102；实时计算模块102，用于对资金交易数据进行数据处理，获得处理后交易数据并发布到持久化存储模块103中进行持久化存储；报送控制模块104，用于从持久化存储模块103中获得处理后交易数据，从处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将封装后交易数据报送至监管设备。本发明通过数据分发模块101、实时计算模块102、持久化存储模块103和报送控制模块104的设置，可以无需人工操作，即可以自动化且有效的完成对资金交易数据的接收、保存、分发、处理和报送等过程，实现资金交易数据至监管机构的报送，可以有效减少人力资源的消耗，提高数据报送效率，保障数据报送的可靠性。
65.基于图1，如图2所示，本实施例提出第二种数据处理装置。该数据处理装置中还可以包括分布式存储模块201；
66.数据分发模块101，还用于将资金交易数据发送至分布式存储模块201中进行备份存储。
67.其中，分布式存储模块201为可以对资金交易数据进行持久化的分布式存储的模块，如分布式文件系统hdfs。
68.具体的，数据分发模块101可以在获得资金交易数据之后，将资金交易数据发送到分布式存储模块201中作为历史数据进行备份。可以理解的是，本发明对资金交易数据进行备份保存，可以当数据处理异常而导致资金交易数据出现缺失和被删除等情况时，重新对备份的资金交易数据进行数据处理，进一步保障数据报送的可靠性。
69.可选的，如图3所示，在本实施例提出的第三种数据处理装置中，还可以包括：第一报送模块301；
70.第一报送模块301，用于当数据报送出现异常时，将存储在分布式存储模块201中的资金交易数据发送至客户端中进行人工补录。
71.具体的，第一报送模块301可以在数据处理装置对进行数据报送过程出现异常，而
无法基于当前处理的交易数据完成数据报送时，从分布式存储模块201中获得备份的资金交易数据，并直接发送至客户端，由技术人员通过人工补录来进行数据报送。
72.可以理解的是，本发明通过第一报送模块301的设置，进一步保障了数据报送的可靠性。
73.本实施例提出的数据处理装置，通过对分布式存储模块201和第一报送模块301的增设，可以进一步保障数据报送的可靠性。
74.基于图1，本实施例提出第四种数据处理装置。在该数据处理装置中，数据分发模块101，用于获得并保存资金交易数据，当已保存的资金交易数据的数据量到达预设数据量阈值时，将当前已保存的资金交易数据发送至实时计算模块102。
75.具体的，数据分发模块101可以采取批量方式来分发资金交易数据，即在接收到的资金交易数据的数据量未达到预设数据量阈值时，对当前接收到的资金交易数据进行积累保存；当积累保存的资金交易数据的数据量时，将当前保存的全部资金交易数据全部发送至实时计算模块102，以提高数据发送效率。
76.可选的，在本实施例提出的其他数据处理装置中，数据分发模块101，还用于当已保存的资金交易数据的数据量未到达预设数据量阈值，且当前的保存时长已到达预设时长阈值时，将当前已保存的资金交易数据发送至实时计算模块102。
77.需要说明的是，由于数据分发模块101仅当资金交易数据积累到一定数据量时才发送一次，而数据分发模块101积累的资金交易数据的数据量存在长时间达不到预设数据量阈值的可能，因此批量发送的方式可能会导致实时计算模块102长时间接收不到资金交易数据的情况，影响数据报送的实时性。具体的，本发明可以设置预设时长阈值，当数据分发模块101积累的资金交易数据的数据量未达到预设数据量阈值，但本次积累时长已到达预设时长阈值时，数据分发模块101也可以将当前已积累的资金交易数据发送至实时计算模块102，进一步保证数据发送效率以及报送效率。
78.本实施例提出的数据处理装置，可以进一步保证数据分发模块101向实时计算模块102的数据发送效率，以及整体的数据报送效率。
79.与图1所示装置相对应，如图4所示，本实施例提出第一种数据处理方法。该数据处理方法可以应用于数据处理装置，该数据处理装置包括：数据分发模块、实时计算模块、持久化存储模块和报送控制模块；该数据处理方法包括以下步骤：
80.s101、数据分发模块获得资金交易数据，并将资金交易数据发送至实时计算模块；
81.s102、实时计算模块对资金交易数据进行数据处理，获得处理后交易数据并发布到持久化存储模块中进行持久化存储；
82.s103、报送控制模块从持久化存储模块中获得处理后交易数据，从处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将封装后交易数据报送至监管设备。
83.需要说明的是，步骤s101、s102和s103的具体处理及其带来的技术效果，可以参考图1装置的相关说明，此处不再赘述。
84.可选的，基于图4，如图5所示，本实施例提出第二种数据处理方法。在该数据处理方法中，数据处理装置还包括分布式存储模块，该数据处理方法还包括步骤s201；
85.s201、数据分发模块将资金交易数据发送至分布式存储模块中进行备份存储。
86.可选的，基于图5，如图6所示，本实施例提出第三种数据处理方法。在该数据处理方法中，数据处理装置还包括第一报送模块，数据处理方法还包括步骤s301；
87.s301、当数据报送出现异常时，第一报送模块将存储在分布式存储模块中的资金交易数据发送至客户端中进行人工补录。
88.可选的，数据分发模块获得资金交易数据，并将资金交易数据发送至实时计算模块，包括：
89.数据分发模块获得并保存资金交易数据，当已保存的资金交易数据的数据量到达预设数据量阈值时，将当前已保存的资金交易数据发送至实时计算模块。
90.可选的，基于图4，数据处理方法还包括：
91.当已保存的资金交易数据的数据量未到达预设数据量阈值，且当前的保存时长已到达预设时长阈值时，数据分发模块将当前已保存的资金交易数据发送至实时计算模块。
92.可选的，预设的报送时间频度包括：秒级报送时间频度、分钟级报送时间频度和/或小时级报送时间频度。
93.本实施例提出的数据处理方法，可以应用于数据处理装置，数据处理装置可以包括：数据分发模块、实时计算模块、持久化存储模块和报送控制模块。数据分发模块获得资金交易数据，并将资金交易数据发送至实时计算模块；实时计算模块对资金交易数据进行数据处理，获得处理后交易数据并发布到持久化存储模块中进行持久化存储；报送控制模块从持久化存储模块中获得处理后交易数据，从处理后交易数据中查找出账户类型为预设账户类型的目标交易数据，将目标交易数据封装为文件格式为预定义文件格式的封装后交易数据，并按照预设的报送时间频度，通过客户端将封装后交易数据报送至监管设备。本发明通过数据分发模块、实时计算模块、持久化存储模块和报送控制模块的设置，可以无需人工操作，即可以自动化且有效的完成对资金交易数据的接收、保存、分发、处理和报送等过程，实现资金交易数据至监管机构的报送，可以有效减少人力资源的消耗，提高数据报送效率，保障数据报送的可靠性。
94.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
95.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。