基于HBase数据库的数据处理方法、装置及电子设备与流程

本发明实施例涉及数据处理，尤其涉及一种基于hbase数据库的数据处理方法、装置及电子设备。

背景技术：

1、随着大数据时代的到来，传统的关系数据库在处理海量、多样化和非结构化数据等方面显得力不从心，因此，hbase数据库(一个分布式、面向列的开源数据库)应运而生。

2、现有的基于hbase数据库进行数据处理的方法一般是通过hbase的异步复制功能，将数据从一个hbase集群复制到另一个hbase集群，以满足数据的备份和迁移等需求。

3、发明人在实现本发明的过程中，发现现有技术存在如下缺陷：现有的基于hbase数据库进行数据处理的方法，仅能实现从hbase集群到hbase集群的数据备份和数据迁移等功能，在实现从hbase集群到其它异构系统的数据复制功能时，需要在hbase集群的内部部署代码或插件等，无法满足安全性较高的场景需求，降低了基于hbase数据库的数据处理的安全性。

技术实现思路

1、本发明实施例提供了一种基于hbase数据库的数据处理方法、装置及电子设备，能够提高基于hbase数据库进行数据处理的安全性。

2、第一方面，本发明实施例提供了一种基于hbase数据库的数据处理方法，应用于非侵入式hbase数据库仿真组件，包括：

3、接收源hbase数据库中数据复制线程replicationendpoint线程通过远程过程调用rpc请求发送的待处理数据；

4、确定所述待处理数据匹配的数据下沉方式和目标数据存储对象；

5、通过所述数据下沉方式对所述待处理数据进行数据下沉处理，以将所述待处理数据写入所述目标数据存储对象。

6、第二方面，本发明实施例还提供了一种基于hbase数据库的数据处理装置，应用于非侵入式hbase数据库仿真组件，包括：

7、待处理数据接收模块，用于接收源hbase数据库中数据复制线程replicationendpoint线程通过远程过程调用rpc请求发送的待处理数据；

8、数据下沉方式和目标数据存储对象确定模块，用于确定所述待处理数据匹配的数据下沉方式和目标数据存储对象；

9、待处理数据写入模块，用于通过所述数据下沉方式对所述待处理数据进行数据下沉处理，以将所述待处理数据写入所述目标数据存储对象。

10、第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于hbase数据库的数据处理方法。

14、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于hbase数据库的数据处理方法。

15、本发明实施例通过非侵入式hbase数据库仿真组件接收源hbase数据库中数据复制线程replicationendpoint线程通过远程过程调用rpc请求发送的待处理数据，并确定待处理数据匹配的数据下沉方式和目标数据存储对象，从而通过数据下沉方式对待处理数据进行数据下沉处理，以将待处理数据写入目标数据存储对象，解决了现有基于hbase数据库进行数据处理时无法满足安全性要求较高的场景需求的问题，提高了基于hbase数据库进行数据处理的安全性。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于hbase数据库的数据处理方法，其特征在于，应用于非侵入式hbase数据库仿真组件，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述通过所述数据下沉方式对所述待处理数据进行数据下沉处理之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述源hbase数据库还用于：

4.根据权利要求3所述的方法，其特征在于，所述源hbase数据库还用于：

5.根据权利要求4所述的方法，其特征在于，在所述接收源hbase数据库中数据复制线程replicationendpoint线程通过远程过程调用rpc请求发送的待处理数据之前，还包括：

6.根据权利要求5所述的方法，其特征在于，所述源hbase数据库还用于：

7.根据权利要求6所述的方法，其特征在于，所述源hbase数据库还用于：

8.一种基于hbase数据库的数据处理装置，其特征在于，应用于非侵入式hbase数据库仿真组件，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一所述的基于hbase数据库的数据处理方法。

技术总结本发明实施例公开了一种基于HBase数据库的数据处理方法、装置及电子设备，该方法应用于非侵入式HBase数据库仿真组件，包括：接收源HBase数据库中数据复制线程ReplicationEndpoint线程通过远程过程调用RPC请求发送的待处理数据；确定待处理数据匹配的数据下沉方式和目标数据存储对象；通过数据下沉方式对待处理数据进行数据下沉处理，以将待处理数据写入目标数据存储对象。本发明实施例的技术方案能够提高基于HBase数据库进行数据处理的安全性。技术研发人员：孙笑鸥,杨彬,陈勇铨,周华受保护的技术使用者：上海英方软件股份有限公司技术研发日：技术公布日：2024/9/9