客户端访问方法、装置及电子设备、存储介质与流程

本申请涉及分布式文件系统，尤其涉及一种客户端访问方法、装置及电子设备、存储介质。

背景技术：

1、hdfs包含多个组件，namenode、datanode、journalnode、zkfc、zookeeper等，这些组件都是一个一个服务部署在服务器上，虽然hdfs自身已经有一定的容灾能力。

2、例如，对外提供服务的namenode，主要功能是对外服务，管理文件存放的地址等操作。通常而言一套hdfs有两个namenode提供服务，其中一个为active状态，为主要对外对外的服务。另一个namenode是standby状态，时刻处于待机状态，当active状态的namenode宕机后，standby状态的namenode就会切换状态为active。虽然这种状态能够规避一定的风险，但是毕竟是属于一个集群，当遭遇断电、自然风险等情况下，即使namenode足够多，也不能完全避免风险。

3、相关技术中，缺乏针对多个异构文件系统的客户端访问方案。

技术实现思路

1、本申请实施例提供了一种客户端访问方法、装置及电子设备、存储介质，以支持多种不同的分布式文件系统的客户端的访问。

2、本申请实施例采用下述技术方案：

3、第一方面，本申请实施例提供一种客户端访问方法，其中，应用于多个异构文件系统，所述方法包括：

4、在hdfs集群与sftp集群之间进行切换，和/或在hdfs的客户端与hdfs集群之间，通过建立hdfs代理服务，以在所述多个异构文件系统中实现不同客户端的访问。

5、在一些实施例中，当所述多个异构文件系统中的当前集群从sftp集群切回至所述hdfs集群，和/或通过配置中心将sftp集群切回至所述hdfs集群的情况下，通过所述sftp集群向所述hdfs集群回写，以在所述hdfs集群与所述sftp集群之间实现不同客户端的访问。

6、在一些实施例中，通过所述sftp集群向所述hdfs集群回写，包括：

7、执行回写操作的服务，将文件从本中心的sftp集群下载到本地；

8、将本地的文件上传到本中心的hdfs集群，完成数据的回写操作；

9、和/或，

10、通过配置开关，指定sftp集群的下载文件以及文件上传到hdfs集群是本中心的操作或者多中心的操作。

11、在一些实施例中，所述在hdfs的客户端与hdfs集群之间，通过建立hdfs代理服务，以在所述多个异构文件系统中实现不同客户端的访问，包括：

12、通过rpc协议连接订阅到hdfs代理服务；

13、所述hdfs代理服务通过连接hdfs集群，上传文件为双写或多写且下载文件优先从本中心下载，如果本中心没下载到再从其它中心下载。

14、在一些实施例中，所述hdfs代理服务包括下载文件，

15、在下载文件时，客户端向hdfs代理服务发送下载请求；

16、hdfs代理服务从hdfs集群下载到文件并校验通过后，以文件输入流的形式通过rpc协议传输到客户端，然后客户端接收输出流在本地生成下载文件。

17、在一些实施例中，所述hdfs代理服务包括上传文件，

18、在上传文件时，客户端将本地文件以文件输入流的形式通过rpc协议传输到hdfs代理服务；

19、hdfs代理服务接收到文件流后转为字节内存流，然后调封装好的hdfs多写接口，将流文件异步上传到对应的hdfs集群。

20、在一些实施例中，所述方法还包括：

21、当有一个中心上传成功就向用户客户端返回结果；

22、如果全部中心上传失败，则会再做重试操作。

23、第二方面，本申请实施例还提供一种客户端访问装置，其中，应用于多个异构文件系统，所述装置用于实现第一方面中所述方法。

24、第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。

25、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。

26、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：在hdfs集群与sftp集群之间进行切换，以在所述多个异构文件系统中实现不同客户端的访问。通过上述方法实现不同文件系统的热加载切换，对应用系统无感，增强了文件系统的高可用。在hdfs的客户端与hdfs集群之间，通过建立hdfs代理服务，同样以在所述多个异构文件系统中实现不同客户端的访问。通过上述方法满足数据多写的前提下减轻客户端的资源消耗和带宽压力，同时增强了系统的可维护性。

技术特征：

1.一种客户端访问方法，其中，应用于多个异构文件系统，所述方法包括：

2.如权利要求1所述方法，其中，当所述多个异构文件系统中的当前集群从sftp集群切回至所述hdfs集群，和/或通过配置中心将sftp集群切回至所述hdfs集群的情况下，通过所述sftp集群向所述hdfs集群回写，以在所述hdfs集群与所述sftp集群之间实现不同客户端的访问。

3.如权利要求2所述方法，其中，通过所述sftp集群向所述hdfs集群回写，包括：

4.如权利要求1所述方法，其中，所述在hdfs的客户端与hdfs集群之间，通过建立hdfs代理服务，以在所述多个异构文件系统中实现不同客户端的访问，包括：

5.如权利要求4所述方法，其中，所述hdfs代理服务包括下载文件，

6.如权利要求4所述方法，其中，所述hdfs代理服务包括上传文件，

7.如权利要求6所述方法，其中，所述方法还包括：

8.一种客户端访问装置，其中，应用于多个异构文件系统，所述装置用于实现权利要求1～7之任一所述方法。

9.一种电子设备，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。

技术总结本申请公开了一种客户端访问方法、装置及电子设备、存储介质，所述方法包括在HDFS集群与SFTP集群之间进行切换，和/或在HDFS的客户端与HDFS集群之间，通过建立HDFS代理服务，以在所述多个异构文件系统中实现不同客户端的访问。通过本申请实现了多个异构文件系统的客户端访问的可靠性以及高可用性。技术研发人员：呼卓宇,吴晓吟,罗江华受保护的技术使用者：中国邮政储蓄银行股份有限公司技术研发日：技术公布日：2024/7/18