一种云存储数据直传管理方法、云传输管理平台及系统与流程

1.本技术涉及云存储技术领域，尤其涉及一种云存储数据直传管理方法、云传输管理平台及系统。


背景技术：

2.海量数据时代，云存储逐渐成为数据存储的最佳选择。因此，安全快速、稳定高效的数据传输成为了云存储应用的核心指标。传统的数据传输主要是代理模式，即客户的数据先上传到代理服务器，然后再由代理服务器将数据转发至云存储池，由于这种传输模式下所有上传请求必须经过代理服务器上传，受代理服务器资源性能和带宽限制，当用户数和上传文件数量较大时，上传速度和成功率都会下降，为了缓解代理服务器的运行负荷，不少云存储服务厂商开始采用由客户端与云存储节点直传的模式。
3.由于一个用户可以使用多个不同云存储运营商的云存储服务，在客户端与云存储节点直传的模式下，用户需要分别通过不同运营商的客户端完成数据传输操作，存在传输过程操作繁琐的技术问题。


技术实现要素：

4.本技术提供了一种云存储数据直传管理方法、云传输管理平台及系统，用于解决现有技术在客户端与云存储节点直传的模式下，用户需要分别通过不同运营商的客户端完成数据传输操作，存在传输过程操作繁琐的技术问题。
5.本技术第一方面提供了一种云存储数据直传管理方法，所述方法应用于云传输管理平台，包括：
6.响应于接收到的数据传输请求消息，根据所述数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在所述云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息，其中，所述数据传输请求消息为客户端响应于用户的数据传输操作指令，由所述客户端生成并发送给云传输管理平台的消息；
7.将所述验证签名信息与目标云存储节点地址、目标云存储协议反馈给所述客户端，使得所述客户端根据所述验证签名信息、所述目标云存储节点地址以及所述目标云存储协议，向云存储池中的目标云存储节点上传数据，其中，所述云存储池中包含有多个云存储运营商的云存储节点，所述目标云存储节点为所述目标云存储运营商的云存储节点，所述目标云存储协议为所述目标云存储运营商的存储信息生成规则协议。
8.优选地，所述目标云存储节点地址的获取方式具体包括：
9.按照所述目标云存储运营商信息，确定所述云存储池中所述目标云存储运营商的云存储节点；
10.根据ip分流配置信息，按照云存储节点的分流配置权重，从所述目标云存储运营商的云存储节点中确定目标云存储节点以及所述目标云存储节点对应的目标云存储节点
地址。
11.本技术第二方面提供了一种云传输管理平台，包括：
12.数据传输请求消息响应单元，用于响应于接收到的数据传输请求消息，根据所述数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在所述云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息，其中，所述数据传输请求消息为客户端响应于用户的数据传输操作指令，由所述客户端生成并发送给云传输管理平台的消息；
13.数据传输请求消息反馈单元，用于将所述验证签名信息与目标云存储节点地址、目标云存储协议反馈给所述客户端，使得所述客户端根据所述验证签名信息、所述目标云存储节点地址以及所述目标云存储协议，向云存储池中的目标云存储节点上传数据，其中，所述云存储池中包含有多个云存储运营商的云存储节点，所述目标云存储节点为所述目标云存储运营商的云存储节点，所述目标云存储协议为所述目标云存储运营商的存储信息生成规则协议。
14.优选地，还包括：目标云存储节点地址获取单元，用于：
15.按照所述目标云存储运营商信息，确定所述云存储池中所述目标云存储运营商的云存储节点；
16.根据ip分流配置信息，按照云存储节点的分流配置权重，从所述目标云存储运营商的云存储节点中确定目标云存储节点以及所述目标云存储节点对应的目标云存储节点地址。
17.本技术第三方面提供了一种云存储数据直传系统，包括：客户端、云存储池以及如本技术第二方面提供的云传输管理平台；
18.所述客户端用于响应于用户的数据传输操作指令，生成数据传输请求消息并将所述数据传输请求消息发送给云传输管理平台；
19.所述云传输管理平台用于响应于接收到的所述数据传输请求消息，根据所述数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在所述云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息，并将所述验证签名信息与目标云存储节点地址、目标云存储协议反馈给所述客户端，使得所述客户端根据所述验证签名信息、所述目标云存储节点地址以及所述目标云存储协议，向所述云存储池中的目标云存储节点上传数据，其中，所述目标云存储节点为所述目标云存储运营商的云存储节点，所述目标云存储协议为所述目标云存储运营商的存储规则协议。
20.优选地，所述云传输管理平台还用于：
21.接收所述目标云存储节点反馈的文件信息，并将所述文件信息发送到业务数据库，其中所述文件信息为所述目标云存储节点基于接收到的数据，通过提取所述数据的数据信息得到的。
22.优选地，还包括：文件信息缓存单元；
23.所述文件信息缓存单元，用于存储所述目标云存储节点反馈的文件信息；
24.所述云传输管理平台还用于：
25.从所述文件信息缓存单元获取所述文件信息，并将所述文件信息发送到业务数据
库，其中所述文件信息为所述目标云存储节点基于接收到的数据，通过提取所述数据的数据信息得到的。
26.从以上技术方案可以看出，本技术实施例具有以下优点：
27.本技术提供的方案通过云传输管理平台响应于接收到的数据传输请求消息，根据数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，将验证签名信息与目标云存储节点地址、目标云存储协议反馈给客户端，使得客户端根据验证签名信息、目标云存储节点地址以及目标云存储协议，向云存储池中的目标云存储节点上传数据，在客户端与云存储节点直传的模式下，实现了对不同云存储运营商完成统一数据传输操作，解决了现有技术在客户端与云存储节点直传的模式下，存在传输过程操作繁琐的技术问题。
附图说明
28.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
29.图1为本技术提供的一种云存储数据直传系统的架构示意图。
30.图2为本技术提供的一种云存储数据直传系统的消息流流程图。
31.图3为本技术提供的一种云存储数据直传管理方法的流程示意图。
32.图4为本技术提供的一种云传输管理平台的结构示意图。
具体实施方式
33.本技术实施例提供了一种云存储数据直传管理方法、云传输管理平台及系统，用于解决现有技术在客户端与云存储节点直传的模式下，用户需要分别通过不同运营商的客户端完成数据传输操作，存在传输过程操作繁琐的技术问题。
34.为使得本技术的发明目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本技术一部分实施例，而非全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
35.本技术第一个实施例提供了一种云存储数据直传系统，包括：客户端、云存储池以及云传输管理平台；
36.客户端用于响应于用户的数据传输操作指令，生成数据传输请求消息并将数据传输请求消息发送给云传输管理平台；
37.云传输管理平台用于响应于接收到的数据传输请求消息，根据数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息，并将验证签名信息与目标云存储节点地址、目标云存储协议反馈给客户端，使得客户端
根据验证签名信息、目标云存储节点地址以及目标云存储协议，向云存储池中的目标云存储节点上传数据，其中，目标云存储节点为目标云存储运营商的云存储节点，目标云存储协议为目标云存储运营商的存储规则协议。
38.如图1所示，本实施例提供的云存储数据直传系统，主要包括：客户端、云存储池以及云传输管理平台三大部分，其中，客户端为用户所操作的终端设备或应用程序产品，如、智能设备、网盘、社交应用、监控设备等多种云存储设备或应用，用于响应于用户的数据传输操作指令，生成数据传输请求消息并将数据传输请求消息发送给云传输管理平台。
39.云传输管理平台用于响应于接收到的数据传输请求消息，根据数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息，并将验证签名信息与目标云存储节点地址、目标云存储协议反馈给客户端，使得客户端根据验证签名信息、目标云存储节点地址以及目标云存储协议，向云存储池中的目标云存储节点上传数据。
40.其中，本实施例提及的云存储运营商包括但不限于：阿里云存储，天翼云存储，华为云存储等，目标云存储运营商则为用户提交的请求消息中选定的一个或多个云存储运营商，目标云存储节点为目标云存储运营商的云存储节点，目标云存储协议为目标云存储运营商的存储规则协议。
41.再接着，云存储池负责将接收到的数据存储在对应的目标云存储节点中，完成客户端与云存储池间的数据直传流程。
42.如图2所示，本实施例的云存储应用数据直传主要分为以下部分：
43.(1)客户端应用请求地址分发服务，进行身份校验及路由策略选择。
44.(2)地址分发服务返回一个或多个目标存储池地址和协议规则。
45.(3)客户端携带协议规则请求目标存储池上传，存储池校验规则后接收数据。
46.更具体地，
47.(1)客户端携带授权的appkey请求地址分发服务网关。
48.(2)服务网关查询授权微服务，授权微服务根据appkey查询授权表，返回当前appkey对应的权限信息，网关校验是否可访问。
49.(3)网关转发请求到后端上传微服务，上传服务根据客户端参数进行若干逻辑处理后，请求分流微服务获取存储池id。
50.(4)分流微服务根据查询用户与云存储运营商服务绑定表及ip分流表，按配置的权重比例选择一个存储池返回。
51.(5)上传服务携带分流服务返回的存储池id、文件目录、限速值等请求存储池能力微服务，存储池能力服务通过id查询存储池表获取存储池信息，生成上传地址和规则返回。
52.(6)上传服务封装存储池上传地址和规则，返回给客户端。
53.(7)客户端携带协议规则请求目标存储池上传，存储池校验规则通过后接收客户端数据流，返回上传结果，完成上传。
54.本实施例采用客户端直传云存储资源池的方法，服务商只需提供云存储服务器地址及计算后的上传规则，客户端拿到地址和规则后，直接与云存储服务器交互，完成数据传输。使用该方法，客户端之间独立上传，互不影响，极大的提高了传输速度。服务商通过维护
一套轻量级、低成本的地址分发服务，就可以支撑起海量的数据上传，避免了核心数据泄漏，系统安全性得以提高且成本降低，实现了对多种存储池的统一纳管如阿里云存储，天翼云存储，华为云存储等，根据存储池的类型做不同的适配打造统一的混合存储平台。
55.进一步地，云传输管理平台还用于：
56.接收目标云存储节点反馈的文件信息，并将文件信息发送到业务数据库，其中文件信息为目标云存储节点基于接收到的数据，通过提取数据的数据信息得到的。
57.需要说明的是，客户端向云存储池上传文件数据的过程完成后，还存在由客户端向业务系统提交文件信息并入库的步骤，然而，客户端单独提交文件导致链路增加，当网络或系统存在问题时，会造成文件丢失，影响业务。为此，在本实施例的方案中，采用云传输管理平台提交文件的方式，由云传输管理平台接收云存储池反馈的文件信息并统一提交至业务数据库，客户端无需再次单独提交文件，通过云传输管理平台自动提交简化了系统交互复杂度，流程衔接避免每一步都从客户端侧开始，降低链路长度，利用业务系统网络稳定性。
58.进一步地，系统还包括：文件信息缓存单元；
59.文件信息缓存单元，用于存储目标云存储节点反馈的文件信息；
60.云传输管理平台还用于：
61.从文件信息缓存单元获取文件信息，并将文件信息发送到业务数据库，其中文件信息为目标云存储节点基于接收到的数据，通过提取数据的数据信息得到的。
62.需要说明的是，本技术实施例提供的系统还可以包括：文件信息缓存单元，此文件信息缓存单元可以是使用kafka、rocketmq等搭建的消息队列，用于存储目标云存储节点反馈的文件信息，当系统架构中包含该当文件信息缓存单元时，此时云传输管理平台则可用于：从文件信息缓存单元获取文件信息，并将文件信息发送到业务数据库，以便于出现网络异常、系统负载过高等问题时，可以通过消息队列异步、持久化、削峰填谷的特性，保证云存储池反馈的文件信息不会丢失，大幅提高系统可用性及上传成功率。
63.以上为本技术提供的一种云存储数据直传系统的一个实施例的详细说明，下面为本技术提供的一种云存储数据直传管理方法的一个实施例的详细说明。
64.请参阅图3，本技术第一方面提供了一种云存储数据直传管理方法，方法应用于第一个实施例中提及的云传输管理平台，包括：
65.步骤101、响应于接收到的数据传输请求消息，根据数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息。
66.其中，数据传输请求消息为客户端响应于用户的数据传输操作指令，由客户端生成并发送给云传输管理平台的消息。
67.步骤102、将验证签名信息与目标云存储节点地址、目标云存储协议反馈给客户端，使得客户端根据验证签名信息、目标云存储节点地址以及目标云存储协议，向云存储池中的目标云存储节点上传数据。
68.其中，云存储池中包含有多个云存储运营商的云存储节点，目标云存储节点为目标云存储运营商的云存储节点，目标云存储协议为目标云存储运营商的存储信息生成规则协议。
69.进一步地，目标云存储节点地址的获取方式具体包括：
70.按照目标云存储运营商信息，确定云存储池中目标云存储运营商的云存储节点；
71.根据ip分流配置信息，按照云存储节点的分流配置权重，从目标云存储运营商的云存储节点中确定目标云存储节点以及目标云存储节点对应的目标云存储节点地址。
72.以上为本技术提供的一种云存储数据直传管理方法的一个实施例的详细说明，下面为本技术提供的一种云传输管理平台的一个实施例的详细说明。
73.请参阅图4，本技术第三个实施例提供了一种云传输管理平台，包括：
74.数据传输请求消息响应单元201，用于响应于接收到的数据传输请求消息，根据数据传输请求消息中包含的用户信息与目标云存储运营商信息，结合存储在云传输管理平台本地的用户与云存储运营商的服务关系信息，对用户进行存储权限验证，当验证通过后，则生成验证签名信息，其中，数据传输请求消息为客户端响应于用户的数据传输操作指令，由客户端生成并发送给云传输管理平台的消息；
75.数据传输请求消息反馈单元202，用于将验证签名信息与目标云存储节点地址、目标云存储协议反馈给客户端，使得客户端根据验证签名信息、目标云存储节点地址以及目标云存储协议，向云存储池中的目标云存储节点上传数据，其中，云存储池中包含有多个云存储运营商的云存储节点，目标云存储节点为目标云存储运营商的云存储节点，目标云存储协议为目标云存储运营商的存储信息生成规则协议。
76.优选地，还包括：目标云存储节点地址获取单元用于：
77.按照目标云存储运营商信息，确定云存储池中目标云存储运营商的云存储节点；
78.根据ip分流配置信息，按照云存储节点的分流配置权重，从目标云存储运营商的云存储节点中确定目标云存储节点以及目标云存储节点对应的目标云存储节点地址。
79.在本技术所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
80.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
81.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
82.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
83.以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。