数据处理方法，数据处理装置及存储平台与流程

本技术实施例涉及数据处理领域，具体而言，涉及一种数据处理方法，数据处理装置及存储平台。

背景技术：

1、随着信息技术的不断进步和云计算的兴起，已经可以实现云存储数据共享。然而在云端共享数据，需要更复杂的实现手段，同时对平台性能也有更高的要求，例如要求更大数据的吞吐量和更低的延迟。目前针对数据云存储的过程，需提前配置存储集群，且每一个存储集群会对应配置多次存储池，这在云端处理数据的过程中，会频繁发生存储池因数据更新出现重启的情况，影响在云端资源处理数据的效率。

2、因此，相关技术中，存在如何提高在云端数据处理效率的技术问题。

3、针对相关技术中，如何提高在云端数据处理效率的技术问题，尚未提出有效的技术方案。

技术实现思路

1、本技术实施例提供了一种数据处理方法，数据处理装置及存储平台，以至少解决相关技术中如何提高在云端数据处理效率的技术问题。

2、根据本技术的一个实施例，提供了一种数据处理方法，应用于存储平台，其中，所述存储平台预置有多个存储池，每一个存储池对应有一个存储集群，包括：解析目标对象的数据处理请求，得到所述数据处理请求所请求的待处理数据的目标存储路径；根据预设对应关系从所述多个存储池内确定与所述目标存储路径对应的目标存储池，其中，所述预设对应关系表示存储集群的集群地址和存储路径之间的对应关系；在所述目标存储池内使用为所述目标存储路径预设的存储策略类型创建存储实例，以基于所述存储实例执行所述数据处理请求。

3、在一个示例性实施例中，在解析目标对象的数据处理请求，得到所述数据处理请求所请求的待处理数据的目标存储路径之前，所述方法还包括：确定出所述目标对象的对象信息，其中，所述对象信息至少包括所述目标对象的对象名称和对象密码；在确定所述对象密码与所述目标存储池对应的预设名称一致的情况下，对所述对象密码进行格式校验；在确定所述对象密码通过格式校验的情况下，如果确定所述对象密码与所述预设名称的预设密码一致，则确定所述数据处理请求合理。

4、在一个示例性实施例中，根据预设对应关系从所述多个存储池内确定与所述目标存储路径对应的目标存储池，包括：针对所述多个存储池中的第一存储池，确定所述第一存储池所对应的第一集群地址；在确定所述第一集群地址属于所述预设对应关系所指示的所有集群地址的情况下，根据所述预设对应关系确定与所述第一集群地址对应的第一存储路径；如果确定所述第一存储路径与所述目标存储路径一致，则将所述第一存储池确定为所述目标存储池。

5、在一个示例性实施例中，在得到所述数据处理请求所请求的待处理数据的目标存储路径之后，所述方法还包括：获取对所述目标存储路径进行路径校验得到的校验结果；在确定所述校验结果用于指示所述目标存储路径为非空路径，且属于预设存储路径的情况下，从本地路径节点中确定所述目标存储路径所对应的第一路径节点，其中，所述第一路径节点至少包括第一输入节点，第一中间节点和第一输出节点；确定所述第一输入节点，所述第一中间节点和所述第一输出节点共同提供的第一数据传输通道，并使用所述第一数据传输通道传输所述待处理数据；所述方法还包括：在接收到所述目标对象发送的重启指令的情况下，获取所述重启指令携带的当前配置信息，其中，所述当前配置信息至少包括所述待处理数据的当前存储路径；从所述本地路径节点中确定所述当前存储路径所对应的第二路径节点；确定出所述第二路径节点的第二输入节点，第二中间节点和第二输出节点共同提供的第二数据传输通道；使用所述第二路径节点提供的第二数据传输通道传输所述待处理数据。

6、在一个示例性实施例中，在所述目标存储池内使用为所述目标存储路径预设的存储策略类型创建存储实例，包括：在检测到预设插件工具的情况下，基于所述目标对象的执行指令加载所述预设插件工具，以使所述预设插件工具根据为所述目标存储路径预设的存储策略类型自动创建存储实例，其中，所述预设插件工具的调用地址存储在所述目标存储路径下；在确定所述目标对象修改所述目标存储地址的情况下，获取所述目标对象在修改所述目标存储地址后重新提供的其他存储地址；将所述预设插件工具的调用地址存储至所述其他存储地址，以在基于所述目标对象的执行指令加载所述预设插件工具的情况下，通过所述预设插件工具根据为所述其他存储路径预设的存储策略类型自动创建存储实例。

7、在一个示例性实施例中，在得到所述数据处理请求所请求的待处理数据的目标存储路径之后，所述方法还包括：获取对所述待处理数据进行向量化所生成的数据向量，根据所述数据处理请求的请求类型将所述数据向量存储至与所述请求类型对应的向量包；其中，根据所述数据处理请求的请求类型将所述数据向量存储至与所述请求类型对应的向量包至少包括以下之一：在确定所述请求类型为用于指示对所述待处理数据进行读取的情况下，将所述数据向量存储至用于表示数据读取的第一向量包；在确定所述请求类型为用于指示对所述待处理数据进行写入的情况下，将所述数据向量存储至用于表示数据写入的第二向量包。

8、在一个示例性实施例中，在所述解析目标对象的数据处理请求，得到所述数据处理请求所请求的待处理数据的目标存储路径之后，所述方法还包括：在根据所述预设对应关系从所述多个存储池内无法确定出与所述目标存储路径对应的目标存储池的情况下，对所述多个存储池的预留存储区域的存储地址和所述目标存储路径进行绑定；基于所述绑定后的目标存储路径在所述存储地址内创建新的存储策略类型；根据所述新的存储策略类型创建当前存储实例，以基于所述存储实例执行所述数据处理请求。

9、根据本技术的另一个实施例，提供了一种数据处理装置，包括：解析模块，用于解析目标对象的数据处理请求，得到所述数据处理请求所请求的待处理数据的目标存储路径；确定模块，用于根据预设对应关系从所述多个存储池内确定与所述目标存储路径对应的目标存储池，其中，所述预设对应关系表示存储集群的集群地址和存储路径之间的对应关系；创建模块，用于在所述目标存储池内使用为所述目标存储路径预设的存储策略类型创建存储实例，以基于所述存储实例执行所述数据处理请求。

10、根据本技术的另一个实施例，提供了一种存储平台，其特征在于，用于实现上述任一项方法实施例中的步骤。

11、根据本技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

12、根据本技术的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

13、根据本技术的又一个实施例，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

14、通过本技术，由于预先在存储路径下配置好存储策略类型，并通过配置存储池来划分不同存储路径，可以在用户无感的情况下，将不同的存储实例分布于不同的存储路径下，在减少存储压力的同时，可以减少存储池自身带来的不必要的重启动作，因此，可以解决如何提高在云端数据处理效率的技术问题，达到提高数据处理效率的效果。