基于分布式存储系统的数据调度方法和装置、存储介质及电子设备与流程

本技术实施例涉及数据调度，具体而言，涉及一种基于分布式存储系统的数据调度方法和装置、存储介质及电子设备。

背景技术：

1、目前.在数字经济及″新基建″的战略背景下，各个行业都在加速向数字化进行企业转型，推动网络架构由应用为中心的模式，向数据管理为中心的模式进行转变，也促进了数字资源统一调度的发展。例如经济较发达的东部地区，数字资源的处理量和存储需求量都远大于西部地区，但东部地区的土地等自然资源非常紧张导致数据中心建设成本较高，无法直接在东部地区建立数据中心来管理与调度数据。

2、相关技术中，虽然已经可以实现将东部地区的数据迁移至西部地区进行处理，但是在不同地域中，数据的存储系统也是不同的，这对数据调度造成了一定的压力，导致数据调度效率不高。

3、因此，现有技术中，存在如何提高数据调度效率的技术问题。

4、针对现有技术中，如何提高数据调度效率的技术问题，尚未得到有效解决。

技术实现思路

1、本技术实施例提供了一种基于分布式存储系统的数据调度方法和装置、存储介质及电子设备，以至少解决现有技术中如何提高数据调度效率的技术问题。

2、根据本技术的一个实施例，提供了一种基于分布式存储系统的数据调度方法，所述方法应用于分布式存储系统，其中，所述分布式存储系统中预置有全局文件系统，所述方法包括：响应于目标对象的数据调度请求，对所述数据调度请求进行解析，得到所述数据调度请求所指示的数据调度类型和数据调度策略；从所述分布式存储系统的服务器集群中获取与所述数据调度类型对应的待调度数据，其中，所述服务器集群中的服务器部署在不同地域，所述服务器集群至少包括本端服务器和后端服务器，所述本端服务器上部署有所述全局文件系统的本端端口，所述后端服务器上部署有所述全局文件系统的后端端口，所述本端端口和所述后端端口之间已经建立有数据传输通道；基于所述数据调度策略将所述待调度数据调度至所述服务器集群中的目标服务器，其中，所述目标服务器的服务器存储空间大于其他服务器的服务器存储空间。

3、在一个示例性实施例中，所述目标服务器至少包括以下之一：所述后端服务器，所述本端服务器，基于所述数据调度策略将所述待调度数据调度至所述服务器集群中的目标服务器，包括：在确定所述数据调度类型属于预设调度类型，且所述数据调度策略度对应的调度范围属于所述待调度数据的允许调度范围的情况下，基于所述数据调度策略将所述待调度数据从所述服务器集群中的本端服务器调度至所述服务器集群中的后端服务器；或者，基于所述数据调度策略将所述待调度数据从所述服务器集群中的后端服务器调度至所述服务器集群中的本端服务器；或者，基于所述数据调度策略将所述待调度数据从所述服务器集群中的其中一个后端服务器调度至所述服务器集群中的另一个后端服务器。

4、在一个示例性实施例中，所述待调度数据位于所述本端服务器，所述基于所述数据调度策略将所述待调度数据从所述服务器集群中的本端服务器调度至所述服务器集群中的后端服务器，包括：使用所述本端服务器的本端端口从所述待调度数据中读取所述数据调度策略对应的第一待调度数据，其中，所述数据调度策略用于将所述第一待调度数据从所述本端服务器调度至所述后端服务器；通过所述数据传输通道将所述第一待调度数据写入所述后端服务器，并在所述后端服务器内更新所述第一待调度数据的数据存储位置；在确定所述第一待调度数据的数据存储位置更新成功之后，在所述本端服务器内删除所述第一待调度数据。

5、在一个示例性实施例中，在基于所述数据调度策略将所述待调度数据从所述服务器集群中的本端服务器调度至所述服务器集群中的后端服务器的过程中，所述方法还包括：针对所述第一待调度数据，基于所述第一待调度数据在被调度过程中生成的操作码确定是否对所述第一待调度数据进行回滚处理；其中，所述基于所述第一待调度数据在被调度过程中生成的操作码确定是否对所述第一待调度数据进行回滚处理，包括：在确定所述操作码用于指示所述第一待调度数据调度异常的情况下，对所述第一待调度数据进行回滚处理；或者，在确定所述操作码用于指示所述第一待调度数据调度正常的情况下，不对所述第一待调度数据进行回滚处理。

6、在一个示例性实施例中，在确定所述操作码用于指示所述第一待调度数据调度异常的情况下，对所述第一待调度数据进行回滚处理，至少包括以下之一：获取使用所述本端服务器的本端端口从所述待调度数据中读取所述数据调度策略对应的第一待调度数据时所生成的第一操作码，其中，所述第一操作码用于指示所述第一待调度数据是否读取成功；在确定所述第一操作码用于指示所述第一待调度数据读取失败的情况下，对已经迁移至所述后端服务器的第一部分数据进行删除，其中，所述第一部分数据属于所述第一待调度数据，且所述第一部分数据的数据量小于所述第一待调度数据的数据量；或者，获取通过所述数据传输通道将所述第一待调度数据写入所述后端服务器时所生成的第二操作码，其中，所述第二操作码用于指示所述第一待调度数据是否写入成功；在确定所述第二操作码用于指示所述第一待调度数据写入失败的情况下，对已经迁移至所述后端服务器的第二部分数据进行删除，其中，所述第二部分数据属于所述第一待调度数据，且所述第二部分数据的数据量小于所述第一待调度数据的数据量；或者，获取在所述后端服务器内更新所述第一待调度数据的数据存储位置时所生成的第三操作码，其中，所述第三操作码用于指示所述第一待调度数据的数据存储位置在所述后端服务器内是否更新成功；在确定所述第三操作码用于指示所述第一待调度数据的数据存储位置在所述后端服务器内更新失败的情况下，对已经迁移至所述后端服务器的第三部分数据进行删除，其中，所述第三部分数据属于所述第一待调度数据，且所述第三部分数据的数据量小于所述第一待调度数据的数据量。

7、在一个示例性实施例中，所述待调度数据位于所述后端服务器，基于所述数据调度策略将所述待调度数据从所述服务器集群中的后端服务器调度至所述服务器集群中的本端服务器，包括：使用所述本端服务器的本端端口从所述待调度数据中读取所述数据调度策略对应的第二待调度数据，其中，所述数据调度策略用于将所述第二待调度数据从所述后端服务器调度至所述本端服务器；在确定所述第二待调度数据读取成功的情况下，通过所述数据传输通道将所述第二待调度数据写入所述本端服务器，并在所述后端服务器内更新所述第二待调度数据的数据存储位置；在确定所述第二待调度数据的数据存储位置更新成功之后，在所述本端服务器内更新所述第二待调度数据的数据存储位置，并在所述本端服务器内更新所述第二待调度数据的数据存储位置之后，在所述后端服务器内删除所述第二待调度数据。

8、在一个示例性实施例中，所述待调度数据位于第一后端服务器，基于所述数据调度策略将所述待调度数据从所述服务器集群中的其中一个后端服务器调度至所述服务器集群中的另一个后端服务器，包括：基于所述数据调度策略将所述待调度数据从所述服务器集群中的第一后端服务器调度至所述服务器集群中的第二后端服务器；其中，所述基于所述数据调度策略将所述待调度数据从所述服务器集群中的第一后端服务器调度至所述服务器集群中的第二后端服务器，包括：使用所述本端服务器的本端端口从第一后端服务器的所述待调度数据中读取所述数据调度策略对应的第三待调度数据，其中，所述数据调度策略用于将所述第三待调度数据从所述第一后端服务器调度至所述第二后端服务器；在确定所述第三待调度数据读取成功的情况下，通过第一通道将所述第三待调度数据写入所述第二后端服务器，并在所述第二后端服务器内更新所述第三待调度数据的数据存储位置，其中，所述第一通道为所述本端服务器与所述第二后端服务器之间的数据传输通道；在确定所述第三待调度数据的数据存储位置更新成功之后，在所述第一后端服务器内更新所述第三待调度数据的数据存储位置；在确定所述第三待调度数据的数据存储位置在所述第一后端服务器内更新成功之后，在所述本端服务器内更新所述第三待调度数据的数据存储位置，并在所述本端服务器内更新所述第三待调度数据的数据存储位置之后，在所述第一后端服务器内删除所述第三待调度数据。

9、根据本技术的另一个实施例，提供了一种基于分布式存储系统的数据调度装置，包括：得到模块，用于响应于目标对象的数据调度请求，对所述数据调度请求进行解析，得到所述数据调度请求所指示的数据调度类型和数据调度策略；获取模块，用于从所述分布式存储系统的服务器集群中获取与所述数据调度类型对应的待调度数据，其中，所述服务器集群中的服务器部署在不同地域，所述服务器集群至少包括本端服务器和后端服务器，所述本端服务器上部署有所述全局文件系统的本端端口，所述后端服务器上部署有所述全局文件系统的后端端口，所述本端端口和所述后端端口之间已经建立有数据传输通道；调度模块，用于基于所述数据调度策略将所述待调度数据调度至所述服务器集群中的目标服务器，其中，所述目标服务器的服务器存储空间大于其他服务器的服务器存储空间。

10、根据本技术的又一个实施例，还提供了一种分布式存储系统，所述分布式存储系统预置有全局文件系统，包括：服务器集群，其中，所述服务器集群中的服务器部署在不同地域，所述服务器集群至少包括本端服务器和后端服务器，所述本端服务器上部署有所述全局文件系统的本端端口，所述后端服务器上部署有所述全局文件系统的后端端口，所述本端端口和所述后端端口之间已经建立有数据传输通道。

11、根据本技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

12、根据本技术的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

13、根据本技术的又一个实施例，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

14、通过本技术，通过响应于目标对象的数据调度请求，对所述数据调度请求进行解析，得到所述数据调度请求所指示的数据调度类型和数据调度策略；从所述分布式存储系统的服务器集群中获取与所述数据调度类型对应的待调度数据，其中，所述服务器集群中的服务器部署在不同地域，所述服务器集群至少包括本端服务器和后端服务器，所述本端服务器上部署有所述全局文件系统的本端端口，所述后端服务器上部署有所述全局文件系统的后端端口，所述本端端口和所述后端端口之间已经建立有数据传输通道；基于所述数据调度策略将所述待调度数据调度至所述服务器集群中的目标服务器，其中，所述目标服务器的服务器存储空间大于其他服务器的服务器存储空间，能够支持同一地域的不同存储集群或者跨地域的不同存储集群之间的数据调度工作，实现数据统一调度，解放地域数据生产力。因此，可以解决现有技术中，如何提高数据调度效率的技术问题，实现了提高数据调度效率的技术效果。