一种元数据的寻址方法、装置、介质以及产品与流程

本发明涉及分布式存储，特别是涉及一种元数据的寻址方法、装置、介质以及产品。

背景技术：

1、元数据局部性在分布式存储系统中发挥着重要角色，可以有效组织和访问存储系统中的元数据，对于提高系统的性能可扩展性至关重要。

2、传统的元数据采用以下三种方式进行管理，第一种基于数据表，由于元数据和数据表不断增加，存在动态扩容和挪动数据问题导致无法保证元数据的局部性性能；第二种基于哈希分区以实现业务的负载均衡性，造成频繁的分布式锁和事务进而引入锁开销成本，增加元数据请求处理耗时；第三种采用静动态子树分区，无法精准迁移且业务负载多样频繁，导致元数据迁移开销增大。综上，在元数据管理过程中开销成本增加以及请求频繁出现的耗时时间较长，进而导致元数据的局部性性能降低。

3、因此，如何降低开销成本和请求耗时时间，从而提高元数据的局部性性能是本领域技术人员亟需要解决的。

技术实现思路

1、本发明的目的是提供一种元数据的寻址方法、装置、介质以及产品，以解决在元数据管理过程中开销成本增加以及请求频繁出现的耗时时间较长，进而导致元数据的局部性性能降低的问题。

2、为解决上述技术问题，本发明提供一种元数据的寻址方法，应用于分布式存储系统，包括：

3、获取所述分布式存储系统内目标数量的元数据服务路径；其中，所述目标数量的元数据服务路径是在预设时间内利用元数据特征参数对所述分布式存储系统内的所有元数据服务路径进行筛选得到；

4、基于目标数量的元数据服务路径进行粒度计算得到第一路径结果；

5、根据路径寻优策略对所述第一路径结果进行评估计算得到第二路径结果；

6、根据局部性函数对所述第二路径结果进行局部性处理以确定源元数据服务到目标元数据服务对应元数据的局部性。

7、一方面，所述元数据特征参数至少包括时间戳参数；所述目标数量的元数据服务路径是在预设时间内利用元数据特征参数对所述分布式存储系统内的所有元数据服务路径进行筛选得到，包括：

8、预先对所述分布式存储系统内的所有元数据服务路径增加时间戳参数；

9、在预设时间内且所述分布式存储系统出现请求信息的情况下，根据预设时间的连续时间戳参数对请求信息对应的元数据服务路径进行筛选得到第一数量的元数据服务路径；

10、将所述第一数量的元数据服务路径作为所述目标数量的元数据服务路径。

11、另一方面，在筛选得到第一数量的元数据服务路径之后，还包括：

12、获取预设数量；

13、判断第一数量是否大于预设数量；

14、若是，则根据时间戳参数占据请求信息的时间程度对所述第一数量对应的元数据服务路径进行由大到小排序；

15、以最大占据请求信息的时间程度对应的元数据服务路径为基准，截取前预设目标数量对应的元数据服务路径作为所述目标数量的元数据服务路径；

16、若否，则将所述第一数量的元数据服务路径作为所述目标数量的元数据服务路径。

17、另一方面，所述元数据特征参数至少包括请求访问权限信息；所述目标数量的元数据服务路径是在预设时间内利用元数据特征参数对所述分布式存储系统内的所有元数据服务路径进行筛选得到，包括：

18、在预设时间内且所述分布式存储系统出现请求信息的情况下，对请求信息的请求访问权限信息对应的元数据服务路径进行筛选得到第二数量的元数据服务路径；

19、将所述第二数量的元数据服务路径作为所述目标数量的元数据服务路径。

20、另一方面，所述元数据服务路径由所述分布式存储系统对应的源节点的任意一个元数据服务到目标节点的任意一个元数据服务对应的路径得到；其中，所述分布式存储系统的各节点中至少包括一个元数据服务；若所述分布式存储系统的各节点中为多个元数据服务时，包括主元数据服务和备元数据服务。

21、另一方面，基于目标数量的元数据服务路径进行粒度计算得到第一路径结果，包括：

22、获取目标数量下的各元数据服务路径下的请求数据由源节点传输至目标节点以及反馈信息对应的时间参数；

23、根据时间参数确定对应的时延信息；

24、获取目标数量下的各元数据服务路径对应的路径长度；

25、建立各元数据服务路径的路径长度和时延信息之间的映射关系；

26、根据所述映射关系对所述目标数量的元数据服务路径进行排序以得到所述第一路径结果。

27、另一方面，根据路径寻优策略对所述第一路径结果进行评估计算得到第二路径结果，包括：

28、将所述第一路径结果作为初始输出向量；

29、获取迭代次数和预设层数；

30、根据递归算法对所述初始输出向量进行特征计算得到迭代次数以及预设层数对应的寻址矩阵和寻址特征矩阵；

31、根据所述寻址矩阵和所述寻址特征矩阵确定所述第二路径结果。

32、另一方面，根据递归算法对所述初始输出向量进行特征计算得到迭代次数以及预设层数对应的寻址矩阵和寻址特征矩阵，包括：

33、将初始输出向量对应的路径寻址信息作为第一层的寻址矩阵；

34、根据所述第一层的寻址矩阵、迭代次数和所述初始输出向量确定第一层的寻址特征矩阵；

35、将所述第一层的寻址特征矩阵作为第二层的初始输出向量；

36、根据所述第二层的初始输出向量对应的路径寻址信息作为第二层的寻址矩阵，并根据所述第二层的寻址矩阵、迭代次数和所述第二层的初始输出向量确定第三层的寻址特征矩阵；以此类推，直至当前迭代次数达到预设迭代次数，当前层数达到预设层数时，输出第层的寻址矩阵和第层的寻址特征矩阵；其中，为大于或者等于1的正整数。

37、另一方面，根据路径寻优策略对所述第一路径结果进行评估计算得到第二路径结果，包括：

38、获取所述第一路径结果对应的历史路径结果和对应的路径访问信息；

39、调用机器学习算法对所述历史路径结果和路径访问信息进行处理，得到所述第二路径结果。

40、另一方面，根据局部性函数对所述第二路径结果进行局部性处理以确定源元数据服务到目标元数据服务对应元数据的局部性，包括：

41、在所述第二路径结果中获取所述源元数据服务到目标元数据服务对应元数据的路径结果；

42、获取所述源元数据服务到所述目标元数据服务对应元数据的请求遍历次数；

43、根据所述路径结果、请求遍历次数、所述源元数据服务到所述目标元数据服务对应的标记路径信息和目标数量确定所述元数据的局部性。

44、另一方面，所述请求遍历次数的确定过程，包括：

45、获取预设请求信息；

46、将预设请求信息由所述源元数据服务所在的源节点发送至除所述源节点之外的其余节点，并将所述其余节点作为所述目标元数据服务所在的目标节点；

47、遍历所述目标元数据服务所在的目标节点以获取所述预设请求信息以及对应的请求遍历次数。

48、另一方面，根据所述路径结果、请求遍历次数、所述源元数据服务到所述目标元数据服务对应的标记路径信息和目标数量确定所述元数据的局部性，包括：

49、获取由所述源元数据服务到所述目标元数据服务对应的各请求遍历次数；

50、将所述源元数据服务的标记路径信息减去目标数量得到第一数据；

51、将所述第一数据减去1得到第二数据；

52、将所述目标数量与所述目标元数据服务的标记路径信息进行相乘处理得到第三数据；

53、将当前目标元数据服务对应的请求遍历次数与第二数据进行相乘处理得到第四数据；

54、将所述第四数据与所述第三数据进行相除处理得到第五数据；

55、将所述第五数据与所述当前目标元数据服务对应的第二路径结果进行相乘处理得到当前目标元数据服务对应的局部性；

56、将各目标元数据服务对应的局部性进行相加处理得到元数据的局部性。

57、为解决上述技术问题，本发明还提供一种元数据的寻址装置，包括：

58、存储器，用于存储计算机程序；

59、处理器，用于执行所述计算机程序时实现如上述所述的元数据的寻址方法的步骤。

60、为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的元数据的寻址方法的步骤。

61、为解决上述技术问题，本发明还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述元数据的寻址方法的步骤。

62、本发明提供一种元数据的寻址方法，应用于分布式存储系统，包括：获取分布式存储系统内目标数量的元数据服务路径；其中，目标数量的元数据服务路径是在预设时间内利用元数据特征参数对分布式存储系统内的所有元数据服务路径进行筛选得到；基于目标数量的元数据服务路径进行粒度计算得到第一路径结果；根据路径寻优策略对第一路径结果进行评估计算得到第二路径结果；根据局部性函数对第二路径结果进行局部性处理以确定源元数据服务到目标元数据服务对应元数据的局部性。

63、本发明的有益效果在于在预设时间内通过元数据特征参数筛选得到的目标数量的元数据服务路径，使得对大规模分布式存储文件系统的元数据进行局部管理，记录并统计元数据的路径信息，以提升元数据的局部性管理。同时，采用粒度计算方式得到第一路径结果，对元数据路径进行粒度的选择，提升元数据的时间局部性。同时，基于路径寻优策略对第一路径结果进行评估计算得到的第二路径结果，以此基于局部性函数对第二路径结果进行局部性处理，使得改变元数据局部性数据结构，确保分布式文件系统元数据存储路径的空间局部性，提高分布式存储文件系统中元数据操作的最优路径和存储系统io性能。

64、其次，通过在预设时间内对连续时间戳参数的元数据服务路径进行记录，以此提升元数据的时间局部性；在筛选得到第一数量的元数据服务路径之后，增加预设数量与第一数量进行对比过程，以保证最后筛选得到的元数据服务路径在所有元数据服务路径中处于局部性管理，进一步优化元数据服务路径；预设时间内对请求信息的请求访问权限信息对应的元数据服务路径进行记录，以此提升元数据的时间局部性；提供的两个元数据服务之间进行访问确定的路径过程，提高元数据访问寻址的灵活性和多样性，以此保证数据通信的同步和一致性校验；第一路径结果是寻找最优最短路径的元数据服务路径，以提高分布式存储系统元数据局部性和时效性；采用递归公式计算最短路径，在元数据服务路径的构建和优化中，递归思想实现逐个节点地评估和选择最优路径的实际问题。

65、另外，本发明还提供了一种元数据的寻址装置、介质及产品，具有如上述元数据的寻址方法相同的有益效果。