数据动态分配方法、设备及存储介质与流程

本申请涉及资源管理，特别是涉及一种数据动态分配方法、设备及存储介质。

背景技术：

1、在目前的数据处理场景中，存在大量数据库，以及用于分析或存储数据的节点，需要将数据库分配给这些节点进行分析或存储。

2、由于数据库中的数据数量会随时间变化，节点数量也存在动态增减，因此，在数据处理场景中，经常会出现节点之间负载不均衡的情况。

技术实现思路

1、本申请至少提供一种数据动态分配方法、设备及存储介质。

2、本申请第一方面提供了一种数据动态分配方法，方法包括：响应于针对数据接收节点的负载均衡请求，获取各个预分配数据库对应的库数据量、各个数据接收节点当前的数据可接收量、各个数据接收节点在前一分配周期中分配的数据库；其中，库数据量用于表征预分配数据库中含有的数据的数量，数据可接收量用于表征数据接收节点可接收的数据的数量；基于各个预分配数据库对应的库数据量和各个数据接收节点当前的数据可接收量，确定各个数据接收节点的第一分配结果；以及，基于各个数据接收节点在前一分配周期中分配的数据库，确定各个数据接收节点的第二分配结果；结合第一分配结果和第二分配结果，得到各个预分配数据库与各个数据接收节点之间的动态分配结果。

3、在一实施例中，获取各个预分配数据库对应的库数据量，包括：获取预分配数据库当前含有的实际数据量；基于实际数据量，预测在预设时间段内预分配数据库含有的数据量，得到库数据量；其中，预设时间段内在当前时间之后。

4、在一实施例中，基于实际数据量，预测在预设时间段内预分配数据库含有的数据量，得到库数据量，包括：统计预分配数据库的数据量变化，并计算各个数据接收节点的数据最大接收量之间的接收量差值；利用实际数据量、数据量变化和接收量差值，预测在预设时间段内预分配数据库含有的数据量，得到库数据量。

5、在一实施例中，基于各个预分配数据库对应的库数据量和各个数据接收节点当前的数据可接收量，确定各个数据接收节点的第一分配结果，包括：基于各个预分配数据库对应的库数据量的大小，对各个预分配数据库进行降序排序，得到数据库排序结果；利用数据库排序结果，从各个预分配数据库中筛选出目标分配数据库；基于各个数据接收节点当前的数据可接收量，从各个数据接收节点中筛选出目标数据接收节点；将目标分配数据库和目标数据接收节点，作为第一分配结果。

6、在一实施例中，利用数据库排序结果，从各个预分配数据库中筛选出目标分配数据库，包括：获取数据库选取数量；基于数据库选取数量，选取在数据库排序结果中排序靠前的预分配数据库，得到目标分配数据库。

7、在一实施例中，获取数据库选取数量，包括：检测当前剩余的预分配数据库对应的库数据量；基于剩余的预分配数据库对应的库数据量、各个数据接收节点当前的数据可接收量，计算得到数据库选取数量。

8、在一实施例中，基于各个数据接收节点在前一分配周期中分配的数据库，确定各个数据接收节点的第二分配结果，包括：将各个数据接收节点在前一分配周期中分配的数据库，作为当前分配周期中各个数据接收节点对应的亲和数据库；选取各个预分配数据库中各个数据接收节点对应的亲和数据库，得到第二分配结果。

9、在一实施例中，结合第一分配结果和第二分配结果，得到各个预分配数据库与各个数据接收节点之间的动态分配结果，包括：若数据接收节点的第一分配结果和第二分配结果存在相同预分配数据库，则将相同预分配数据库分配给数据接收节点；若数据接收节点的第一分配结果和第二分配结果不存在相同数据库，则将第一分配结果中库数据量最大的预分配数据库分配给数据接收节点。

10、本申请第二方面提供了一种数据动态分配装置，装置包括：请求响应模块，用于响应于针对数据接收节点的负载均衡请求，获取各个预分配数据库对应的库数据量、各个数据接收节点当前的数据可接收量、各个数据接收节点在前一分配周期中分配的数据库；其中，库数据量用于表征预分配数据库中含有的数据的数量，数据可接收量用于表征数据接收节点可接收的数据的数量；初始分配模块，用于基于各个预分配数据库对应的库数据量和各个数据接收节点当前的数据可接收量，确定各个数据接收节点的第一分配结果；以及，基于各个数据接收节点在前一分配周期中分配的数据库，确定各个数据接收节点的第二分配结果；结果生成模块，用于结合第一分配结果和第二分配结果，得到各个预分配数据库与各个数据接收节点之间的动态分配结果。

11、本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述数据动态分配方法。

12、本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述数据动态分配方法。

13、上述方案，通过响应于针对数据接收节点的负载均衡请求，获取各个预分配数据库对应的库数据量、各个数据接收节点当前的数据可接收量、各个数据接收节点在前一分配周期中分配的数据库，基于各个预分配数据库对应的库数据量和各个数据接收节点当前的数据可接收量，确定各个数据接收节点的第一分配结果，以及，基于各个数据接收节点在前一分配周期中分配的数据库，确定各个数据接收节点的第二分配结果，结合第一分配结果和第二分配结果，得到各个预分配数据库与各个数据接收节点之间的动态分配结果，可以在实现数据接收节点之间的负载均衡的前提下，有效减少数据库与数据接收节点的切换，减少节点性能消耗，更快完成节点的负载均衡。

14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

技术特征：

1.一种数据动态分配方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取各个预分配数据库对应的库数据量，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述实际数据量，预测在预设时间段内所述预分配数据库含有的数据量，得到库数据量，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述各个预分配数据库对应的库数据量和所述各个数据接收节点当前的数据可接收量，确定所述各个数据接收节点的第一分配结果，包括：

5.根据权利要求4所述的方法，其特征在于，所述利用所述数据库排序结果，从所述各个预分配数据库中筛选出目标分配数据库，包括：

6.根据权利要求5所述的方法，其特征在于，所述获取数据库选取数量，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述各个数据接收节点在前一分配周期中分配的数据库，确定所述各个数据接收节点的第二分配结果，包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，所述结合所述第一分配结果和所述第二分配结果，得到所述各个预分配数据库与所述各个数据接收节点之间的动态分配结果，包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现如权利要求1-8任一项所述方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序指令，所述程序指令能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。

技术总结本申请公开了一种数据动态分配方法、设备及存储介质，该数据动态分配方法包括：响应于针对数据接收节点的负载均衡请求，获取各个预分配数据库对应的库数据量、各个数据接收节点当前的数据可接收量、各个数据接收节点在前一分配周期中分配的数据库；基于各个预分配数据库对应的库数据量和各个数据接收节点当前的数据可接收量，确定第一分配结果；以及，基于各个数据接收节点在前一分配周期中分配的数据库，确定第二分配结果；结合第一分配结果和第二分配结果，得到动态分配结果。可以在实现数据接收节点之间的负载均衡的前提下，有效减少数据库与数据接收节点的切换，减少数据接收节点性能消耗，更快完成数据接收节点的负载均衡。技术研发人员：曹敏,饶平,吴林俊受保护的技术使用者：浙江大华技术股份有限公司技术研发日：技术公布日：2024/8/1