一种数据导入方法、装置、设备及存储介质与流程

本申请涉及数据导入，尤其涉及一种数据导入方法、装置、设备及存储介质。

背景技术：

1、由于大数据相关应用的蓬勃发展，存在很多需要将海量数据导入到线上服务进行查询的应用场景，具体的，在上游数据挖掘端将相关数据导入至在线存储的同时，下游服务可以通过调用在线存储的方式进行数据查询。

2、然而，现有的数据导入方案更多地关注导入便利性和异构性导入的支持情况，却很少关注数据导入过程对下游服务调用的影响，例如，大量数据并行导入线上存储可能会使得下游服务对线上存储的调用效率降低，因此，为了平衡数据导入性能和下游服务质量，需要提供一种更加精准有效的数据导入方案。

技术实现思路

1、本申请提供了一种数据导入方法、装置、设备及存储介质，通过导入关联信息和下游服务调用信息建立数据导入性能和下游服务性能间的自动反馈机制，可以在提升数据导入效率的同时，提升下游数据调用端的服务质量，本申请技术方案如下：

2、一方面，提供了一种数据导入方法，所述方法包括：

3、响应于针对目标数据的数据导入任务，获取目标存储区域对应的任务调度关联信息，所述目标存储区域为所述目标数据对应的导入区域，所述任务调度关联信息包括：导入关联信息和下游服务调用信息，所述导入关联信息用于表征所述目标存储区域对应的导入任务队列的运行状态，所述下游服务调用信息用于表征所述目标存储区域与下游数据调用端之间的数据调用链路的运行状态；

4、基于所述导入关联信息和所述下游服务调用信息进行任务调度分析，得到任务调度指示信息；

5、向数据导入平台发送所述任务调度指示信息，以使所述数据导入平台基于所述任务调度指示信息，执行所述数据导入任务。

6、另一方面，提供了一种数据导入装置，所述方法包括：

7、任务调度关联信息获取模块，用于响应于针对目标数据的数据导入任务，获取目标存储区域对应的任务调度关联信息，所述目标存储区域为所述目标数据对应的导入区域，所述任务调度关联信息包括：导入关联信息和下游服务调用信息，所述导入关联信息用于表征所述目标存储区域对应的导入任务队列的运行状态，所述下游服务调用信息用于表征所述目标存储区域与下游数据调用端之间的数据调用链路的运行状态；

8、任务调度分析模块，用于基于所述导入关联信息和所述下游服务调用信息进行任务调度分析，得到任务调度指示信息；

9、任务调度指示信息发送模块，用于向数据导入平台发送所述任务调度指示信息，以使所述数据导入平台基于所述任务调度指示信息，执行所述数据导入任务。

10、另一方面，提供了一种数据导入设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如第一方面所述的数据导入方法。

11、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如第一方面所述的数据导入方法。

12、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如第一方面所述的数据导入方法。

13、本申请提供的一种数据导入方法、装置、设备及存储介质，具有如下技术效果：

14、本申请中响应于针对目标数据的数据导入任务，可以基于导入关联信息和下游服务调用信息进行任务调度分析，得到数据导入任务的任务调度指示信息，通过结合导入任务队列的执行状态和数据调用链路的运行状态进行任务调度分析，提升任务调度指示信息的合理性和精准性，并向数据导入平台发送所述任务调度指示信息，以使数据导入平台基于任务调度指示信息，执行数据导入任务，从而由数据导入平台对目标存储区域的导入执行结果，影响下游对目标存储区域的调用服务质量，通过导入关联信息和下游服务调用信息建立数据导入性能和下游服务性能间的自动反馈机制，可以在提升数据导入效率的同时，保证下游数据调用端的服务质量。

技术特征：

1.一种数据导入方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述导入关联信息包括：所述导入任务队列的任务并行信息和所述导入任务队列的任务排队信息，所述下游服务调用信息包括：数据调用耗时信息和数据调用超时信息，所述基于所述导入关联信息和所述下游服务调用信息进行任务调度分析，得到任务调度指示信息包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1至7任一所述的方法，其特征在于，所述获取目标存储区域对应的任务调度关联信息包括：

9.一种数据导入装置，特征在于，所述装置包括：

10.一种数据导入设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的数据导入方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的数据导入方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的数据导入方法。

技术总结本申请公开了一种数据导入方法、装置、设备及存储介质，具体的，该方法包括：响应于针对目标数据的数据导入任务，获取目标存储区域对应的导入关联信息和下游服务调用信息，导入关联信息用于表征目标存储区域对应的导入任务队列的运行状态，下游服务调用信息用于表征目标存储区域与下游数据调用端之间的数据调用链路的运行状态；基于导入关联信息和下游服务调用信息进行任务调度分析，得到任务调度指示信息；向数据导入平台发送任务调度指示信息，以使数据导入平台基于任务调度指示信息，执行数据导入任务。利用本申请提供的方案，可以建立数据导入性能和下游服务性能间的自动反馈机制，从而在提升数据导入效率的同时，保证下游服务质量。技术研发人员：彭承晴受保护的技术使用者：腾讯科技（北京）有限公司技术研发日：技术公布日：2024/8/1