插件管理系统及数据同步方法、设备、存储介质和程序与流程

本发明涉及云计算，尤其涉及一种插件管理系统及数据同步方法、设备、存储介质和程序。

背景技术：

1、数据同步技术可以帮助用户实现两个数据源之间的数据传输，通常可以包括批量数据同步和实时数据同步。用户可以使用某种数据同步引擎（比如目前的流批一体的数据同步引擎）来实现源端数据源中数据向目的端数据源的数据同步传输，在进行该数据同步的过程中，需要使用到插件。插件的功能，概括来说就是数据同步引擎通过插件来连接各类型的数据源以执行读写操作。所以插件是数据同步引擎实现可扩展性的基础，即同一数据同步引擎可以使用不同类型的插件来对不同类型的数据源进行数据同步处理。

2、目前，当某用户有数据同步需求时，可以预先在一个或多个容器中来启动该用户对应的数据同步引擎镜像文件，以在每个容器中形成一个独立的数据同步引擎实例。其中，该数据同步引擎镜像文件中包含该用户可用的所有版本的插件，从而该容器中也会包含这些插件，以供容器中的数据同步引擎实例使用。目前，都是在容器本地对插件进行维护。比如，当用户产生新的插件时，需要运维人员手动地将新插件部署到容器中，当使用新插件时遇到异常情况需要回退到某旧版本的插件时，需要运维人员手动地完成切换。这种维护操作效率低而且容易有遗漏，而且，当容器因为运行异常而重启时，如果新插件还没有更新到上述数据同步引擎镜像文件中，那么新插件的更新将会丢失，所以整体维护成本较高。另外，随着数据同步引擎支持的插件越来越多，数据同步引擎镜像文件的体积也越来越大，不利于后续动态扩容时快速地启动一个新的容器（即启动一个新的数据同步引擎实例）来执行数据同步任务。

技术实现思路

1、本发明实施例提供一种插件管理系统及数据同步方法、设备、存储介质和程序，用以降低插件的维护成本，精简数据同步引擎实例的体积。

2、第一方面，本发明实施例提供一种插件管理系统，该系统包括：

3、插件存储系统、插件管理应用和在执行器中启动的数据同步引擎实例，所述数据同步引擎实例与目标用户对应；

4、所述插件管理应用，用于获取目标用户提供的第一版本号的目标插件，确定所述目标插件的第一元数据信息，将所述第一版本号的目标插件和所述第一元数据信息上传至所述插件存储系统，所述第一元数据信息中包含目标插件标识、目标用户标识和所述目标插件的第一版本号；

5、所述插件存储系统，用于存储所述第一版本号的目标插件和所述第一元数据信息，以所述第一元数据信息更新插件版本管理文件中已存储的第二元数据信息，所述插件版本管理文件用于记录各插件的更新后的元数据信息，所述第二元数据信息中包含所述目标插件标识、所述目标用户标识和所述目标插件的第二版本号；

6、数据同步引擎实例启动的第一进程，用于接收所述目标用户触发的第一数据同步任务，根据所述第一数据同步任务中包含的所述目标用户标识和所述目标插件标识，查询所述插件版本管理文件以得到对应的所述第一元数据信息，根据所述第一元数据信息从所述插件存储系统中下载所述第一版本号的目标插件到所述执行器，以使用所述第一版本号的目标插件执行所述第一数据同步任务。

7、第二方面，本发明实施例提供一种数据同步方法，应用于数据同步引擎实例启动的进程，所述数据同步引擎实例与目标用户对应，该方法包括：

8、接收目标用户触发的第一数据同步任务，所述第一数据同步任务中包含目标用户标识和目标插件标识，所述目标插件标识对应于所需使用的目标插件；

9、根据所述目标用户标识和所述目标插件标识，查询插件存储系统中的插件版本管理文件以得到对应的第一元数据信息，所述第一元数据信息中包含所述目标插件标识、所述目标用户标识和第一版本号，所述插件版本管理文件用于记录各插件的更新后的元数据信息，其中，插件管理应用将所述第一版本号的目标插件和所述第一元数据信息上传至所述插件存储系统后，所述插件存储系统存储所述第一版本号的目标插件和所述第一元数据信息，并以所述第一元数据信息更新所述插件版本管理文件中已存储的第二元数据信息，所述第二元数据信息中包含所述目标插件标识、所述目标用户标识和所述目标插件的第二版本号；

10、根据所述第一元数据信息从所述插件存储系统中下载所述第一版本号的目标插件到启动所述数据同步引擎实例的执行器，以使用所述第一版本号的目标插件执行所述第一数据同步任务。

11、第三方面，本发明实施例提供一种数据同步装置，应用于数据同步引擎实例启动的进程，所述数据同步引擎实例与目标用户对应，该装置包括：

12、接收模块，用于接收目标用户触发的第一数据同步任务，所述第一数据同步任务中包含目标用户标识和目标插件标识，所述目标插件标识对应于所需使用的目标插件；

13、查询模块，用于根据所述目标用户标识和所述目标插件标识，查询插件存储系统中的插件版本管理文件以得到对应的第一元数据信息，所述第一元数据信息中包含所述目标插件标识、所述目标用户标识和第一版本号，所述插件版本管理文件用于记录各插件的更新后的元数据信息，其中，插件管理应用将所述第一版本号的目标插件和所述第一元数据信息上传至所述插件存储系统后，所述插件存储系统存储所述第一版本号的目标插件和所述第一元数据信息，并以所述第一元数据信息更新所述插件版本管理文件中已存储的第二元数据信息，所述第二元数据信息中包含所述目标插件标识、所述目标用户标识和所述目标插件的第二版本号；

14、下载模块，用于根据所述第一元数据信息从所述插件存储系统中下载所述第一版本号的目标插件到启动所述数据同步引擎实例的执行器；

15、执行模块，用于使用所述第一版本号的目标插件执行所述数据同步任务。

16、第四方面，本发明实施例提供一种数据同步方法，应用于插件存储系统，所述方法包括：

17、接收插件管理应用发送的第一版本号的目标插件和第一元数据信息，所述第一元数据信息中包含目标插件标识、目标用户标识和所述目标插件的第一版本号；

18、存储所述第一版本号的目标插件和所述第一元数据信息，以所述第一元数据信息更新插件版本管理文件中已存储的第二元数据信息，所述插件版本管理文件用于记录各插件的更新后的元数据信息，所述第二元数据信息中包含所述目标插件标识、所述目标用户标识和所述目标插件的第二版本号；

19、响应于数据同步引擎实例启动的进程在接收到目标用户触发的数据同步任务后，根据所述数据同步任务中包含的所述目标用户标识和所述目标插件标识触发的插件查询请求，将从所述插件版本管理文件中查询到的与所述插件查询请求对应的所述第一元数据信息反馈给所述进程，以使所述进程根据所述第一元数据信息从所述插件存储系统中下载所述第一版本号的目标插件，以使用所述第一版本号的目标插件执行所述数据同步任务，所述数据同步引擎实例与所述目标用户对应。

20、第五方面，本发明实施例提供一种数据同步方法，应用于插件管理应用，所述方法包括：

21、获取目标用户提供的第一版本号的目标插件；

22、确定所述目标插件的第一元数据信息，所述第一元数据信息中包含目标插件标识、目标用户标识和所述目标插件的第一版本号；

23、将所述第一版本号的目标插件和所述第一元数据信息上传至所述插件存储系统，以使所述插件存储系统存储所述第一版本号的目标插件和所述第一元数据信息，并以所述第一元数据信息更新插件版本管理文件中已存储的第二元数据信息，所述插件版本管理文件用于记录各插件的更新后的元数据信息，所述第二元数据信息中包含所述目标插件标识、所述目标用户标识和所述目标插件的第二版本号；所述第一元数据信息使得与所述目标用户对应的数据同步引擎实例所启动的进程能够基于所述第一元数据信息从所述插件存储系统下载所述第一版本号的目标插件以执行数据同步任务。

24、第六方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第二方面或第三方面或第四方面所述的数据同步方法。

25、第七方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第二方面或第三方面或第四方面所述的数据同步方法。

26、第八方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品中包含计算机程序，当其被电子设备的处理器执行时，使所述处理器至少可以实现如第二方面或第三方面或第四方面所述的数据同步方法。

27、本发明实施例提供的插件管理系统，适用于数据同步场景，用于对数据同步引擎支持的插件进行智能化管理。具体地，插件管理系统包括插件存储系统、插件管理应用和在执行器（比如容器、虚拟机等）中启动的数据同步引擎实例，以与某目标用户对应的数据同步引擎实例为例，该数据同步引擎实例可以基于与该目标用户对应的未包含有插件的数据同步引擎镜像文件启动。

28、其中，插件管理应用和插件存储系统用于实现对不同用户的各插件的集中版本管理。插件存储系统相当于是一个中心仓库，用于存储各用户的各插件的元数据信息以及插件。以上述目标用户提供的目标插件为例，插件管理应用获取到目标用户提供的第一版本号的目标插件后，确定目标插件的第一元数据信息，将目标插件和该第一元数据信息上传至插件存储系统，其中，第一元数据信息中包含目标插件标识、目标用户标识和目标插件的第一版本号。插件存储系统存储目标插件和第一元数据信息，而且以第一元数据信息更新插件版本管理文件中已存储的第二元数据信息，第二元数据信息中包含目标插件标识、目标用户标识和目标插件的第二版本号。其中，插件版本管理文件用于记录各插件的更新后的元数据信息。也就是说，插件版本管理文件用于实现对各用户的各版本的插件的版本管理，主要是记录各用户的最新更新操作对应的插件的版本信息。

29、基于此，目标用户对应的数据同步引擎实例在接收到目标用户触发的第一数据同步任务时，启动第一进程来处理第一数据同步任务。第一进程根据第一数据同步任务中包含的目标用户标识和目标插件标识，查询该插件版本管理文件以得到对应的第一元数据信息，从而根据第一元数据信息从插件存储系统中下载第一版本号的目标插件到本地执行器，以使用第一版本号的目标插件执行第一数据同步任务。

30、在上述方案中，由插件管理应用和插件存储系统实现对各用户的插件的存储以及版本管理，从而可以使得数据同步引擎实例能够按需加载所需插件，降低了数据同步引擎实例的体积。