基于两级架构的数据处理方法和装置、电子设备及介质与流程

本申请涉及数据管理，尤其涉及一种基于两级架构的数据处理方法和装置、电子设备及介质。

背景技术：

1、相关技术中，随着网络模型算法的发展，网络模型算法的品牌、版本和数量也越来越多。目前，对于不同品牌或不同版本的网络模型算法数据采用不同的管理方式，大大增加了网络模型算法数据的管理和运维工作量，同时也降低应用过程不同网络模型算法数据之间的关联程度。

2、综上，相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本申请实施例的主要目的在于提出一种基于两级架构的数据处理方法和装置、电子设备及介质，能够有效减少算法数据的管理和运维工作量，并提高不同算法数据之间的关联度。

2、为实现上述目的，本申请实施例的一方面提出了一种基于两级架构的数据处理方法，所述方法应用于第一架构，所述方法包括以下步骤：

3、获取若干条第一算法数据；

4、对所有所述第一算法数据进行流转处理，得到第二算法数据；

5、将所述第二算法数据下发到对应的第二架构；所述第二架构用于将所述第二算法数据部署到预设平台；所述第一架构的级别高于所述第二架构的级别；

6、接收所述第二架构上传的预设文件，所述预设文件用于记录sql变更语句信息；

7、根据所述预设文件更新所述第二算法数据，得到第三算法数据；

8、将所述第三算法数据下发到所述第二架构，所述第二架构根据所述第三算法数据更新所述预设平台中的算法数据。

9、在一些实施例中，所述对所有所述第一算法数据进行流转处理，得到第二算法数据，包括：

10、依次将所述第一算法数据进行镜像处理，得到若干条算法镜像数据；

11、依次对所述算法镜像数据进行封装，得到若干条算法包；

12、依次对所述算法包进行评测，得到所述第二算法数据。

13、在一些实施例中，在所述依次将所述第一算法数据进行镜像处理时，所述方法还包括以下步骤：

14、获取兜底逻辑信息；

15、根据所述兜底逻辑信息对镜像处理失败的所述第一算法数据进行处理。

16、在一些实施例中，所述依次对所述算法镜像数据进行封装，得到若干条算法包，包括：

17、依次根据所述算法镜像数据的算法编码和算法名称编写部署脚本；

18、根据所述部署脚本，将所述算法镜像数据和所述第一算法数据中的算法信息进行封装，得到若干条所述算法包。

19、在一些实施例中，所述根据所述预设文件更新所述第二算法数据，得到第三算法数据，包括：

20、从所述预设文件中解析得到变更事件，所述变更事件包括事件类型和变更内容；

21、根据所述变更事件更新所述第二算法数据，得到所述第三算法数据。

22、在一些实施例中，所述从所述预设文件中解析得到变更事件，包括：

23、获取所述预设文件中的二进制数据；

24、根据所述二进制数据转化生成所述变更事件，所述变更事件的数据包括结构化数据。

25、在一些实施例中，所述根据所述变更事件更新所述第二算法数据，包括：

26、根据所述变更事件触发算法变更任务；

27、获取所述算法变更任务的依赖关系和优先级；

28、根据所述依赖关系和优先级更新所述第二算法数据。

29、为实现上述目的，本申请实施例的另一方面提出了一种基于两级架构的数据处理装置，所述装置应用于第一架构，所述装置包括：

30、第一模块，用于获取若干条第一算法数据；

31、第二模块，用于对所有所述第一算法数据进行流转处理，得到第二算法数据；

32、第三模块，用于将所述第二算法数据下发到对应的第二架构；所述第二架构用于将所述第二算法数据部署到预设平台；所述第一架构的级别高于所述第二架构的级别；

33、第四模块，用于接收所述第二架构上传的预设文件，所述预设文件用于记录sql变更语句信息；

34、第五模块，用于根据所述预设文件更新所述第二算法数据，得到第三算法数据；

35、第六模块，用于将所述第三算法数据下发到所述第二架构，所述第二架构根据所述第三算法数据更新所述预设平台中的算法数据。

36、为实现上述目的，本申请实施例的另一方面提出了一种电子设备，包括：

37、至少一个处理器；

38、至少一个存储器，用于存储至少一个程序；

39、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。

40、为实现上述目的，本申请实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

41、本申请实施例至少包括以下有益效果：本申请提供一种基于两级架构的数据处理方法和装置、电子设备及介质,该方案通过在第一架构中对若干条算法数据进行流转处理得到第二算法数据后，将第二算法数据下发到级别较低的第二架构中，以通过第二架构将第二算法数据部署到预设平台，并接收第二架构上传的用于记录sql变更语句信息的预设文件后，基于预设文件更新第二算法数据得到第三算法数据，再将第三算法数据下发到第二架构，以通过第二架构根据所述第三算法数据更新预设平台中的算法数据，从而实现不同品牌、不同版本算法数据的统一管理、更新过程，大大减少算法数据的管理和运维工作量，并提高不同算法数据之间在应用过程中的关联度。

技术特征：

1.一种基于两级架构的数据处理方法，其特征在于，所述方法应用于第一架构，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述对所有所述第一算法数据进行流转处理，得到第二算法数据，包括：

3.根据权利要求2所述的方法，其特征在于，在所述依次将所述第一算法数据进行镜像处理时，所述方法还包括以下步骤：

4.根据权利要求2所述的方法，其特征在于，所述依次对所述算法镜像数据进行封装，得到若干条算法包，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述预设文件更新所述第二算法数据，得到第三算法数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述从所述预设文件中解析得到变更事件，包括：

7.根据权利要求5所述的方法，其特征在于，所述根据所述变更事件更新所述第二算法数据，包括：

8.一种基于两级架构的数据处理装置，其特征在于，所述装置应用于第一架构，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

技术总结本申请公开了一种基于两级架构的数据处理方法和装置、电子设备及介质，可广泛应用于数据管理技术领域。本申请通过在第一架构中对若干条算法数据进行流转处理得到第二算法数据后，将第二算法数据下发到级别较低的第二架构中，以通过第二架构将第二算法数据部署到预设平台，并接收第二架构上传的用于记录SQL变更语句信息的预设文件后，基于预设文件更新第二算法数据得到第三算法数据，再将第三算法数据下发到第二架构，以通过第二架构根据所述第三算法数据更新预设平台中的算法数据，从而实现不同品牌、不同版本算法数据的统一管理、更新过程，大大减少算法数据的管理和运维工作量，并提高不同算法数据之间在应用过程中的关联度。技术研发人员：王卓雅受保护的技术使用者：中电信人工智能科技（北京）有限公司技术研发日：技术公布日：2024/11/18