基于不同用户间的数据迁移方法及装置、电子设备与流程
- 国知局
- 2024-09-05 14:34:21
本发明涉及大数据领域、金融科技领域或其他相关,具体而言,涉及一种基于不同用户间的数据迁移方法及装置、电子设备。
背景技术:
1、在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分,是进行科学研究和决策管理的重要技术手段。
2、数据库是按照数据结构来组织、存储和管理数据的仓库,随着信息技术的发展和业务的开展,数据量不断增大,且旧的数据系统难以满足数据管理需求,此时可以通过拆分数据库对原有的数据库架构进行优化,一般来说直接拆分数据库是很困难的,海量数据与功能点很难在保障业务正常办理的情况下从主应用迁移出去。因此逻辑解耦就成为数据库拆分的准备工作,对于数据库的逻辑解耦通常是将原本的主用户分为多个子用户,并将主用户的数据库对象完整的迁移到子用户中,从而实现在用户层面解除业务逻辑的耦合,之后再进行数据库的物理拆分就会相对简单。
3、相关技术中,在对数据库中的数据进行迁移时,大多采用复制迁移的方式,可以基于数据泵导出数据库全量数据,在新用户建立好新的数据结构后再使用数据泵导入,上述通过数据泵导出的数据迁移方式,耗时较长,导致迁移效率较低,对于数据量大的迁移场景,难以快速对数据进行迁移,导致业务长期停滞,影响业务正常进行。
4、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本发明实施例提供了一种基于不同用户间的数据迁移方法及装置、电子设备,以至少解决相关技术中通过数据泵导出的方式进行数据迁移,耗时较长,迁移效率较低的技术问题。
2、根据本发明实施例的一个方面,提供了一种基于不同用户间的数据迁移方法,包括:确定第一用户待迁移的数据表集合,并基于所述数据表集合创建技术表和用于接收所述数据表集合的第二用户,其中,所述数据表集合中包括n个数据表,所述技术表用于记录所述第一用户的迁移信息,所述第一用户和所述第二用户为同一数据库中的不同用户;依据所述技术表中的数据字段信息生成第一数据迁移语句;在所述数据表集合中查询系统表,并基于系统表中的数据结构字段信息生成第二数据迁移语句,其中,所述系统表用于记录所述第一用户所属数据库的结构信息;执行所述第一数据迁移语句和所述第二数据迁移语句,以将所述数据表集合从所述第一用户迁移至所述第二用户。
3、可选地,基于所述数据表集合创建用于接收所述数据表集合的第二用户的步骤,包括:依据所述数据表集合创建表空间和分区空间,其中,所述表空间和所述分区空间均为所述数据库中用于存储数据的逻辑单元,所述表空间的空间范围大于所述分区空间的空间范围;依据所述表空间和所述分区空间创建第二用户,并为所述第二用户配置权限信息。
4、可选地,为所述第二用户配置权限信息的步骤包括:为所述第二用户配置针对所述表空间和所述分区空间的访问权限信息;为所述第二用户配置所述数据表的操作权限信息。
5、可选地,在执行所述第一数据迁移语句和所述第二数据迁移语句之前,还包括:在测试环境中执行所述第一数据迁移语句和所述第二数据迁移语句,并记录每份数据表的迁移时长;基于所述数据表的迁移时长创建并行任务,其中,所述并行任务用于对迁移时长的差值小于预设差值阈值的数据表集合进行并行迁移。
6、可选地,在将所述数据表集合从所述第一用户迁移至所述第二用户之后,还包括:对所述技术表进行更新;从更新后的所述技术表中获取迁移失败的数据表;对于迁移失败的所述数据表,基于所述数据表的类型配置迁移失败应急方案。
7、可选地,在将所述数据表集合从所述第一用户迁移至所述第二用户之后,还包括:对迁移至所述第二用户的所述数据表集合批量进行表分析,得到分析结果,其中,表分析的分析内容至少包括下述之一:分析数据表的索引有效性、分析数据查询效率、分析数据表的完整性;基于所述分析结果对所述第二用户的数据表进行优化。
8、可选地,在执行所述第一数据迁移语句和所述第二数据迁移语句之前,还包括:记录所述待迁移的数据表集合的数据量;修改所述第一用户待迁移的数据表集合中各数据表的标识信息。
9、根据本发明实施例的另一方面,还提供了一种基于不同用户间的数据迁移装置,包括:创建单元,用于确定第一用户待迁移的数据表集合,并基于所述数据表集合创建技术表和用于接收所述数据表集合的第二用户,其中,所述数据表集合中包括n个数据表,所述技术表用于记录所述第一用户的迁移信息,所述第一用户和所述第二用户为同一数据库中的不同用户;第一生成单元,用于依据所述技术表中的数据字段信息生成第一数据迁移语句;第二生成单元,用于在所述数据表集合中查询系统表,并基于系统表中的数据结构字段信息生成第二数据迁移语句,其中,所述系统表用于记录所述第一用户所属数据库的结构信息;迁移单元,用于执行所述第一数据迁移语句和所述第二数据迁移语句,以将所述数据表集合从所述第一用户迁移至所述第二用户。
10、可选地,所述创建单元包括:第一创建模块,用于依据所述数据表集合创建表空间和分区空间,其中,所述表空间和所述分区空间均为所述数据库中用于存储数据的逻辑单元,所述表空间的空间范围大于所述分区空间的空间范围;第一配置模块,用于依据所述表空间和所述分区空间创建第二用户,并为所述第二用户配置权限信息。
11、可选地,所述第一配置模块包括:第一配置子模块,用于为所述第二用户配置针对所述表空间和所述分区空间的访问权限信息;第二配置子模块,用于为所述第二用户配置所述数据表的操作权限信息。
12、可选地,所述基于不同用户间的数据迁移装置还包括:第一执行模块,用于在测试环境中执行所述第一数据迁移语句和所述第二数据迁移语句,并记录每份数据表的迁移时长;第二创建模块,用于基于所述数据表的迁移时长创建并行任务,其中,所述并行任务用于对迁移时长的差值小于预设差值阈值的数据表集合进行并行迁移。
13、可选地,所述基于不同用户间的数据迁移装置还包括:第一更新模块,用于对所述技术表进行更新;第一获取模块,用于从更新后的所述技术表中获取迁移失败的数据表;第二配置模块,用于对于迁移失败的所述数据表,基于所述数据表的类型配置迁移失败应急方案。
14、可选地,所述基于不同用户间的数据迁移装置还包括:第一分析模块,用于对迁移至所述第二用户的所述数据表集合批量进行表分析,得到分析结果,其中,表分析的分析内容至少包括下述之一:分析数据表的索引有效性、分析数据查询效率、分析数据表的完整性;第一优化模块,用于基于所述分析结果对所述第二用户的数据表进行优化。
15、可选地,所述基于不同用户间的数据迁移装置还包括:第一记录模块,用于记录所述待迁移的数据表集合的数据量;第一修改模块,用于修改所述第一用户待迁移的数据表集合中各数据表的标识信息。
16、根据本发明实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项基于不同用户间的数据迁移方法。
17、根据本发明实施例的另一方面,还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,其中,所述计算机程序被处理器执行时实现上述任意一项基于不同用户间的数据迁移方法。
18、在本公开中,通过以下步骤:先确定第一用户待迁移的数据表集合,并基于数据表集合创建技术表和用于接收数据表集合的第二用户,其中,数据表集合中包括n个数据表,技术表用于记录第一用户的迁移信息,第一用户和第二用户为同一数据库中的不同用户,再依据技术表中的数据字段信息生成第一数据迁移语句,然后在数据表集合中查询系统表,并基于系统表中的数据结构字段信息生成第二数据迁移语句,其中,系统表用于记录第一用户所属数据库的结构信息,最后执行第一数据迁移语句和第二数据迁移语句,以将数据表集合从第一用户迁移至第二用户。
19、在本公开中,通过预先构建的技术表和数据库服务器生成的系统表中记载的字段信息,可以自动生成数据迁移语句,依次执行第一数据迁移语句和第二数据迁移语句,可以快速将数据库中第一用户管理的数据完整地迁移至新用户中,提升迁移效率,减小对业务办理的影响,进而解决了相关技术中通过数据泵导出的方式进行数据迁移,耗时较长,迁移效率较低的技术问题。
本文地址:https://www.jishuxx.com/zhuanli/20240905/287036.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表