分库分表的数据处理方法、系统、存储介质及电子设备与流程

技术特征：
1.一种分库分表的数据处理方法，其特征在于，所述方法包括：在分库分表的过程中，通过预设全局策略将获取到的待存储数据存储至数据库集群中；所述预设全局策略用于根据数据库集群的容量存储范围分配所述待存储数据和根据新增的待存储数据量分配新的数据库的策略；所述容量存储范围为所述数据库集群能容纳的数据容量范围；通过预设局部策略，将所述数据库集群中的待存储数据存储在数据库的数据表中；所述预设局部策略为确保在数据增长导致的数据迁移的过程中使数据库集群中的待存储数据均匀分布在数据表中的策略；所述预设局部策略由哈希取模的基数确定；所述哈希取模的基数为所述数据库集群中所有数据表的总数。2.根据权利要求1所述的方法，其特征在于，所述在分库分表的过程中，通过预设全局策略将获取到的待存储数据存储至数据库集群中，包括：在分库分表的过程中，确定获取到的待存储数据的路由标识；所述路由标识用于表征待存储数据的编号；通过预设全局策略确定所述路由标识在数据库集群的容量存储范围；所述数据库集群包括多个数据库；将所述待存储数据存储至所述容量存储范围对应的数据库中。3.根据权利要求2所述的方法，其特征在于，所述通过预设局部策略，将所述数据库集群中的待存储数据存储在数据库的数据表中，包括：获取所述数据库中数据表的总数；确定所述数据表的总数对应的数据表编号；确定所述数据库集群中的待存储数据的路由标识；通过预设取模公式，对所述数据表编号和所述路由标识进行取模，得到取模结果；所述取模结果用于表征所述待存储数据在所述数据表编号中的存储表编号；通过所述取模结果，将所述待存储数据均匀存储至所述数据表编号对应的数据表中。4.根据权利要求3所述的方法，其特征在于，还包括：对数据库和数据表进行统一编码操作；所述统一编码操用于确保数据库集群中的待存储数据均匀分布在数据表中。5.根据权利要求1所述的方法，其特征在于，还包括：当监测到新增的待存储数据时，通过所述预设全局策略，将所述新增的待存储数据存储至新的数据库中。6.一种分库分表的数据处理系统，其特征在于，所述系统包括：第一存储单元，用于在分库分表的过程中，通过预设全局策略将获取到的待存储数据存储至数据库集群中；所述预设全局策略用于根据数据库集群的容量存储范围分配所述待存储数据和根据新增的待存储数据量分配新的数据库的策略；所述容量存储范围为所述数据库集群能容纳的数据容量范围；第二存储单元，用于通过预设局部策略，将所述数据库集群中的待存储数据存储在数据库的数据表中；所述预设局部策略为确保在数据增长导致的数据迁移的过程中使数据库集群中的待存储数据均匀分布在数据表中的策略；所述预设局部策略由哈希取模的基数确定；所述哈希取模的基数为所述数据库集群中所有数据表的总数。
7.根据权利要求6所述的系统，其特征在于，所述第一存储单元，包括：第一确定模块，用于在分库分表的过程中，确定获取到的待存储数据的路由标识；所述路由标识用于表征待存储数据的编号；第二确定模块，用于通过预设全局策略确定所述路由标识在数据库集群的容量存储范围；所述数据库集群包括多个数据库；第一存储模块，用于将所述待存储数据存储至所述容量存储范围对应的数据库中。8.根据权利要求7所述的系统，其特征在于，所述第二存储单元，包括：获取模块，用于获取所述数据库中数据表的总数；第三确定模块，用于确定所述数据表的总数对应的数据表编号；第四确定模块，用于确定所述数据库集群中的待存储数据的路由标识；取模模块，用于通过预设取模公式，对所述数据表编号和所述路由标识进行取模，得到取模结果；所述取模结果用于表征所述待存储数据在所述数据表编号中的存储表编号；第二存储模块，用于通过所述取模结果，将所述待存储数据均匀存储至所述数据表编号对应的数据表中。9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至5任意一项所述的分库分表的数据处理方法。10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1至5任意一项所述的分库分表的数据处理方法。

技术总结
本申请公开了分库分表的数据处理方法、系统、存储介质及电子设备，可应用于大数据领域。在分库分表的过程中，通过预设全局策略将获取到的待存储数据存储至数据库集群中，通过预设局部策略将数据库集群中的待存储数据存储在数据库的数据表中。通过上述，无需将数据都迁移到新表中，只需通过预设全局策略灵活定义数据容量范围的大小，使得新增的数据容量分配新的数据库，已经分配好的数据不会被再次分配，从而满足不同业务发展阶段数据库集群资源不同的需求，简化数据迁移和数据扩容的过程。通过预设局部策略实现数据库集群中的待存储数据均匀存储在数据库的数据表中，不会出现同一张数据表的数据交易压力过大的情况，从而提高数据交易的操作性能。数据交易的操作性能。数据交易的操作性能。


技术研发人员：冯玉财 陈树伟 许佳丽 吴嘉杰 焦苏芮 刘煜伟
受保护的技术使用者：中国银行股份有限公司
技术研发日：2022.07.19
技术公布日：2022/10/11