一种基于数据监听实现异地数据同步系统和方法与流程

本发明涉及一种基于数据监听实现异地数据同步系统和方法，属于计算机数据处理。

背景技术：

1、随着信息技术的迅速发展和全球数据量的爆炸性增长，数据同步已成为现代计算环境中不可或缺的一部分。尤其是在云计算和移动计算普及的背景下，用户往往需要在多个设备和地点之间保持数据的实时同步和一致性。例如，企业可能需要在不同地区的数据中心之间同步关键业务数据，以确保灾难恢复和业务连续性；个人用户则可能希望在本地设备和云存储服务之间自动同步个人数据，以便随时随地访问最新信息。

2、现有的数据同步技术通常依赖于定期备份或用户触发的同步过程。这些方法存在几个显著缺点：首先，它们无法实现真正的实时数据同步，导致数据在不同设备或位置之间存在延迟；其次，当大量数据需要同步时，这种方法可能会消耗大量的网络带宽和存储资源；最后，由于同步不是连续进行的，这可能导致数据丢失或冲突，特别是在高并发写入的环境中。

3、为了解决这些问题，一些解决方案提出了使用数据库触发器或文件系统钩子来监控数据变化，但这些方法通常局限于特定的平台或技术栈，并且难以适应日益多样化的数据存储需求。此外，它们在处理跨网络边界同步时的可靠性和安全性方面也面临挑战。

4、因此，针对上述现有技术的不足，迫切需要一种能够提供实时性强、可靠性高、适应性广并且易于扩展的异地数据同步方法。该方法应该能够在各种类型的数据存储系统之间实现高效的数据同步，同时保证数据的安全性和完整性。

技术实现思路

1、本发明目的是提供了一种基于数据监听实现异地数据同步系统和方法，有效解决了传统数据同步方法中存在的延迟高、一致性难以保证等问题，提高了数据同步的效率和可靠性。

2、本发明为实现上述目的，通过以下技术方案实现：

3、数据监听与捕获模块：主数据库通过数据监听模块实时捕获所有的数据变更事件，并将事件转化为标准格式的消息体；

4、数据变更消息传输模块：利用可靠的消息队列服务，将捕获到的数据变更消息实时、有序、可靠地传输到异地备用数据库，传输过程中，采用加密算法保障数据的安全性；

5、异地数据接收与处理模块：订阅主数据库发出的数据变更消息队列，接收消息后进行解密、解码和解析，并在异地数据库中执行相应的数据更新操作；

6、事务处理与一致性保障模块：使用两阶段提交、分布式事务技术确保数据同步的原子性和一致性，对于同步失败的请求，进行回滚和重试；

7、同步状态监控与优化模块：实时监控数据同步的关键性能指标，并根据监控结果动态调整同步策略，优化同步性能；

8、异常处理与故障恢复模块：自动检测并处理网络故障、消息丢失或数据不一致异常情况，确保数据的一致性和系统的稳健性。

9、优选的，消息队列服务包括如kafka或rabbitmq。

10、优选的，数据监听与捕获模块通过数据库事件捕获技术实时监测并捕获主数据库中的所有数据变更事件，包括数据库触发器、日志分析技术。

11、优选的，关键性能指标包括数据传输速率、同步延迟、数据完整性。

12、一种基于数据监听实现异地数据同步方法，包括：

13、在源数据存储系统中设置至少一个数据监听器，该数据监听器用于监测并捕获数据变化事件；

14、当数据变化事件发生时，所述数据监听器记录变化数据项的唯一标识符和变化内容，并生成数据变更信息；

15、将所述数据变更信息传输至同步服务器；

16、所述同步服务器根据接收到的数据变更信息，在目标数据存储系统中应用相应的数据更新操作；

17、重复上述步骤持续同步源数据存储系统与目标数据存储系统之间的数据。

18、优选的，数据变更信息包括变化的数据集、变化类型以及变化的时间戳。

19、优选的，所述数据变更信息传输至同步服务器通过apache kafka消息队列。

20、优选的，所述数据监听器根据数据存储系统和数据格式配置。

21、优选的，所述方法用于源数据存储系统中实现数据变更信息的缓存或使用缓存重新传输数据变更信息。

22、本发明的优点在于：本发明通过引入先进的数据监听技术和事件驱动的数据同步机制，有效解决了传统数据同步方法中存在的延迟高、一致性难以保证等问题。该方法不仅提高了数据同步的效率和可靠性，而且具有良好的扩展性和适应性，为构建高效、可靠的异地多活系统提供了有效的技术支持。

技术特征：

1.一种基于数据监听实现异地数据同步系统，其特征在于，包括：

2.根据权利要求1所述的基于数据监听实现异地数据同步系统，其特征在于，消息队列服务包括如kafka或rabbitmq。

3.根据权利要求1所述的基于数据监听实现异地数据同步系统，其特征在于，数据监听与捕获模块通过数据库事件捕获技术实时监测并捕获主数据库中的所有数据变更事件，包括数据库触发器、日志分析技术。

4.根据权利要求1所述的基于数据监听实现异地数据同步系统，其特征在于，关键性能指标包括数据传输速率、同步延迟、数据完整性。

5.一种使用权利要求1-4任一所述系统的基于数据监听实现异地数据同步方法，其特征在于，包括：

6.根据权利要求5所述的基于数据监听实现异地数据同步方法，其特征在于，数据变更信息包括变化的数据集、变化类型以及变化的时间戳。

7.根据权利要求5所述的基于数据监听实现异地数据同步方法，其特征在于，所述数据变更信息传输至同步服务器通过apache kafka消息队列。

8.根据权利要求5所述的基于数据监听实现异地数据同步方法，其特征在于，所述数据监听器根据数据存储系统和数据格式配置。

9.根据权利要求5所述的基于数据监听实现异地数据同步方法，其特征在于，所述方法用于源数据存储系统中实现数据变更信息的缓存或使用缓存重新传输数据变更信息。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如上述权利要求5-9任一所述的方法。

技术总结本发明提供了一种基于数据监听实现异地数据同步系统和方法，属于计算机数据处理技术领域。所述系统包括数据监听与捕获模块、数据变更消息传输模块、异地数据接收与处理模块、事务处理与一致性保障模块、同步状态监控与优化模块、异常处理与故障恢复模块。所述方法包括：在源数据存储系统中设置数据监听器；当数据变化事件发生时，所述数据监听器记录变化数据项的唯一标识符和变化内容，并生成数据变更信息；将所述数据变更信息传输至同步服务器；所述同步服务器根据接收到的数据变更信息，在目标数据存储系统中应用数据更新操作；重复上述步骤持续同步。本发明提高了数据同步的效率和可靠性，而且具有良好的扩展性和适应性。技术研发人员：朱亚鹏,张志江,卢祥钧受保护的技术使用者：浪潮智能终端有限公司技术研发日：技术公布日：2024/9/17