一种基于哈希算法的数据同步方法、装置、介质及设备与流程

本发明涉及数据处理领域，特别是涉及一种基于哈希算法的数据同步方法、装置、介质及设备。

背景技术：

1、在当今数字化信息高速发展的时代，数据的高效处理和准确同步对于各类应用系统至关重要。在许多业务场景中，如电子商务平台、金融交易系统等，目标客户端与服务器端之间需要进行大量数据的同步，以确保数据的一致性和可用性。

2、然而，随着数据量的不断增长以及数据交互的日益频繁，以及数据的复杂性和多样性，直接进行数据传输和同步可能会导致效率低下、资源浪费以及数据安全等问题。特别是对于一些哈希转换需求程度不同、数据量较大且更新频繁的数据表，传统的数据处理方法可能无法根据数据的哈希转换需求程度和特点进行有针对性的处理，且直接进行整体处理可能会耗费大量的时间和计算资源，降低了数据同步的效率和准确性，导致在数据同步过程中无法合理分配资源，影响系统性能和用户体验。

3、因此，如何提高服务器端和客户端之间的数据同步的准确性和效率成为亟待解决的问题。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为一种基于哈希算法的数据同步方法，该基于哈希算法的数据同步方法包括如下步骤：

2、s10，获取到目标客户端提供的目标应用数据表、服务器端存储的目标应用数据表对应的第一中间数据表、第一中间数据表中的若干个参考字段名、第一中间数据表对应的总数据量和在预设时间段内对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，以及每个参考字段名对应的子数据量。

3、s20，根据第一中间数据表对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，获取到第一中间数据表对应的哈希转换需求程度。

4、s30，根据哈希转换需求程度和预设的需求程度阈值，确定第一中间数据表对应的第一数据处理方式，其中，第一数据处理方式包括保持不变和进行哈希转换。

5、s40，若第一数据处理方式为进行哈希转换，则根据第一中间数据表对应的总数据量和预设的数据量阈值，确定第一中间数据表对应的第二数据处理方式，其中，第二数据处理方式包括整体哈希转换和分组哈希转换。

6、s50，若第二数据处理方式为分组哈希转换，则根据每个参考字段名对应的子数据量和预设的分组数量，获取到每个参考字段名对应的目标分组长度。

7、s60，根据预设的哈希算法和每个参考字段名对应的目标分组长度，分别对每个参考字段名中的应用数据进行分组哈希转换，获取到目标哈希数据表。

8、s70，将目标哈希数据表发送给目标客户端，其中，目标客户端用于根据目标哈希数据表对目标应用数据表进行验证和同步。

9、本发明还提供了一种基于哈希算法的数据同步装置，该基于哈希算法的数据同步装置包括：

10、数据获取模块，用于获取到目标客户端提供的目标应用数据表、服务器端存储的目标应用数据表对应的第一中间数据表、第一中间数据表中的若干个参考字段名、第一中间数据表对应的总数据量和在预设时间段内对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，以及每个参考字段名对应的子数据量。

11、需求程度获取模块，用于根据第一中间数据表对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，获取到第一中间数据表对应的哈希转换需求程度。

12、第一处理方式确定模块，用于根据哈希转换需求程度和预设的需求程度阈值，确定第一中间数据表对应的第一数据处理方式，其中，第一数据处理方式包括保持不变和进行哈希转换。

13、第二处理方式确定模块，用于若第一数据处理方式为进行哈希转换，则根据第一中间数据表对应的总数据量和预设的数据量阈值，确定第一中间数据表对应的第二数据处理方式，其中，第二数据处理方式包括整体哈希转换和分组哈希转换。

14、分组长度获取模块，用于若第二数据处理方式为分组哈希转换，则根据每个参考字段名对应的子数据量和预设的分组数量，获取到每个参考字段名对应的目标分组长度。

15、哈希转换模块，用于根据预设的哈希算法和每个参考字段名对应的目标分组长度，分别对每个参考字段名中的应用数据进行分组哈希转换，获取到目标哈希数据表。

16、数据发送模块，用于将目标哈希数据表发送给目标客户端，其中，目标客户端用于根据目标哈希数据表对目标应用数据表进行验证和同步。

17、本发明还提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述的基于哈希算法的数据同步方法。

18、本发明还提供了一种电子设备，包括处理器和上述的非瞬时性计算机可读存储介质。

19、本发明至少具有以下有益效果：根据第一中间数据表对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，获取到第一中间数据表对应的哈希转换需求程度，根据哈希转换需求程度和预设的需求程度阈值，确定第一中间数据表对应的第一数据处理方式，若第一数据处理方式为进行哈希转换，则根据第一中间数据表对应的总数据量和预设的数据量阈值，确定第一中间数据表对应的第二数据处理方式，若第二数据处理方式为分组哈希转换，则根据每个参考字段名对应的子数据量和预设的分组数量，获取到每个参考字段名对应的目标分组长度，根据预设的哈希算法和每个参考字段名对应的目标分组长度，分别对每个参考字段名中的应用数据进行分组哈希转换，获取到目标哈希数据表，将目标哈希数据表发送给目标客户端，可知，根据第一中间数据表对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，来分析对第一中间数据表和目标应用数据表中的应用数据进行一一验证的成本，以及对第一中间数据表和目标应用数据表中的应用数据进行哈希转换后再验证的成本，据此选择对第一中间数据表的处理形式，并在总数据量小于预设的数据量阈值时，对第一中间数据表进行整体哈希转换，在总数据量大于或者等于预设的数据量阈值时，对第一中间数据表进行分组以后再进行哈希转换，在保证目标哈希数据表的准确性的同时，可以在数据一致性验证时提高异常数据的定位效率，综合提高了数据同步的准确性和效率。

技术特征：

1.一种基于哈希算法的数据同步方法，其特征在于，所述基于哈希算法的数据同步方法包括如下步骤：

2.根据权利要求1所述的基于哈希算法的数据同步方法，其特征在于，s10还包括如下步骤：

3.根据权利要求1所述的基于哈希算法的数据同步方法，其特征在于，s20还包括如下步骤：

4.根据权利要求1所述的基于哈希算法的数据同步方法，其特征在于，s30还包括如下步骤：

5.根据权利要求1所述的基于哈希算法的数据同步方法，其特征在于，s40还包括如下步骤：

6.根据权利要求1所述的基于哈希算法的数据同步方法，其特征在于，s60还包括如下步骤：

7.根据权利要求1所述的基于哈希算法的数据同步方法，其特征在于，s40还包括以下内容：若所述第一数据处理方式为保持不变，则将所述第一中间数据表发送给所述目标客户端，其中，所述目标客户端用于根据所述第一中间数据表对所述目标应用数据表进行验证和同步；

8.一种基于哈希算法的数据同步装置，其特征在于，所述基于哈希算法的数据同步装置包括：

9.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项所述的基于哈希算法的数据同步方法。

10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。

技术总结本发明涉及数据处理领域，尤其涉及一种基于哈希算法的数据同步方法、装置、介质及设备，包括：根据第一中间数据表对应的数据更新次数、每个参考字段名在预设时间段内对应的选择次数和异常次数，来分析对第一中间数据表和目标应用数据表中的应用数据进行一一验证的成本，以及对第一中间数据表和目标应用数据表中的应用数据进行哈希转换后再验证的成本，据此选择对第一中间数据表的处理形式，并在总数据量小于数据量阈值时，对第一中间数据表进行整体哈希转换，反之对第一中间数据表进行分组后再进行哈希转换，在保证目标哈希数据表的准确性的同时，可以在数据一致性验证时提高异常数据的定位效率，提高了数据同步的准确性和效率。技术研发人员：张利江,唐杰,曹钰钢受保护的技术使用者：浙江有数数智科技有限公司技术研发日：技术公布日：2024/9/29