数据传输方法、装置、设备和存储介质与流程

本技术涉及数据处理，尤其涉及数据传输方法、装置、设备和存储介质。

背景技术：

1、随着互联网在各行各业的快速发展以及信息化水平的不断提高，各种网络应用层出不穷，需要传输的数据量不断增加，尤其是大数据或大文件的高效传输愈发重要。相关技术中在传输大文件时，通过利用不断更新的dns域名进行数据交换，来降低带宽限制或网络延迟的问题。但是这种传输过程无法充分利用网络带宽，导致传输效率较低。

技术实现思路

1、本技术实施例的主要目的在于提出数据传输方法、装置、设备和存储介质，提高数据传输效率。

2、为实现上述目的，本技术实施例的第一方面提出了一种数据传输方法，包括：

3、获取接收方根据初始数据对应的第一数据分片生成的第一哈希列表，所述第一哈希列表中包括至少一个所述第一数据分片的第一分片编号和对应的第一校验和；

4、将目标数据分割成第二数据分片，并计算所述第二数据分片的第二校验和，所述目标数据为与所述初始数据相关的数据；

5、比对所述第二校验和与所述第一哈希列表的所述第一校验和的一致性，若查询到与所述第二校验和一致的所述第一校验和，将对应的所述第一分片编号、所述第二数据分片的第二分片编号和所述第一校验和写入相同分片列表；若未查询到与所述第二校验和一致的所述第一校验和，生成差异比特位和差异数据，将所述第二分片编号、所述差异比特位和所述差异数据写入差异数据列表；

6、将所述差异数据列表和所述相同分片列表发送至所述接收方，以使得所述接收方根据所述差异数据列表、所述相同分片列表、所述第一哈希列表和所述初始数据进行数据重构，得到所述目标数据。

7、在一些实施例，所述若未查询到与所述第二校验和一致的所述第一校验和，生成差异比特位和差异数据，包括：

8、从所述第二数据分片的第一个字节开始，逐字节向后移动进行滑窗，得到滑窗前数据和滑窗数据分片，所述滑窗数据分片的数据大小和所述第二数据分片的数据大小相同；

9、计算所述滑窗数据分片的第三校验和，若所述第三校验和与所述第一校验和一致，将对应的所述第一分片编号、所述第二分片编号和所述第一校验和写入相同分片列表，将对应的所述滑窗前数据作为所述差异数据，将所述差异数据对应的滑窗次数作为所述差异比特位。

10、在一些实施例，所述将所述差异数据列表和所述相同分片列表发送至所述接收方，包括：

11、获取分片数据传输认证密钥和分片数据传输加密密钥；

12、根据所述分片数据传输加密密钥对所述差异数据列表进行加密，得到第一加密数据；

13、根据所述分片数据传输认证密钥对所述第一加密数据和所述相同分片列表进行签名，得到目标数据，将所述目标数据发送至所述接收方。

14、在一些实施例，所述获取分片数据传输认证密钥和分片数据传输加密密钥，包括：

15、获取第一随机数和第二随机数，并获取第一参数、第二参数和第三参数，并基于所述第一随机数、所述第二随机数、所述第一参数、所述第二参数和所述第三参数计算得到第一加密参数；

16、根据发送方标识、所述第二随机数和所述第一加密参数得到中间发送参数，将所述中间发送参数发送至所述接收方；

17、获取所述接收方基于所述中间发送参数得到的中间接收参数，并根据所述中间接收参数计算所述分片数据传输认证密钥和所述分片数据传输加密密钥。

18、在一些实施例，所述基于所述第一随机数、所述第二随机数、所述第一参数、所述第二参数和所述第三参数计算得到第一加密参数，包括：

19、利用混淆函数对明文口令和所述第二随机数进行哈希计算，得到第一中间值；

20、根据所述第一随机数、所述第一参数、所述第二参数得到第二中间值；

21、根据所述第一中间值得到第一密钥，将发送方标识、第二随机数和所述第二中间值拼接，得到第一拼接值，以所述第一密钥对所述第一拼接值进行加密，得到所述第一加密参数。

22、在一些实施例，所述接收方基于所述中间发送参数得到中间接收参数的过程包括：

23、从所述中间发送参数中获取所述发送方标识和所述第二随机数；

24、对所述发送方标识和所述第二随机数进行验证，验证通过后，获取第三随机数和第四随机数，基于所述第三随机数、所述第四随机数、所述第一参数和所述第二参数计算得到第二加密参数；

25、根据接收方标识、所述第四随机数和第二加密参数得到所述中间接收参数。

26、在一些实施例，基于所述第三随机数、所述第四随机数、所述第一参数和所述第二参数计算得到第二加密参数，包括：

27、利用混淆函数对所述明文口令和所述第四随机数进行哈希计算，得到第三中间值；

28、根据所述第三随机数、所述第一参数、所述第二参数得到第四中间值；

29、根据所述第三中间值得到第二密钥，将接收方标识、第四随机数和所述第四中间值拼接，得到第二拼接值，以所述第二密钥对所述第二拼接值进行加密，得到所述第二加密参数。

30、在一些实施例，所述根据所述中间接收参数计算所述分片数据传输认证密钥和所述分片数据传输加密密钥，包括：

31、从所述中间接收参数中获取所述接收方标识和所述第四随机数；

32、对所述接收方标识和所述第四随机数进行验证，验证通过后，根据所述第一随机数和所述第四中间值得到第五中间值，依次拼接所述接收方标识、所述发送方标识和所述第五中间值得到第三拼接值，计算所述第三拼接值的目标哈希值；

33、基于所述目标哈希值的第一位置数位对应的数值得到所述分片数据传输认证密钥，基于所述目标哈希值的第二位置数位对应的数值得到所述分片数据传输加密密钥。

34、在一些实施例，所述第一参数、所述第二参数和所述第三参数满足以下条件：

35、所述第一参数和所述第二参数进行取模运算后的值不等于一，并且，所述第一参数和所述第三参数的乘积与所述第二参数进行取模运算的值等于一，并且，所述第三参数为所述第二参数的二倍加一。

36、在一些实施例，所述利用混淆函数对明文口令和所述第二随机数进行哈希计算，得到第一中间值，包括：

37、将所述明文口令与预设随机数进行异或运算得到第一运算值；

38、将所述第一运算值与所述第二随机数的每个256位进行异或运算，根据异或运算结果得到所述第一中间值。

39、在一些实施例，所述将目标数据分割成第二数据分片，包括：

40、将所述目标数据分割成数据块；

41、将每个所述数据块按照顺序分割成预设大小的所述第二数据分片。

42、为实现上述目的，本技术实施例的第二方面提出了一种数据传输方法，应用于接收方，包括：

43、接收初始数据对应的多个第一数据分片；

44、根据所述第一数据分片生成第一哈希列表，并将所述第一哈希列表传输至发送方，所述第一哈希列表中包括至少一个所述第一数据分片的第一分片编号和对应的第一校验和；

45、接收差异数据列表和相同分片列表，所述差异数据列表包括第二数据分片的第二分片编号、差异比特位和差异数据，所述第二数据分片为根据目标数据得到的，所述发送方比对所述第二数据分片的第二校验和与所述第一校验和的一致性，若查询到与所述第二校验和一致的所述第一校验和，将对应的所述第一分片编号、所述第二数据分片的第二分片编号和所述第一校验和写入所述相同分片列表；若未查询到与所述第二校验和一致的所述第一校验和，生成所述差异比特位和所述差异数据；

46、根据所述差异数据列表、所述相同分片列表、所述第一哈希列表和所述初始数据进行数据重构，得到所述目标数据。

47、为实现上述目的，本技术实施例的第三方面提出了一种数据传输装置，包括：

48、接收模块，用于获取接收方根据初始数据对应的第一数据分片生成的第一哈希列表，所述第一哈希列表中包括至少一个所述第一数据分片的第一分片编号和对应的第一校验和；

49、校验和计算模块，用于将目标数据分割成第二数据分片，并计算所述第二数据分片的第二校验和，所述目标数据为与所述初始数据相关的数据；

50、校验和比对模块，用于比对所述第二校验和与所述第一哈希列表的所述第一校验和的一致性，若查询到与所述第二校验和一致的所述第一校验和，将对应的所述第一分片编号、所述第二数据分片的第二分片编号和所述第一校验和写入相同分片列表；若未查询到与所述第二校验和一致的所述第一校验和，生成差异比特位和差异数据，将所述第二分片编号、所述差异比特位和所述差异数据写入差异数据列表；

51、发送模块，用于将所述差异数据列表和所述相同分片列表发送至所述接收方，以使得所述接收方根据所述差异数据列表、所述相同分片列表、所述第一哈希列表和所述初始数据进行数据重构，得到所述目标数据。

52、为实现上述目的，本技术实施例的第四方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面或第二方面所述的方法。

53、为实现上述目的，本技术实施例的第五方面提出了一种存储介质，所述存储介质为存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第二方面所述的方法。

54、本技术实施例提出的数据传输方法、装置、设备和存储介质，首先获取接收方根据初始数据对应的第一数据分片生成的第一哈希列表，将目标数据分割成第二数据分片，并计算第二数据分片的第二校验和，比对第二校验和与第一哈希列表的第一校验和的一致性，若查询到与第二校验和一致的第一校验和，将对应的第一分片编号、第二数据分片的第二分片编号和第一校验和写入相同分片列表；若未查询到与第二校验和一致的第一校验和，生成差异比特位和差异数据，将第二分片编号、差异比特位和差异数据写入差异数据列表，最后将差异数据列表和相同分片列表发送至接收方，以使得接收方根据差异数据列表、相同分片列表、第一哈希列表和初始数据进行数据重构，得到目标数据。本技术实施例首先全量传输初始数据，在后续传输与初始数据相关的目标数据时，利用两个文件的校验和进行比对，根据比对结果生成需要差分传输的差异比特位和差异数据，在传输过程中，将相同分片列表和差异相关数据传输给接收方，接收方进行数据重构即可得到目标数据。通过校验和比对的方式，提升差分数据的准确性，并且传输差分数据能够降低传输负担，提升传输效率。