基于flink技术api同步加速方法与流程

本发明涉及数据传输，尤其涉及一种基于flink技术api同步加速方法。

背景技术：

1、flink是一种用于大规模数据流处理和事件驱动应用的开源框架。基于flink的api同步加速技术，通过优化数据流处理的并行度和状态管理，能够显著提升实时数据处理的效率。这种技术利用flink的事件时间语义和精确一次处理能力，确保了数据的一致性和准确性，同时通过api的高效调用，减少了数据处理的延迟，加快了数据同步的速度。在大数据处理领域，flink的api同步加速技术为实时分析和响应提供了强大的支持。

2、中国专利公开号：cn107707373a，公开了一种基于api请求的动态资源访问加速方法，包括：步骤1，接收应用程序编程接口api请求；步骤2，从所述api请求中提取出对目标网站的请求目标，判断此请求目标对应的请求结果已存储并且此请求结果存储的时长小于或等于预设时长时，提取此已存储的请求结果，发送至所述api请求的发送方；其中所述预设时长为1至1000毫秒之间的值；由此可见，所述基于api请求的动态资源访问加速方法存在以下问题：由于单一的传输路径和顺序处理机制，文件在遇到空白页或异常数据段时容易中断导致文件缺失或同步延迟。

技术实现思路

1、为此，本发明提供一种基于flink技术api同步加速方法，用以克服现有技术中由于单一的传输路径和顺序处理机制，文件在遇到空白页或异常数据段时容易中断导致文件缺失或同步延的问题。

2、为实现上述目的，本发明提供一种基于flink技术api同步加速方法，包括：

3、步骤s1，获取各目标传输文件信息以及传输路径信息，目标传输文件信息包括传输文件类别以及传输文件数据，传输路径信息包括传输路径数量以及各传输路径的传输速率；

4、步骤s2，识别各传输文件的全部中止数据段并在各终止数据段上添加时间戳；

5、步骤s3，根据各传输文件中所述终止数据段确定本次文件传输的终止波动参量，以确定本次文件传输的传输类型；

6、步骤s4，识别各传输文件的文件长度，确定文件传输的最小分片数，根据最小分片数将各传输文件分割为若干数据段，并在各数据段末添加时间戳；

7、步骤s5，在各传输文件的各传输文件数据段中加入标记，根据本次文件传输的所述传输类型确定本次文件传输类型的加速传输方式，包括，

8、将各所述传输文件通过若干传输路径进行传输，记录各传输路径的识别到时间戳的时间，确定传输速率波动参量以确定同步传输过程是否存在异常；

9、或，减小文件传输的最小分片数且增加传输文件使用的传输路径，并检测传输文件传输完成后的标记，计算文件传输完整参量以确定同步传输过程是否存在异常。

10、在传输文件的数据段中加入的标记为不对文件内容产生影响的能够被识别的标记，标记的种类不做具体限定，可以理解的是，对于文档和数据段添加的标记种类不同，标记的目的都是用于识别，此不再赘述。

11、进一步地，其特征在于，在所述步骤s2中，各所述传输文件中终止数据段与时间戳为一一对应关系。

12、进一步地，在所述步骤s3中，文件传输的终止波动参量根据公式（1）确定，

13、

14、公式（1）中，g为终止波动参量，n为传输文件总数，ni为第i个文件包含的终止数据段数量，i为大于0的整数。

15、进一步地，在步骤s3中，根据所述终止波动参量确定所述本次文件传输的传输类型，包括，

16、若所述终止波动参量大于或等于标准终止波动参量，则确定本次文件传输的传输类型为间接传输类型；

17、若所述终止波动参量小于标准终止波动参量，则确定本次文件传输的传输类型为直接传输类型。

18、进一步地，确定所述文件传输的最小分片数包括，

19、将全部传输文件按照数据量从小到大的顺序顺次排列；

20、计算在排列次序中第一传输文件与第二传输文件的数据量差值；

21、将所述数据量差值记为最小分片数。

22、进一步地，在所述步骤s5中，根据本次文件传输的所述传输类型确定本次文件传输类型的加速传输方式，包括，

23、若确定本次文件传输的传输类型为直接传输类型，则将所述全部传输文件通过若干传输路径进行传输，记录各传输路径的识别到时间戳的时间，确定传输速率波动参量以确定同步传输过程是否存在异常；

24、若确定本次文件传输的传输类型为间接传输类型，则减小文件传输的最小分片数且增加传输文件使用的传输路径，并检测传输文件传输完成后的标记，计算文件传输完整参量以确定同步传输过程是否存在异常。

25、进一步地，传输速率波动参量根据公式（2）确定，

26、

27、公式（2）中，k为传输速率波动参量，m为文件传输的数据段总数，tj为第j个数据段识别到时间戳的时间，t0为文件传输识别到时间戳的平均时间，j为大于0的整数。

28、进一步地，根据所述传输速率波动参量确定同步传输过程是否存在异常，包括，

29、若所述传输速率波动参量大于或等于标准传输速率波动参量，则确定同步传输过程存在异常；

30、若所述传输速率波动参量小于标准传输速率波动参量，则确定同步传输过程不存在异常。

31、进一步地，所述减小文件传输的最小分片数包括，

32、计算所述终止波动参量与所述标准终止波动参量的终止波动参量差值；

33、根据所述终止波动参量差值确定最小分片数的减小量；

34、其中，所述最小分片数的减小量与所述终止波动参量差值成正相关。

35、进一步地，根据所述传输完整参量确定同步传输过程是否存在异常，包括，

36、若所述传输完整参量大于或等于标准传输完整参量，则确定同步传输过程不存在异常；

37、若所述传输完整参量小于标准传输完整参量，则确定同步传输过程存在异常。

38、与现有技术相比，本发明的有益效果在于，本发明通过获取目标传输文件和路径信息，识别并标记文件中的中止数据段，计算终止波动参量来决定传输类型。根据文件长度和最小分片数，将文件分割并在各段末尾添加时间戳，在加速传输阶段，根据传输类型选择直接传输或间接传输策略，对于直接传输记录时间戳和确定传输速率波动，间接传输则减小分片数并增加传输路径。此外，通过计算传输速率波动参量和传输完整参量，该方法能够实时监测并判断同步传输过程中是否存在异常，从而确保数据传输的准确性和完整性，本发明充分利用了flink的分布式处理能力，有效缩减了数据同步时间，提高了传输速率，同时增强了对异常情况的适应性和处理能力。

39、进一步地，在本发明中，不同的文件中包含的空白页情况或者终止数据段的情况不同，例如，有的文档中空白页较多，通过单一路径进行文件传输时遇到空白页会直接中断，使得文件传输终止导致文件缺失，因此计算本次文档对应的终止波动参量表征文档传输容易直接中断的倾向，进而为划分本次文档的传输类型提供数据支持，便于后续适应性选择传输的异常判定方式以及调整数据传输过程，进而在保证数据同步快速传输下，提高数据传输的准确性。

40、进一步地，在本发明中，依据本次文件传输的传输类型对文件进行传输判断，针对不同的文件传输类型使用不同的判断方式，在保证文件进行同步多通道传输提高传输速率的前提下，提高了文件传输准确性。

41、进一步地，在本发明中，终止波动参量较小的传输文件中需要分段的情况简单，文件不易发生丢失，只需要判断文件传输的同步性是否足够，同步性足够高时可以判定同步传输过程没有异常，文件能够快速通过多个相同通道进行传输，实现了文件的加速传输。

42、进一步地，在本发明中，终止波动参量较大的传输文件中需要分段的情况复杂，需要将文件的段落分的更加细致避免直接传输识别到终止段让文件传输直接终止，导致后续文件丢失，因此针对上述情况，减小最小分片数对应增加传输路径，适应性的增加了文件的分割数量并通过更多的路径传输，并根据文件传输前后的标记数量确定本次文件传输是否异常，提高了文件同步传输速率的同时，保证了文件的传输完整性。