一种基于大数据分析的传输异常感知方法及系统与流程

本技术涉及数据传输检测，具体涉及一种基于大数据分析的传输异常感知方法及系统。

背景技术：

1、在数字化时代，数据已成为驱动各行各业发展的核心要素。随着物联网、云计算和移动互联网的蓬勃发展，数据的产生、传输与分析成为企业分析与决策的关键环节。在此背景下，高效且可靠的数据传输系统成为了信息基础设施的基石，支撑着各类业务应用的顺畅运行。

2、然而，由于在实际的物联网数据传输过程中，传输流内部节点可控性较低，容易出现信道堵塞问题，从而造成数据的重传与丢包，严重影响了数据的完整性和时效性。现有的数据传输检测技术大多基于传统的规则匹配，缺乏对异常模式的深入分析，难以精确区分数据是正常传输还是因为信道堵塞造成的异常传输，容易造成误检测。

技术实现思路

1、为了解决上述技术问题，本技术的目的在于提供一种基于大数据分析的传输异常感知方法及系统，所采用的技术方案具体如下：

2、第一方面，本技术实施例提供了一种基于大数据分析的传输异常感知方法，该方法包括以下步骤：

3、获取每个数据包的上传时间戳、容量、上传时间间隔以及下行时间戳；

4、对所有数据包的上传时间间隔聚类，将上传时间间隔离散程度最小的簇记为间隔标准簇，并对间隔标准簇中所有上传时间间隔对应数据包的容量聚类，将容量的离散程度最小的簇记为标准簇；除去标准簇中所有容量对应的数据包，剩余数据包记为待检测元素；

5、根据各待检测元素的上传时间间隔与间隔标准簇中所有上传时间间隔的平均分布情况的差异，以及各待检测元素的容量与标准簇中所有容量的平均分布情况的差异构建各待检测元素的传输差异；

6、对所有数据包的下行时间戳聚类得到各聚类簇，根据各簇中相邻下行时间戳之间差异的分布情况构建各簇的高频置信度，高频置信度最小的簇记为更新指令簇；

7、更新指令簇中小于各待检测元素的上传时间戳的所有下行时间戳分别组成各待检测元素的时间戳序列；

8、根据各待检测元素的时间戳序列的长度，以及各待检测元素的上传时间戳与其时间戳序列中最大值的差异，结合所述传输差异构建各待检测元素的正常传输置信度；

9、根据各待检测元素的各类数据的长度与其他类数据的长度的差异，以及各类数据中相邻数据之间的差异构建各待检测点的数据连贯指数，结合所述正常传输置信度确定各待检测元素的传输异常指数，以检测数据传输状态。

10、优选的，所述各待检测元素的传输差异的构建过程为：

11、分析各待检测元素的上传时间间隔与标准簇中所有容量对应的上传时间间隔的均值之间的差异，记为各待检测元素的传输指数；

12、分析各待检测元素的容量与标准簇中所有容量的均值之间的差异，记为各待检测元素的第一差异；

13、各待检测元素的传输差异为各待检测元素的传输指数与第一差异的比值。

14、优选的，所述各簇的高频置信度的构建过程为：

15、各簇中所有下行时间戳按升序排列，后一时间戳与前一时间戳的差值作为下行时间间隔；

16、各簇中小于所有下行时间间隔的均值的下行时间间隔的个数，记为各簇的密集个数；

17、各簇的密集个数与所有下行时间间隔个数的比值，记为各簇的密集程度；

18、各簇的高频置信度为各簇的密集程度与所有下行时间间隔的极差的比值。

19、优选的，所述各待检测元素的正常传输置信度的构建过程为：

20、根据各待检测元素的时间戳序列的长度构建各待检测元素的时间序列因子；

21、根据各待检测元素的上传时间戳与其时间戳序列中最大值的差异构建各待检测元素的间隔因子；

22、各待检测元素的正常传输置信度为各待检测元素的时间前列因子及间隔因子的相乘结果与传输差异的比值。

23、优选的，所述各待检测元素的时间序列因子的构建过程为：

24、当各待检测元素的时间戳序列的长度大于等于1，各待检测元素的前列因子为第一预设数值；

25、当各待检测元素的时间序列的长度为0，各待检测元素的前列因子为0；

26、其中，第一预设数值为正数。

27、优选的，所述各待检测元素的间隔因子的构建过程为：

28、当各待检测元素的上传时间戳与其时间戳序列中最大值的差异小于等于预设时间段，各待检测元素的间隔因子设定为第二预设数值；反之，各待检测元素的间隔因子设定为第三预设数值；

29、其中，第三预设数值为小于第二预设数值的正数。

30、优选的，所述各待检测点的数据连贯指数的构建过程为：

31、将各待检测元素中的各类数据组成各待检测元素的各类上传数据序列，根据各待检测元素的各上传数据序列的长度与其余所有上传数据序列的长度的差异构建各待检测点的长度偏离系数；

32、分析各待检测元素的各上传数据序列中各相邻数据之间差值的平方；

33、分析各待检测元素的各上传序列中所有所述平方之间差异的均值，记为各待检测元素的各上传数据序列的数据变化差异；

34、分析各待检测元素的所有上传数据列的数据变化差异的均值，记为各待检测元素的第一均值；

35、基于所述第一均值和所述长度偏离系数确定各待检测元素的数据连贯指数，各待检测元素的数据连贯指数为各待检测元素的第一均值与长度偏离系数融合的结果。

36、优选的，所述各待检测点的长度偏离系数的构建过程为：

37、将各待检测元素的各上传数据序列的长度与其余所有上传数据序列的长度的差异取均值，记为各待检测元素的各上传数据序列的长度差异均值；

38、各待检测元素的长度偏离系数为各待检测元素的所有上传数据序列的长度差异均值融合的结果。

39、优选的，所述结合各待检测点的正常传输置信度确定各待检测元素的传输异常指数，以检测数据传输状态，包括：

40、各待检测元素的传输异常指数为各待检测元素的数据连贯指数与正常传输置信度的比值；

41、当任一待检测元素的传输异常指数的归一化结果大于第五预设数值时，数据传输异常；反之，数据传输正常。

42、第二方面，本技术实施例还提供了一种基于大数据分析的传输异常感知系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。

43、本技术至少具有如下有益效果：

44、本技术根据各待检测元素的上传时间间隔与间隔标准簇中上传时间间隔的平均分布情况的差异，以及各待检测元素的容量与所有数据包的容量的平均分布情况的差异构建各待检测元素的传输差异；根据各待检测元素的时间戳序列的长度，以及各待检测元素的上传时间戳与其时间戳序列中最大值的差异，结合各待检测元素的传输差异构建各待检测元素的正常传输置信度；根据各待检测元素的各上传数据序列的长度与其余所有上传数据序列的长度的差异，以及各上传数据序列中相邻数据之间的差异构建各待检测点的数据连贯指数，结合各待检测点的正常传输置信度确定各待检测元素的传输异常指数，以检测数据传输状态。本技术考虑到用户自行上传数据也会对上传时间间隔产生影响，通过构建传输异常指数，实现了对上传数据的精确区分，提高了传输异常感知精度，避免了误检测现象的发生。