一种网络通讯数据智能化异常识别分析方法及系统与流程

本发明涉及信息分析，具体是涉及一种网络通讯数据智能化异常识别分析方法及系统。

背景技术：

1、指通讯数据是指在通讯过程中产生的各种数据，包括但不限于电话通话记录、短信内容、网络数据传输记录、传感器数据、通讯设备的状态信息等。这些数据可以用于分析通讯行为、网络流量、用户习惯等方面，有助于优化通讯网络、改善通讯体验、提升网络安全等方面的工作。

2、现有的通讯数据智能化异常识别分析是通过建立识别模型，对历史的异常数据进行反复识别训练，达到异常识别的目的；虽然该方法能够识别出通讯数据中的异常，但通讯数据本身可能存在噪声、缺失值或错误数据，这可能影响异常识别模型的性能和准确性，其次，识别通常需要标记的异常样本进行监督学习，但获取标记数据较为复杂且昂贵。

技术实现思路

1、为解决上述技术问题，提供一种网络通讯数据智能化异常识别分析方法及系统，本技术方案解决了上述的现有方法能够识别出通讯数据中的异常，但通讯数据本身可能存在噪声、缺失值或错误数据，这可能影响异常识别模型的性能和准确性，其次，识别通常需要标记的异常样本进行监督学习，但获取标记数据较为复杂且昂贵的问题。

2、为达到以上目的，本发明采用的技术方案为：

3、一种网络通讯数据智能化异常识别分析方法，包括：

4、收集历史网络通讯数据；

5、基于历史网络通讯数据，对历史网络通讯数据进行特征提取，获取网络通讯异常数据集；

6、基于网络通讯异常数据集，利用分类器对网络通讯异常数据集进行特征分类，获得若干个不同尺度的子序列，组合为时序聚类数据；

7、基于时序聚类数据，将时序聚类数据中的子序列进行特征融合，确定网络通讯数据异常特征；

8、基于网络通讯整合异常特征与历史网络通讯数据，判断网络通讯整合异常特征是否处于异常范围区间，若否，则不做任何输出，若是，则输出位异常数据。

9、优选的，基于历史网络通讯数据，对历史网络通讯数据进行特征提取，获取网络通讯异常数据集具体包括：

10、基于历史网络通讯数据，对每条通讯数据进行解析，提取时间戳、数据包流量大小、数据包数量和传输协议，确定每条通讯数据的时间特征、流量特征和传输协议特征；

11、根据每条通讯数据的时间特征、流量特征和传输协议特征，进行归一化处理；

12、基于归一化处理后通讯数据的时间特征、流量特征和传输协议特征，进行异常特征标注，并组建为网络通讯异常数据集。

13、优选的，基于网络通讯异常数据集，利用分类器对网络通讯异常数据集进行特征分类，获得若干个不同尺度的子序列，组合为时序聚类数据具体包括：

14、基于网络通信异常数据集，使用离散小波变换函数，对网络通信异常数据集选择分解层数，进行多级分解，获得不同尺度上的细节系数和近似系数；

15、将不同尺度上的细节系数和近似系数构建为网络通讯数据特征向量；

16、使用分类器对网络通讯数据特征向量进行分类，获得正常类别和异常类别；

17、基于正常类别和异常类别，通过逆离散变换函数，将正常类别和异常类别内的不同尺度的细节系数和近似系数还原为原始信号；

18、基于原始信号，通过滑动窗口提取若干个子序列，并将若干个子序列按照时间进行聚类处理，获得时序聚类数据；

19、其中，离散小波变换函数为：

20、;

21、式中，为近似系数，为低频成分信号，为细节系数，为高频成分信号，为输入信号，h为低通滤波器，g为高通滤波器，为低通滤波器h对网络通信异常数据集中异常特征k进行求和，为高通滤波器g对网络通信异常数据集中异常特征k进行求和，为降采样，k为异常特征点位，n为网络通信异常数据集；

22、其中，逆离散变换函数为：

23、;

24、式中，为原始信号，为第层的近似系数，为低频成分信号，为第层的细节系数，为高频成分信号。

25、优选的，基于时序聚类数据，将时序聚类数据中的子序列进行特征融合，确定网络通讯数据异常特征具体包括：

26、基于时序聚类数据，筛选出时序聚类数据在相同时间上聚类簇中所有子序列在该时间点的中位数，作为代表性子序列；

27、将每一个代表性子序列进行标准化处理，获得若干个标准化子序列；

28、基于若干个标准化子序列，将每一个标准化子序列进行特征拼接，获得网络通讯数据异常特征。

29、优选的，基于网络通讯整合异常特征与历史网络通讯数据，判断网络通讯整合异常特征是否处于异常范围区间，若否，则不做任何输出，若是，则输出位异常数据具体包括：

30、确定网络通讯整合异常特征的置信度；

31、基于网络通讯整合异常特征与历史网络通讯数据，筛选出每一个网络通讯整合异常特征的最大值与最小值，通过峰值公式，确定每一个异常特征的峰值；

32、基于每一个异常特征的峰值与网络通讯整合异常特征的总数，通过平均值公式，计算异常特征的平均值；

33、基于每一个异常特征的峰值和异常特征的平均值，通过差值公式，计算每一个异常特征的标准差；

34、基于异常特征的平均值、每一个异常特征的标准差和网络通讯整合异常特征的置信度，通过异常范围公式，确定异常范围的上限与异常范围的下限；

35、根据异常范围的上限与异常范围的下限，对历史网络通讯数据进行判断是否处于异常范围区间，若否，则不做任何输出，若是，则输出位异常数据；

36、其中，峰值公式为：

37、;

38、式中，g为每一个异常特征的峰值，为网络通讯整合异常特征的最大值，为网络通讯整合异常特征的最小值；

39、其中，平均值公式为：

40、;

41、式中，为异常特征的平均值，为第i个异常特征的峰值，m为异常特征的总数；

42、其中，差值公式为：

43、;

44、式中，c为每一个异常特征的标准差；

45、其中，异常范围公式为：

46、;

47、式中，为异常范围的上限，为异常范围的下限，z为置信度(95%)。

48、进一步的，提出一种网络通讯数据智能化异常识别分析系统，用于实现如上所述的一种网络通讯数据智能化异常识别分析方法，包括：

49、数据采集模块，数据采集模块用于收集历史网络通讯数据；

50、异常标注模块，异常标注模块与数据采集模块电性连接，异常标注模块用于基于历史网络通讯数据，对历史网络通讯数据进行特征提取，获取网络通讯异常数据集；

51、时序聚类模块，时序聚类模块与异常标注模块电性连接，时序聚类模块用于基于网络通讯异常数据集，利用分类器对网络通讯异常数据集进行特征分类，获得若干个不同尺度的子序列，组合为时序聚类数据；

52、特征融合模块，特征融合模块与时序聚类模块电性连接，特征融合模块用于基于时序聚类数据，将时序聚类数据中的子序列进行特征融合，确定网络通讯数据异常特征；

53、异常分析模块，异常分析模块与特征融合模块电性连接，异常分析模块用于基于网络通讯整合异常特征与历史网络通讯数据，判断网络通讯整合异常特征是否处于异常范围区间，若否，则不做任何输出，若是，则输出位异常数据。

54、可选的，异常标注模块内部包括：

55、解析单元，基于历史网络通讯数据，对每条通讯数据进行解析，提取时间戳、数据包流量大小、数据包数量和传输协议，确定每条通讯数据的时间特征、流量特征和传输协议特征；

56、归一化单元，根据每条通讯数据的时间特征、流量特征和传输协议特征，进行归一化处理；

57、异常数据集单元，基于归一化处理后通讯数据的时间特征、流量特征和传输协议特征，进行异常特征标注，并组建为网络通讯异常数据集。

58、可选的，时序聚类模块内部包括：

59、分解单元，基于网络通信异常数据集，使用离散小波变换函数，对网络通信异常数据集选择分解层数，进行多级分解，获得不同尺度上的细节系数和近似系数；

60、特征向量单元，将不同尺度上的细节系数和近似系数构建为网络通讯数据特征向量；

61、分类单元，使用分类器对网络通讯数据特征向量进行分类，获得正常类别和异常类别；

62、还原单元，基于正常类别和异常类别，通过逆离散变换函数，将正常类别和异常类别内的不同尺度的细节系数和近似系数还原为原始信号；

63、聚类单元，基于原始信号，通过滑动窗口提取若干个子序列，并将若干个子序列按照时间进行聚类处理，获得时序聚类数据。

64、可选的，特征融合模块内部包括：

65、筛选单元，基于时序聚类数据，筛选出时序聚类数据在相同时间上聚类簇中所有子序列在该时间点的中位数，作为代表性子序列；

66、标准化单元，将每一个代表性子序列进行标准化处理，获得若干个标准化子序列；

67、拼接单元，基于若干个标准化子序列，将每一个标准化子序列进行特征拼接，获得网络通讯数据异常特征。

68、可选的，异常分析模块内部包括：

69、置信度单元，确定网络通讯整合异常特征的置信度；

70、峰值计算单元，基于网络通讯整合异常特征与历史网络通讯数据，筛选出每一个网络通讯整合异常特征的最大值与最小值，通过峰值公式，确定每一个异常特征的峰值；

71、平均值计算单元，基于每一个异常特征的峰值与网络通讯整合异常特征的总数，通过平均值公式，计算异常特征的平均值；

72、标准差计算单元，基于每一个异常特征的峰值和异常特征的平均值，通过差值公式，计算每一个异常特征的标准差；

73、异常范围确认单元，基于异常特征的平均值、每一个异常特征的标准差和网络通讯整合异常特征的置信度，通过异常范围公式，确定异常范围的上限与异常范围的下限；

74、判断单元，根据异常范围的上限与异常范围的下限，对历史网络通讯数据进行判断是否处于异常范围区间，若否，则不做任何输出，若是，则输出位异常数据。

75、与现有技术相比，本发明的有益效果在于：

76、本发明提出一种网络通讯数据智能化异常识别分析方案。通过特征提取过程能够捕捉到不同尺度上的特征信息，而分类器可以准确地将异常数据与正常数据进行区分，从而实现精准的异常识别；同时相比于需要大量标记数据进行监督学习的方法，这种基于无监督学习的方式可以降低数据标记的成本，使得识别过程更加经济高效，其次通过时序聚类处理，将网络通讯数据转化为时序聚类数据，并对子序列进行特征融合。这样，可以综合考虑数据的时序关系，发现数据中的时序模式和趋势，进一步提高异常识别的准确性和鲁棒性。