一种基于两阶三级草图的网络测量方法及装置与流程

本申请涉及网络测量，尤其涉及一种基于两阶三级草图的网络测量方法及装置。

背景技术：

1、网络测量对于高效的网络管理是必不可少的，例如拥塞控制、故障排除、异常检测和流量调度。为了实现高效的网络管理，持久性作为网络流量的新特征，因其能够检测多个时间窗口内的数据流信息，持久项测量作为一种新的测量任务在网络安全、欺诈检测等方面具有重要的意义。然而现有方法存在两个问题：(1)在有限的内存下实现高检测精度是具有挑战性的；(2)由于多次的内存访问和复杂的插入查询过程，它们的吞吐量无法跟上高速的网络流，从而在实际部署中会构成挑战。

2、因此，持久项测量的数据结构设计需要有以下原则：首先，所设计的数据结构应有足够的吞吐量以支持高速的网络流；其次，所设计的数据结构应保持足够的准确性和内存效率以支持高效的网络管理。

3、为了在高速数据流中检测持久项，基于采样的方法如small-space(ss)被提出，通过抽样跟踪持久项，并将抽样的信息存储在哈希表中。但记录的大量非持久项会导致存储效率的降低和持久项的丢失。为了解决采样方法的不足，基于编码的方法如pie通过代码对各个项进行编码代替id以减少内存消耗。然而，编码和解码需要复杂的计算，使得pie无法匹配高速的网络流量。目前，草图结构被广泛用于持久项测量中。其中，经典草图包括cm、cu、count等由简单的计数器数组组成。然而，它们需要采用一些补充数据结构来实现持久项测量比如布隆过滤器，并且由于哈希冲突，布隆过滤器会产生假阳性错误，降低检测准确性。因此，提出新的解决方案，以高内存效率，设计一种更准确快速的持久项测量方法，是当前迫切需要解决的一个研究问题。

技术实现思路

1、本申请提供了一种基于两阶三级草图的网络测量方法及装置，以解决现有技术中网络测量的精度和吞吐量均不高的问题。

2、第一方面，本申请提供了一种基于两阶三级草图的网络测量方法，包括：

3、创建包括主单元和副单元的数据结构，主单元对应于一个哈希函数，副单元包括第一计数器数组和第二计数器数组，第一计数器数组包括d个哈希函数，第二计数器数组包括λ层计数器组，每层计数器组包括多个计数器，主单元具有多个桶，主单元中的每个桶分别包含一个数据流流转信息；且数据流流转信息包括流标识符和计数值；

4、针对输入数据结构的每个数据包均执行以下操作：

5、利用主单元对应的哈希函数将该数据包映射至主单元中的一个桶作为第一桶；

6、若第一桶的流标识符与该数据包的流标识符相同，则利用第一桶的计数值与单位数值的和更新第一桶对应的数据流流转信息；

7、若第一桶的流标识符与该数据包的流标识符不相同，则将第一桶后的多个桶中计数值最小的桶作为最小值桶；

8、利用副单元对应的d个哈希函数将该数据包映射至第一计数器数组的d个计数器处，并基于该数据包映射至第一计数器数组的d个计数器的计数器值，确定该数据包在第二计数器数组的层数以及相应层至少一个计数器的计数器值，并基于相应层的至少一个计数器的计数器值更新该数据包的计数值。

9、第二方面，本申请提供了一种基于两阶三级草图的网络测量装置，包括：

10、结构创建模块，用于创建包括主单元和副单元的数据结构，主单元对应于一个哈希函数，副单元包括第一计数器数组和第二计数器数组，第一计数器数组包括d个哈希函数，第二计数器数组包括λ层计数器组，每层计数器组包括多个计数器，主单元具有多个桶，主单元中的每个桶分别包含一个数据流流转信息；且数据流流转信息包括流标识符和计数值；

11、步骤执行模块包括：

12、映射模块，用于利用主单元对应的哈希函数将该数据包映射至主单元中的一个桶作为第一桶；

13、第一更新模块，用于若第一桶的流标识符与该数据包的流标识符相同，则利用第一桶的计数值与单位数值的和更新第一桶对应的数据流流转信息；

14、最小值桶确定模块，用于若第一桶的流标识符与该数据包的流标识符不相同，则将第一桶后的多个桶中计数值最小的桶作为最小值桶；

15、第二更新模块，用于利用副单元对应的d个哈希函数将该数据包映射至第一计数器数组的d个计数器处，并基于该数据包映射至第一计数器数组的d个计数器的计数器值，确定该数据包在第二计数器数组的层数以及相应层至少一个计数器的计数器值，并基于相应层的至少一个计数器的计数器值更新该数据包的计数值。

16、本申请提供一种基于两阶三级草图的网络测量方法及装置，通过创建包括主单元和副单元的数据结构，主单元对应于一个哈希函数，副单元包括第一计数器数组和第二计数器数组，第一计数器数组包括d个哈希函数，第二计数器数组包括λ层计数器组，每层计数器组包括多个计数器，主单元具有多个桶，主单元中的每个桶分别包含一个数据流流转信息；且数据流流转信息包括流标识符和计数值；针对输入数据结构的每个数据包均执行以下操作：利用主单元对应的哈希函数将该数据包映射至主单元中的一个桶作为第一桶；若第一桶的流标识符与该数据包的流标识符相同，则利用第一桶的计数值与单位数值的和更新第一桶对应的数据流流转信息；若第一桶的流标识符与该数据包的流标识符不相同，则将第一桶后的多个桶中计数值最小的桶作为最小值桶；利用副单元对应的d个哈希函数将该数据包映射至第一计数器数组的d个计数器处，并基于该数据包映射至第一计数器数组的d个计数器的计数器值，确定该数据包在第二计数器数组的层数以及相应层至少一个计数器的计数器值，并基于相应层的至少一个计数器的计数器值更新该数据包的计数值。本申请通过构建的数据结构，将不同大小的数据流根据主单元和副单元进行区分，从而大大提升了网络测量精度；并且基于主单元和副单元，实现不同大小的数据流哈希计算次数，较大的数据流只需要进行主单元的哈希计算，而较小的数据流还需要进行副单元的哈希计算，减少了整体的哈希计算次数，从而使得网络测量的吞吐量提升。

技术特征：

1.一种基于两阶三级草图的网络测量方法，其特征在于，包括：

2.根据权利要求1所述的基于两阶三级草图的网络测量方法，其特征在于，在所述若第一桶的流标识符与该数据包的流标识符相同，则利用第一桶的计数值与单位数值的和更新第一桶对应的数据流流转信息之前，所述方法包括：

3.根据权利要求2所述的基于两阶三级草图的网络测量方法，其特征在于，所述若第一桶的流标识符与该数据包的流标识符相同，则利用第一桶的计数值与单位数值的和更新第一桶对应的数据流流转信息，包括：

4.根据权利要求1所述的基于两阶三级草图的网络测量方法，其特征在于，所述若第一桶的流标识符与该数据包的流标识符不相同，则将第一桶后的多个桶中计数值最小的桶作为最小值桶，包括：

5.根据权利要求4所述的基于两阶三级草图的网络测量方法，其特征在于，所述利用副单元对应的d个哈希函数将该数据包映射至第一计数器数组的d个计数器处，并基于该数据包映射至第一计数器数组的d个计数器的计数器值，确定该数据包在第二计数器数组的层数以及相应层至少一个计数器的计数器值，并基于相应层的至少一个计数器的计数器值更新该数据包的计数值，包括：

6.根据权利要求5所述的基于两阶三级草图的网络测量方法，其特征在于，所述利用所述第一最小计数器值确定该数据包在所述第二计数器数组中对应的计数器组的层数和该层计数器组中最小计数器值，并基于所述该层计数器组中最小计数器值更新该数据包的计数值，包括：

7.根据权利要求6所述的基于两阶三级草图的网络测量方法，其特征在于，在所述基于所述该层计数器组中最小计数器值更新该数据包的计数值之后，所述方法还包括：

8.根据权利要求6所述的基于两阶三级草图的网络测量方法，其特征在于，在所述将当前第一数值作为下一层计数器组中的当前第一数值，并将下一层计数器组作为当前层计数器组，返回所述判断当前第一数值是否不大于所述当前层计数器组的最大计数器值之后，所述方法还包括：

9.根据权利要求1所述的基于两阶三级草图的网络测量方法，其特征在于，所述数据结构还包括前置单元，所述前置单元对应于k个哈希函数；

10.一种基于两阶三级草图的网络测量装置，其特征在于，包括：

技术总结本申请提供一种基于两阶三级草图的网络测量方法及装置，涉及网络测量技术领域。该方法包括：创建包括主单元和副单元的数据结构；针对每个数据包：利用主单元哈希函数将该数据包映射至主单元的一个桶作为第一桶；若第一桶与该数据包流标识符相同，则利用第一桶计数值与单位数值的和更新第一桶数据流流转信息；若不相同，则将第一桶后多个桶中计数值最小的桶作为最小值桶；利用副单元d个哈希函数将该数据包映射至第一计数器数组d个计数器，基于该d个计数器计数器值，确定该数据包在第二计数器数组的层数及相应层至少一个计数器计数器值，基于相应层的至少一个计数器计数器值更新该数据包的计数值。本申请能够提升网络测量的精度和吞吐量。技术研发人员：李丹,马天祥,赵明伟,张拓,李小玉,张姿姿,李卓,刘子雨受保护的技术使用者：国网河北省电力有限公司电力科学研究院技术研发日：技术公布日：2024/10/17