一种区分场景的网络遥测方法及装置

本发明涉及通信，具体涉及一种用于网络状态信息实时遥测的方法，应用于多种网络场景进行全网监控、实时评估网络状态、及时准确把控网络异常情况，尤其涉及一种区分场景的网络遥测方法及装置。

背景技术：

1、网络是一个非常复杂的分布式系统，因此，在网络中需要网络管理手段对网络设备进行管理，调节控制整个网络的运行状态，并且能够及时发现网路故障情况并上报终端。传统的网络监控方法通常基于服务器-客户机模型。例如，snmp允许网络控制和管理系统从其网元中提取统计数据进行非实时数据采集，sflow通过定期采样接口统计信息和随机采样数据包信息提供全网视图，netflow以一定的采样率收集ip流信息并将汇总结果发送给流量采集器进行分析。尽管这些方法在互联网的早期已被证明是有效的，但它们在实现更复杂的监控方面的局限性也很明显。在过去的十年中，互联网在全球范围内发生了革命性的变化和戏剧性的扩张。因此，网络以增加复杂性为代价，变得越来越灵活和可编程。这意味着对网络进行故障排除并从不清楚的故障(例如拥塞、链路故障和黑洞)中恢复网络将更具挑战性。因此，网络管理解决方案需要更加自动化的演进，可以根据当前情况动态深入，甚至自动对网络事件做出反应。这种自动化反应需要网络遥测系统在精细的时间尺度上提供高精度的细粒度事件(例如，瞬时流量爆发)。基于openflow的sdn的兴起为网络监控技术提供了新的思路，数据平面的交换机需要定期向sdn控制器报告其特征信息，以实现集中的网络控制与管理。然而，由于数据获取的延迟相对较长、端到端的单流信息不完整以及交换机上的处理负担不可扩展等问题仍然存在，因此需要考虑通过更具可编程性的数据平面来解决。编程协议无关的数据包处理器p4或协议无关转发(protocol obliviousforwarding,pof)可以实现可编程且与协议无关的数据平面，因此，基于p4语言提出的带内网络遥测技术为网络运营商提供了定制网络监控方案的能力，int极大地提高了网络的可见性，实现了实时细粒度网络监控，对网络异常情况的诊断变得更加容易，解决了传统监控方法存在的性能和可扩展性问题。int以其实时性、精准性、无须控制平面参与等特性给网络测量技术带来了新的方向，基于int的测量方案与应用成为当前网络运营、管理与维护的研究热点。

2、国内外学者对于带内网络遥测技术的研究成果层出不穷。目前，int规范首次阐述了int概念和完整的int系统原型，并给出了相关应用案例。为了降低int技术的应用开销，诸多研究引入了新的技术。例如源路由(source routing,sr)在int规范的基础上可以有目的地指导探针数据包的转发路径，从而节省流表开销。在大多数网络监控情况下，特别是当链路容量利用率相对较高时，高精确度的实时int逐包监控策略并不需要。kim等人提出基于p4的抽样sint方案，能够在终端主机完成int头部的选择性插入。pint将遥测数据收集操作分为数据包的聚合、流的静态聚合、流的动态聚合这三大类，保证监控精度的情况下将int监控开销降低到比特级别。int另一大技术改进方向关注于网络中的故障检测方面，tang等人提出了基于int的智能sdn故障定位系统paint。tan等人为int设计了一个丢包监控系统losssight该系统包括了丢包检测、定位、诊断和恢复功能。

3、随着其技术发展，目前int的应用研究主要关注于针对单一工作模式的某一需求的优化。但现有的int不同工作模式均存在不足，缺乏在多种规模网络中的应用扩展性。原因有二：(1)受流量持续时间、流量特性和流量分布的影响，随路感知的int方式难以实现较高的整体网络链路遥测覆盖，无法实现较高的网络故障检测精度；(2)逐跳上传感知信息的int方式需要每个int传输节点对感知数据收集并构造探测报文上传，会导致额外占用更多网络带宽。因此，如何兼顾两种工作模式的优势，实现高效的遥测任务调度是一个值得研究的问题。并且不同的网络场景对网络内部感知信息的需求不尽相同，传统单一网络感知方式难以保障多种网络规模下监控的高效性和实时性。对于动态调整感知测量任务、及时获取网络状态信息方面的研究还很薄弱。因此考虑网络感知场景适应性问题，以高实时性和抗丢包两种场景需求为例，针对int应用方面进行分析：

4、由于端到端遥测机制使得int无法避免丢包问题，并且各种原因可能导致在感知过程中数据包丢失，因此int感知效果会因为潜在的网络丢包问题变得不可靠，遥测数据不完整将严重影响上层网络遥测应用的性能。目前针对int丢包问题的研究大多关注于丢包本身进行分析，例如寻找丢包的具体位置、丢包恢复或针对丢包情况的详细分析，运用多种技术例如网络编码、机器学习进行解决，但在复杂网络场景中，这些方法难以快速便捷的扩展应用，并且仅关注丢包原因本身所引入的多种优化手段增加了网络感知技术本身的复杂度。

5、由于int沿路收集元数据工作方式的特点，如数据传输经过路由设备过多会带来开销过大感知时间增长的问题，可通过平均每条感知路径经过节点数或是信息获取时延，实现感知数据包元数据的收取所用开销最小化。在降低开销方面，目前int技术改进关注于以覆盖所有网内链路、降低重复途径感知节点，但在覆盖全网链路的基础上，很少考虑网内节点感知信息更新速率不对等问题，并且不能将单个易恶化节点进行单独解耦感知操作。

6、发明人检索到的现有技术之一的技术方案介绍如下：

7、山东省计算中心公开了一种基于混合带内网络遥测的灰色故障检测定位方法及系统，涉及故障检测领域。包括：服务器收集被动int探测包的逐跳遥测信息，对是否存在故障进行一次检测，向虚拟sdn网络的控制器发送存在故障路径的二次检测指令；控制器向服务器发送主动int探测包，对一次检测中存在故障的路径进行二次检测；源服务器重新路由真正存在故障的路径信息的数据流量；控制器为所有真正存在故障的路径信息设置优先级，根据优先级进行路径之间的比较，得到故障位置；控制器将故障位置反馈给服务器，服务器查找所有与故障位置相关的路径并提前老化。该发明将主动带内网络遥测和被动带内网络遥测进行整合，弥补单一遥测方法的不足，提高网络遥测的效率和可靠性。

8、该现有技术存在的相对不足包括：

9、(1)该技术通过两次检测发送主动int探测包进行故障点锁定，再进行路径调整，主要关注于故障位置的锁定，利用主被动int探测包的整合实现，但未考虑不同网内拓扑规模下探测时间成本的变化。

10、(2)该技术所涉及的主动探测方式和被动探测方式皆为int逐流检测方式，存在检测过程中由于探测时间久造成的故障恢复，故障点丢失的可能。

11、发明人检索到的现有技术之二的技术方案介绍如下：

12、广东省新一代通信与网络创新研究院公开了一种基于网络状态的带内网络遥测方法，包括：获取数据包遥测时的网络状态信息，基于网络状态信息构建网络状态表；配置网络状态表与遥测频率的映射关系，通过映射关系确定遥测频率；基于遥测频率向满足遥测条件的数据包添加下发的遥测控制信息以实现带内网络遥测。该发明可以自动调整网络遥测的频率，降低网络遥测对网络带来的额外网络开销，保证网络的正常转发功能。

13、该现有技术存在的相对不足包括：

14、技术二通过int采集网络状态为基准进行发端探测频率的调整，以提高网络信息获取的实时性。但在技术中关注点在收发端之间探测包到达数目以及达到时间的比较，实际网络内部情况复杂，场景多样，单一的收发端比较可能存在误判、频率调整不准确等实际问题。

15、针对上述现有技术的阐述，本发明要解决的技术问题包括：

16、由于网络设备快速发展，随着网络可编程能力的增强，网络测量技术的需求也日渐增多，更多新型应用对网络内部指标的变化越发敏感，传统的int技术为适应多类型监控需求，在收集海量网络状态信息后上传至控制端的同时，也会大大增加其工作负载，并且存在由于数据包固定长度的局限性导致的感知信息滞后、缺失等风险。

17、此外，由于网络内部情况复杂多变，网络异常情况频发，传统int技术的应用适应性不足，难以应对多种网络业务场景测量指标需求进行灵活变换。本发明方法针对这一技术问题，针对不同场景下的网络状态特征，构建基于带内网络遥测的混合感知机制切换架构，围绕实现int不同工作模式切换、网内节点主动感知通告功能与感知属性优先路径规划等关键问题，解决面向复杂场景下网络状态信息获取困难和网内感知响应能力不足等问题，使网络运行更加高效稳定，保障感知信息的时效性和准确性，提升网络性能。

18、针对现有技术存在的上述不足，提出本发明。

技术实现思路

1、本发明的目的针对现有技术面向复杂场景下网络状态信息获取困难和网内感知响应能力不足等问题，针对不同场景下的网络状态特征，构建基于带内网络遥测的混合感知机制切换架构，围绕实现int多工作模式结合切换、网内节点主动感知通告功能与感知属性优先路径规划等关键问题，考虑不同网络业务场景感知需求，赋予网内节点主动感知功能，提高网内信息感知更新能力，实现int工作模式与网内节点感知的混合技术实现。

2、为达到上述目的，本发明采用下述技术方案：

3、一种区分场景的网络遥测方法，基于软件定义网络sdn架构，控制平面和数据平面分离，控制平面由中央控制器管理，数据平面由网络设备执行实际的数据包处理，使用中央控制器负责整个网络的决策制定；数据平面采用p4可编程交换机支撑网络节点功能；包括网络状态收集单元、工作模式切换单元、探测频率调整单元和路径控制单元，其中工作模式切换单元和探测频率调整单元均包含在遥测控制单元中；其中，

4、所述的网络状态收集单元，用于网络场景信息和实时状态信息的收集，网络场景信息为技术所要适用的业务场景进行信息描述，便于选择不同的工作模式进行路径探测以及探测频率的调整；实时状态信息为收集到的节点元数据从而精准反映网内情况，便于及时调控遥测策略，保障网内探测的灵活和可靠；

5、所述的工作模式切换单元，通过网络状态收集模块所收集得到的数据，根据不同网络场景特性、路径状态以及int不同工作模式特点，进行遥测方式的选择；

6、所述的探测频率调整单元，负责接收网内节点的主动感知通告，从而对探测频率做出调整；

7、所述的路径控制单元，负责根据网络拓扑生成均衡覆盖网内节点的多条探测路径；并且在探测频率调整的基础上，对探测路径进行再规划；

8、具体工作流程包括以下步骤：

9、步骤s1，对于网络场景属性进行初始路径规划，以覆盖全网链路为目标，网络收集单元获取全部网内信息；

10、步骤s2，通过路径控制单元依据网络收集单元反馈的信息，根据网络拓扑生成均衡覆盖网内节点的多条探测路径；

11、步骤s3，基于步骤s1采集的信息，针对网络规模不同或者针对不同网络场景进行工作模式选取；

12、步骤s4，网内信息收集完成后发送至网络状态收集单元的网络场景信息中存储；利用网络资源信息，进一步调整探测方式；为探测路径再规划、探测频率优化、节点探测动作调整服务；

13、所述的网络状态收集单元、工作模式切换单元、探测频率调整单元和路径控制单元之间功能独立，但互为支持，通过网络状态信息不断调整探测行为并不断反馈，确保感知的实时性和准确性。

14、优选的，所述的网内节点均设置有自主探测节点间网内状况变化功能，具体方法为：

15、步骤si，接受int遥测报文；

16、步骤sii，收集节点状态信息，并根据预设网络指标进行采集信息与设定阈值的比较；

17、步骤siii，判断int探测包采集的元数据是否大于预设阈值；若为否，则进入步骤siv，若为是，则进入步骤sv；

18、步骤siv，未超出阈值的遥测报文继续沿探测路径进行遥测信息的收集；

19、步骤sv，则对于超出阈值的遥测报文节点上报遥测到中央控制器进行主动通告，并且遥测报文继续沿路径探测；

20、步骤svi，中央控制器根据通告信息控制发端调整遥测频率。

21、优选的，所述的工作模式切换单元，包括基于网络场景信息的混合感知方式切换方法，或基于网络状态变化动态调整感知方法，

22、所述的基于网络场景信息的混合感知方式切换方法，具体为：

23、首先针对网络场景感知需求进行分析，针对不同的场景要求可构建多目标优化问题，在不同场景中都能根据感知需求优先级进行合理信息选取；

24、其次，依据混合遥测切换模型，围绕网络资源可用性约束、场景遥测需求的依赖关系约束探测路径走向和感知效果需求等方面构建约束条件集合；

25、所述的基于网络状态变化动态调整感知方法，具体为：

26、在自适应切换框架下，考虑网络内部复杂情况，针对收集遥测数据的需求不同，基于感知工作模式的灵活切换，进行感知参数阈值设定，通过节点动态按需调整探测频率，使节点间动态交互实现更多测量可能性，实现灵活、高效的遥测任务。

27、优选的，所述的探测频率调整单元与网内节点设置阈值进行联结，根据超出阈值与否、超出阈值程度的大小进行不同探测频率的多重调控。

28、优选的，所述的步骤s4中，

29、探测路径的再规划为，包括但不限于，利用网络场景信息以及实时回收的网络状态信息所提供的链路的实时传输状态以及节点队列深度，或其它标志性网络情况的实时反馈，结合场景需求保证网内信息探测链路的高覆盖度和网内资源获取的高信息量；

30、或者为异常节点，设置单独探测路径，采取逐跳探测模式保证探测信息收集的准确性和完整度，并且为防止节点恶化是由探测行为本身造成的影响，为该节点直连上跳节点进行路径冗余操作，避免过多探测流量流经异常节点。

31、优选的，所述的步骤s4中，

32、探测频率优化是在初始探测频率的基础上，根据网内信息更新度的快慢进行不同路径探测频率的实时更新。

33、优选的，所述的步骤s4中，

34、节点探测动作调整主要针对探测方式切换以及网内异常节点的探测动作选取，可以根据网络场景变化或某链路情况变化等为节点选取合适的工作模式并切换，并且因其网内节点具有主动感知功能，也可及时发现网内异常，做出主动的信息上传动作，提高全系统处理异常处理应变能力。

35、本发明还提供了区分场景的网络遥测方法的网络遥测装置，包括：

36、控制平面的中央控制器管理，由网络设备执行实际的数据包处理的数据平面，使用中央控制器负责整个网络的决策制定；数据平面采用p4可编程交换机支撑网络节点功能；以及，

37、网络状态收集模块、工作模式切换模块、探测频率调整模块和路径控制模块，其中工作模式切换模块和探测频率调整模块均包含在遥测控制模块中；其中，

38、所述的网络状态收集模块，用于网络场景信息和实时状态信息的收集，网络场景信息为技术所要适用的业务场景进行信息描述，便于选择不同的工作模式进行路径探测以及探测频率的调整；实时状态信息为收集到的节点元数据从而精准反映网内情况，便于及时调控遥测策略，保障网内探测的灵活和可靠；

39、所述的工作模式切换模块，通过网络状态收集模块所收集得到的数据，根据不同网络场景特性、路径状态以及int不同工作模式特点，进行遥测方式的选择；

40、所述的探测频率调整模块，负责接收网内节点的主动感知通告，从而对探测频率做出调整；

41、所述的路径控制模块，负责根据网络拓扑生成均衡覆盖网内节点的多条探测路径；并且在探测频率调整的基础上，对探测路径进行再规划。

42、所述的网络状态收集模块、工作模式切换模块、探测频率调整模块和路径控制模块之间功能独立，但互为支持，通过网络状态信息不断调整探测行为并不断反馈，确保感知的实时性和准确性。

43、本发明还提供了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述所述的区分场景的网络遥测方法。

44、本发明还提供了用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述所述的区分场景的网络遥测方法。

45、本发明能够实现的有益效果：

46、随着软件定义网络和可编程数据平面的迅速发展，带内网络遥测作为一种先进的网络监测手段受到了广泛的关注。int利用数据包承载网络遥测信息，并逐跳采集网络状态信息，用于拥塞控制、流量调度和异常检测等。本发明方法提出网络信息混合感知方法将两种工作模式结合，实现高效的遥测任务调度。并且，在不同网络业务场景中，如抗丢包、高实时性要求场景可以满足多样的遥测需求、实现灵活的遥测策略以及获取准确的遥测信息。本发明优点在于

47、(1)本发明方法考虑网内节点感知信息更新速率不对等问题，并且将单个易恶化节点进行单独解耦感知操作。在全网遥测全覆盖的基础上，考虑不同网络业务场景感知需求，增加网内节点动作，提高网内信息感知更新能力。

48、(2)随着其技术的发展，目前int的应用研究主要关注于针对单一工作模式的某一需求的优化。但现有的int不同工作模式均存在不足，缺乏在多种规模网络中的应用扩展性。通过本发明方法结合两种int探测方式，兼顾两种工作模式的优势根据不同网络场景需求例如网络规模的大小进行机制切换以实现更好的感知性能。

49、(3)且由于使用p4语言对交换节点进行配置，所以本发明方法具有重复配置性、平台无关性、协议无关性这三点特性。

50、①可重复配置性：指本发明方法使用者可以在不进行硬件更换的前提下灵活的堆数据平面处理行为进行定义。通过使用者对数据平面节点的不同转发需求，可以对p4代码做出更改，而无须更换设备和等待新设备开发。即支持转发逻辑代码经过编译部署到具体平台上之后动态修改报文的处理方式。

51、②协议无关性：指p4代码不与某些特定的网络协议进行绑定。可以使交换节点按需的进行网络协议的使用，将设备资源的使用率充分利用。

52、③平台无关性：开发人员可以独立于特定的底层运行平台来编写数据报文处理逻辑。代码能够通过设备相关的后端编译器快速地在硬件交换机、fpga、smartnic、软件交换机等不同平台之间移植，减轻了开发人员的负担，提高了开发效率。

53、术语解释：

54、①软件定义网络：software defined network,软件定义网络(software definednetwork，sdn)是由美国斯坦福大学clean-slate课题研究组提出的一种新型网络创新架构，是网络虚拟化的一种实现方式。其核心技术openflow通过将网络设备的控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网络作为管道变得更加智能，为核心网络及应用的创新提供了良好的平台。

55、②p4可编程数据平面：programming protocol-independent packetprocessors，programming protocol-independent packet processors(p4)是一种用于网络设备的域特定语言，指定数据平面设备(交换机、nic、路由器、过滤器等)如何处理数据包。

56、③int带内网络遥测技术：inband network telemetry,带内网络遥测技术(inband network telemetry，int)作为一种网络测量技术，从根本上来说就是一种借助数据面业务进行网络状况的收集、携带、整理、上报的技术，不使用单独的控制面管理流量进行上述信息收集。