基于机器学习的5G网络切片容灾池资源管理方法及装置与流程

基于机器学习的5g网络切片容灾池资源管理方法及装置
技术领域
1.本发明涉及通信网络技术领域，具体涉及一种基于机器学习的5g网络切片容灾池资源管理方法及装置。


背景技术：

2.5g技术(第五代移动通信技术，5th generation mobile networks或5th generation wireless systems)是一种蜂窝移动通信技术，其具有数据速率高、延迟低、以及节约能源等特点，从而具有良好的应用前景。在5g技术中，通常采用网络切片的方式来为不同的应用场景提供隔离的网络环境，从而使不同的应用场景可以根据自身要求定制功能与特性。
3.当某网络切片发生故障时，将直接影响其服务的用户的使用体验，继而使得5g技术中网络切片的容灾切换尤为重要。当前通常通过切片容灾池来解决网络切片的容灾切换问题，切片容灾池能够在某个切片实例对应的切片发生故障时，快速地为其提供新的切片，以保障用户业务不中断。
4.当切片容灾池中资源配置不合理时，容易引起资源浪费或者因资源不足造成用户业务中断的情况。目前所采用的切片容灾池中资源管理方式通常为人工估算的方式，即由人工来估算容灾池中的资源容量。
5.然而，发明人在实施过程中发现，现有技术中存在如下缺陷：现有技术中采用人工估算的方式，会大大降低切片容灾池中资源配置的准确性，并且无法跟随切片网络的变化而做出快速地调整。


技术实现要素：

6.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于机器学习的5g网络切片容灾池资源管理方法及装置。
7.根据本发明的一个方面，提供了一种基于机器学习的5g网络切片容灾池资源管理方法，包括：
8.获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；其中，所述预设时间段的终止时间为当前时间；
9.基于所述多个切片实例的属性信息及运行信息，生成与所述切片网络容灾池对应的运行状态拓扑图；
10.计算与所述运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵；
11.将所述切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中；
12.根据所述容灾池资源管理模型输出的资源调整动作，对所述切片网络容灾池中的资源进行调整。
13.可选的，所述基于所述多个切片实例的属性信息及运行信息，生成与所述切片网
络容灾池对应的运行状态拓扑图进一步包括：
14.将切片网络容灾池中包含的切片实例作为图节点，切片实例之间的网元功能共享关系作为图的边，切片实例的属性信息及运行信息作为节点特征，生成与所述切片网络容灾池对应的运行状态拓扑图。
15.可选的，所述属性信息包括以下信息中的至少一种：所属切片业务类型、包含的子网、包含的子网的子网容量、对应的用户sla需求；
16.和/或，所述运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
17.可选的，所述资源调整动作包括：针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作。
18.可选的，所述资源调整动作包括：调整方向以及调整幅度。
19.可选的，所述容灾池资源管理模型包括执行器及评判器。
20.可选的，所述预先训练好的容灾池资源管理模型通过以下方式训练获得：
21.将多个历史时段内的切片网络容灾池对应的历史切片邻接矩阵和历史切片特征矩阵输入至所述执行器中，并获取执行器输出的切片容灾资源调整动作；
22.将所述执行器输出的切片容灾资源调整动作以及所述预设历史时段内的切片网络容灾池对应的切片邻接矩阵和切片特征矩阵输入至所述评判器中，并获取所述评判器输出的值函数；
23.将所述值函数反馈给所述执行器，以供执行器根据所述值函数选取能够获得最大收益的切片容灾资源调整动作。
24.根据本发明的另一方面，提供了一种基于机器学习的5g网络切片容灾池资源管理装置，包括：
25.获取模块，适于获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；其中，所述预设时间段的终止时间为当前时间；
26.拓扑生成模块，适于基于所述多个切片实例的属性信息及运行信息，生成与所述切片网络容灾池对应的运行状态拓扑图；
27.矩阵生成模块，适于计算与所述运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵；
28.输入模块，适于将所述切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中；
29.调整模块，适于根据所述容灾池资源管理模型输出的资源调整动作，对所述切片网络容灾池中的资源进行调整。
30.可选的，所述拓扑生成模块进一步适于：将切片网络容灾池中包含的切片实例作为图节点，切片实例之间的网元功能共享关系作为图的边，切片实例的属性信息及运行信息作为节点特征，生成与所述切片网络容灾池对应的运行状态拓扑图。
31.可选的，所述属性信息包括以下信息中的至少一种：所属切片业务类型、包含的子网、包含的子网的子网容量、对应的用户sla需求；
32.和/或，所述运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
33.可选的，所述资源调整动作包括：针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作。
34.可选的，所述资源调整动作包括：调整方向以及调整幅度。
35.可选的，所述容灾池资源管理模型包括执行器及评判器。
36.可选的，所述预先训练好的容灾池资源管理模型通过以下方式训练获得：
37.将多个历史时段内的切片网络容灾池对应的历史切片邻接矩阵和历史切片特征矩阵输入至所述执行器中，并获取执行器输出的切片容灾资源调整动作；
38.将所述执行器输出的切片容灾资源调整动作以及所述预设历史时段内的切片网络容灾池对应的切片邻接矩阵和切片特征矩阵输入至所述评判器中，并获取所述评判器输出的值函数；
39.将所述值函数反馈给所述执行器，以供执行器根据所述值函数选取能够获得最大收益的切片容灾资源调整动作。
40.根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
41.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于机器学习的5g网络切片容灾池资源管理方法对应的操作。
42.根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于机器学习的5g网络切片容灾池资源管理方法对应的操作。
43.根据本发明提供的基于机器学习的5g网络切片容灾池资源管理方法及装置，获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；生成与切片网络容灾池对应的运行状态拓扑图；计算与运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵；将切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中；根据容灾池资源管理模型输出的资源调整动作，对切片网络容灾池中的资源进行调整。采用本方案，能够准确地获得针对切片网络容灾池的资源调整动作，从而提升切片网络容灾池的资源管理精度，大幅降低资源浪费或者因资源不足造成用户业务中断情况的发生；并且能够实时地根据当前的网络状态动态地调整切片网络容灾池的资源；此外，本实施例无需人工配置，从而亦可降低人工成本，提升资源调整效率。
44.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
45.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
46.图1示出了根据本发明实施例一提供的基于机器学习的5g网络切片容灾池资源管理方法的流程示意图；
47.图2示出了一种切片网络容灾池中切片实例之间的功能共享关系示意图；
48.图3示出了一种邻接矩阵及特征矩阵示意图；
49.图4示出了本发明实施例二提供的一种容灾池资源管理模型训练方法的流程示意图；
50.图5示出了容灾池资源管理模型中的执行器及评判器结构示意图；
51.图6示出了根据本发明实施例三提供的一种基于机器学习的5g网络切片容灾池资源管理装置的功能结构示意图；
52.图7示出了本发明实施例五提供的一种计算设备的结构示意图。
具体实施方式
53.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
54.实施例一
55.图1示出了根据本发明实施例一提供的基于机器学习的5g网络切片容灾池资源管理方法的流程示意图。其中，所述方法可应用于5g网络设备中，本实施例对本方法具体的执行设备不作限定，例如其具体可以由5g网络中的nsmf(network slice management function，网络切片管理功能)单元执行等等。
56.如图1所示，该方法包括以下步骤：
57.步骤s110：获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；其中，预设时间段的终止时间为当前时间。
58.本实施例中的切片实例(nsi，network slice instance)是一个真实运行的逻辑网络，其能满足一定网络特性或服务需求。一个切片实例可提供一种或多种服务。在实际的应用场景中，一个切片实例可对应于一个或多个网络切片。如图2所示，nf1、nf2、nf3、及nf4为核心网子切片；part1、part2、及part3为传输网子切片；cell1、cell2、cell3、及cell4为无线网子切片。其中，切片实例1包含有核心网子切片nf2、传输网子切片part1以及无线网子切片cell1；切片实例2包含有核心网子切片nf2、传输网子切片part2以及无线网子切片cell3；切片实例3包含有核心网子切片nf4、传输网子切片part3以及无线网子切片cell3。
59.为了能够使容灾池资源配置实时地随网络状态变化而调整，本步骤中可获取距当前时间的预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息。可选的，属性信息包含有以下信息中的至少一种：所属切片业务类型、包含的子网、包含的子网的子网容量、对应的用户sla(service-level agreement，服务等级协议)需求；和/或，运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
60.步骤s120：基于多个切片实例的属性信息及运行信息，生成与切片网络容灾池对应的运行状态拓扑图。
61.在实际的应用场景中，切片实例可以由网管系统创建，一个网管系统可能创建多个网络切片实例并同时对它们进行管理，包括在网络切片实例运行过程中的性能监视和故障管理等。当多个网络切片实例共存时，网络切片实例之间可能共享部分网络资源和网络
功能。如图2所示，切片实例1与切片实例2共享核心网子切片nf2，切片实例2与切片实例3共享无线网子切片cell3.。从而，本实施例可基于多个切片实例的属性信息来获得切片网络容灾池中切片实例之间的网元功能共享关系。
62.在获得切片实例之间的网元功能共享关系之后，可将切片网络容灾池中包含的切片实例作为图节点，切片实例之间的网元功能共享关系作为图的边，切片实例的属性信息及运行信息作为节点特征，生成与切片网络容灾池对应的运行状态拓扑图。
63.可选的，在生成与切片网络容灾池对应的运行状态拓扑图之后，可进一步进行数据标准化，以便于提升后续容灾池资源管理模型输出结果的速度，及提升后续容灾池资源管理模型的预测精度。其中，本实施例对具体的数据标准化方式不作限定，例如可采用(x-mean)/std的方式计算获得每个维度数据标准化的数据(其中，x为标准化之前的数据值，mean为x数据对应的维度数据的平均值，std为x数据对应的维度数据的方差)。
64.步骤s130：计算与运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵。
65.根据步骤s120生成的运行状态拓扑图可生成相应的切片邻接矩阵及切片特征矩阵。其中，运行状态拓扑图可以表示为g＝(v，e)，v为切片实例各节点的集合v＝{v1,v2,v3,
…
,vn}，e为切片实例间关系的集合。通过对该运行状态拓扑图的转化，如图3所示，可将g＝(v，e)转换为g＝(a，x)，其中，a为邻接矩阵，x为特征矩阵。邻接矩阵a包含各切片实例的连接关系，eij表示切片实例vi和切片实例vj之间的连接关系，切片实例之间有网元功能共享则eij＝1,否则eij＝0，矩阵形状为n*n(n为图节点的个数)；特征矩阵x包含反映各切片实例固有属性的静态特征和反映各切片运行情况的动态特征。
66.步骤s140：将切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中。
67.本实施例中的容灾池资源管理模型基于机器学习算法构建，该容灾池资源管理模型能够根据当前切片网络的实时状态输出符合当前网络状态的资源调整动作。
68.在实际的实施过程中，可将生成的切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中，以供利用该预先训练好的容灾池资源管理模型对当前的资源调整动作进行预测。
69.步骤s150：根据容灾池资源管理模型输出的资源调整动作，对切片网络容灾池中的资源进行调整。
70.具体地，资源调整动作包括：针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作。该资源调整动作又可以包括调整方向以及调整幅度，该调整方向包括增加或减少，调整幅度具体为增加或减少的具体数值。具体地，针对无线网子切片的资源调整动作可以为增加或减少n个无线资源块；针对传输子切片的资源调整动作可以为增加或减少m个逻辑端口；针对于核心网子切片的资源调整动作可以为增加或减少cpu、内存、和/或存储的数量。
71.由此可见，本实施例中实时地获取切片实例的属性信息及运行信息，并生成相应的拓扑图，并生成切片邻接矩阵及切片特征矩阵，从而能够准确地获取切片网络中切片实例之间的共享关系以及各切片实例的静态及动态特征。进一步通过切片邻接矩阵、切片特征矩阵以及容灾池资源管理模型来获得针对于当前切片网络容灾池的资源调整动作。采用本方案，能够准确地获得针对切片网络容灾池的资源调整动作，从而提升切片网络容灾池
的资源管理精度，大幅降低资源浪费或者因资源不足造成用户业务中断情况的发生；并且能够实时地根据当前的网络状态动态地调整切片网络容灾池的资源；此外，本实施例无需人工配置，从而亦可降低人工成本，提升资源调整效率。
72.实施例二
73.图4示出了本发明实施例二提供的一种容灾池资源管理模型训练方法的流程示意图。其中，该方法的执行载体可以与实施例一中基于机器学习的5g网络切片容灾池资源管理方法的执行载体相同，也可以由单独的计算设备执行，并与实施例一种的执行载体进行信息交互。
74.如图4所示，该方法包括：
75.步骤s410：获取切片网络的历史数据，从切片网络历史数据中提取出多个历史时段对应的切片网络容灾池的历史运行状态拓扑图，并基于该历史运行状态拓扑图生成相应的历史切片邻接矩阵及历史切片特征矩阵，从而生成样本数据。
76.本实施例中，样本数据基于切片网络的历史数据获得。在具体的实施过程中，可获取预设历史时间段内切片网络容灾池中多个切片实例的属性信息及运行信息，其中，该属性信息包含有以下信息中的至少一种：所属切片业务类型、包含的子网、包含的子网的子网容量、对应的用户sla(service-level agreement，服务等级协议)需求；和/或，运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
77.进一步地基于多个切片实例的属性信息及运行信息，生成与切片网络容灾池对应的历史运行状态拓扑图；其中，该历史运行状态拓扑图中节点为历史时段内各个切片实例，图的边为历史时段内各切片实例之间的网元功能共享关系；而历史时段内切片实例的属性信息及运行信息为节点特征。
78.再进一步地，计算与历史运行状态拓扑图对应的历史切片邻接矩阵及历史切片特征矩阵。
79.其中，本步骤中样本数据的具体处理过程可参照实施例一中步骤s110-s130中相应部分的描述，本步骤在此不再赘述。
80.在获得各个历史时段对应切片网络容灾池的历史切片邻接矩阵及历史切片特征矩阵之后，可按照预设比例将获得的数据拆分训练数据及测试数据。例如可将80％的数据作为训练数据，而将20％的数据作为测试数据。
81.可选的，在生成样本数据之后可进一步地对样本数据进行标准化处理，本实施例对具体的标准化处理过程不作限定。
82.步骤s420：构建容灾池资源管理模型；该容灾池资源管理模型包括执行器及评判器。
83.本实施例中预先构建容灾池资源管理模型基于ddpg(深度确定性策略梯度)模型构建，ddpg在连续动作空间预测上优势明显。本实施例构建的容灾池资源管理模型包含执行器及评判器。
84.其中，执行器由图网络构成，其输入数据为邻接矩阵和特征矩阵，该特征矩阵能够反映各切片实例固有属性的静态特征和反映各切片实例运行情况的动态特征，图网络能够从动态特征中发现切片发生故障切换的可能性，并从静态特征中获取可能发生容灾切换的
切片所需资源，然后输出切片容灾资源调整动作(该调整动作包括针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作)。其中，执行器包含有动作目标网络和动作估计网络，其中动作目标网络和动作估计网络具有相同的神经元结构，但两者的参数更新频率不同。如图5所示，执行器输入数据为切片邻接矩阵a及切片特征矩阵x(该特征矩阵x中包含有切片实例的静态特征及动态特征)，其经过输入层后进入包含3个图卷积层的隐藏层，其中，该3个卷积层分别包含300、200、及100个神经元，神经元激活函数均为relu函数；经过隐藏层后经过包含3个神经元的全连接层从而输出资源调整动作，该资源调整动作具体是针对于核心网子切片、传输网子切片及无线网子切片的资源调整动作。
85.而评判器由图网络和全连接神经网络构成，其包含评价目标网络及评价估计网络。如图5所示，评判器的输入数据为邻接矩阵及特征矩阵，以及资源调整动作。邻接矩阵及特征矩阵在通过输入层后进入包含300个神经元的图卷积层继而通过包含200个神经元的全连接层输出，而资源调整动作通过输入层及全连接层输出。进一步地，将通过该两个全连接层输出的数据经过合并层进行合并处理，并通过一个包含200个神经元的全连接层处理后，通过包含1个神经元的全连接层输出评价资源调整动作的值函数q(s,a)，其中，s为输入状态，a为该状态下选择的资源调整动作。
86.步骤s430:利用生成的样本数据对构建的容灾池资源管理模型进行训练以获得训练好的容灾池资源管理模型。
87.在进行容灾池资源管理模型训练过程中，将多个历史时段内的切片网络容灾池对应的历史切片邻接矩阵和历史切片特征矩阵输入至执行器中，并获取执行器输出的切片容灾资源调整动作；继而将执行器输出的切片容灾资源调整动作以及预设历史时段内的切片网络容灾池对应的切片邻接矩阵和切片特征矩阵输入至评判器中，并获取评判器输出的值函数；进一步地将值函数反馈给执行器，以供执行器根据值函数选取能够获得最大收益的切片容灾资源调整动作。
88.在具体的训练过程中，只需训练动作估计网络和评价估计网络的参数，而动作目标网络和评价目标网络的参数是由动作估计网络和评价估计网络每隔预设时间复制获得。
89.具体地，本模型包含有记忆库，记忆库中包含每一个状态下的行动、奖励、和下一个状态的结果(s,a,r,s')，其中，(s,a,r,s')是actor在和环境做互动时产生的数据,s表示当时系统所面临的状态、a表示智能体采用的行为、r表示智能体做出了该行为之后从环境中获得的收益、s'表示智能体做出了选择的行为后转移到的另外一个状态。记忆库的大小有限，当记录满了数据之后，下一个数据会覆盖记忆库中的第一个数据。
90.在具体的训练过程中，首先随机初始化评价网络和执行网络，初始化的权重不作限定。然后初始化目标网络。初始化经验回放r。回合＝1时：为动作选择初始化一个随机过程，得到初始切片实例运行健康拓扑状态s1；t＝1时，选取切片容灾池资源调整动作at,执行后得到回报rt和新的切片实例运行健康拓扑状态st 1。将该阶段产生的(st,at,rt,st 1)存入r。从r中随机抽取一批n个记录(si,ai,ri,si 1)；然后通过最小化以下损失函数来更新评价网络：其中，评价网络的状态估计网络的训练基于实际的q值和估计的q值的平方损失，估计的q值根据当前的状态和动作估计网络输出的动作输入状态估计网络得到，而现实的q值根据现实的奖励r，以及将下一时刻的状态s'和动作现实网络得到的动作a'输入到状态现实网络而得到的q值的折现值相加得到；进一步地更新执行网络，本实施例中通过确
定性策略梯度来更新执行网络；最后更新目标网络，其中，目标网络的权重通过慢慢跟踪学习过的网络来更新。
91.由此可见，本实施例构建的容灾池资源管理模型包括执行器及评价器，由执行器来根据对邻接矩阵及特征矩阵进行学习，获得资源调整动作；由评价器来评价资源调整动作的值函数，并将结果反馈给执行器，以供执行器来不断完善策略，从而能够使执行器选取能够获得最大收益的动作。采用本实施例训练获得的容灾池资源管理模型预测精度高，效率快，为切片网络容灾池的实时且准确的资源管理提供基础。
92.实施例三
93.图6示出了根据本发明实施例三提供的一种基于机器学习的5g网络切片容灾池资源管理装置的功能结构示意图。
94.如图6所示，该装置包括：获取模块61、拓扑生成模块62、矩阵生成模块63、输入模块64及调整模块65。
95.获取模块61，适于获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；其中，所述预设时间段的终止时间为当前时间；
96.拓扑生成模块62，适于基于所述多个切片实例的属性信息及运行信息，生成与所述切片网络容灾池对应的运行状态拓扑图；
97.矩阵生成模块63，适于计算与所述运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵；
98.输入模块64，适于将所述切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中；
99.调整模块65，适于根据所述容灾池资源管理模型输出的资源调整动作，对所述切片网络容灾池中的资源进行调整。
100.可选的，所述拓扑生成模块进一步适于：将切片网络容灾池中包含的切片实例作为图节点，切片实例之间的网元功能共享关系作为图的边，切片实例的属性信息及运行信息作为节点特征，生成与所述切片网络容灾池对应的运行状态拓扑图。
101.可选的，所述属性信息包括以下信息中的至少一种：所属切片业务类型、包含的子网、包含的子网的子网容量、对应的用户sla需求；
102.和/或，所述运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
103.可选的，所述资源调整动作包括：针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作。
104.可选的，所述资源调整动作包括：调整方向以及调整幅度。
105.可选的，所述容灾池资源管理模型包括执行器及评判器。
106.可选的，所述预先训练好的容灾池资源管理模型通过以下方式训练获得：
107.将多个历史时段内的切片网络容灾池对应的历史切片邻接矩阵和历史切片特征矩阵输入至所述执行器中，并获取执行器输出的切片容灾资源调整动作；
108.将所述执行器输出的切片容灾资源调整动作以及所述预设历史时段内的切片网络容灾池对应的切片邻接矩阵和切片特征矩阵输入至所述评判器中，并获取所述评判器输出的值函数；
109.将所述值函数反馈给所述执行器，以供执行器根据所述值函数选取能够获得最大收益的切片容灾资源调整动作。
110.其中，本实施例的具体实施过程可参照实施例一中相应部分的描述，本实施例在此不做赘述。
111.由此可见，采用本方案，能够准确地获得针对切片网络容灾池的资源调整动作，从而提升切片网络容灾池的资源管理精度，大幅降低资源浪费或者因资源不足造成用户业务中断情况的发生；并且能够实时地根据当前的网络状态动态地调整切片网络容灾池的资源；此外，本实施例无需人工配置，从而亦可降低人工成本，提升资源调整效率。
112.实施例四
113.本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于机器学习的5g网络切片容灾池资源管理方法。
114.可执行指令具体可以用于使得处理器执行以下操作：
115.获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；其中，所述预设时间段的终止时间为当前时间；
116.基于所述多个切片实例的属性信息及运行信息，生成与所述切片网络容灾池对应的运行状态拓扑图；
117.计算与所述运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵；
118.将所述切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中；
119.根据所述容灾池资源管理模型输出的资源调整动作，对所述切片网络容灾池中的资源进行调整。
120.在一种可选的实施方式中，可执行指令具体可以用于使得处理器执行以下操作：
121.将切片网络容灾池中包含的切片实例作为图节点，切片实例之间的网元功能共享关系作为图的边，切片实例的属性信息及运行信息作为节点特征，生成与所述切片网络容灾池对应的运行状态拓扑图。
122.在一种可选的实施方式中，所述属性信息包括以下信息中的至少一种：所属切片业务类型、包含的子网、包含的子网的子网容量、对应的用户sla需求；
123.和/或，所述运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
124.在一种可选的实施方式中，所述资源调整动作包括：针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作。
125.在一种可选的实施方式中，所述资源调整动作包括：调整方向以及调整幅度。
126.在一种可选的实施方式中，所述容灾池资源管理模型包括执行器及评判器。
127.在一种可选的实施方式中，所述预先训练好的容灾池资源管理模型通过以下方式训练获得：
128.将多个历史时段内的切片网络容灾池对应的历史切片邻接矩阵和历史切片特征矩阵输入至所述执行器中，并获取执行器输出的切片容灾资源调整动作；
129.将所述执行器输出的切片容灾资源调整动作以及所述预设历史时段内的切片网
络容灾池对应的切片邻接矩阵和切片特征矩阵输入至所述评判器中，并获取所述评判器输出的值函数；
130.将所述值函数反馈给所述执行器，以供执行器根据所述值函数选取能够获得最大收益的切片容灾资源调整动作。
131.由此可见，采用本方案，能够准确地获得针对切片网络容灾池的资源调整动作，从而提升切片网络容灾池的资源管理精度，大幅降低资源浪费或者因资源不足造成用户业务中断情况的发生；并且能够实时地根据当前的网络状态动态地调整切片网络容灾池的资源；此外，本实施例无需人工配置，从而亦可降低人工成本，提升资源调整效率。
132.实施例五
133.图7示出了本发明实施例五提供的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
134.如图7所示，该计算设备可以包括：处理器(processor)702、通信接口(communications interface)704、存储器(memory)706、以及通信总线708。
135.其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。处理器702，用于执行程序710，具体可以执行上述基于机器学习的5g网络切片容灾池资源管理方法实施例中的相关步骤。
136.具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
137.处理器702可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
138.存储器706，用于存放程序710。存储器706可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
139.程序710具体可以用于使得处理器702执行以下操作：
140.获取预设时间段内切片网络容灾池中多个切片实例的属性信息及运行信息；其中，所述预设时间段的终止时间为当前时间；
141.基于所述多个切片实例的属性信息及运行信息，生成与所述切片网络容灾池对应的运行状态拓扑图；
142.计算与所述运行状态拓扑图对应的切片邻接矩阵及切片特征矩阵；
143.将所述切片邻接矩阵及切片特征矩阵输入至预先训练好的容灾池资源管理模型中；
144.根据所述容灾池资源管理模型输出的资源调整动作，对所述切片网络容灾池中的资源进行调整。
145.在一种可选的实施方式中，程序710具体可以用于使得处理器702执行以下操作：
146.将切片网络容灾池中包含的切片实例作为图节点，切片实例之间的网元功能共享关系作为图的边，切片实例的属性信息及运行信息作为节点特征，生成与所述切片网络容灾池对应的运行状态拓扑图。
147.在一种可选的实施方式中，所述属性信息包括以下信息中的至少一种：所属切片
业务类型、包含的子网、包含的子网的子网容量、对应的用户sla需求；
148.和/或，所述运行信息包括以下信息中的至少一种：网络并发量、请求时延、请求成功率、错误码个数、包含的子网的资源利用率、触发容灾切换次数、以及容灾切换成功率。
149.在一种可选的实施方式中，所述资源调整动作包括：针对无线网子切片、传输网子切片、和/或核心网子切片的资源调整动作。
150.在一种可选的实施方式中，所述资源调整动作包括：调整方向以及调整幅度。
151.在一种可选的实施方式中，所述容灾池资源管理模型包括执行器及评判器。
152.在一种可选的实施方式中，所述预先训练好的容灾池资源管理模型通过以下方式训练获得：
153.将多个历史时段内的切片网络容灾池对应的历史切片邻接矩阵和历史切片特征矩阵输入至所述执行器中，并获取执行器输出的切片容灾资源调整动作；
154.将所述执行器输出的切片容灾资源调整动作以及所述预设历史时段内的切片网络容灾池对应的切片邻接矩阵和切片特征矩阵输入至所述评判器中，并获取所述评判器输出的值函数；
155.将所述值函数反馈给所述执行器，以供执行器根据所述值函数选取能够获得最大收益的切片容灾资源调整动作。
156.由此可见，采用本方案，能够准确地获得针对切片网络容灾池的资源调整动作，从而提升切片网络容灾池的资源管理精度，大幅降低资源浪费或者因资源不足造成用户业务中断情况的发生；并且能够实时地根据当前的网络状态动态地调整切片网络容灾池的资源；此外，本实施例无需人工配置，从而亦可降低人工成本，提升资源调整效率。
157.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
158.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
159.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
160.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何
组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
161.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
162.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
163.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。