网络攻击下基于动态博弈的配电网防御策略设计方法

1.本发明涉及智能电网安全控制领域，具体涉及通过不完全信息动态博弈设计 有源配电网中针对网络攻击的防御策略的方法。


背景技术：

2.随着互联网技术的飞速发展，网络化通信及控制技术在智能电网系统中得到 了广泛的应用，大量的网络协议和应用也开始服务于智能电网系统，但与此同时 也增加了攻击者通过网络攻击非法入侵智能电网系统的风险。
3.网络化通信及控制技术使得智能电网系统快速发展并实现了远程监控等功 能，这意味智能电网系统必须与外部网络保持实时通信，攻击者可以通过挖掘外 部网络和控制系统的连接漏洞，发起恶意网络攻击，产生巨大威胁。同时在智能 电网通信系统内部存在大量开放的通信协议，这些协议的安全性存在潜在的隐患， 可能被攻击者加以利用。
4.与传统的信息安全不同，控制系统最重要的要求是能够稳定运行，因此控制 系统中的防御策略设计需要满足一定的“容侵性”，即系统在受到一定程度的网 络攻击下可以继续保持稳定性，能够承受一定程度上的“安全风险”。


技术实现要素：

5.鉴于上述原因，为弥补现有技术存在的不足，本发明提供了一种基于动态博 弈设计有源配电网防御策略的方法，采用博弈论设计的主动防御策略可以弥补原 来被动防御的不足，分析有限理性的攻击者和防御者之间的动态博弈过程，求解 精炼贝叶斯纳什均衡，使得动态策略的选择更具准确性和实用性，通过本发明可 以实现有源配电网抵御适度风险的最优控制策略设计。
6.为了达到上述目的，本发明采用以下技术方案实现上述防御功能：
7.一种网络攻击下基于动态博弈的配电网防御策略设计方法，所述方法步骤如 下：
8.步骤一：对智能电网系统进行风险量化计算
9.对智能电网系统进行监测和记录，得到相应的条件概率，进行风险量化计算， 并根据风险量化结果推断博弈双方的收益和安全系数c
max
；博弈双方的收益包括 入侵节点的收益ua和防御节点的收益ud；
10.步骤二：建立不完全信息动态攻防博弈模型
11.通过海撒尼转换，将不完全信息静态博弈模型转换成不完全信息动态攻防博 弈模型g；
12.步骤三：更新信念计算后验概率
13.根据已发生的博弈进行信念更新计算后验概率p(tk|ah)，记为表 示防御方通过信念更新得到攻击方策略选择的后验概率，表示攻击方通过信 念更新得到防御方策略选择的后验概率；
14.步骤四：计算期望效益函数
15.对智能电网系统的每个节点计算收益函数，以推断当前博弈下攻击者的最优 攻击策略和防御者的最优防御策略从而对效益函数s进行更新；
16.步骤五：非线性规划优化纳什均衡解
17.通过非线性规划方法对攻击者的最优攻击策略和防御者的最优防御策略 进行修正，获得纳什均衡解和以优化效益函数s。
18.优选地，步骤一中，智能电网系统可能遭遇的安全风险量化计算为：
[0019][0020]
式中：n表示智能电网系统中系统元素的总数，m表示智能电网系统可能遭 遇的网络攻击类型总数；γi表示系统元素i在智能电网系统中的重要程度；ρ
ij
表 示智能电网系统中组成元素i被网络攻击j攻击的概率，π
ij
表示组成元素i被网络 攻击j攻击后对系统安全的影响。
[0021]
优选地，步骤二中，不完全信息动态攻防博弈模型具体为：
[0022]
g＝(p,z,θ,s)
[0023]
p＝(pa,pd)
[0024]
z＝{z0,z1,...，zi,...，zn}
[0025][0026][0027][0028][0029][0030][0031]
攻防双方关于节点i的收益矩阵为：
[0032][0033]
式中：p表示攻防双方参与者集合；pa为攻击方集合；pd为防御方集合；z表 示网络安全状态的集合；zi表示在第i轮博弈中电力系统运行的安全状态；θ表 示攻防双方的策略集集合；和分别表示系统要达到安全状态zi时，攻击 方和防御方所有可能策略的集合；和分别表示攻击者对入侵节点i的策 略和防御者对防御节点j的策略，i＝1,2,3...m，j＝1,2,3...n；θ
aa
和θ
an
分别代表对 节点发起攻击和模仿正常节点行为；θ
da
和θ
dn
分别代表在节点开启防御系统和 不开启防御系统；s表示博弈双方的收益函数；和分别表示攻防双方选择 不同策略下的收益；
[0034]
当时，攻击者不会选择攻击；当时，攻 击者会选择攻击；表示防御者开启防御系统的代价成本，表示节点i被攻 击的平均损失，
和分别代表攻击者发起攻击和不发起攻击的成本，和 分别表示入侵节点和防御节点的收益。
[0035]
优选地，考虑攻击者和防御者所有的入侵节点和防御节点以及t从1开始的 全部过程，得到攻防双方的收益矩阵为：
[0036][0037]
设初始时刻t＝1，假设此时m《n,攻击方通过已掌握的公共知识和先验概率 将会先对电网节点j和k发起攻击，而防御方只在重要节点k和l开启了防御系 统，初始时刻效用函数s为：
[0038][0039]
随着双方不断地进行攻防博弈，攻防双方会不断更新信念计算后验概率并更 新自己的策略集。
[0040]
优选地，步骤三中，后验概率p(tk|ah)的计算公式为：
[0041][0042]
p(ah|tk)是条件概率，防御者根据攻击者的行为信号进行分析，得出对方在各 种攻击策略下发起攻击的概率；p(tk)是先验概率，并且表示攻击者使 用不同攻击策略的概率，k＝1,2,...,m；p(ah)表示攻击者攻击的概率。
[0043]
优选地，步骤四中，当前博弈下攻击者的最优攻击策略和防御者的最优 防御策略的获取方式如下：
[0044]
步骤4.1、计算攻击者和防御者在节点i的子博弈纳什均衡解分别为：
[0045][0046][0047]
步骤4.2、计算攻防双方在节点i的纳什均衡下数学期望为：
[0048][0049][0050]
步骤4.3、对于每个节点都计算数学期望选取最优纳什均衡解，并计算本轮 博弈
中攻防双方的数学期望：
[0051][0052][0053]
上式中：表示攻击方在节点i通过信念更新得到防御方策略选择的后验概 率；表示防御方在节点i通过信念更新得到攻击方策略选择的后验概率；表 示节点i被攻击的平均损失；表示表示攻击者发起攻击的成本；和分 别表示入侵节点和防御节点的收益；表示攻击者不发起攻击的成本。
[0054]
优选地，步骤五中，纳什均衡解和的获取方式具体包括如下步骤：
[0055]
步骤5.1、计算最大安全系数c
[0056][0057][0058][0059]
式中：
[0060]
步骤5.2、获取纳什均衡解和
[0061]
当最大安全系数c小于安全系数c
max
时，遍历防御方所有可能策略的集合对于任意节点i存在策略θ
dd
时，若令此时最大安全系 数c依然满足c《c
max
条件，则更新防御策略和效用函数；表示更新后的防御 策略；
[0062]
当最大安全系数c大于c
max
时，遍历选取期望最小的节点i，更新防御策 略和效用函数令不断循环遍历直至最大安全系数c满 足条件c《c
max
，退出循环；表示防御节点i在纳什均衡下的数学期望；表 示更新后的防御策略。
[0063]
基于上述的技术方案，本发明所述的技术方案具有如下的技术效果：
[0064]
本发明将电网防御者和多源网络攻击视为双人博弈的攻防双方，考虑攻防双 方掌握信息的不完备性以及博弈的动态性匹配博弈论中不完全信息动态博弈，遍 历双方针对某一节点的所有可能策略组合并计算期望收益，得出单个节点局部纳 什均衡解并推广到其他节点，最后考虑电网里所有节点，对于潜在的多节点协同 攻击将问题转化为非线性动态规划问题，通过安全系数判断修正纳什均衡解，在 保证电力系统遭受网络攻击后能稳定运行的前提下减少采取的防御决策，最终求 出整个策略集的纳什均衡解。由此可见，本发明可以准确得到有源配电网在满足 容侵条件下的最优防御策略。
附图说明
[0065]
图1为本发明提供的基于动态博弈的配电网防御策略设计方法的流程图
[0066]
图2为具体节点求解纳什均衡解的博弈树
具体实施方式
[0067]
下面结合附图对本发明的具体实施方案做近一步详细描述
[0068]
步骤一：对智能电网系统进行风险量化计算
[0069]
在智能电网系统中安装常规的工业安全防护软件和工业防火墙等，以对智能 电网系统的异常进行监测和记录，在统计规律的基础上得到不同类型攻击智能电 网系统中不同元素的先验概率和影响程度的参数。
[0070]
假设先验概率p(tk)表示电网攻击类型为tk时，智能电网系统的不同入侵节 点受到攻击的概率，其中：换句话来讲，先验概率p(tk) 即指电网攻击(智能电网系统所遭受的攻击)中针对智能电网系统的不同入侵节 点攻击的概率。
[0071]
p(ah|tk)表示配电网防御者对攻击者对电网攻击类型为tk选择攻击行为ah有一个先验判断，其中h表示防御者当前所处信息集，信息集h中有n个系统结点并且满足
[0072]
系统元素i可能遭受攻击后风险的量化计算为：
[0073][0074]
攻击方的入侵节点m和防御方的防御节点n不一定会相等。当m》n时，防御方 存在较大的安全隐患，攻击者可以一直攻击电网防御者忽略的节点，等到攻击累 积到一定程度后可能会导致系统不再稳定，这需要电网防御方今早做好防御更新 自己的防御策略集。当m《n时，攻击方由于信息较少或技术不足等问题，对于 电网中的一些节点无法发起攻击。
[0075]
其中，ρ
ij
表示有源配电网系统中组成元素i被网络攻击j攻击的概率，π
ij
表示组 成元素i被网络攻击j攻击后对系统安全的影响，m表示系统可能遭遇m种类型 的网络攻击。假设系统中存在n个系统元素，则整个系统可能遭遇的安全风险可 以量化计算为：
[0076][0077]
其中，γi表示系统元素i在系统中的重要程度。通过具体计算的量化结果得出博 弈双方的收益量，该结果满足零和条件，记入侵节点和防御节点的收益分别为
[0078]
步骤二：建立不完全信息动态攻防博弈模型
[0079]
有源配电网中动态博弈的参与者分别为一个理性的有源配电网防御者和一 个或多个理性的攻击者，不同的攻击者之间可能存在合作情况，但站在防御者的 角度，不同的攻击者的攻击可以归为一个攻击策略集，将所有攻击者考虑为一个 理性的攻击者，此时的博弈模型便成了双人博弈。由于网络攻防中彼此信息了解 的不足和攻防具有先后次序，所以有源配电网攻防是一个不完全信息的动态博弈。
[0080]
不完全信息的动态攻防博弈模型包括博弈双方的策略集。假设防御方的防御 系统有n个防御节点，每个节点可以选择开启或不开启防御系统，开启防御系统 将占用系统
资源造成负收益，而不开启防御系统将会导致系统在网络攻击下损失 更大，所有节点的防御策略构成整个防御者的策略集。设攻击者有m个入侵节 点，每个节点可以选择发起不同的网络攻击或者不发起网络攻击模仿正常节点行 为，如果直接发起攻击可能并不一定达到预期的攻击收益，而不发起攻击将会承 担本次攻击成本的负收益，但随着防御者的信念更新攻击者可在以后的博弈中获 得此攻击节点的更大收益。博弈开始前，攻防方的策略集将由其先验信念决定每 个节点的行为。不完全信息动态攻防博弈模型具体为：
[0081]
g＝(p,z,θ,s)
[0082]
其中：p＝(pa,pd)表示攻防双方参与者集合(pa为攻击方，pd为防御方)； z＝{z0,z1,...，zi,...，zn}用来表示网络安全状态的集合；}用来表示网络安全状态的集合；用来表示攻防双方的策略集集合，和分别表示系统要达到安全状态zi时，攻击方和防御方所有可能策略的集合，可以展开为和 其中和分别表示攻击者对入侵节点i的策略和防御 者对防御节点i的策略，和具体又可展开为为其中θ
aa
,θ
an
分别代表对节点发起攻击和模仿正常节点行为， θ
da
,θ
dn
分别代表在节点开启防御系统和不开启防御系统。
[0083]
对于单个具体的网络节点i，攻防双方的策略矩阵为：
[0084][0085]
其中矩阵的行代表攻击者所有可能的行为，列代表防御者所有可能的行为， 每个策略集的左边表示攻击者，右边表示防御者。
[0086]
博弈双方的收益函数表示为
[0087]
定义收益和代价函数表示每一 轮的博弈，其中表示防御者开启防御系统的代价成本，表示节点i被攻击 的平均损失，和分别代表攻击者发起攻击和不发起攻击的成本，和分别表示入侵节点和防御节点的收益。
[0088]
根据策略矩阵写出双方关于节点i的收益矩阵为：
[0089][0090]
当时，攻击者不会选择攻击；当时，攻 击者会选择攻击。步骤三：更新信念计算后验概率
[0091]
根据已发生的博弈进行信念更新计算后验概率，通过贝叶斯公式计算：
[0092][0093]
其中p(tk|ah)是后验概率，p(ah|tk)是先验概率。设前一博弈阶段为t＝i-1，当前
达 到安全状态zi，对于前一状态进行信念更新得到后验概率p(tk|ah)记为 同理攻击方通过信念更新得到防御方策略选择的后验概率 记为
[0094]
具体地，设初始时刻t＝1，假设此时m《n，攻击方通过已掌握的公共知识和 先验概率将会先对电网节点j和k发起攻击，而防御方只在重要节点k和l开启 了防御系统，初始时刻效用函数s为：
[0095][0096]
随着双方不断地进行攻防博弈，攻防双方会不断更新信念计算后验概率并更 新自己的策略集，因此双方的效用函数也随着博弈不断变化。
[0097]
步骤四：计算期望收益函数
[0098]
推断攻击者的最优攻击策略和防御者的最优防御策略具体为：对每个节点计 算收益函数，推断每个节点的攻防策略。如图2所示的单节点i博弈树，攻击者 和防御者的子博弈纳什均衡解分别为：
[0099][0100][0101]
此时记攻防双方在节点i的纳什均衡下数学期望为和
[0102][0103][0104]
对于每个节点都计算数学期望选取最优纳什均衡解，并计算本轮博弈中攻防 双方的数学期望：
[0105][0106]
其中和表示当前博弈下纳什均衡解的最大数学期望函数。
[0107]
更新效益函数
[0108]
步骤五：非线性规划优化纳什均衡解
[0109]
智能电网系统具有容侵性，允许智能电网系统遭受一定程度的网络攻击而不 开启防御系统。不同于互联网通信中的信息安全，智能电网系统中最重要的目标 就是保证智能电网系统的稳定性，另一方面智能电网系统中的网络信道资源较为 紧张，如果大量的节点都开启防御系统，那么智能电网系统中的数据传输效率将 会大打折扣，因此在防御方的策略集中，当风险效益函数小于最大安全系数时， 防御者可以选择在不开启防御系统优于开启的情况下选择不防御策略。
[0110]
因此，可以通过非线性规划方法求解纳什均衡，基于满足容侵性的策略将问题转 化为：
[0111][0112][0113]
其中c为系统最大安全系数，表示对应的单位行向量。
[0114]
在考虑有源配电网防御时，对最优解进行修正，当最大安全系数c小于c
max
时，遍历对于任意节点i存在策略θ
dd
时，若令此时c依然满足c《c
max
条件，则更新防御策略和效用函数。
[0115]
当安全系数c大于c
max
时，遍历选取期望最小的节点i，更新防御策略 和效用函数令不断循环遍历直至安全系数c满足条件 c《c
max
退出循环。
[0116]
遍历结束可得到纳什均衡解和
[0117]
根据上述分析的基于动态博弈的防御策略设计方法，即可设计出防御者的最 优策略选取算法。