基于物理不变子空间的无监督车联网异常检测方法及系统

本发明属于车联网异常检测，涉及一种基于物理不变子空间的无监督车联网异常检测方法及系统。

背景技术：

1、车联网系统将信息技术与物理过程紧密耦合，产生了超出传统网络攻击的物理攻击。攻击者能够在不直接访问系统任何物理组件的情况下操纵车辆网络影响系统性能危及整个系统的安全性，此类攻击包括电磁干扰、射频干扰、侧信道攻击等。此外，自动驾驶汽车在很大程度上依赖各类传感器数据在道路上进行导航和决策，然而传感器如激光雷达、超声波传感器、摄像头等必须在复杂和动态的环境中工作，这可能导致传感器故障或错误的读数，从而影响其检测准确性和解释车辆周围环境的能力。

2、基于模型的检测方法依赖于预先定义的物理系统模型或被认为是“正常”行为的数学表示。模型用于捕获输入、输出和内部状态之间的关系，用基于数学方程、物理定律和线性不变量分析技术等表示。模型创建后可用于在正常条件下生成系统预期的行为，将预期行为与系统实际行为进行比较，可以识别异常行为。系统辨识是一种学习和分析系统动态行为的控制系统工程方法，它涉及从系统中收集数据，并使用数学模型来理解和预测其行为。基于数据的检测方法使用统计和机器学习技术来分析系统数据并识别模式，它能够用无监督学习技术处理复杂的数据。然而，深度学习模型需要大量的训练数据才能够准确地进行分类或者预测，而公开可用的车辆网数据是稀疏的且仅包含少量攻击数据点。此外，现有的基于深度学习的方法缺乏可解释性，难以从逻辑上推断算法的准确性或检测到的异常是否合理。并且传感器工作环境的复杂和不确定性使得传统的检测方法无法检测到复杂多变的异常。

3、鉴于此，本发明的主旨是在存在系统不确定性和噪声扰动情况下，解决针对传感器威胁的检测方法的可解释性与可检测性问题，本发明采用基于物理不变子空间的无监督异常检测方法来提高算法的可解释性和异常检测的准确性和可靠性。

技术实现思路

1、本发明针对现有基于深度学习的异常检测技术存在的问题，提供一种基于物理不变子空间的无监督车联网异常检测方法及系统，具有可解释性和较高的检测效率以及准确度。

2、为达到上述目的，本发明的技术方案如下：

3、根据本说明书的第一方面，提供一种基于物理不变子空间的无监督车联网异常检测方法，该方法包括：

4、通过车载传感器收集汽车行驶状态的时间序列数据，对收集数据进行数据预处理；

5、利用包含子空间提取层的卡尔曼变分自编码器，对预处理后的数据进行训练，重构出满足物理定律的具有特征相关性的紧凑的行为序列来捕获多元时间行为序列的正常模式；

6、利用基于迭代重加权最小二乘的状态估计器，对重构的行为序列进行状态估计；

7、利用异常检测器对状态估计器预测的状态与传感器观测状态之间的状态差进行自适应的非参数累积求和，以进行异常检测。

8、进一步地，所述时间序列数据在车辆网络中实时传输，形成一个离散时不变模型，用以描绘汽车的动力学行为，所述离散时不变模型表示如下：

9、

10、

11、其中，分别表示k时刻的状态向量、控制输入向量和输出向量；a,b,c分别表示状态转移矩阵、输入矩阵和测量矩阵；表示独立同分布的噪声，是正定对称矩阵；n、c与m分别表示系统的状态向量、控制输入向量和输出向量的维度。

12、进一步地，所述数据预处理具体为：对收集数据进行离差标准化和滑动窗口分割，得到一系列长度为t+1的序列{xt-t,xt-t+1,…,xt}，记作序列或其中n表示样本点的个数，t表示滑动窗口的起始时间点，xt表示滑动窗口的起始时间点处的状态向量。

13、进一步地，所述卡尔曼变分自编码器包括三个组件：编码器网络子空间提取层和解码器网络其中，表示样本数据，表示包含xt特征的隐变量，是隐变量zt经线性变换后提取的子空间表征，是解码器网络输出的行为序列，φ和θ分别是编码器和解码器网络参数，是自编码器中引入的隐变量，其中表示隐变量bt的第i个物理学属性对运动状态的重要性，bt的总体重要程度用βt表示；所述卡尔曼变分自编码器取序列xt-t:t即xt和之前的连续t个观测时刻的样本数据作为输入来重构具体步骤为：

14、(1)编码器网络将输入样本数据序列xt-t:t映射到隐变量序列zt-t:t上，记作{zt}，{zt}服从后验分布

15、(2)子空间提取层提取zt中的重要关联特征，得到特征的子空间表征

16、(3)解码器网络学习先验分布的近似将子空间表征映射回原数据空间中。

17、进一步地，所述子空间提取层利用加入隐变量的鲁棒稀疏子空间提取模型将数据矩阵分解为低秩矩阵和稀疏矩阵，优化函数表示为：

18、

19、subject to ptp＝id

20、其中，与表示与bt的第i维组成的序列，是主成分分析加载矩阵，是回归稀疏矩阵；表示矩阵所有行的l2范数的和；参数λ权衡测量精度与主成分提取精度，η是正则化参数，id是d×d的单位阵，d表示单位阵的维度。

21、进一步地，所述卡尔曼变分自编码器的目标函数是变分下界，定义为自编码器中概率分布相对于后验分布的期望对数似然，以及隐变量的后验分布和先验分布之间的负kl散度之和，表示如下：

22、

23、其中，ut是数据预处理后的控制输入序列，φ1是未经子空间提取的编码器网络参数，φ2是经过经子空间提取的编码器网络参数，θ1与θ2是解码器网络参数；与是高斯分布，表示在给定ut的条件下，使用网络参数θ1或θ2学习到的zt或的先验分布；表示解码器网络输出数据的对数似然，通过隐变量zt与重建输入数据，解码器网络由参数θ1与θ2控制；dkl(·)表示kl散度；目标函数的第一项为负的重构损失项，第二项与第三项为正则化项。

24、进一步地，通过逆滑动窗口分割步骤，将重构后的序列重新组合为原始状态向量，其中重组后k时刻的状态向量表示为通过迭代重加权最小二乘拟合的方式来进行状态估计，不断地调整观测序列的权重，从而得到最佳拟合参数，具体步骤如下：

25、(1)建立基于迭代重加权最小二乘的状态评估器，公式表示如下：

26、

27、其中，wk是对角矩阵，其元素为wk；

28、(2)最小化误差平方和jk：其中是观测序列；

29、(3)计算残差向量rk：

30、(4)调整权重因子wk：在每一次迭代时根据残差的大小调整权重因子；

31、(5)判断是否收敛：在每一次迭代后，通过jk的取值判断是否收敛，如果收敛，则返回作为状态向量的最终估计值。

32、进一步地，所述异常检测器利用自适应非参数累积和的统计决策量进行异常检测，检测步骤如下：

33、(1)形式化异常检测器的统计决策量：

34、

35、其中，是攻击向量，表示i时刻的状态向量，dk表示在k时刻之前的所有时间窗口l中的累积值，并取其中的最大值，表示在正常状态下观测到的的概率密度函数，表示在攻击状态下观测到的的概率密度函数；

36、则统计决策量表示为：

37、

38、其中，σi是第i次观测值的标准差，ri是第i次观测值的残差向量；

39、或者表示为递归的形式：

40、

41、其中，是ak的预测值，arl0表示系统在没有异常的情况下，保持正常状态的平均时间间隔；

42、(2)利用指数加权移动平均统计提前一步对攻击向量ak进行预测：

43、

44、其中，amin表示最小可测偏移量，θ(ek)是单调函数，表示新观测值的加权平均值与预测误差之间的关系；

45、(3)异常检测决策：当统计决策量时，异常检测器发出警报，其中δ是传感器的检测阈值。

46、进一步地，所述卡尔曼变分自编码器的训练与测试具体为：首先在正常数据序列的数据集上训练自编码器，学习自编码器的网络参数，然后使用训练好的自编码器将新数据点编码为低维潜在空间表示，再利用基于阈值的dtw相似性度量方法进行自编码器测试。

47、根据本说明书的第二方面，提供一种利用如第一方面所述方法实现的基于物理不变子空间的无监督车联网异常检测系统，该系统包括：

48、数据获取及预处理模块，通过车载传感器收集汽车行驶状态的时间序列数据，对收集数据进行数据预处理；

49、包含子空间提取层的卡尔曼变分自编码器，用于对预处理后的数据进行训练，重构出满足物理定律的具有特征相关性的紧凑的行为序列来捕获多元时间行为序列的正常模式；

50、基于迭代重加权最小二乘的状态估计器，用于对所述卡尔曼变分自编码器重构的行为序列进行状态估计；

51、异常检测器，用于对所述状态估计器预测的状态与传感器观测状态之间的状态差进行自适应的非参数累积求和，得到异常检测结果。

52、与现有技术相比，本发明具有以下优点：

53、1.本发明在卡尔曼变分自编码器中引入子空间提取层，使得自编码器模型能够更好地捕获和识别与异常检测相关的子空间。

54、2.本发明通过构造可解释的子空间和利用物理不变特性来解释和理解输入数据，子空间中的每个维度都对应于输入数据中的具体特征或属性，能够更好地理解和表示数据的结构和含义，提供了对自编码器模型预测结果的可解释性。

55、3.本发明通过将空间表征和动作识别分离，并使用高斯状态空间模型来处理潜在动态信息和不确定性，提高对车辆状态和运动信息的准确预测。

56、综上，本发明用于车联网异常检测，利用带有子空间提取层的卡尔曼变分自编码器来捕获与正常行为最相关的特征和模式，提高异常检测的准确性和可解释性。