多变量时序预测方法、电子设备及存储介质与流程

本技术涉及数据处理，尤其涉及一种多变量时序预测方法、电子设备及存储介质。

背景技术：

1、目前，多变量时序预测在通信、经济、金融、生物信息和交通等多种领域有广泛应用。相较于单变量时序预测，由于在多变量时序预测过程中，每个变量不仅与其历史值有关，还要考虑变量之间的依赖关系，因此多变量时序预测的建模复杂，导致预测精度低。

技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术实施例提供了一种多变量时序预测方法、电子设备及存储介质，能够有效提高多变量时序预测的预测精度。

3、一方面，本技术实施例提供了一种多变量时序预测方法，包括以下步骤：

4、获取多个初始时序特征，将所述初始时序特征输入至预训练模型，对所述初始时序特征进行基于特征注意力机制的计算，得到各个所述初始时序特征对应的关联变量特征；

5、将所述关联变量特征输入至所述预训练模型的第一循环神经网络子模型进行状态预测，得到第一关联状态特征；

6、调用所述预训练模型的卷积神经网络子模型对所述第一关联状态特征进行特征提取，得到卷积特征；

7、将所述卷积特征输入至所述预训练模型的第二循环神经网络子模型进行状态预测，得到第二关联状态特征，并对所述第二关联状态特征进行基于时序注意力机制的计算，得到目标预测结果。

8、在本技术实施例提供的多变量时序预测方法中，所述对所述初始时序特征进行基于特征注意力机制的计算，得到各个所述初始时序特征对应的关联变量特征，包括：

9、调用所述第一循环神经网络子模型在上一时间步的历史状态信息，对各个所述初始时序特征进行基于特征注意力机制的计算，得到第一特征权重；

10、根据所述第一特征权重对所述初始时序特征进行加权计算，得到关联变量特征。

11、在本技术实施例提供的多变量时序预测方法中，所述调用所述第一循环神经网络子模型在上一时间步的历史状态信息，对各个所述初始时序特征进行基于特征注意力机制的计算，得到第一特征权重，包括：

12、获取预先训练得到的第一特征注意力权重矩阵、第二特征注意力权重矩阵、第三特征注意力权重矩阵，以及所述第一循环神经网络子模型在上一时间步的历史状态信息；

13、将所述历史状态信息与所述第一特征注意力权重矩阵进行加权计算，得到特征查询向量；

14、将所述第二特征注意力权重矩阵与所述初始时序特征进行加权计算，得到特征键向量；

15、根据所述第三特征注意力权重矩阵，对所述特征查询向量与所述特征键向量之和进行加权计算，得到第一注意力权重；

16、对所述第一注意力权重进行归一化处理，得到第一特征权重。

17、在本技术实施例提供的多变量时序预测方法中，所述根据所述第一特征权重对所述初始时序特征进行加权计算，得到关联变量特征，包括：

18、对各个所述第一特征权重进行基于权重数值大小进行排序得到排序结果，并基于所述排序结果依次选取预设数量的所述第一特征权重作为目标特征权重；

19、根据所述目标特征权重对相应的所述初始时序特征进行加权计算，得到关联变量特征。

20、在本技术实施例提供的多变量时序预测方法中，所述预训练模型包括卷积神经网络子模型，所述卷积神经网络子模型包括卷积层、池化层和丢弃层，所述调用所述预训练模型的卷积神经网络子模型对所述第一关联状态特征进行特征提取，得到卷积特征，包括：

21、将所述第一关联状态特征输入至所述卷积层进行一维卷积的特征提取，得到一维卷积特征；

22、将所述一维卷积特征输入至所述池化层进行最大池化处理，得到池化特征；

23、将所述池化特征输入至所述丢弃层进行随机失活处理，得到卷积特征。

24、在本技术实施例提供的多变量时序预测方法中，所述对所述第二关联状态特征进行基于时序注意力机制的计算，得到目标预测结果，包括：

25、对所述第二关联状态特征进行基于时序注意力机制的计算，得到第二特征权重；

26、根据所述第二特征权重对所述第二关联状态特征进行加权计算，得到时序输出特征；

27、对所述时序输出特征进行维度转换处理，得到目标预测结果。

28、在本技术实施例提供的多变量时序预测方法中，所述对所述第二关联状态特征进行基于时序注意力机制的计算，得到第二特征权重，包括：

29、获取预先训练得到的第一时序注意力权重矩阵和第二时序注意力权重矩阵；

30、将所述第一时序注意力权重矩阵与所述第二关联状态特征进行加权计算，得到时序查询向量；

31、对所述时序查询向量进行激活，得到时序激活向量；

32、将所述第二时序注意力权重矩阵与所述时序激活向量进行加权计算，得到第二注意力权重；

33、对所述第二注意力权重进行归一化处理，得到第二特征权重。

34、在本技术实施例提供的多变量时序预测方法中，所述对所述时序输出特征进行维度转换处理，得到目标预测结果，包括：

35、获取维度转换权重矩阵与维度偏置参数；

36、将所述维度转换权重矩阵与所述时序输出特征进行乘积计算，得到第一维度特征；

37、对所述第一维度特征与所述维度偏置参数之和进行激活，得到目标预测结果。

38、另一方面，本技术实施例还提供了一种电子设备，包括：

39、至少一个处理器；

40、至少一个存储器，用于存储至少一个程序；

41、当至少一个程序被至少一个处理器执行时实现如前面的多变量时序预测方法。

42、另一方面，本技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的计算机程序，处理器可执行的计算机程序被处理器执行时用于实现如前面的多变量时序预测方法。

43、本技术实施例至少包括以下有益效果：通过引入特征注意力机制，先对初始时序特征进行加权计算，可以有效确定出不同初始时序特征与输出变量的目标预测结果之间的关联度，使得预训练模型能够更精准地捕捉到关键的关联变量特征；再通过预训练模型中的第一循环神经网络子模型对关联变量特征进行初步的状态预测，得到第一关联状态特征；然后，通过卷积神经网络子模型对第一关联状态特征进行特征提取，得到卷积特征，从而可以挖掘第一关联状态特征中深层次的特征信息；接着，通过第二循环神经网络子模型对卷积特征进行状态预测，得到第二关联状态特征，由于第一循环神经网络子模型与第二循环神经网络子模型能够将输入特征与子模型中的历史状态信息进行结合，来挖掘输入特征与历史状态信息之间的关联性，第一循环神经网络子模型能够捕捉关联变量特征与历史状态信息的短期依赖性，而第二循环神经网络子模型可以加强对于当前时刻输出关联度高的重要历史时刻信息进行表达，有利于捕捉第二关联状态特征与历史状态信息的长期依赖关系；而在得到第二关联状态特征之后，再引入时序注意力机制，对第二关联状态特征进行加权计算，可以更加有效地令预训练模型集中于重要的时序信息，得到更为准确的目标预测结果。本技术实施例通过在常规的循环神经网络模型中引入卷积神经网络子模型，以及在输入侧与输出侧均引入注意力机制，使得模型不仅在特征维度和时序维度上都能有效地对特征信息进行加权，更有效地提取关键特征，捕捉复杂的时序关系，改善模型预测精度低的问题。

44、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。