基于卷积稀疏自注意力的灌区需水估算方法、设备及介质与流程

本技术涉及农业灌溉预测领域，尤其涉及一种基于稀疏自注意力的灌区需水估算方法、设备及介质。

背景技术：

1、农业灌溉需要大量水资源，在我们的研究区域中，农民需要根据他们的需求来向上游发出需水请求。一旦要求给水，灌区管理者需要一定时间来根据需水请求与河流水库的情况制定配水方案。因此，农民需要提前7天估计需水量，以便为管理者提供参考。但在实际灌溉过程中，大多都是根据农民的历史经验决定灌区需水量，这很可能造成水资源的浪费。因此通过灌区需水估算模型可以为农民提供未来一周内的灌区需水量，为管理者制定配水计划提供科学指导，从而节约大量水资源，非常有价值。灌区需水量估算是一个多变量时序预测问题。多变量时序预测可以通过分析历史气象数据、降雨量等对灌区历史需水量的影响，进而预测未来一周内的每一天的灌区需水量。时序预测的最关键的是建模全局相关性。全局相关性是指时序数据通常具有时间上的依赖性，当前时刻的值会受到过去时刻的值的影响。

2、因此，为了准确地进行时序预测，需要能够更好地捕捉时间序列中的全局相关性。在早期研究中大多是采用传统的时间序列预测模型如状态空间模型(ssms)和自回归(arima)模型。然而，这些方法一次对单个时间序列或少量时间序列进行操作，随着历史数据的不断增多，它们在训练和预测时难以捕捉变量或变量之间的全局相关性。

3、随着深度学习技术的发展，基于深度学习的方法如循环神经网络(rnn)、以及其变体长记忆网络(lstm)被应用于时间序列预测领域，但lstm的语言模型的平均有效上下文大小约为200个token，并且只能清晰地区分附近的50个token，这说明即使是lstm模型也很难捕捉时间序列的全局相关性。

4、最近，transformer提出作为一种全新的架构，它利用自注意力机制来处理一系列数据。与基于lstm的方法不同，自注意力机制允许模型访问历史数据的任何部分，而不管距离如何，这使得它可能在获取全局相关性上具有巨大的优势，通过建模全局相关性，可以将多个时间步和多个变量之间的关系进行整合，从而更好地理解需水量预测任务中历史数据的复杂关联，从而进行更精确的预测。

5、但将这些技术应用于灌区需水预测任务仍然存在重大挑战。首先，虽然自注意力可以在处理长时间序列时更好地捕获上下文信息和建立全局依赖关系，但是当序列长度较长时，自注意力机制需要在每个时间步计算与其他时间步的相关性，导致每层的时间复杂度和内存使用量为o(l 2)，这会影响模型的预测精度和推理速度。

6、此外，虽然建模数据的全局相关性十分关键，但是为了提升预测的精度，局部特征在预测中也需要考虑，因为预测灌溉需水预测中，局部特征可以帮助我们理解近期环境条件(如降雨量)对需水量的影响，并且针对这些条件进行准确的预测，尽管自注意力机制在处理长序列时具有一定的局部特征捕捉能力，但是当序列长度较长时，这种局部特征会变得很弱。

7、因此如何结合灌区数据的特点来改进自注意力机制以降低其计算复杂度以及增强自注意力机制捕获局部特征的能力，是自注意力机制能更好地应用到灌区需水预测任务的关键。

技术实现思路

1、本发明的目的在于：为了解决现有模型对局部特征的捕捉能力会随序列长度的增加而变弱的问题，提供一种计算复杂度较低且预测精度较高的基于稀疏自注意力的灌区需水估算方法、设备及介质。

2、本技术的上述目的是通过以下技术方案得以实现的：

3、s1：获取灌区历史数据，并将灌区历史数据分解为长期趋势序列和季节周期序列；

4、s2：构建基于多尺度卷积和多头掩蔽稀疏自注意力机制的灌区需水估算模型；

5、s3：根据灌区需水估算模型以及长期趋势序列，采用线性回归拟合的方法，提取长期序列特征，预测长期特征序列yt；

6、s4：通过灌区需水估算模型，提取季节周期特征，预测季节周期特征序列ys；根据长期特征序列以及季节周期特征序列，捕捉特征序列之间的关系，确定最终预测结果。

7、可选的，步骤s1包括：

8、s11：通过时序特征嵌入的方法，将灌区历史数据的时间序列编码为向量；

9、所述灌区历史数据x，包括：平均温度、风速、气压、日照、湿度、降雨量、灌区需水量et和土壤含水量，表示如下：

10、

11、其中x∈rl×d，l表示输入数据的长度，d表示变量的个数；i表示具体的变量，0<i<d-1，灌区历史数据为多变量的时序数据；

12、所述灌区需水量et由彭曼公式和遥感数据计算获得，表示如下：

13、et＝et0×kc

14、其中kc为作物的作物系数，计算方法为首先根据哨兵二号遥感影像获得灌区的归一化植被指数，然后结合作物类型和作物生长期计算得到作物系数kc；参考蒸散量et0是通过历史气象数据代入联合国粮农组织正式提出的彭曼公式求得，计算公式如下：

15、

16、以日为步长，则式中，et0为参考蒸散量，mm/day；rn为作物表面上的净辐射，mj/(m2/day)；g为土壤热通量，mj/(m2/day)；t为2米高处日平均气温，℃；u2为2米高处的风速，m/s；es为饱合水汽压，kpa；ea为实际水汽压，kpa；es-ea为饱和水汽压差，kpa；δ为饱和水汽压曲线的斜率；r为湿度计常数，kpa/℃；

17、s12：通过调整移动平均池，来平滑灌区历史数据的周期波动，突出长期趋势，如下：对于长度l的输入序列x∈rl×d，有如下表示：

18、xt＝avgpool(padding(x))

19、xs＝x-xt

20、上式中xt∈rl×d存储着每个滑动窗口的均值，也即长期趋势序列；xs∈rl×d是减去长期趋势后保留的季节周期序列；avgpool(padding)表示是对滑动窗口进行平均池操作，以表示数据的长期趋势。

21、可选的，步骤s3包括：对于长期趋势序列xt∈rl×d，采用以下公式进行建模：

22、yt＝regression(xt)

23、其中regression表示对序列进行线性回归拟合，yt∈ro×1表示预测灌区需水量的长期特征序列，o是需要预测序列的长度。

24、可选的，步骤s4包括：

25、s41：将待预测的季节周期特征序列进行时序数据全局嵌入，将季节周期序列编码为向量；

26、s42：通过多尺度卷积的滑动窗口，提取向量在不同时间尺度上的局部特征

27、s43：通过多头掩蔽稀疏自注意力机制，捕捉局部特征的关联和依赖关系，建模全局相关性特征序列

28、s44：融合全局相关性特征序列的特征，并投影到需要预测的时间步，得到目标时间步的季节周期特征序列。

29、可选的，步骤s41包括：

30、s41a：对于季节周期序列xs∈rl×d，用0来填充待预测的季节周期特征序列；

31、s41b：从季节周期序列的时间戳、不同时间节点的位置关系、不同时间节点的值共三个属性，采用时序数据全局嵌入方法，将季节周期序列编码为向量如下：

32、

33、其中i∈{1,2....l}，l表示输入数据的长度，o是待预测的季节周期特征序列的长度，d表示隐藏层的维度；ve代表灌区历史数据的时间序列以及待预测的季节周期特征序列的值的联合嵌入表示；pe代表不同时间节点的位置关系嵌入表示；se代表不同时间戳嵌入表示。

34、可选的，步骤s42包括：

35、灌区需水估算模型的季节周期预测模块有n层，上一层的输出作为下一层的输入，令用ys,l表示第l层的输出预测序列，如下：

36、ys,l＝ys,l-1

37、通过大小为的卷积核对向量进行一维卷积下采样；结合tanh激活函数和dropout函数，进行正则化以增强模型的泛化能力，获得不同尺度的局部特征如下：

38、

39、其中，kernel＝i表示大小为的卷积核；conv1d表示一维卷积下采样。

40、可选的，步骤s43包括：多头掩码稀疏自注意力公式为：

41、

42、其中表示由稀疏自注意力筛选出来的贡献度高的查询矩阵，“⊙”表示按元素相乘，m表示被掩码的序列；表示qh矩阵对应的线性变换矩阵；表示kh矩阵对应的线性变换矩阵；表示vh矩阵对应的线性变换矩阵；h＝{1,2,3...h}表示多头注意力的头数；表示键矩阵的转置矩阵；vh表示值矩阵，用来根据qh矩阵和kh矩阵的关联程度来加权求和；softmax表示激活函数；

43、在得到稀疏自注意力建模的权重特征后，将权重特征经过灌区需水估算模型的前馈层和残差连接，归一化后得到

44、使用大小为i的卷积核对进行一维转置卷积上采样，经过tanh激活函数和dropout函数，再经过残差连接和归一化后，得到全局相关性特征序列全局相关性特征序列包含不同尺度的局部特征和全局相关性特征序列，具体公式如下：

45、

46、其中conv1dtanspose表示一维转置卷积上采样；kernel＝i表示大小为i的卷积核；norm表示归一化操作；ys,l-1表示第l-1层的输出预测序列。

47、可选的，步骤s44包括：

48、对于全局相关性特征序列用concat函数将不同卷积核上的特征融合起来得到融合特征

49、将融合特征经过前馈层和残差连接，归一化得到第l层的预测表示ys,l；

50、设灌区需水估算模型有n层，则灌区需水估算模型的输出序列为ys,n，将ys,n投影截断后，得到目标时间步的季节周期特征序列ys，具体公式如下：

51、

52、

53、ys＝truncate(projection(ys,n))

54、其中ys,l∈r(l+o)×d，ys∈ro×1；

55、最终预测结果y＝ys+yt，y∈ro×1，其中o＝7，表示未来一周的需水量。

56、一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行一种基于稀疏自注意力的灌区需水估算方法。

57、一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行一种基于稀疏自注意力的灌区需水估算方法。

58、本技术提供的技术方案带来的有益效果是：

59、1.采用多尺度卷积和多头掩蔽稀疏自注意力机制相结合的方法，构建灌区需水估算模型；通过多尺度卷积捕捉局部特征，捕捉了局部特征的同时还降低了数据的维度；使用稀疏自注意力机制代替自注意力机制，因为对需水量预测最重要的两个因素需水量和降雨量都集中分布在特定的月份，其他大部分数据都是冗余信息，而稀疏自注意力机制可以筛选出对预测贡献度高的数据来进行建模预测，从而在保证预测精度的同时大大减少了计算复杂度。需水量的长期趋势呈春秋多，秋冬少的特点，用线性回归拟合的方法可以很好地拟合长期特征序列。对不通季节周期采取不同的预测方法，提高预测的准确性。

60、2.通过时序数据全局嵌入将灌区历史数据的时序信息编码为向量，以捕捉数据中的上下文信息和时间顺序。对于多变量的灌区历史数据，全局嵌入可以提取出灌区历史数据的关键特征，捕捉不同变量之间的相互作用和重要性，从而更好地表示数据的整体模式，更有利于之后的特征提取建模。