一种松散回潮工序中烟片出口含水率的预测方法、系统、介质和设备

本发明属于烟草智能检测，尤其涉及一种基于改进的transformer模型预测松散回潮工序中烟片的出口含水率的方法、系统、介质和设备。

背景技术：

1、在烟草工业的松散回潮工序中，烟片的出口含水率是影响产品质量和生产效率的关键因素。然而，松散回潮过程本就存在料头时间长，过程稳定性差，震荡频繁等缺点。由于直接测量出口烟片水分存在困难，通常需要依赖软测量技术来进行间接预测。软测量技术依赖于过程变量与质量变量之间的数学模型来估计水分含量。尽管长短期记忆网络(lstm)在序列数据预测方面有广泛应用，但其在处理复杂工业过程的长序列数据时存在局限性，特别是在捕捉局部特征和动态特性方面，transformer模型在处理序列数据方面表现出色，但其在捕捉多变量时序数据的局部特性方面存在不足，这在工业过程中尤为明显，因为这些过程通常涉及多个变量，这些变量之间可能存在复杂的相互作用和依赖关系。

2、为了克服这些局限性，本发明提出了一种改进的transformer模型，该模型结合了时间卷积网络(tcn)和时间注意力机制。tcn能够有效地从每个传感器通道中提取局部特征，而时间注意力机制则能够增强模型对时间序列中长期依赖性的建模能力，之后输入transformer的encoder来提取全局时序特征，这种结合旨在充分利用tcn在局部特征提取方面的优势，同时通过时间注意力机制来增强transformer模型在处理长期依赖性方面的能力。

3、通过这种改进，模型不仅能够捕捉到序列数据中的全局趋势，还能够对局部变化做出响应，这对于提高复杂工业过程中质量参数预测的准确性至关重要。在松散回潮工序中，这意味着能够更准确地预测烟片的出口含水率，从而为生产过程的控制提供更可靠的信息。通过实验验证，这种改进的transformer模型在序列预测任务中展现出了优越的性能，证明了其在实际应用中的潜力。

技术实现思路

1、本发明重点针对上述现有技术中存在的问题，提供一种基于改进的transformer模型预测松散回潮工序中烟片的出口含水率的方法、系统、介质及设备。

2、本发明的第一方面，提供了一种基于改进的transformer模型预测烟草工业松散回潮工序中烟片的出口含水率的方法，其特征在于，所述方法包括以下步骤：

3、步骤s100：获取松散回潮过程中的过程变量的时序数据；

4、步骤s200：对获得的时序数据进行预处理，其中预处理过程包含：利用xgboost来对所述时序数据进行特征筛选，其中包含使用梯度提升树(gradient boosting tree)的方法来计算特征重要性，小波去噪和归一化；

5、步骤s300：构建基于改进transformer模型的松散回潮的烟片的出口含水率动态预测模型，所述烟片出口含水率的预测模型是基于改进的transformer模型构建，包含位置编码模块、时域卷积网络、时间注意力机制、编码器，位置编码模块用于将过程变量的时序数据添加位置编码向量后传递至编码器；时域卷积模块能够有效地从每个传感器通道中提取局部特征，时间注意力机制则能够增强模型对时间序列中长期依赖性的建模能力，编码器能够有效提取全局时序特征，将输出序列作为松散回潮机出口的烟片含水率；

6、步骤s400：确定该transformer模型网络的参数和超参数，训练改进的transformer模型；

7、步骤s500：将过程变量的时序数据作为输入，利用经训练的烟片的出口含水率动态预测模型，预测松散回潮机出口的烟片含水率，利用标准的均方根误差评价所述烟片水分动态预测模型的预测精度；

8、优选地，所述步骤s100：获取松散回潮过程中的过程变量的时序数据包括：

9、在2023年03月01日13：21到2023年03月30日20：22的松散回潮机生产现场采集的数据进行实验，实验时数据采样间隔为10秒，通过传感器总共采集到21个过程变量，通过对采集到的过程变量进行数据预处理，之后对烟片出口含水率进行预测。将采集到的前43412个样本用于训练模型，之后的500个样本用于验证模型，再之后的500个样本用于测试模型。

10、优选地，所述步骤s200：对获得的时序数据进行预处理，其中所述预处理过程包含：特征筛选、小波去噪和归一化：

11、步骤s210：采用xgboost使用梯度提升术的方法来对所述时序数据进行特征筛选具体包括

12、计算特征j在第t棵树中的重要性得分：

13、

14、其中gain(j，split)表示j特征进行分裂后带来的增益大小，totalgainintreet表示所有特征进行分裂后带来的总增益；

15、计算总体特征重要性：

16、

17、其中，t代表树的总数，

18、基于特征重要性，通过实验选取合适阈值，选择排名靠前10的特征作为最终的特征集；

19、步骤s220：利用小波阈值进行去噪：

20、

21、其中，coefficient是小波分解系数，threshold是设定的阈值，

22、步骤s230：归一化选取的变量数据进行计算其中xmin和xmax分别为每个变量样本中最小值和最大值，并对预处理后的数据根据批次划分训练和测试集。

23、优选地，构建基于改进transformer模型的松散回潮的出口烟片含水率的预测模型具体包括：

24、步骤s310：

25、烟片含水率动态预测模型的表达形式为：

26、y(t)＝f(x(t),k,x(t-τ))

27、其中，t表示采样时间，τ表示输入时间序列长度，x＝(x1′,...,xn′)是选择的n个过程变量，y(t)表示在采样t时刻的输出，即松散回潮机出口烟片含水率；

28、步骤s320：使用两个不同频率的正弦函数和余弦函数来表示位置编码向量，这种方法被称为正弦波和余弦波位置编码。

29、每个位置的位置编码向量的计算公式为：

30、

31、式中：pos表示当前样本在输入序列中的位置，i是输入数据的当前特征维度。dmodel是样本的特征维数，p为由sin(.)和cos(.)函数交替编码样本顺序和特征位置得到的位置编码矩阵，维数为pos*dmodel；

32、步骤s330：时域卷积网络(tcn)由几个残差块组成，每个残差块包含卷积层、dropout层、批量归一化层，并采用残差连接，

33、扩张卷积核的大小k′和感受野的大小l可以按照以下方式计算：

34、k′＝d·(f-1)+1

35、

36、其中，f是卷积核大小，d是扩张率数组{d1,d2,...,dn}，n是扩张卷积层的数量，其中，残差块的输入和最后一层的输出通过残差连接连接起来，如公式所示。

37、o＝activation(x+f(x))

38、其中，x是残差块的输入，f(x)是残差块的最后一层的输出，o是残差块的输出，activation(g)是像sigmoid这样的激活函数，

39、时间注意力挖掘了不同时间步长之间的内在相关性，并为不同的时间步长分配了不同的权重，得到了一个时间步长加权矩阵。计算过程如下：

40、li＝tanh(wdxi+bd)

41、

42、wd是训练的权重矩阵，bd是特征注意力权重的偏置，tanh是激活函数。li通过softmax函数进行归一化，βi是对应于时间步长ith的权重向量，时间注意力机制的最终输出可以表示为：

43、h′＝be h

44、其中b＝[β1,β2,...,βm]t。

45、步骤s340：利用encoder进行自注意力输出的具体表述为：

46、

47、其中，a(.)为自注意力输出，q为查询向量，k为键向量，v为内容向量，dk是用来缩放注意力权重的因子，它的值是k向量的维度，自注意力机制通过计算查询向量q与关键矩阵k点积得到权重，然后使用softmax函数将其激活，得到每个位置对应的权重，

48、查询向量q、键向量k和内容向量v，其公式如下：

49、

50、其中，h′为时间注意力模块的输出矩阵，wq,wk和wv分别为权重矩阵，

51、将所述注意力机制扩展为多头注意力机制，多头注意力机制的计算公式如下：

52、

53、其中，wiq,wik,wiv与wo表示多头注意力权重矩阵,hi指第i个自注意力输出,最终输出为所有头部的连接，

54、编码器中的每个子层都包含一个全连接的前馈网络，前馈网络的公式表示如下：

55、ffn(x)＝relu(xw1+b1)w2+b2

56、其中w1，w2是权重矩阵，b1，b2是偏差。

57、层归一化是一种归一化技术，用于规范化每个层的输入，使其具有零均值和单位方差，

58、层归一化的具体公式如下：

59、layernorm(x+sublayer(x))

60、式中，layernorm代表的是层归一化操作，x代表当前层的输入，sublayer(x)代表子层的输出。

61、优选地，步骤s400：确定该transformer模型网络的参数和超参数，训练改进的transformer模型具体包括：

62、采用adam优化器对所述松散回潮机烟片出口含水率动态预测模型进行训练。adam优化器是一种自适应学习率的优化算法，结合了adagrad和rmsprop两种优化算法的优点。相比于传统的优化算法(如随机梯度下降)，adam能够更快地收敛并具有较好的性能，自动调整学习率，适应不同的数据和模型，从而提高模型的训练效率和性能。

63、优选地，步骤s500：利用标准的均方根误差评价所述烟片水分动态预测模型的预测精度具体包括：

64、均方根误差的计算公式如下：

65、

66、式中，rmse表示均方根误差，n表示观测值的数量，和y分别为质量变量在t时刻的真实值和预测值。表示预测值与实际值之差的平方，这个差值能够反映预测的准确程度。

67、本发明的第二方面，提供了一种基于改进的transformer模型预测烟草工业松散回潮工序中烟片的出口含水率的预测系统，其特征在于，该系统包括：

68、数据获取模块，用于获取松散回潮过程中的过程变量的时序数据；

69、数据预处理模块，用于对获得的时序数据进行预处理，其中预处理过程包含：用于利用xgboost来对所述时序数据进行特征筛选，其中包含使用梯度提升树(gradientboosting tree)的方法来计算特征重要性、小波去噪和归一化；

70、模型构建和训练模块，用于构建基于改进transformer模型的松散回潮的出口烟片含水率的预测模型，确定该transformer模型网络的参数和超参数，训练改进的transformer模型；

71、动态预测模块，用于将过程变量的时序数据作为输入，利用经训练的烟片出口含水率动态预测模型，预测松散回潮机出口的烟片含水率，利用标准的均方根误差评价所述烟片水分动态预测模型的预测精度。

72、本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一所述的方法的步骤。

73、本发明的第四方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现前述任一所述的方法的步骤。

74、与现有技术相比，本发明具有如下有益效果：

75、本发明提出一种提出了一种改进的transformer模型，该模型融合了时间卷积网络(tcn)和时间注意力机制，包括：获取松散回潮过程中的过程变量的时序数据；对获得的时序数据进行预处理；将过程变量的时序数据作为输入，利用经训练的烟片的出口含水率动态预测模型，预测松散回潮机出口的烟片含水率；其中，烟片出口含水率的动态预测模型基于改进的transformer模型构建，包含位置编码模块、时域卷积网络、时间注意力机制、编码器，位置编码模块用于将过程变量的时序数据添加位置编码向量后传递至编码器；时域卷积模块能够有效地从每个传感器通道中提取局部特征，而时间注意力机制则能够增强模型对时间序列中长期依赖性的建模能力，编码器能够有效提取全局时序特征，将输出序列作为松散回潮机出口的烟片含水率。能够提高预测精度，增强模型稳定性和可靠性。

76、与传统方法相比，本发明的模型设计具有模块化特点，可以根据不同的工业应用需求进行调整和优化，提高了模型的适应性和可扩展性，此外，本发明在松散回潮工序的烟片出口含水率预测问题上展现出了卓越的性能，为烟草工业的自动化和智能化提供了一种创新的解决方案。这种创新性的应用不仅提高了预测精度，还增强了模型的稳定性和可靠性，对于推动工业过程控制和产品质量提升具有重要意义。