一种基于多输入特征融合ConvLSTM模型的纹影流场重构方法与流程

本发明涉及一种时序视频帧图像预测重构方法，具体是一种基于多输入特征融合convlstm模型的纹影流场视频帧图像重构方法，属于计算机视觉。

背景技术：

1、现有的汽车发动机和航空发动机研制主要靠试验获取性能指标数据，每次试验需要花费大量人力物力，产生大量有害气体和废物来污染环境。单次试验获取的图像信息高度依托于相机的性能，为了获取发动机整个过程数据，往往需要重复多次试验，分段拍摄整合获取目标信息。

2、随着深度学习技术的飞速发展，时空序列数据处理任务在计算机视觉领域中的应用日益广泛。传统的卷积神经网络(cnn)在处理图像数据方面表现出色，但其在时序数据处理中的局限性也逐渐显现出来，lstm通过在其架构中引入“门”机制，能够捕捉序列数据中的长程依赖关系，从而有效地解决了传统rnn(循环神经网络)在处理长时间序列时的梯度消失问题。为了更好地捕捉序列数据中的时间依赖性，研究人员引入了卷积长短期记忆网络(convlstm)，这是一种结合了lstm(长短期记忆网络)与卷积神经网络的模型架构。convlstm将lstm的输入、隐藏状态以及输出从一维数据扩展到二维矩阵，使得网络能够对时序图像序列中的时空特征进行建模。具体来说，convlstm的核心在于其将传统lstm中的线性运算替换为卷积运算，从而允许网络在时间维度上学习空间特征。convlstm模型架构中的主要部分包括输入门、遗忘门、输出门及细胞状态，这些部分通过卷积操作共同作用，形成一个能够捕捉时空特征的记忆单元，与传统的全连接lstm不同，convlstm不仅能够保留时间序列中的信息，还能够维护图像中的空间信息，这使得它在视频处理领域表现出色。

3、纹影法作为一种重要的光学测量方法，广泛应用于流体力学、空气动力学等领域，用以研究流体的运动特征。传统的纹影流场视频帧重构方法主要依赖于基于物理模型的数值模拟和基于图像处理的算法。这些方法主要利用流体力学方程或图像处理技术，从连续的纹影图像序列中提取流场信息，如navier-stokes方程或光流法、相位平均法等，通过结合边界条件和初始条件，数值求解流场的演变过程或是分析相邻帧之间的像素变化，推测流体的运动。然而，这类方法对计算资源的要求极高，计算复杂度随流场的复杂性显著增加，并且数值模拟的精度依赖于初始条件和边界条件的准确性，难以处理真实场景中的不确定性和复杂变化，而光流法等方法通常假设小的运动和亮度恒定，难以处理实际流场中的大位移和亮度变化，图像噪声和复杂背景也会对算法性能造成干扰，导致重构精度下降。

4、近年来，随着深度学习的普及，基于数据驱动的方法开始应用于流场重构。虽然这些方法在某些场景下展示了优异的性能，但大多数方法依然局限于单帧或短时间序列的处理，难以有效捕捉长时间序列中的复杂动态特征。

技术实现思路

1、发明目的：本发明的目的是针对现有技术中存在的不足，提供一种基于多输入特征融合的convlstm模型的纹影流场重构方法。本方法通过将convlstm技术应用于纹影流场视频帧的处理，充分利用时间序列中的空间和时间信息，避免了传统方法在长序列处理时出现的性能下降问题，使得重构结果更具连续性和一致性，提高重构效果的精度和鲁棒性，大幅降低了计算资源的需求，具备更好的实时性。

2、技术方案：一种基于多输入特征融合convlstm模型的纹影流场重构方法，包括以下步骤：

3、s1、参数初始化，定义模型训练所需的学习率、衰减率、批次大小、正则化因子、时间步长；

4、s2、数据预处理，首先手动选择需要训练的压力参数及图像数据，将所有原始图像进行灰度处理，并在保留原始图像特征的前提下将图像裁剪为1024×256像素大小，对原始压力数据进行归一化处理；

5、s3、数据生成与分割，进行数据集划分，将数据集按组分为训练集和验证集，自定义数据生成器，用于在训练过程中批量加载和处理数据，避免将所有数据一次性加载到内存中；

6、s4、模型构建与编译，使用convlstm模型，构建多输入神经网络，包括图像输入部分、压力数据输入部分、特征融合和输出部分，多输入神经网络模型的训练集包含处理后的图像以及与之对应的归一化后的压力参数两部分，其中图像输入至多输入神经网络中的图像输入部分，压力参数输入至多输入神经网络中的压力数据输入部分，之后图像输入部分和压力输入部分的输出会经过特征融合部分进行特征交叉学习后再进行模型输出；

7、s5、模型训练与回调，设置优化器、损失函数、回调函数，定义早停、检查点保存和学习率调度器，开始训练模型后，使用自定义生成器和回调函数；

8、s6、结果可视化及预测，包括绘制损失曲线及模型预测与结果保存，绘制训练和验证过程中的损失曲线，观察模型的表现，并在验证集上进行预测，并将预测结果保存为图像文件。

9、所述s2具体为：

10、读取包含图像数据及压力参数的文件路径，将输入的图像数据与压力数据按照时间顺序排列，按照1ms的间隔对齐图像数据与压力数据的时间点，调整压力数据形状为模型所需的四维张量形式包括样本数、时间步、1以及特征数，以匹配图像数据形状，为后续的训练和验证提供标准化、时间点匹配的数据集。

11、所述s3中数据集具体为：

12、将数据集按组分为训练集和验证集，所述数据集包括压力数据和图像数据，把对齐时刻后的相互对应的压力数据和图像数据进行组合分为一组，共分为14组组合数据，将其组合成为convlstm模型训练使用的数据集，其中将前13组组合数据划分至训练集，第14组组合数据划分为验证集。

13、所述s3中自定义数据生成器具体为：

14、所述自定义数据生成器具体为从储存了已经预处理后的图像路径和对应压力数据的库中每个训练批次提取32个原始图像及其对应的压力数据，图像的大小为1024×256，时间步数为2630，自定义数据生成器分别输出同一时刻下的图像数据和压力数据，通过convlstm模型分别提取同一时刻下的图像数据和压力数据的特征。

15、所述s4具体为：

16、多输入特征融合模型分为三个部分，利用卷积层处理图像数据的部分、利用时间序列层处理压力输入的部分，以及特征融合输出预测部分；

17、图像处理模块包含5个convlstm2d层，和一个flatten层，其中convlstm2d层能够同时处理时间和空间的信息，每层有64个滤波器，卷积核大小为3×3，每层convlstm2d层都设置‘return_sequences＝true’，使得每层都能输出一个包含时间维度的序列，以此来保留时间步的特征，在每一层convlstm2d后都插入了一个批量归一化层，用于加速训练过程，并提高模型的稳定性，最后一层convlstm2d结束后，使用flatten层将输出张量展平为一维向量，准备与压力数据的输出结合；其中，convlstm的单步预测基本公式如下：

18、ft＝σg(wxf*xt+whf*ht-1+wcf oct-1+bf)

19、it＝σg(wxi*xt+whi*ht-1+wci oct-1+bi)

20、ct＝ftoct-1+itotanhg(wxc*xt+whc*ht-1+bc)

21、ot＝σg(wxo*xt+who*ht-1+wcooct+bo)

22、h t＝ot otanhg(ct)

23、其中：σg表示sigmod函数，tanhg表示双曲正切激活函数，xt是当前时间步的输入，ht-1是上一时间步的隐藏状态，ct-1是上一时间步的记忆单元，it为输入门，ft为遗忘门，ot为输出门,ct为记忆单元，w、b分别是权重矩阵和偏置矩阵，⊙为乘积，*为卷积算子，为输入门的偏置矩阵，bf为遗忘门的偏置矩阵，bo为输出门的偏置矩阵，bc为记忆单元ct的偏置矩阵。

24、压力数据处理模块包含一层flatten层和一层dense全连接层，其中flatten层对压力数据的输入层进行展平处理，将其转换为一维向量，将每个时间步的压力数据合并为一个向量，dense全连接层对展平后的压力数据进行处理，全连接层包含64个神经元，并使用relu激活函数，通过增加非线性变换，提取压力数据的特征；

25、特征融合与预测输出模块按顺序分别为concatenate层、dense全连接层、dropout层、dense层，concatenate层将图像处理模块的输出(x)和压力数据处理模块的输出(y)合并在一起，这个融合的输出包含了从图像和压力数据中提取的特征，合并后的输出再次经过一个全连接层dense，进一步提取混合特征，接着使用dropout层，随机丢弃一定数目的神经元，防止过拟合，最后使用一个全连接层输出预测结果；

26、通过‘tf.keras.model’定义整个模型，指定输入层为图像和压力数据，输出层为预测值，使模型集成图像与压力数据的处理管道，能够同时考虑这两种数据的特征；

27、使用adam优化器作为自适应学习率优化算法；

28、adam优化器的更新规则如下：

29、mt＝β1mt-1+(1-β1)gt

30、

31、其中：gt是参数的梯度，β1和β2是两个指数加权平均值的衰减系数，和是梯度的偏差纠正后的移动平均值，θt+1是更新后的参数，η是学习率，ε取大于0的常数。

32、所述s5具体为：

33、模型训练和回调部分主要包含模型训练模块和模型回调模块，所述训练模块根据训练数据、验证数据、训练轮数设置模型的训练过程，设置训练数据生成器动态生成每一个批次的训练数据，设置验证数据生成器动态生成每一个批次的验证数据；

34、所述模型回调模块分为三部分，模型保存回调函数、早停回调函数、权重检查回调函数，其中模型保存回调函数在训练过程中自动保存模型，它通过监控验证集上的损失值，在损失值达到新低时保存模型权重，并且只在验证集损失下降时保存模型，所述保存表达式为：

35、if((val_loss)t<(best_val_loss)),save_model

36、其中(val_loss)为验证集损失值，t为训练轮次，(best_val_loss)为之前所有训练批次中最小损失值，

37、早停回调函数在验证集损失不再降低时提前停止训练，所述早停表达式为：

38、if((val_loss)t>min(val_loss)t-p)for p epochs,then stop the training

39、其中，p为耐心参数，min(val_loss)t-p为过去p个轮次最低损失值，

40、权重检查回调函数检查并输出每一层权重的统计信息，权重检查表达式为：

41、weightsimin＝min(weightsi),weightsimax＝max(weightsi)

42、其中，weight表述权重参数，weightsi表示第i层权重参数，weightsimax表示第i层权重的最大值，weightsimin表示第i层权重的最小值。

43、所述s6具体为：

44、调用convlstm训练好的模型，输入至测试数据生成器，所述测试数据生成器按批次提供测试数据，动态加载测试数据，输出为模型在这些测试数据上的预测图象，通过循环遍历所有预测结果来逐个生成图像，形成连续的视频帧图像。

45、有益效果：本发明通过将纹影图像序列和相关压力参数作为多输入，结合convlstm的时空特征捕捉能力，构建了一种能够处理长时间序列、融合多种输入特征的流场重构模型，通过convlstm能够有效同时捕捉流场图像中的空间特征和时间序列中的动态变化，使模型能够更好地反映流场的实际演变过程，从而提高重构精度。通过convlstm能够处理长时间序列数据的特性，避免了传统方法在长序列处理时出现的性能下降问题。通过引入记忆机制，convlstm能够捕捉流场演变中的长程依赖关系，使得重构结果更具连续性和一致性。通过多输入特征融合的方法，convlstm模型同时处理来自纹影图像和压力参数进行特征融合训练，使得模型能够利用更多维度的信息，进一步提高重构的精度和鲁棒性。相比传统的物理模型数值模拟方法，基于多输入特征融合的convlstm模型的纹影流场重构方法在保持高精度的同时，大幅降低了计算资源的需求，具备更好的实时性。