一种基于生成对抗网络的时空图像序列数据增强方法

技术特征：
1.一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，该方法包括：s1、获取真实图像数据及与真实图像数据相对应的时空图像序列数据，构建任务训练数据集；s2、对构建的任务训练数据集中真实图像数据和时空图像序列数据进行预处理，得到只有任务感兴趣区的真实图像数据和时空图像序列数据；s3、构建包含生成器和鉴别器的生成对抗网络模型，并创建所述生成对抗网络模型的损失函数；s4、使用预处理后的只有任务感兴趣区的真实图像数据和时空图像序列数据对所述生成对抗网络模型进行训练，获得训练好的生成对抗网络模型；s5、将只有任务感兴趣区的真实图像数据作为输入，输入到训练好的生成对抗网络模型中取生成器网络中，生成时只有任务感兴趣区的空图像序列数据。2.根据权利要求1所述的一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，s1中获取真实图像数据及与真实图像数据相对应的时空图像序列数据，构建任务训练数据集，具体包括：s101、通过传感器采集原始的真实图像数据及其对应的时空图像序列数据，选取真实图像和时空图像序列具有对应关系的数据，去除不含任务感兴趣目标物的数据；s102、将选取的真实图像及时空图像序列帧调整为统一大小；s103、领域专家手动标注出真实图像及时空图像序列帧中任务感兴趣区，进而由已经标注出任务感兴趣区的真实图像数据和与之对应的时空图像序列数据构建任务训练数据集。3.根据权利要求2所述的一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，s2中对构建的任务训练数据集中真实图像数据和时空图像序列数据进行预处理，具体包括：s201、将真实图像和时空图像序列帧中已经标注出任务感兴趣区以外部分的像素值设置为零；s202、将图像和图像序列帧进行裁剪，保留标注出任务感兴趣区部分；s203、对裁剪后保留任务感兴趣区的图像和图像序列帧的像素进行归一化处理。4.根据权利要求2所述的一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，s3中构建包含生成器和鉴别器的生成对抗网络模型，具体为：所述生成器采用编码器-解码器架构，编码器网络依次连接两个卷积模块，第一卷积模块为去除辅助分类器和最后一层全连接层的主流深度卷积神经网络，第二卷积模块包括依次连接的全连接操作层和激活函数层；解码器纵向依次连接输入卷积模块、convgru模块和输出卷积模块，横向由convgru模块依次相连，其中输入卷积模块包括依次连接的二维卷积操作层和激活函数层，输出卷积模块包括依次连接的二维反卷积操作层和tanh激活函数层；所述鉴别器由一个空间鉴别器和一个所述时间鉴别器组成，所述空间鉴别器包括空间到深度操作层、特征提取卷积模块和输出模块，其中特征提取卷积模块为残差连接，输出模块包括依次连接的reshape矩阵转化操作层、全连接操作层和sigmoid函数激活层；时间鉴别器包括空间到深度操作层、三维卷积模块、特征提取卷积模块和输出模块，其中三维卷积
模块为三维残差连接，特征提取卷积模块和输出模块与空间鉴别器对应模块结构相同。5.根据权利要求4所述的一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，所述残差连接包括两个依次连接的3
×
3卷积操作层和一个并行连接的3
×
3卷积操作层，其中每个卷积操作层之前都连接一个leakyrelu激活函数层。6.根据权利要求4所述的一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，s3中所述生成对抗网络模型的损失函数的公式如下：其中，l
d
为空间损失，l
t
为时间损失，l为正则项损失，λ是用于控制正则项损失函数的常数权重，l
d
、l
t
、l具体公式如下：l
d
(γ)＝e[logd
γ
(y)] e[log(1-d
γ
(g(x))]l
t
(β)＝e[logt
β
(y)] e[log(1-t
β
(g(x))]其中，e表示期望，γ为空间鉴别器d
γ
的参数，β为时间鉴别器t
β
的参数，θ为生成器g
θ
的参数，x为输入域，y为生成域，h为图像高度、w为图像宽度、n为图像帧。7.根据权利要求1所述的一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，s4中使用预处理后的图像数据和时空图像序列数据对构建的生成对抗网络,模型进行训练，获得训练好的对抗网络模型；具体方法为：s401、使用步骤s2中预处理后的真实图像数据作为生成器的输入，生成合成的图像序列数据；s402、利用鉴别器判别当前步骤生成的图像序列数据的真假，并通过生成对抗网络模型的损失函数中最大化空间和时间鉴别器的损失来更新鉴别器网络参数；s403、固定鉴别器网络参数不变，将新的真实图像数据作为生成器的输入，生成合成的图像序列数据，利用鉴别器判别生成结果的真假，并通过生成对抗网络模型的损失函数中最小化生成器的损失来更生成器网络参数；s404、循环上述训练过程，训练次数达到预设阈值，完成训练，获得训练好的对抗网络模型。

技术总结
本发明提出了一种基于生成对抗网络的时空图像序列数据增强方法，该方法为：首先对构建的任务训练数据集中真实图像数据和时空图像序列数据进行预处理；然后构建包含生成器和鉴别器的生成对抗网络模型，并创建生成对抗网络模型的损失函数；再使用预处理后的数据对生成对抗网络模型进行训练，获得训练好的生成对抗网络模型；最后将预处理后真实图像数据输入到训练好的生成对抗网络模型中取生成器网络中，生成时预处理后时空图像序列数据。本发明由图像数据生成保持时间一致性和空间一致性的逼真时空图像序列数据，解决受限于应用背景和获取成本等因素，真实数据严重不足的问题，并用于真实数据的替代或补充，推动相关领域算法研究和智能化发展。法研究和智能化发展。法研究和智能化发展。


技术研发人员：王海鹏 任利强 刘瑜 潘新龙 贾舒宜 郭晨 唐田田 孙顺 简涛 朱子强
受保护的技术使用者：中国人民解放军海军航空大学
技术研发日：2022.08.26
技术公布日：2022/11/22