一种基于生成对抗网络的时空图像序列数据增强方法

1.本发明属于生成对抗网络数据生成技术领域，具体涉及一种基于生成对抗网络的时空图像序列数据增强方法。


背景技术：

2.近年来，以数据作为驱动力的深度学习技术成为各个领域的研究热点，然而，受限于应用背景和获取成本等因素，真实数据存在严重不足的问题，极大限制了相关算法的研究。基于仿真数据的研究结果缺乏实际的说服力，且算法在真实复杂环境中应用效果不佳。针对上述问题，生成对抗网络在有限的真实数据上，通过博弈和对抗训练方式，学习和建模真实数据的潜在分布特性，利用训练好的生成模型高效地生成大量逼真数据，可以实际应用于相关领域算法研究，替代或增强真实数据。
3.鉴于生成对抗网络强大的学习和建模真实数据潜在分布特性的能力，其在图像、视频、音频和自然语言处理等多个领域得到广泛研究和应用。然而，当前主流的生成对抗网络方法模型主要针对图像、文本、语音等非时序数据所设计，直接使用这些模型训练和生成具有时间关联特性的时序数据效果并不理想。虽然已有研究通过对现有模型的网络结构和特定维度进行修改，将其用于具有时间关联特性的医学和金融时序数据的建模，但是，还未有研究将生成对抗网络架构用于要求同时保持时域中的时间一致性和空间域中的内容一致性的时空序列数据生成任务中。


技术实现要素：

4.本发明所要解决的技术问题在于针对上述现有技术的不足，提供了一种基于生成对抗网络的时空图像序列数据增强方法，该方法通过本发明提出的生成对抗网络，可以生成同时满足时间一致性和内容一致性的时空图像序列数据。
5.为解决上述技术问题，本发明采用的技术方案是：一种基于生成对抗网络的时空图像序列数据增强方法，其特征在于，该方法包括：
6.s1、获取真实图像数据及与真实图像数据相对应的时空图像序列数据，构建任务训练数据集；
7.s2、对构建的任务训练数据集中真实图像数据和时空图像序列数据进行预处理，得到只有任务感兴趣区的真实图像数据和时空图像序列数据；
8.s3、构建包含生成器和鉴别器的生成对抗网络模型，并创建所述生成对抗网络模型的损失函数；
9.s4、使用预处理后的只有任务感兴趣区的真实图像数据和时空图像序列数据对所述生成对抗网络模型进行训练，获得训练好的生成对抗网络模型；
10.s5、将待增强的只有任务感兴趣区的真实图像数据作为输入，输入到训练好的生成对抗网络模型中取生成器网络中，生成时只有任务感兴趣区的空图像序列数据。
11.优选地，s1中获取真实图像数据及与真实图像数据相对应的时空图像序列数据，
构建任务训练数据集，具体包括：
12.s101、通过传感器采集原始的真实图像数据及其对应的时空图像序列数据，选取真实图像和时空图像序列具有对应关系的数据，去除不含任务感兴趣目标物的数据；
13.s102、将选取的真实图像及时空图像序列帧调整为统一大小；
14.s103、领域专家手动标注出真实图像及时空图像序列帧中任务感兴趣区，进而由已经标注出任务感兴趣区的真实图像数据和与之对应的时空图像序列数据构建任务训练数据集。
15.优选地，s2中对构建的任务训练数据集中真实图像数据和时空图像序列数据进行预处理，具体包括：
16.s201、将真实图像和时空图像序列帧中已经标注出任务感兴趣区以外部分的像素值设置为零；
17.s202、将图像和图像序列帧进行裁剪，保留标注出任务感兴趣区部分；
18.s203、对裁剪后保留任务感兴趣区的图像和图像序列帧的像素进行归一化处理。
19.优选地，s3中构建包含生成器和鉴别器的生成对抗网络模型，具体为：
20.所述生成器采用编码器-解码器架构，编码器网络依次连接两个卷积模块，第一卷积模块为去除辅助分类器和最后一层全连接层的主流深度卷积神经网络，第二卷积模块包括依次连接的全连接操作层和激活函数层；解码器纵向依次连接输入卷积模块、convgru模块和输出卷积模块，横向由convgru模块依次相连，其中输入卷积模块包括依次连接的二维卷积操作层和激活函数层，输出卷积模块包括依次连接的二维反卷积操作层和tanh激活函数层；
21.所述鉴别器由一个空间鉴别器和一个所述时间鉴别器组成，所述空间鉴别器包括空间到深度操作层、特征提取卷积模块和输出模块，其中特征提取卷积模块为残差连接，输出模块包括依次连接的reshape矩阵转化操作层、全连接操作层和sigmoid函数激活层；时间鉴别器包括空间到深度操作层、三维卷积模块、特征提取卷积模块和输出模块，其中三维卷积模块为三维残差连接，特征提取卷积模块和输出模块与空间鉴别器对应模块结构相同。
22.优选地，所述残差连接包括两个依次连接的3
×
3卷积操作层和一个并行连接的3
×
3卷积操作层，其中每个卷积操作层之前都连接一个leakyrelu激活函数层。
23.优选地，s3中所述生成对抗网络模型的损失函数的公式如下：
[0024][0025]
其中，ld为空间损失，l
t
为时间损失，l为正则项损失，λ是用于控制正则项损失函数的常数权重，ld、l
t
、l具体公式如下：
[0026]
ld(γ)＝e[logd
γ
(y)] e[log(1-d
γ
(g(x))]
[0027]
l
t
(β)＝e[logt
β
(y)] e[log(1-t
β
(g(x))]
[0028][0029]
其中，e表示期望，γ为空间鉴别器d
γ
的参数，β为时间鉴别器t
β
的参数，θ为生成器g
θ
的参数，x为输入域，y为生成域，h为图像高度、w为图像宽度、n为图像帧。
[0030]
优选地，s4中使用预处理后的图像数据和时空图像序列数据对构建的生成对抗网
络,模型进行训练，获得训练好的对抗网络模型；具体方法为：
[0031]
s401、使用步骤s2中预处理后的真实图像数据作为生成器的输入，生成合成的图像序列数据；
[0032]
s402、利用鉴别器判别当前步骤生成的图像序列数据的真假，并通过生成对抗网络模型的损失函数中最大化空间和时间鉴别器的损失来更新鉴别器网络参数；
[0033]
s403、固定鉴别器网络参数不变，将新的真实图像数据作为生成器的输入，生成合成的图像序列数据，利用鉴别器判别生成结果的真假，并通过生成对抗网络模型的损失函数中最小化生成器的损失来更生成器网络参数；
[0034]
s404、循环上述训练过程，训练次数达到预设阈值，完成训练，获得训练好的对抗网络模型。
[0035]
本发明与现有技术相比具有以下优点：
[0036]
1、本发明使用编码器-解码器架构作为生成对抗网络的生成器网络架构基础，对编码器和解码器的网络结构做出了创新，可以通过训练好的生成器由图像数据生成时空图像序列数据。
[0037]
2、本发明在传统生成对抗网络的鉴别器中创新性加入时间鉴别器、空间鉴别器以及正则项损失函数，确保了生成时空图像序列数据在保持空间结构特征的同时抑制相邻时间帧之间的闪烁问题，即实现了生成时空图像序列数据的时间一致性和空间一致性。
[0038]
下面通过附图和实施例对本发明的技术方案作进一步的详细说明。
附图说明
[0039]
图1为本发明实施例1公开的一种基于生成对抗网络的时空图像序列数据增强方法的流程示意图。
[0040]
图2为本发明实施例1公开的生成对抗网络模型的结构示意图。
[0041]
图3为本发明实施例1的生成器网络结构图。
[0042]
图4为本发明实施例1的空间鉴别器网络结构图。
[0043]
图5为本发明实施例1的时间鉴别器网络结构图。
[0044]
图6为本发明实施例1的残差连接网络结构图。
具体实施方式
[0045]
实施例1
[0046]
如图1所示，本发明实施例的一种基于生成对抗网络的时空图像序列数据增强方法，包括：
[0047]
s1、获取真实图像数据及与真实图像数据相对应的时空图像序列数据，构建任务训练数据集；
[0048]
s2、对构建的任务训练数据集中真实图像数据和时空图像序列数据进行预处理，得到只有任务感兴趣区的真实图像数据和时空图像序列数据；
[0049]
s3、构建包含生成器和鉴别器的生成对抗网络模型，并创建所述生成对抗网络模型的损失函数；
[0050]
s4、使用预处理后的只有任务感兴趣区的真实图像数据和时空图像序列数据对所
述生成对抗网络模型进行训练，获得训练好的生成对抗网络模型；
[0051]
s5、将待增强的只有任务感兴趣区的真实图像数据作为输入，输入到训练好的生成对抗网络模型中取生成器网络中，生成时只有任务感兴趣区的空图像序列数据。
[0052]
本实施例中，所述s1中、获取真实图像数据及与真实图像数据相对应的时空图像序列数据，构建任务训练数据集；具体方法为：
[0053]
s101、从传感器获取的原始数据中选取真实图像和时空图像序列具有对应关系的数据，去除不含任务感兴趣目标物的数据对；
[0054]
s102、将选取的真实图像及时空图像序列帧统一调整为同一大小，如256
×
256，这里调整的图像大小只是用于本实施方案，具体的大小可以结合具体的数据特点进行适当调整；
[0055]
s103、领域专家手动标注出真实图像及时空图像序列帧中任务感兴趣区，进而由已经标注出任务感兴趣区的真实图像数据和与之对应的时空图像序列数据构建任务训练数据集。
[0056]
本实施例中，s2中对构建的任务训练数据集中原始真实图像数据和时空图像序列数据进行预处理；具体方法为：
[0057]
s201、将s1中真实图像及时空图像序列帧中已经标注出任务感兴趣区以外部分的像素值设置为零；
[0058]
s202、保留标注任务感兴趣区部分，将真实图像及时空图像序列帧裁剪为128
×
128大小，同一真实图像和对应图像序列帧裁剪位置相同。
[0059]
s203、对裁剪后保留任务感兴趣区的图像和图像序列帧的像素进行归一化处理。
[0060]
本实施例中，s3中构建包含生成器和鉴别器的生成对抗网络模型，具体方法为：
[0061]
如图2所示，所述生成对抗网络模型包含生成器、鉴别器和网络单元正则化项，所述鉴别器由一个空间鉴别器和一个所述时间鉴别器组成。
[0062]
所述生成器采用编码器-解码器架构，如图3所示网络结构图，编码器网络依次连接两个卷积模块，第一卷积模块为去除辅助分类器和最后一层全连接层的googlenet网络，此处的第一卷积模块不限于上述一种，也可以根据实际应用数据规模和数据尺寸选择vgg、resnet和lenet等其他深度卷积神经网络，从而更好的提取输入图像的特征，第二卷积模块为依次连接的全连接操作层和leakyrelu激活函数层；解码器纵向依次连接输入卷积模块、convgru模块和输出卷积模块，横向依次连接四个convgru模块，convgru模块数量可以根据具体任务做调整，输入卷积模块为依次连接的二维卷积操作层和leakyrelu激活函数层，输出卷积模块为依次连接的二维反卷积操作层和tanh激活函数层。
[0063]
所述鉴别器由一个空间鉴别器和一个所述时间鉴别器组成，空间鉴别器的网络结构图如图4所示，图4中空间鉴别器通过将2
×
2的patches堆叠到通道层，将128
×
128
×
1图像序列帧转换为64
×
64
×
4，然后通过5个残差连接，每个残差连接将分辨率减半，同时将通道数加倍，5个残差连接的输出分别为32
×
32
×
24、16
×
16
×
48、8
×8×
96、4
×4×
192和2
×2×
384，接下来经过一个保留空间分辨率和通道数的残差连接处理之后，在高度和宽度维度对特征图进行汇总，最后经过一个全连接层得到二分类输出。所述时间鉴别器的网络结构图如图5所示，图5中时间鉴别器首先使用空间到深度操作将序列中的每一帧转换为64
×
64
×
4，该输出由两个三维残差连接进行处理，类似于空间鉴别器中的前两个残差连接，只
是采用3
×3×
3卷积，其余步骤与空间鉴别器类似。
[0064]
所述残差连接如图6所示，包括两个依次连接的3
×
3卷积操作层和一个并行连接的3
×
3卷积操作层，其中每个卷积操作层之前都连接一个leakyrelu激活函数层。
[0065]
本实施例中，s4中所述生成对抗网络模型的损失函数的公式如下：
[0066][0067]
其中，ld为空间损失，l
t
为时间损失，l为正则项损失，λ是用于控制正则项损失函数的常数权重，ld、l
t
、l具体公式如下：
[0068]
ld(γ)＝e[logd
γ
(y)] e[log(1-d
γ
(g(x))]
[0069]
l
t
(β)＝e[logt
β
(y)] e[log(1-t
β
(g(x))]
[0070][0071]
其中，e表示期望，γ为空间鉴别器d
γ
的参数，β为时间鉴别器t
β
的参数，θ为生成器g
θ
的参数，x为输入域，y为生成域，h为图像高度、w为图像宽度、n为图像帧。
[0072]
本实施例中，使用只有任务感兴趣区的真实图像数据和时空图像序列数据对构建的生成对抗网络模型进行训练，获得训练好的生成对抗网络模型；具体方法为：
[0073]
使用步骤s2中只有任务感兴趣区的真实图像数据作为生成器的输入，生成合成的图像序列数据；
[0074]
s401、使用步骤s2中预处理后的真实图像数据作为生成器的输入，生成合成的图像序列数据；
[0075]
s402、利用鉴别器判别当前步骤生成的图像序列数据的真假，并通过生成对抗网络模型的损失函数中最大化空间和时间鉴别器的损失来更新鉴别器网络参数；
[0076]
s403、固定鉴别器网络参数不变，将新的真实图像数据作为生成器的输入，生成合成的图像序列数据，利用鉴别器判别生成结果的真假，并通过生成对抗网络模型的损失函数中最小化生成器的损失来更生成器网络参数；
[0077]
s404、循环上述训练过程，训练次数达到预设阈值，完成训练，获得训练好的对抗网络模型。
[0078]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制。凡是根据发明技术实质对以上实施例所作的任何简单修改、变更以及等效变化，均仍属于本发明技术方案的保护范围内。