基于条件生成对抗网络的水下声学数据集增广方法及系统与流程

技术特征：
1.一种基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，包括：步骤1，获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本；步骤2，通过条件生成对抗网络，将步骤1中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率；步骤3，将所述步骤1中达到预设数量的样本以及由所述步骤2增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。2.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，所述步骤1中获取所述切片的方法具体包括：步骤11，以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成所述每张切片对应的标注文件，获得所述切片；步骤12，将所述切片中目标物的轮廓进行增强；步骤13，在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充。3.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，所述步骤2具体包括：步骤21，以随机噪声和表示条件的目标物的类别标签作为输入，首先在所述生成器中进行编码，并通过所述生成器中相应层级的全连接层将编码后的图片中的“分布式特征”映射到样本标记空间中，再通过所述生成器中相应层级的batch normalization层归一化处理，通过所述生成器中相应层级的leaky relu激活函数向生成器网络中引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片；其中，所述生成器的网络损失函数l
g
如下式(1)所示：式中，n表示生成的所述虚假图片的数量；z
i
表示第i张噪声；表示标签为k的第i张所述虚假图片；d(
·
)表示判别器的判别结果；步骤22，利用所述判别器对所有输入图片进行判别，将类别标签信息与图片编码后，经由判别器中相应层级的全连接层、leaky relu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚拟图片是否合格；其中，所述判断器的网络损失函数l
d
如下式(2)所示：式中，m表示真实图片的数量；z
i
表示第i张噪声；表示标签为k的第i张所述虚假图片；r
j,k
表示标签为k的第j张真实图片，d(
·
)表示判别器的判别结果。
4.如权利要求1所述的基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，所述步骤2通过条件生成对抗网络的总体目标函数(3)生成对抗网络：式中，p
r
、p
g
分别表示真实图片形成的集合和虚假图片的集合；d表示判别器的判别结果，r、z、r
k
、g
k
表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，表示判别器判别出虚假图片的概率，表示对于生成器v(d,g)的值越小越好，而对于判别器v(d,g)的值越大越好。5.如权利要求1-4中任一项所述的基于条件生成对抗网络的水下声学数据集增广方法，其特征在于，所述步骤3中的优化处理方法具体包括：步骤31，先对图像进行旋转、镜像、缩放等操作，然后随机生成一个贴图点(x
new
,y
new
)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；步骤32，先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，增强图像整体对比度的效果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数可表示为式(4)：式中：x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，g(x)为高斯函数。6.一种基于条件生成对抗网络的水下声学数据集增广系统，其特征在于，包括：切片获取单元，其用于获取声纳数据集和遥感数据集中目标物的切片，再对切片中的目标物图像进行轮廓增强和像素填充，剔除不合格的切片，保留合格的切片中的目标物类别信息，并分类存储为样本；虚拟数据增广单元，其用于通过条件生成对抗网络，将所述切片获取单元中未达到预设数量阈值的样本进行增广；其中，所述条件生成对抗网络包括生成器和判别器，所述生成器用于生成虚假图片，所述判别器用于接收训练数据中的真实图片和所述虚假图片，并估计样本来自所述真实图片而非来自所述虚假图片的概率；声纳数据获取单元，其用于将所述切片获取单元中达到预设数量的样本以及由所述虚拟数据增广单元增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。7.如权利要求6所述的基于条件生成对抗网络的水下声学数据集增广系统，其特征在于，所述切片获取单元具体包括：切片生成子单元，其用于以目标物为基本单位，选取目标物落在切片中心位置的切片，同时生成所述每张切片对应的标注文件，获得所述切片；轮廓增强子单元，其用于将所述切片中目标物的轮廓进行增强；
填充子单元，其用于在所述声纳数据集中的声纳图像中选取包含目标像素信息的图像块作为种子图像，通过所述种子图像对所述目标物的轮廓内部进行填充。8.如权利要求6所述的基于条件生成对抗网络的水下声学数据集增广系统，其特征在于，所述虚拟数据增广单元具体包括：生成器，其用于以随机噪声和表示条件的目标物的类别标签作为输入，首先进行编码，并通过相应层级的全连接层将编码后的图片中的“分布式特征”映射到样本标记空间中，再通过相应层级的batch normalization层归一化处理，通过相应层级的leaky relu激活函数引入非线性因素，并利用最后层级的全连接层和tanh激活函数，得到所述虚假图片；其中，所述生成器的网络损失函数l
g
如下式(1)所示：式中，n表示生成的所述虚假图片的数量；z
i
表示第i张噪声；表示标签为k的第i张所述虚假图片；d(
·
)表示判别器的判别结果；判别器，其用于对所有输入图片进行判别，将类别标签信息与图片编码后，经由相应层级的全连接层、leaky relu层，并在最后一个全连接层得到图片中的样本来自所述真实图片而非来自所述虚假图片的概率，通过该概率判断所述虚拟图片是否合格；其中，所述判断器的网络损失函数l
d
如下式(2)所示：式中，m表示真实图片的数量；z
i
表示第i张噪声；表示标签为k的第i张所述虚假图片；r
j,k
表示标签为k的第j张真实图片，d(
·
)表示判别器的判别结果。9.如权利要求6所述的基于条件生成对抗网络的水下声学数据集增广系统，其特征在于，所述虚拟数据增广单元通过条件生成对抗网络的总体目标函数(3)生成对抗网络：式中，p
r
、p
g
分别表示真实图片形成的集合和虚假图片的集合；d表示判别器的判别结果，r、z、r
k
、g
k
表示真实图片、输入的噪声分布、标签为k的真实图片和生成器生成的标签为k的虚假图片，表示判别器判别出真实图片的概率，表示判别器判别出虚假图片的概率，表示对于生成器v(d,g)的值越小越好，而对于判别器v(d,g)的值越大越好。10.如权利要求6-9中任一项所述的基于条件生成对抗网络的水下声学数据集增广系统，其特征在于，所述声纳数据获取单元具体包括：图像预处理子单元，其用于先对图像进行旋转、镜像、缩放等操作，然后随机生成一个贴图点(x
new
,y
new
)，将贴图点与切片中心点进行重合，使切片贴于海底混响背景图上，同时生成图片新的标注信息；步骤32，其用于先统计贴图后所有像素点的像素强度直方图，计算出图像的灰度直方图以及灰度直方图的累积分布函数，根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，并根据该映射关系得到结果进行图像变换，增强图像整体对比度的效
果；最后使用高斯滤波对图像进行平滑处理，并使用二维零均值离散高斯函数做平滑滤波器，其函数可表示为式(4)：式中：x为高斯图像的坐标系横坐标值，y为高斯图像的坐标系纵坐标值，σ为高斯分布参数，g(x)为高斯函数。

技术总结
本发明公开了一种基于条件生成对抗网络的水下声学数据集增广方法和系统，其包括：步骤1，获取声纳数据集和遥感数据集中目标物的切片，对切片中的目标物图像进行轮廓增强和像素填充，保留合格的切片中的目标物类别信息，并分类存储为样本；步骤2，通过条件生成对抗网络，将步骤1中未达到预设数量阈值的样本进行增广；步骤3，将步骤1中达到预设数量的样本以及由步骤2增广后的样本粘贴至所述声纳数据集中的海底混响背景图上，并将粘贴后的图像进行优化处理后，仿真成声纳图像，形成声纳数据集。本发明有利于丰富水下声学图像数据集，并在此基础上推动深度学习方法水下目标检测和分割任务中的发展及应用，以提高环境感知目标检测的准确性。的准确性。的准确性。


技术研发人员：谢国涛 周健群 秦晓辉 徐彪 胡满江 边有钢 秦兆博 秦洪懋 王晓伟
受保护的技术使用者：江苏集萃清联智控科技有限公司
技术研发日：2022.04.14
技术公布日：2022/7/29