一种角度语义可控的SAR图像增广方法与流程

本发明涉及一种角度语义可控的sar图像增广方法，在传统dcgan的基础上，结合图像的角度信息进行了语义控制并对网络结构进行了优化，在生成网络加入了输入融合层，可实现输出任意自定义角度目标图像的功能。

背景技术：

1、生成对抗网络(gan)是非监督式学习的一种方法，由伊恩·古德费洛等人于2014年提出。生成对抗网络由一个生成网络与一个判别网络组成。生成网络从隐空间(latentspace)中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。gan的核心思想就是利用生成器和判别器的交替博弈训练，并且通过一个共享的全局损失函数得到最优的完整模型。gan作为目前生成类任务中主要使用的模型，设计出最优的架构可以使gan更好地训练学习。

2、深度卷积生成对抗网络(dcgan)，基于条件生成对抗网络(cgan)，避免了传统的多层神经网络，通过使用卷积神经网络生成尽可能逼近真实图像的合成图像。

3、sar图像作为合成孔径雷达的基础数据产品，是实现sar从技术到应用落地转化的关键节点。高质量、大数量、多样性的sar图像样本有利于sar目标分类与目标反演等图像解译的开展。然而，由于可获取sar数据的平台相对较少、设备成本高昂、轨道倾角单一，目前所积累的实测的sar图像数据在波段、极化、分辨率、入射角度等维度上还不够丰富。在目标分类与目标反演往往需要大量的样本作为训练集，才能获得可信度较高的模型或算法。现有的实测成像样本的多样性还难以达到数据训练所需，导致网络训练不充分，模型泛化性能不高。sar图像获取的另一条途径，是采用全链路的sar电磁建模、回波仿真与成像，生产sar仿真图像来丰富所需要的训练数据集。目前，sar图像仿真技术已相对成熟，相应数据产品已广泛应用于军事领域和民用领域。然而，在不同轨道高度、波段、极化、分辨率、入射角条件下，针对不同目标、背景完成多次完整的电磁建模、回波仿真并对回波数据进行成像需要海量计算，会占用较多的计算机资源。因此，需要特别关注sar仿真图像的生产效率和成本控制。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提供一种角度语义可控的sar图像增广方法，解决了合成孔径雷达图像采集成本高、多样性不足，影响图像解译效果的问题。

2、本发明的技术方案是：一种角度语义可控的sar图像增广方法，包括：

3、根据具体的应用场景，确定角度语义为目标方位角、雷达俯仰角、雷达斜视角中的一项，并定义为待增广角度；

4、获取同一观测目标的图像数据集，包含sar图像以及记录对应成像参数的信息文件；根据信息文件中的参数对每幅图像进行数据清洗，得到可用于增广的图像集合，包含清洗后的有效图像集合以及对应的角度信息构成的角度序列；

5、根据待增广角度的范围和最小角度间隔，对角度序列进行有效图像角度信息编码；

6、将有效图像与对应的角度信息编码融合，作为初始的条件深度卷积生成对抗网络的输入，展开网络训练；通过多轮次训练完成网络参数的学习，得到适用于该图像集的特异增广网络；

7、自定义需要生成图像的角度数值，作为待增广数值，并且按照上述角度信息编码方式获取待增广数值对应的角度向量；将该角度向量与热噪声图像融合，输入到得到的特异增广网络中，即得到自定义角度数值的sar图像。

8、所述获取同一观测目标的sar实测或仿真图像数据集，包含sar图像以及记录对应成像参数的信息文件；根据信息文件中的参数对每幅图像进行数据清洗，得到可用于增广的图像集合，包括：

9、获取同一观测目标的sar实测或仿真的图像数据集，保证所述图像数据集中的图像符合数据输入要求，并且在其信息文件中记录有对应的角度参数；

10、根据确定的待增广角度，从同一观测目标的图像数据集筛选出符合条件的有效图像；

11、对于筛选出的有效图像，从其对应的信息文件中读取出目标待增广角度信息，记录相应的数值大小；

12、对读取到的待增广角度具体数值进行统计、排序与分析，得到升序的角度序列，并计算得到待增广角度覆盖范围、以及最小角度间隔；

13、将筛选后的有效图像按照上述角度序列进行排序和整理，完成数据清洗，得到可用于增广的图像集合。

14、所述符合条件的有效图像，要求包括：

15、图像目标细节可见；

16、图像的信息文件中包含目标待增广角度信息；

17、除待增广角度参数外，图像信息文件中其他的参数取值应保持一致。

18、所述获取同一观测目标的图像数据集，包括同一观测目标的sar实测图像或者现有仿真图像，或重新从仿真系统生成的仿真图像。

19、对于实测图像或者现有仿真图像，应以观测对象作为目录分类，且图像指标相同；提取出同一观测对象的所有文件，包含sar实测图像和对应的成像信息文本文件；

20、对于重新从仿真系统生成的仿真图像，保证每幅仿真图像中，除了语义信息中对应的角度参数具有互异性，其他仿真参数均保持一致；所述其他仿真参数包括雷达平台参数、场景参数；仿真系统的生成结果同样包含sar实测图像和对应的成像信息文本文件。

21、根据待增广角度的范围和最小角度间隔，对角度序列进行图像角度信息编码，得到角度编码向量v，包括：

22、令编码向量维数为q×1；设得到的角度序列中包含m个互异的角度值，集合表示为{α1、α2、……、αm}，覆盖的角度范围为[α1°,αm°]；

23、将角度序列所覆盖的角度范围分割为以编码向量维度数l为参考的等长度区间

24、对于集合中的任意角度α，其中，i是取值范围为1<i≤q的整数，表示定位α所属的区间，解方程组

25、

26、得到k1、k2的值；则角度α的向量编码结果v为

27、v＝[v(1),v(2),…,v(l)]

28、其中，v(n)用于表示编码向量中第n个维度的数值：

29、

30、向量中的非零值k1、k2为编码有效值；编码有效值在向量维中所处的位置代表了角度置信区间，编码有效值的大小代表了角度在置信区间所处的具体位置；

31、对角度序列中的每个角度按照上述过程计算对应的编码向量v，完成所有有效图像的角度信息编码。

32、所述q＝18；编码可接受的最大角度范围为[0°,360°]。

33、所述将有效图像与对应的角度信息编码融合，作为初始的条件深度卷积生成对抗网络的输入，包括：

34、设有效图像为i，通过反卷积层d1；设对应的角度信息编码向量v，通过反卷积层d2；将d1、d2的输出拼接，得到网络层的输入。

35、本发明与现有技术相比的优点在于：

36、(1)实现了sar图像处理领域的图像增广。相较于光学图像，相同成像场景下的sar图像具有干扰和噪声相对严重、语义不清晰、图像信息维度少等特点，为深度学习网络所提供的图像层面信息量更少。本发明采用语义信息标注的形式，有效提升了深度学习网络对于sar图像的学习效率，成功实现了sar图像增广。

37、(2)相比于现有的dcgan网络，本发明所提出的cdcgan(conditional

38、dcgan)可以生成训练集之外的角度所对应的图像，即，其输出不止局限于原有的语义信息。这一优势是由角度语义编码向量的特殊构型带来的。以单位编码向量作为模版，该神经网络可以自动学习不同输入图像所对应的编码有效值的位置和大小，隐式形成编码方式与具体角度值大小的线性映射关系，从而解算得到其他角度所对应的编码向量取值。因此，编码向量使得角度输入不仅只作为静态的标签存在。