一种基于深度学习的空间目标图像数据增强方法及系统

本发明涉及图像数据增强，具体涉及一种基于深度学习的空间目标图像数据增强方法及系统。

背景技术：

1、随着航天技术的发展，航天任务呈现出复杂化、多样化、自主化、多样化的趋势。在这些任务中，具有代表性的诸如空间飞行器自主交会对接、太空垃圾例如失效航天器的清除、对空间设备的在轨维护等，都需要对空间目标进行位姿估计。目前基于深度学习的位姿估计方法得到快速发展，已经大量应用于太空任务中。深度学习方法区别于传统方法的一大特点就是需要大量的目标图像数据对神经网络进行预训练，算法实际运用效果与数据集是否能够真实反映太空环境和目标光学特征具有很大关系。

2、然而具有准确航天器位姿标签的太空真实图像难以获取，数量稀少，难以应用于深度学习研究。因此神经网络的训练大多依赖通过专业渲染软件或者地面试验台得到的图像数据，由于这两种方法难以完全模拟出真实太空环境下的光学条件，会导致训练集中的目标与在太空拍摄得到的目标在纹理视觉上存在差异，合成图像和太空图像之间最明显的区别之一是表面纹理，而目标的整体结构差异极小。

技术实现思路

1、鉴于以上问题，本发明提出一种基于深度学习的空间目标图像数据增强方法及系统，以力图解决或缓解上述的一个或多个问题。

2、根据本发明的一方面，提出一种基于深度学习的空间目标图像数据增强方法，该方法包括以下步骤：

3、获取空间目标图像数据集；

4、构建基于神经网络的风格迁移模型，并将所述空间目标图像数据集输入所述风格迁移模型中进行训练，获取训练好的风格迁移模型；

5、利用训练好的风格迁移模型对在轨空间目标数据进行数据增强处理。

6、进一步地，所述获取空间目标图像数据集包括：在仿真软件中构建三维空间场景，所述三维空间场景包含空间目标模型和模拟宇宙环境的背景元素；设定所述三维空间场景中光照效果，以供建立不同光照条件下的目标图像；模拟空间目标的运动和其他环境因素，包括在不同速度下的运动模糊效果和模拟大气扰动对图像清晰度的影响；编写控制脚本以自动化空间目标和摄像机的运动，所述控制脚本包含预定的运动路径或基于环境变量的动态调整逻辑；获取覆盖空间目标在多个角度和距离下的视图，从而组成空间目标图像数据集。

7、进一步地，所述基于神经网络的风格迁移模型包括风格预测模块、风格转化模块和风格内容损失计算模块；其中，所述风格预测模块用于采用inception v3模型进行预测，获得输入图像的风格特征向量，所述风格特征向量用于描述图像风格；所述风格转化模块用于将所述风格特征向量和空间目标图像输入卷积神经网络中进行处理，获取风格转换图；所述风格内容损失计算模块用于通过卷积神经网络逐层处理所述风格转换图、风格图及原始的空间目标图像，来计算风格转换图与风格图之间的风格误差、风格转换图与原始的空间目标图像之间的内容误差，其中，风格图来自于已有的开源数据集。

8、进一步地，所述方法还包括：采用随机化方法对原始的空间目标图像随机生成风格特征向量；将随机生成的风格特征向量与所述风格预测模块预测生成的风格特征向量进行线性插值，获得最终的风格特征向量。

9、进一步地，所述风格误差的计算公式为：

10、

11、式中，x表示风格转换图；s表示风格图；ni表示第i个风格图对应的神经元数量；表示该特征图fi(·)的gram矩阵；

12、所述内容误差的计算公式为：

13、

14、式中，c表示原始的空间目标图像；nj表示第j个空间目标图像对应的神经元数量；fj(·)表示特征图。

15、根据本发明的另一方面，提出一种基于深度学习的空间目标图像数据增强系统，其特征在于，包括：

16、数据获取模块，其配置成获取空间目标图像数据集；

17、模型训练模块，其配置成构建基于神经网络的风格迁移模型，并将所述空间目标图像数据集输入所述风格迁移模型中进行训练，获取训练好的风格迁移模型；

18、数据增强模块，其配置成利用训练好的风格迁移模型对在轨空间目标数据进行数据增强处理。

19、进一步地，所述数据获取模块中所述获取空间目标图像数据集包括：在仿真软件中构建三维空间场景，所述三维空间场景包含空间目标模型和模拟宇宙环境的背景元素；设定所述三维空间场景中光照效果，以供建立不同光照条件下的目标图像；模拟空间目标的运动和其他环境因素，包括在不同速度下的运动模糊效果和模拟大气扰动对图像清晰度的影响；编写控制脚本以自动化空间目标和摄像机的运动，所述控制脚本包含预定的运动路径或基于环境变量的动态调整逻辑；获取覆盖空间目标在多个角度和距离下的视图，从而组成空间目标图像数据集。

20、进一步地，所述模型训练模块中基于神经网络的风格迁移模型包括风格预测模块、风格转化模块和风格内容损失计算模块；其中，所述风格预测模块用于采用inceptionv3模型进行预测，获得输入图像的风格特征向量，所述风格特征向量用于描述图像风格；所述风格转化模块用于将所述风格特征向量和空间目标图像输入卷积神经网络中进行处理，获取风格转换图；所述风格内容损失计算模块用于通过卷积神经网络逐层处理所述风格转换图、风格图及原始的空间目标图像，来计算风格转换图与风格图之间的风格误差、风格转换图与原始的空间目标图像之间的内容误差，其中，风格图来自于已有的开源数据集。

21、进一步地，所述模型训练模块中还包括：采用随机化方法对原始的空间目标图像随机生成风格特征向量；将随机生成的风格特征向量与所述风格预测模块预测生成的风格特征向量进行线性插值，获得最终的风格特征向量。

22、本发明的有益技术效果是：

23、本发明提出一种基于深度学习的空间目标图像数据增强方法及系统，首先基于仿真软件获取空间目标图像数据集；然后构建基于神经网络的风格迁移模型，并将所述空间目标图像数据集输入所述风格迁移模型中进行训练；利用训练好的风格迁移模型对在轨空间目标数据进行数据增强处理。本发明通过神经风格迁移技术(利用深度学习来合成图片的技术，能够将一幅图片的风格应用到另一幅图片上，同时保留后者的内容结构)对数据集中的目标表面纹理进行随机生成，弱化纹理与位姿之间的关系，使神经网络更加关注目标的整体结构，使其对不同的光学环境都有极高的适应能力。

技术特征：

1.一种基于深度学习的空间目标图像数据增强方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的空间目标图像数据增强方法，其特征在于，所述获取空间目标图像数据集包括：在仿真软件中构建三维空间场景，所述三维空间场景包含空间目标模型和模拟宇宙环境的背景元素；设定所述三维空间场景中光照效果，以供建立不同光照条件下的目标图像；模拟空间目标的运动和其他环境因素，包括在不同速度下的运动模糊效果和模拟大气扰动对图像清晰度的影响；编写控制脚本以自动化空间目标和摄像机的运动，所述控制脚本包含预定的运动路径或基于环境变量的动态调整逻辑；获取覆盖空间目标在多个角度和距离下的视图，从而组成空间目标图像数据集。

3.根据权利要求1所述的一种基于深度学习的空间目标图像数据增强方法，其特征在于，所述基于神经网络的风格迁移模型包括风格预测模块、风格转化模块和风格内容损失计算模块；其中，所述风格预测模块用于采用inceptionv3模型进行预测，获得输入图像的风格特征向量，所述风格特征向量用于描述图像风格；所述风格转化模块用于将所述风格特征向量和空间目标图像输入卷积神经网络中进行处理，获取风格转换图；所述风格内容损失计算模块用于通过卷积神经网络逐层处理所述风格转换图、风格图及原始的空间目标图像，来计算风格转换图与风格图之间的风格误差、风格转换图与原始的空间目标图像之间的内容误差，其中，风格图来自于已有的开源数据集。

4.根据权利要求3所述的一种基于深度学习的空间目标图像数据增强方法，其特征在于，所述方法还包括：采用随机化方法对原始的空间目标图像随机生成风格特征向量；将随机生成的风格特征向量与所述风格预测模块预测生成的风格特征向量进行线性插值，获得最终的风格特征向量。

5.根据权利要求3所述的一种基于深度学习的空间目标图像数据增强方法，其特征在于，所述风格误差的计算公式为：

6.一种基于深度学习的空间目标图像数据增强系统，其特征在于，包括：

7.根据权利要求6所述的一种基于深度学习的空间目标图像数据增强系统，其特征在于，所述数据获取模块中所述获取空间目标图像数据集包括：在仿真软件中构建三维空间场景，所述三维空间场景包含空间目标模型和模拟宇宙环境的背景元素；设定所述三维空间场景中光照效果，以供建立不同光照条件下的目标图像；模拟空间目标的运动和其他环境因素，包括在不同速度下的运动模糊效果和模拟大气扰动对图像清晰度的影响；编写控制脚本以自动化空间目标和摄像机的运动，所述控制脚本包含预定的运动路径或基于环境变量的动态调整逻辑；获取覆盖空间目标在多个角度和距离下的视图，从而组成空间目标图像数据集。

8.根据权利要求6所述的一种基于深度学习的空间目标图像数据增强系统，其特征在于，所述模型训练模块中基于神经网络的风格迁移模型包括风格预测模块、风格转化模块和风格内容损失计算模块；其中，所述风格预测模块用于采用inceptionv3模型进行预测，获得输入图像的风格特征向量，所述风格特征向量用于描述图像风格；所述风格转化模块用于将所述风格特征向量和空间目标图像输入卷积神经网络中进行处理，获取风格转换图；所述风格内容损失计算模块用于通过卷积神经网络逐层处理所述风格转换图、风格图及原始的空间目标图像，来计算风格转换图与风格图之间的风格误差、风格转换图与原始的空间目标图像之间的内容误差，其中，风格图来自于已有的开源数据集。

9.根据权利要求8所述的一种基于深度学习的空间目标图像数据增强系统，其特征在于，所述模型训练模块中还包括：采用随机化方法对原始的空间目标图像随机生成风格特征向量；将随机生成的风格特征向量与所述风格预测模块预测生成的风格特征向量进行线性插值，获得最终的风格特征向量。

技术总结本发明公开了一种基于深度学习的空间目标图像数据增强方法及系统，涉及图像数据增强技术领域。本发明的技术要点包括：首先，基于仿真软件获取空间目标图像数据集；然后，构建基于神经网络的风格迁移模型，并将所述空间目标图像数据集输入所述风格迁移模型中进行训练；最后，利用训练好的风格迁移模型对在轨空间目标数据进行数据增强处理。本发明通过神经风格迁移技术对数据集中的目标表面纹理进行随机生成，弱化纹理与位姿之间的关系，使神经网络更加关注目标的整体结构，使其对不同的光学环境都有极高的适应能力。技术研发人员：张泽旭,张凡,宋卓受保护的技术使用者：哈尔滨工业大学技术研发日：技术公布日：2024/8/1