一种图像质量提升方法、装置、设备及介质

本发明属于三维空间视觉导航，具体涉及一种图像质量提升方法、装置、设备及介质。

背景技术：

1、三维空间视觉导航图像质量提升是指通过各种技术手段，改善三维环境中获取的图像质量，以提高视觉导航系统的性能和用户体验。这种技术在虚拟现实(vr)、增强现实(ar)、机器人导航、无人机控制等领域具有重要意义。

2、近几十年间，例如，在无人机应用场景，因无人机具有机动性能好、造价低、飞行方式灵活等优点，越来越多的无人机被应用于工业检查、遥感、制图、测绘、营救等方面，同时也引起了军队的高度重视，在国防和部队建设中发挥着重要作用。系留无人机能够与地面无人车、海面无人艇等连接，在指定高度配合地面海面任务，因此服役环境复杂，多环境因素耦合，特别在强拒止条件下，机载传感器的通信和感知能力的局限性，无人机无法精确感知周围的环境并无法正常工作，有限的自主导航能力严重阻碍了无人机在复杂环境中的应用，因此基于视觉的导航、避障与路径规划具有重要的战略保障意义。那么在视觉导航中提升图像质量就显得尤为重要。

3、目前，主要从以下几个方面提升图像质量。传感器技术的改进，采用更先进的传感器技术，如高分辨率摄像头、深度传感器等，以提高图像的采集质量；采用图像处理算法，包括但不限于去噪算法、超分辨率算法、图像增强算法等，用于在图像采集后对图像进行处理，提高图像的清晰度、对比度等；利用机器学习和深度学习技术，通过大量数据的学习，使系统能够自动学习和识别图像中的模式，进而提升图像质量；结合多种传感器的数据，如rgb摄像头、深度传感器、惯性传感器等，以获取更多、更准确的环境信息，从而提高图像的质量和导航系统的性能；针对实时性要求较高的场景，需要设计高效的图像处理算法，以在有限的时间内完成图像质量提升的任务。

4、目前，在无人机应用场景，三维空间视觉导航领域存在这些问题。系留无人机在相对高度300米以上的视觉感知受环境影响干扰严重。飞机的偏航、滚动与俯仰角将导致图像畸变，图像的光照分布不均；飞机振动以及电子快门的时间延迟都会造成图像模糊；飞行跨度大，可见光图像传感器获取图像时易受环境因素云、雨和雾等影响。这些问题导致基准图适配性分析、辅助导航信息融合与现有景像匹配系统有很大差异，传统的图像处理分析方法不能满足多目标多模态的识别与跟踪。目前无人机拍摄的图像数据集少，场景单一。在实际的工程应用中，原始图像信息无法获得，无法使用有监督的深度学习方法。无人机拍摄的图像存在抖动的现象，这是使用逐行曝光的传感器所致，因为传感器是逐行曝光的，行与行之间有时间差，如果被拍摄物体将对于相机高速运动时，用卷帘快门方式拍摄，逐行扫描速度不够，拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。

5、基于人工智能的图像目标检测与跟踪、景像匹配与图像质量提升方法，能够有效提升图像匹配与识别效率，实现强拒止条件下系留无人机的视觉感知能力。

技术实现思路

1、为了克服现有技术存在的上述问题，本发明提供一种图像质量提升方法、装置、设备及介质，用于解决现有技术中存在的上述问题。

2、一种图像质量提升方法，所述方法包括如下步骤：

3、s1.将抖动视频进行处理得到数据集；

4、s2.将数据集采用全帧视频稳定方法和ifed模型进行处理，得到果冻效应修复后的输入图像；

5、s3.将所述输入图像进行去模糊处理，得到最终修改图像。

6、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s1具体包括：将抖动视频按照时间顺序抽帧，得到一组有时间先后顺序的图像数据集，作为输入的待恢复图像。

7、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s2中全帧视频稳定方法包括：

8、s211.选择预训练的图像处理模型；

9、s212.将所述待恢复图像输入到所述图像处理模型中，生成清晰图像；

10、s213.计算所述待恢复图像和所述清晰图像之间的峰值信噪比和结构相似性；

11、s214.将计算得到的峰值信噪比和结构相似性大于预设的阈值的图像保留作为第一图像。

12、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，采用ifed模型进行处理包括：s221.将所述待恢复图像输入到图像修复模型中，生成清晰图像；

13、s222.计算所述待恢复图像和所述清晰图像之间的峰值信噪比和结构相似性；

14、s223.将计算得到的峰值信噪比和结构相似性大于预设的阈值的图像保留作为第二图像。

15、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述图像修复模型通过如下方式构建：获取合成的rs-gopro数据集作为训练集；使用所述训练集和端到端的ifed模型进行训练，得到图像修复模型。

16、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述去模糊处理采用nafnet网络进行。

17、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s2还包括：将所述第一图像和第二图像进行比较，将满足择优条件的作为果冻效应修复后的输入图像。

18、本发明还提供了一种图像质量提升装置，所述装置用于实现所述的方法，包括：

19、建立模块，用于将抖动视频进行处理得到数据集；

20、处理模块，用于将数据集采用全帧视频稳定方法和ifed模型进行处理，得到果冻效应修复后的输入图像；

21、去模糊模块，用于将所述输入图像进行去模糊处理，得到最终修改图像。

22、本发明还提供了一种电子设备，所述电子设备包括：

23、存储器，存储有可执行指令；

24、处理器，所述处理器运行所述存储器中的所述可执行指令，以实现所述的方法。

25、本发明还提供了一种计算机存储介质，所述介质上存储有计算机程序，所述计算机程序被处理器执行实现所述的方法。

26、本发明的有益效果

27、与现有技术相比，本发明有如下有益效果：

28、本发明的图像质量提升的方法，包括：将抖动视频进行处理得到数据集；将数据集采用全帧视频稳定方法和ifed模型进行处理，得到果冻效应修复后的输入图像；将所述输入图像进行去模糊处理，得到最终修改图像。本发明能够训练出一种对无人机拍摄图像进行去抖的模型，从而使得出现果冻效应的图像能够在处理之后正常应用于三维空间视觉导航中，进而保障无人机导航回收的正常应用。

技术特征：

1.一种图像质量提升方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的图像质量提升方法，其特征在于，所述s1具体包括：将抖动视频按照时间顺序抽帧，得到一组有时间先后顺序的图像数据集，作为输入的待恢复图像。

3.根据权利要求2所述的图像质量提升方法，其特征在于，所述s2中全帧视频稳定方法包括：

4.根据权利要求3所述的图像质量提升方法，其特征在于，采用ifed模型进行处理包括：s221.将所述待恢复图像输入到图像修复模型中，生成清晰图像；

5.根据权利要求4所述的图像质量提升方法，其特征在于，所述图像修复模型通过如下方式构建：获取合成的rs-gopro数据集作为训练集；使用所述训练集和端到端的ifed模型进行训练，得到图像修复模型。

6.根据权利要求1所述的图像质量提升方法，其特征在于，所述去模糊处理采用nafnet网络进行。

7.根据权利要求4所述的图像质量提升方法，其特征在于，所述s2还包括：将所述第一图像和第二图像进行比较，将满足择优条件的作为果冻效应修复后的输入图像。

8.一种图像质量提升装置，其特征在于，所述装置用于实现权利要求1-7任一项所述的方法，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机存储介质，其特征在于，所述介质上存储有计算机程序，所述计算机程序被处理器执行实现权利要求1-7任一项所述的方法。

技术总结本发明涉及一种图像质量提升方法、装置、设备及介质，方法包括将抖动视频进行处理得到数据集；将数据集采用全帧视频稳定方法和IFED模型进行处理，得到果冻效应修复后的输入图像；将所述输入图像进行去模糊处理，得到最终修改图像。本发明能够训练出一种对无人机拍摄图像进行去抖的模型，从而使得出现果冻效应的图像能够在处理之后正常应用于三维空间视觉导航中，进而保障无人机导航回收的正常应用。技术研发人员：艾轶博,范欢欢,张卫冬受保护的技术使用者：北京科技大学技术研发日：技术公布日：2024/8/1