一种基于高光谱快照压缩的图像描述生成方法及系统

本发明属于高光谱图像处理，具体涉及一种基于高光谱快照压缩的图像描述生成方法及系统。

背景技术：

1、目前，高光谱图像描述生成是一项涉及解析高光谱图像并生成相关文本描述的复杂视觉语言任务。对于研究者来说，根据视觉信息生成描述是一项相对直观的活动，但对机器而言，这一过程充满挑战。高光谱成像系统通常在多个波长上捕获数据，生成包含丰富光谱信息的高维图像，这些图像进一步被压缩以便于存储和传输。因此，在生成精确的图像描述之前，通常需要从压缩数据中重建原始高光谱图像。

2、大多数高光谱图像描述生成方法假设它们处理的是质量良好的、已经解码的图像，但这该类方法往往忽视了整个图像处理流程中可能出现的问题。首先，信息冗余问题显著，随着光谱和空间分辨率的提高，原始图像及其重构版本中的数据冗余对存储和计算能力造成了极大的压力。其次，信息丢失也是一个关键问题。为了减少原始图像数据的冗余，现有通常采用(接近)无损的压缩技术，然而，在重建图像过程中处理光谱数据的冗余时，现有方法可能需要对光谱特征进行采样以降低计算成本，这可能会忽略一些关键光谱信息，特别是在快速变化的场景中。最后，整个从捕获原始高光谱图像到生成描述的过程效率不高，需要多个步骤的累积努力。在现有的压缩、重建、采样的循环中，冗余信息会减少、恢复、进一步减少，这样一来不仅浪费了计算资源，也在一定程度上增加了处理时间。因此，综上所述，目前现有对于高光谱图像的描述生成，由于其一般采用压缩、重建、采样的方式，处理中可能会造成数据冗余或者数据丢失的问题，导致处理的精度不够，降低了处理的效率。

技术实现思路

1、本发明的目的在于提供一种基于高光谱快照压缩的图像描述生成方法及系统，以解决目前现有对于高光谱图像，由于其一般采用压缩、重建、采样的方式，处理中可能会造成数据冗余或者数据丢失的问题，导致处理的精度和效率有待进一步提升的问题。

2、为达到上述目的，本发明采用如下技术方案：

3、一种基于高光谱快照压缩的图像描述生成方法，具体包括如下步骤：

4、s1、收集获取高光谱图像，并建立训练数据集和测试数据集；

5、s2、通过模拟cassi系统对高光谱数据集进行压缩处理，获得压缩测量图像；

6、s3、搭建由教师网络和学生网络构成的深度网络模型；

7、s4、将压缩测量图像中的训练数据集输入到深度网络模型中，对深度网络模型进行训练；利用教师网络优化学生网络的网络参数，通过损失函数对优化后的网络参数进行迭代更新，得到优化后的深度网络模型；

8、s5、将压缩测量图像中的测试数据集输入至优化后的深度网络模型，得到图像编码，利用图像编码生成高光谱图像的描述。

9、在一些实施方式中，在s1中，训练数据集是从cave数据集中选择若干个模拟的高光谱场景获取的，测试数据集是从kaist数据集中提取的若干个模拟场景以及从实验室设备拍摄的若干个实际高光谱场景获取的。

10、在一些实施方式中，在s2中，获得压缩测量图像采用如下公式(1)：

11、m＝σx⊙mask  (1)；

12、其中，m为压缩测量图像，x为高光谱图像，⊙为哈德玛积，mask为掩码。

13、在一些实施方式中，在s3中，教师网络由clip模型的卷积层和多个vit模块组成；学生网络由一个编码器、一个两层卷积神经网络、多个vit模块，以及一个解码器组成。

14、进一步地，在s3中，编码器由多个残差块构成，解码器使用transformer实现。

15、在一些实施方式中，s4具体为：

16、s41、对深度网络模型的网络参数进行随机初始化，使用高斯分布进行数据采样；

17、s42、将压缩测量图像中的训练数据集输入到教师网络和学生网络中，计算卷积特征误差、图像特征误差、图像恢复误差以及文本生成误差；

18、s43、通过最小化s42中得到的误差来训练深度网络模型，使用知识蒸馏方法将教师网络的知识数据传递给学生网络，以使其生成高光谱图像的描述；

19、s44、对采集的网络参数进行迭代调整，从而优化深度网络模型。

20、进一步地，在s42中，按照如下公式(2)计算卷积特征误差：

21、

22、其中，lconv为卷积特征误差，lconvn为特征维度，和分别为教师网络和学生网络在第i个特征维度上的输出；

23、按照如下公式(3)计算图像特征误差：

24、

25、其中，lmb为图像特征误差，ft,i和fs,i分别是教师网络和学生网络的最终输出；

26、按照如下公式(4)计算图像恢复误差：

27、

28、其中，lreg为图像恢复误差，h和w分别为图像的高度和宽度，x为原始图像，为恢复图像；

29、按照如下公式(5)计算文本生成误差：

30、

31、其中，lcap为文本生成误差，l为预测文本的长度，为生成的第i个单词，为第i个单词之前的单词，fs为学生网络的最终输出。

32、进一步地，在s44中，采用批量随机梯度下降法对深度网络模型的网络参数进行迭代调整。

33、在一些实施方式中，s5具体为：

34、s51、输入压缩测量图像中的测试数据集，提取其光谱和空间特征，生成相应的图像编码；

35、s52、将图像编码输入解码器，通过逐字生成方法生成高光谱图像的文本描述。

36、本发明还提供一种基于高光谱快照压缩的图像描述生成系统，系统包括数据收集模块、数据压缩模块，模型优化模块以及数据生成模块；其中：

37、数据收集模块用于收集建立高光谱数据集；数据压缩模块用于将高光谱数据集压缩成压缩测量图像；模型优化模块用于训练得到优化后的深度网络模型；数据生成模块用于生成高光谱图像的描述；

38、基于高光谱快照压缩的图像描述生成系统执行以实现上述基于高光谱快照压缩的图像描述生成方法。

39、与现有技术相比，本发明一种基于高光谱快照压缩的图像描述生成方法及系统具有以下有益的技术效果。

40、本发明提供一种基于高光谱快照压缩的图像描述生成方法，具体包括如下步骤：s1、收集获取高光谱图像，并建立训练数据集和测试数据集；s2、通过模拟cassi系统对高光谱数据集进行压缩处理，获得压缩测量图像；s3、搭建由教师网络和学生网络构成的深度网络模型；s4、将压缩测量图像中的训练数据集输入到深度网络模型中，对深度网络模型进行训练；利用教师网络优化学生网络的网络参数，通过损失函数对优化后的网络参数进行迭代更新，得到优化后的深度网络模型；s5、将压缩测量图像中的测试数据集输入至优化后的深度网络模型，得到图像编码，利用图像编码生成高光谱图像的描述。基于上，本发明通过直接从压缩感知系统(cassi)捕获的高光谱图像数据中生成文本描述，无需进行传统的解压和重构，实现了高质量的图像描述生成。本发明开发了一个端到端的深度学习模型，能够直接从压缩的高光谱数据中提取关键光谱和空间特征，并生成图像描述，该方法在整体上提高了处理的效率，通过直接从压缩测量生成描述而无需传统的数据解压或重构步骤，大幅提高了处理速度，且节省了资源，减少了存储和计算资源的需求。本发明方法相对适用于资源受限的应用环境；此外，本发明改善了处理的准确性，端到端模型结合现代深度学习的技术基础，在整体上提高了从复杂高光谱数据中生成准确描述的能力，具有较好的实用意义。