一种基于物理的滤光片设计及光谱成像方法

本发明属于成像，尤其涉及一种基于物理的滤光片设计及光谱成像方法。

背景技术：

1、光谱成像技术能够同时捕获场景的空间和光谱信息，从而实现对场景细节特征的精细刻画，对于许多计算机视觉任务和图形应用非常有益，例如图像分类、目标跟踪、遥感观测、医学成像等。传统的光谱成像技术通常需要在空间或光谱维度中扫描场景，无法捕捉动态场景的光谱图像。快照式光谱成像技术逐渐被提出来，旨在通过一次拍摄然后重构场景的光谱信息。快照光谱成像系统广泛采用各种各样的滤光片，以对光谱图像的进行光谱维度的调制。不同透过率曲线的滤光片对于光谱重建的性能有极大的影响，例如基于三色图像的光谱重建方案的性能在很大程度上取决于相机光谱响应曲线，相机光谱响应曲线的差异最多可导致光谱重建性能差距达到33％。为了获得更好的光谱重建效果，一些滤光片优化设计的方法被提出来，这些方法通过神经网络训练直接学习滤光片的透过率曲线和光谱重建网络的参数。然而，设计出的滤光片曲线是任意和随机的，需要对滤光片膜系结构参数进行二次拟合得到膜系结构参数，无法直接制造。设计的滤光片透过率曲线和和实际制造的滤光片透过率曲线之间存在较大差异，导致光谱成像性能的降低。

技术实现思路

1、为解决光谱成像技术中滤光片优化设计方法设计的滤光片透过率曲线，和实际制造的滤光片透过率曲线之间存在较大差异的问题，本发明的目的是提供一种基于物理的滤光片设计及光谱成像方法，能够实现滤光片膜系结构参数的优化设计和光谱重建网络端到端学习，无需二次拟合，直接输出滤光片的膜系结构参数，从而实现滤光片透过率曲线的准确获取。本发明设计滤光片透过率和实际制造透过率贴近，且能够提高光谱成像质量。

2、为达到以上目的，本发明采用以下技术方案。

3、本发明公开的一种基于物理的滤光片设计及光谱成像方法，从多层介质干涉原理出发，建立基于物理约束的滤光片模型，推导可微分的光谱成像系统成像过程模型，联合优化滤光片的结构参数和光谱重建网络的参数。通过所述基于物理约束的滤光片模型，将滤光片的透过率参数化地表示为膜系厚度的函数。通过所述光谱成像系统成像过程模型，描述光谱图像被光谱成像系统捕获的前向过程。通过滤光片的结构参数和光谱重建网络的参数联合优化，将滤光片膜系厚度的优化设计和光谱重建网络训练结合起来，通过数据驱动的方式端到端地训练滤光片参数和光谱重建网络，得到训练好的滤光片参数和光谱重建网络；根据训练优化好的滤光片参数d加工滤光片实物；将滤光片实物和光谱成像系统耦合；将观测图像输入训练好的光谱重建神经网络，进行推理过程，得到重建的光谱图像。

4、利用训练好的光谱重建网络提高光谱成像质量。

5、本发明公开的一种基于物理的滤光片设计及光谱成像方法，包括如下步骤：

6、步骤101：从多层介质干涉原理出发，建立基于物理约束的滤光片模型建模；输入滤光片的介质层数j，入射波长λ，入射角度ωj，第j层介质的折射率nj，基板的折射率ns。

7、步骤101所述的滤光片为多层介质干涉滤光片，基于光的多层介质干涉原理设计。多层介质干涉滤光片是一种常用的光学元件，常用于各种光谱调制任务，如截止滤光片、高通滤光片等。多层介质干涉滤光片由具有高和低折射率的多层介质组成，具有不同折射率的材料通过微纳技术沉积到基板上，以形成多层介质干涉滤光片。不同波长的光通过多层介质，获得不同程度的相位延迟。当包含多个波长的混合光通过滤光片时，由于折射率的变化，会出现不同的干涉效应，基于干涉效应使预定波长的光具有高于其他波长的透射率，而其他波长的光则被反射和吸收。对于预定介质层数的多层介质干涉滤光片，每层介质的厚度都会影响波长的透射率。因此，本发明提出，滤光片透射率的优化问题能够转化为滤光片厚度参数的优化问题。

8、考虑具有j层介质的滤光片，第j层介质的光学导纳表示为ηj，第j层介质的折射率表示为nj，第j层介质的厚度表示为dj，对于波长λ，第j层介质引入的相位延迟δj表示为，

9、

10、其中ωj代表光的入射角。对于s偏振光，第j层的光学导纳表示为ηj＝njcosωj，对于p偏振光为ηj＝ηj/cosωj。

11、为了简化计算并考虑物理可行性，多层介质干涉光学滤光片采用垂直入射的方式设计和制造。在垂直入射的情况下，第j层的光学导纳对于s偏振光和p偏振光都能够表示为ηj＝nj。对于波长λ，第j层介质引入的相位延迟简化为，

12、

13、任何多层介质干涉滤光片都能够简化为一个虚拟等效界面。将第j层的特征矩阵表示为然后整个j层介质滤光片的总传输矩阵计算为

14、

15、其中表示j层介质的传输矩阵相乘。i是负数，且i2＝-1。ηs为衬底的光学导纳。b和c是计算多层介质干涉滤光片总等效光学导纳ηe的中间变量，且：

16、

17、基于传输矩阵，总的透过率t通过如下公式计算,

18、

19、其中η0代表入射介质的光学导纳，通常为空气。(·)*代表复共轭操作符。至此，多层介质滤光片的透过率表示成为介质厚度dj和波长λ相关的函数。

20、为了实现任意滤光片透过率曲线的优化设计，作为优选，步骤101所述的基于物理约束的滤光片膜系层数j为15，膜系结构为交替堆叠的ti3o5和sio2，基板为2mm厚的bk7玻璃。

21、步骤102：建立光谱成像系统成像过程模型。输入光谱图像f(x,y,λ)，系统编码函数ψ(·)，系统光谱范围[λmax，λmin]。

22、步骤102所述的系统成像过程，刻画光谱图像被光谱成像系统采集的正向过程。来自场景的光首先通过基于物理约束的滤光片，在光谱维度上进行调制。通过光谱滤光片调制的信息计算如下：

23、f1(x,y,λ)＝f(x,y,λ)t(λ)       (6)

24、其中f(x,y,λ)代表光谱图像，t(λ)代表基于物理约束的滤光片的透过率。

25、场景的光信息被后置光学系统调制采集。在传感器上记录的位置为(x,y)的像素强度表示为：

26、

27、其中g(x,y)是系统观测图像，ψ(·)代表系统编码函数。[λmax，λmin]代表系统光谱范围。上式改写为离散形式，

28、g＝ψ(f⊙t)       (8)

29、其中f和g分别是光谱图像和观测图像的矩阵形式。t代表滤光片的透过率向量。⊙代表元素点乘。

30、步骤103：输入光谱重建网络表示为损失函数尺度因子α1和α2，以及训练数据集，进行滤光片参数设计和光谱重建网络联合优化，得到训练优化好的滤光片参数和光谱重建网络。

31、步骤103所述的光谱重建网络用于从观测图像中重建光谱图像。作为优选，步骤103所述的光谱重建神经网络是res u-net，该网络具有五个池化阶段，一个中间层和五个上采样阶段。每个层都是一个残差卷积块。每一层都使用elu激活函数，并添加一个带有sigmoid激活函数的额外卷积层，以将输出限制在[0,1]范围内。将光谱重建网络表示为高光谱重建过程表示为：

32、

33、步骤103中通过数据驱动的方式端到端地训练滤光片参数和光谱重建网络，优化的变量包括滤光片的厚度参数d和重建网络的权重θ。作为优选，所述的光谱重建网络通过最小化由三个损失函数构成的多任务损失来进行训练。所述的第一个损失函数是平均相对绝对误差，计算重建的高光谱图像和实际高光谱图像之间所有波长的逐像素差异，表示为：

34、

35、其中代表重建的光谱图像，n＝hwl代表光谱图像中总的体素数量。

36、所述的第二个损失函数为光谱梯度平滑约束，表述为：

37、

38、所述的第三个损失函数为神经网络权重因子l2约束，表述为：

39、

40、总的损失函数表述为，

41、

42、其中α1是所述的光谱梯度平滑约束的尺度因子，α2是所述的神经网络权重因子l2约束的尺度因子。然后即能够得到反向梯度传播路径：

43、

44、

45、其中(·)t代表矩阵转置操作符，代表偏微分操作符。

46、根据式(9)至(14)通过数据驱动的方式端到端地训练滤光片参数和光谱重建网络，得到优化后的滤光片厚度参数d和光谱重建神经网络参数θ。

47、步骤104：根据步骤103得到的训练优化好的滤光片参数d加工滤光片实物。

48、步骤105：将步骤104所述的滤光片实物和光谱成像系统耦合，采集观测图像。作为优选，其中的光谱成像系统指rgb相机。

49、步骤106：将观测图像输入步骤103所述的训练好的光谱重建神经网络，进行推理过程，得到重建的光谱图像。

50、有益效果：

51、1、本发明公开的一种基于物理的滤光片设计及光谱成像方法，基于多层介质干涉原理，将滤光片透过率参数化地表示为膜系结构参数，实现对膜系结构参数的直接优化，消除设计曲线和制造曲线之间的差距，从而提高光谱成像性能。

52、2、本发明公开的一种基于物理的滤光片设计及光谱成像方法，通过建立可微模型，能够嵌入主流反向传播方法，实现滤光片的结构参数和光谱重建网络的参数的联合优化，实现全局最优，从而提高光谱成像性能。

53、3、本发明公开的一种基于物理的滤光片设计及光谱成像方法，在给定条件下寻找最优解同时保证滤光片的物理可实现性，降低光谱成像的成本。