基于深度学习的多波长约束的无透镜显微成像方法

本发明属于无透镜显微图像处理，具体涉及一种基于深度学习的多波长约束的无透镜显微成像方法。

背景技术：

1、现有的无透镜显微成像技术中，相位恢复是一个关键步骤，但现有的基于传统迭代的方法虽然被广泛地研究和应用，其迭代过程仍然存在诸多不足。具体来说，这些方法在求解相位信息时很可能仅获得局部最优解，并且在计算过程中消耗的资源较多，需要较长的时间来完成迭代，大大延长了数据处理的时间。随着数据量的增加，问题显得更为严峻。而基于神经网络的方法尽管在提高处理速度和收敛到全局优化方面展现出巨大的潜力，却受其本质的限制很大。这种方法需要大量的训练样本来训练网络，而高质量的标记数据收集既费时又昂贵；

2、现有研究方法通常致力于通过先进的成像技术和复杂的算法来提高成像质量和空间分辨率、减小畸变以及加速图像重构。然而，在处理不同颜色的物体时，尤其是考虑到物体对不同波长的光有着不同的吸收和反射特性，现有研究方法往往忽略了这些光学特性对成像过程的潜在影响。这种忽视可能导致在无透镜显微成像系统设计和相位恢复算法开发时，未能充分考虑光谱特性对成像结果的具体影响。从而导致在最终图像中造成颜色偏差或对某些生物标记的检测灵敏度不足。在进行相位恢复和深度信息计算时，这种波长依赖性也可能被忽视，导致对样本的三维结构重构不够准确；

3、尽管结合了深度学习和物理模型的自监督学习方法提供了一个创新的视角，并成功绕开了需要标记样本的限制，它通过实时优化模型参数来进行相位恢复，确实为无透镜显微成像带来了新的可能性。然而，在实际操作中，该方法仍需要进行大量的迭代计算，导致时间成本的问题依旧突出，尤其在需要快速获得成像结果的场景下变得尤为重要。此外，这些方法通常依赖于单一离焦平面上的全息图进行重构，而不考虑样本在不同深度的多层次信息。这种单一约束可能会导致重构误差，影响成像的精确性和视觉效果，在临床诊断或精确测量等场合尤其需要注意。

4、综上所述，现有方法都未曾考虑到不同颜色的物体对于不同波长的光的吸收程度不同，而且改变距离的方法不可避免的会有机械误差。

技术实现思路

1、为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于深度学习的多波长约束的无透镜显微成像方法，充分考虑了物体对不同波长的光有着不同的吸收和反射特性，以及多波长图像进行约束，从而提升无透镜显微成像的图像质量。

2、为了实现上述目的，本发明采用的技术方案是：

3、基于深度学习的多波长约束的无透镜显微成像方法，包括以下步骤；

4、(1)测量无透镜显微成像系统参数：并收集系统的物理和光学参数；

5、(2)基于获得的物理和光学参数，选择或设计适当的样本，进行实验采集以构建训练样本集和测试样本集；

6、(3)利用前两步获得的信息设计和构建恢复网络模型；

7、(4)使用步骤(2)构建的训练样本集对步骤(3)构建的恢复网络模型进行训练；

8、(5)在模型训练完成后，将其应用于实际的无透镜显微成像问题中，使用实际的数据(可能来自与训练集不同的样本或场景)测试模型的恢复能力，对实际问题进行振幅和相位恢复。

9、所述步骤(1)具体为：

10、测量离焦平面距离样本平面的离焦距离d，获取cmos传感器像素大小p，测量s个相干光源的s个中心波长{λr|r∈1,2,,s}；

11、所述步骤(2)具体为：

12、(2a)在显微成像系统中采集m个样本在s个不同波长下分辨率大小为n×n的无透镜显微成像图，得到m组显微成像图数据，共m×s张显微成像图，其中m≥300，s≥2，n＝768；

13、(2b)将部分组数据组成训练样本集，其余组数据组成测试样本集。

14、所述步骤(3)具体为：

15、(3a)构建相位恢复网络结构：

16、构建包括映射网络、反向传播菲涅尔衍射层、融合网络、前向传播菲涅尔衍射层、亮度提取层和透过率矫正层的振幅和相位恢复网络结构，这些模块之间的关系体现了一个从输入到输出的完整流程：从映射网络开始，提取特征，经过反向传播和前向传播的物理模拟层，结合融合网络进行信息整合，最后通过亮度提取和透过率矫正进行质量提升和透过率校正。每个部分都对振幅和相位恢复过程至关重要，它们共同工作，最终得到高质量的成像结果。

17、其中：映射网络包括输入层、四个下采样模块、四个上采样模块和四个注意力机制模块，其中每个下采样模块中包括三个卷积层和一个用作下采样的最大池化层并使用relu激活函数；每个上采样模块中包括三个卷积层和一个用作上采样的反卷积层并使用relu激活函数；在注意力机制模块内部，同一分辨率层级的特征张量，分别源自下采样路径和上采样路径，首先经过通道注意力处理以强调信息丰富的特征并抑制不相关的特征；随后，这两个特征张量在通道维度上进行融合；最终融合的特征张量随后被传递到随后的上采样模块，作为其输入，进一步实现特征的精细化和恢复；这一过程促进了跨层级的特征整合，并增强了网络对于空间层级信息的学习能力；整个映射网络用于将单通道张量的离焦平面全息图亮度矩阵{ir|r∈1,2,,s}映射为双通道张量的复数矩阵

18、输入层→第一下采样模块→第二下采样模块→第三下采样模块→第四下采样模块→第一注意力机制模块→第二注意力机制模块→第三注意力机制模块→第四注意力机制模块→第一上采样模块→第二上采样模块→第三上采样模块→第四上采样模块；

19、反向传播菲涅尔衍射层包括离散傅里叶变换算子、传递函数乘积模块和离散傅里叶变换的逆变换算子，用于将s个映射网络输出的复数矩阵由离焦平面反向传播到样本平面，反向传播菲涅尔衍射的线性运算记为{f-1r|r∈1,2,,s}：

20、

21、其中，f代表离散傅里叶变换算子；f-1代表离散傅里叶变换的逆变换算子；fx和fy为频域单位，hr(fx,fy)代表传递函数矩阵：

22、

23、其中，j为虚数单位；lr为第r个离焦平面到样本平面的离焦距离；λ为光源中心波长；k为波数：

24、k＝2π/λ

25、融合网络包括输入层、四个下采样模块、四个上采样模块和四个注意力机制模块，其中每个下采样模块中包括三个卷积层和一个用作下采样的最大池化层并使用relu激活函数；每个上采样模块中包括三个卷积层和一个用作上采样的反卷积层并使用relu激活函数；在注意力机制模块内部，同一分辨率层级的特征张量，分别源自下采样路径和上采样路径，首先经过通道注意力处理以强调信息丰富的特征并抑制不相关的特征，随后，这两个特征张量在通道维度上进行融合；最终融合的特征张量随后被传递到随后的上采样模块，作为其输入，进一步实现特征的精细化和恢复。这一过程促进了跨层级的特征整合，并增强了网络对于空间层级信息的学习能力。整个融合网络用于融合多帧采集的全息图亮度图像的信息，并生成样本平面预测的复振幅

26、输入层→第一下采样模块→第二下采样模块→第三下采样模块→第四下采样模块→第一注意力机制模块→第二注意力机制模块→第三注意力机制模块→第四注意力机制模块→第一上采样模块→第二上采样模块→第三上采样模块→第四上采样模块；

27、前向传播菲涅尔衍射层包括离散傅里叶变换算子、传递函数乘积模块和离散傅里叶变换的逆变换算子，用于将融合网络输出的预测复振幅由样本平面前向传播到s个离焦平面，输出s个离焦平面的复振幅预测矩阵

28、

29、亮度提取层用于从前向传播菲涅尔衍射层输出的s个离焦平面复振幅预测矩阵中提取出亮度图像矩阵

30、

31、其中代表张量的第一个通道；代表张量的第二个通道；透过率矫正层中的透过率矫正参数{αr|r∈1,2,,s},用于调整不同波长下的成像透过率，将之前提取到的亮度图像矩阵与透过率矫正参数矩阵相乘，来调整和预测不同波长下的复振幅预测矩阵，来获得最终的矫正后的波长图像。

32、构建包括映射网络、反向传播菲涅尔衍射层、融合网络、前向传播菲涅尔衍射层、亮度提取层和透过率矫正层的振幅和相位恢复网络结构，其中：

33、映射网络包括输入层、多个下采样模块、多个注意力机制模块和多个上采样模块，用于将每帧采集到的单通道亮度图像矩阵{ir|r∈1,2,,s}映射为双通道复数矩阵

34、反向传播菲涅尔衍射层包括离散傅里叶变换算子、传递函数乘积模块和离散傅里叶变换的逆变换算子，用于将s个映射网络输出的复数矩阵由离焦平面反向传播到样本平面。

35、融合网络包括输入层、多个下采样模块、多个注意力机制模块和多个上采样模块，用于融合映射网络输出的多个复数矩阵，并生成物面预测复振幅

36、前向传播菲涅尔衍射层包括离散傅里叶变换算子、传递函数乘积模块和离散傅里叶变换的逆变换算子，用于将融合网络输出的预测复振幅由样本平面前向传播到离焦平面，输出s个不同波长的复振幅预测矩阵

37、亮度提取层包括计算模块，用于从前向传播菲涅尔衍射层输出的s个不同波长下复振幅预测矩阵中提取出亮度图像矩阵

38、透过率矫正层内嵌有专门的矫正模块，旨在对提取自不同波长的亮度图像矩阵进行精确矫正。此操作确保了图像在网络的迭代训练过程中，能够有效校正因透过率差异而引入的误差。通过迭代优化，该矫正模块逐步提升了图像质量，实现了各波长通道特征的均衡化和误差最小化。

39、

40、其中，a为振幅，α为透过率矩阵，j为虚数单位，为相位：

41、(3b)定义网络的总损失函数l：

42、定义损失函数l：

43、

44、其中，mean(*)为逐像素取均值运算符，为亮度提取层输出的第r个波长下预测的显微成像图亮度矩阵，ir为第r个不同波长下实际采集到的显微成像图亮度矩阵；

45、相位恢复网络负责恢复物体的相位和振幅信息从而获取清晰的图像，而损失函数评估网络输出与真实目标之间的差异，并提供反馈用于调整网络参数，使网络输出尽可能接近真实目标，二者共同确定了网络的性能和效率，从而使得恢复出来的图像质量更高，更接近真实图像。

46、所述步骤(4)具体为：

47、将训练样本集中的9m/10组在s个不同波长下采集到的显微成像图{ir|r∈1,2,,s}作为相位恢复网络模型的输入，对相位恢复网络模型进行n次迭代训练，在测试样本集达到一定的损失函数要求后，停止训练并保存网络模型参数。

48、所述步骤(5)具体为：

49、将所述训练后保存的模型参数载入步骤(3)构建的相位恢复网络模型，在与网络训练相同的系统参数下，采集被测样本在s个不同波长下的显微成像干涉图，将其输入网络，计算损失函数，使用优化器进行梯度下降优化参数，其中，要求损失函数达到l≤α后，将映射-融合网络输出结果作为所求复振幅，完成相位恢复问题，其中α为手工选定的损失函数阈值，最终得到矫正后的不同波长下的图像。

50、本发明的有益效果：

51、1.本发明使用映射网络从单通道显微成像亮度图中映射出双通道复数矩阵信息，能够深层次的提取不同波长的光下所成像的不同特性，使用融合网络融合多帧采集信息，并与菲涅尔衍射物理模型相结合，其网络学习目标明确，可解释性强；

52、2.本发明利用不同波长下采集的多帧显微成像图进行信息的提取，和作为损失函数约束，相较单帧恢复方法更接近真实值，相差和振幅图像重构效果更好；

53、3.本发明重点矫正了不同波长的光，照射在彩色物体上时，不同颜色对不同波长的光的吸收程度不同，从而成不同的像，能够有效减少图像差异，从而提高成像系统在不同波长下的成像质量；

54、4.本发明减少了系统误差，提升系统的准确性。