一种多模态计算光学显微镜的图像采集与图像可视化方法

本发明属于计算光学显微技术，具体为一种多模态计算光学显微镜的图像采集与图像可视化方法。

背景技术：

1、光学显微镜通常由光源、成像系统和光检测器三个主要部件构成。在传统显微镜中，光源发出的光与样品相互作用，产生吸收、散射或荧光现象。光学成像系统将来自样品的合成光收集并聚焦到图像传感器上，最终以放大的数字图像的形式被图像传感器离散采样并记录。然而，这种传统的“点对点”直接成像机制存在一些限制，如仅能进行强度检测、单一视角观察、二维平面记录、光谱积分、受到衍射极限和光学像差等的影响，从而导致对物体高维信息的严重丢失。

2、与传统显微镜不同，计算光学显微镜基于间接成像方案：“光学调制，然后图像采集，最后信息解调”。它通过巧妙地将光学调制与图像处理相结合，为克服传统光学显微镜的许多物理限制提供了一种新的方法。硬件(照明、光学、光电探测器)和图像处理算法被联合设计和优化，创建了一种“混合光学-数字显微镜机制”(范瑶,陈钱,孙佳嵩,张祖鑫,卢林芃,左超.差分相衬显微成像技术发展综述[j].红外与激光工程,2019,48(6):603014-0603014(20).doi:10.3788/irla201948.0603014)。

3、传统光学显微镜的图像采集技术主要依赖于目镜和物镜的光学放大，通过目镜直接观察样本，或者通过目镜和物镜共同成像到目标平面上，再由目标平面的图像传感器进行图像采集，这种采集方式主要依赖于物镜的放大倍数和目标平面的成像传感器的分辨率，通常受到光学分辨率的限制。而现代计算光学显微镜的图像采集技术则结合了光学成像和计算成像技术。通过在光学系统中引入计算成像的方法，对光的相位和干涉信息进行重建和处理，可以实现超分辨率成像、多模态成像、全息成像等功能(左超,陈钱.计算光学成像：何来，何处，何去，何从？[j].红外与激光工程,2022,51(2):20220110.doi:10.3788/irla20220110)。

4、与传统光学成像相比，计算光学显微镜采用了更加复杂的图像采集方式，通过对光的相位和干涉信息的处理和重建，得到更丰富的样品信息。计算光学显微镜的图像采集方式能够提供更高维度、更详细和更准确的图像信息，为样品的进一步分析和处理提供了更多的可能性。然而受制于现代传感器制作工艺和材料局限性的发展，计算光学显微镜在具体的系统实现和图像采集中还是会受到多方面的限制。

5、对于计算光学显微镜，显微系统的相机和可编程led的严格配准、精确校正以及高精度的图像处理算法是保证其实现成像功能的基础(tian l,wang j,wallerl.3ddifferential phase-contrast microscopy with computational illuminationusing an led array[j].optics letters,2014,39(5):1326.)。然而，受限于一般工业相机触发配合可编程led的不可靠性以及硬件制造水平和成本因素，这使得现有的显微系统难以实现稳定的包含差分相衬和定量相位在内的多模态成像以及获取高质量的观测图像。

技术实现思路

1、为了解决现有计算光学显微镜的开发难题，本发明提供一种多模态计算光学显微镜的图像采集与图像可视化方法。

2、实现本发明目的的技术方案为：一种多模态计算光学显微镜的图像采集与图像可视化方法，包括：

3、步骤一，构建透射式无限远成像光路，并将面阵相机接入透射式无限远成像光路，所述面阵相机用于进行图像采集；

4、步骤二，利用面阵相机采集不同模态照明图案下的图像数据；

5、步骤三，对不同模态照明图案下的图像数据流进行直接显示或处理后显示。

6、优选地，所述透射式无限远成像光路包括led阵列、载物台、物镜、筒镜以及反光镜，所述led阵列发出照明图案依次经过载物台上的样品、物镜、筒镜以及反光镜，由面阵相机完成图像采集。

7、优选地，照明图案的模态包括明场、暗场、莱茵伯格、差分相衬、定量相位、数字相差成像模态。

8、优选地，明场、暗场、莱茵伯格模态下分别采集一幅原始图像；差分相衬、定量相位和数字相差成像模态下均分别采集若干幅非对称照明下的原始图像。

9、差分相衬成像模态下，led阵列产生上下或左右两个方向上的非对称照明图案，对应采集两幅图像；

10、定量相位成像模态下，led阵列产生四幅不对称的半圆形照明图案，对应采集四幅伪浮雕状的强度图像；

11、数字相差成像模态下，led阵列产生四幅不对称的半圆形照明图案，对应采集四幅伪浮雕状的强度图像。

12、优选地，差分相衬、定量相位和数字相差成像模态下面阵相机采用同步触发方式配合led阵列实现采图和读图。

13、优选地，对暗场和莱茵伯格成像模式下采集的图像进行去背景处理，具体为：

14、将采集的彩色图像分离成红、绿、蓝三个通道；

15、针对每个通道分别统计直方图，找出每个通道直方图中从小到大排列的前15％的像素值，并计算其均值作为背景信号；

16、将三个通道的背景信号数值合成生成一个背景图像，从采集的图像中减去这个合成的背景图像。

17、优选地，计算差分相衬成像模态下采集的图像的相位梯度，具体公式为：

18、

19、其中，il和ir分别表示左、右半圆照明下的采集强度图像，为差分相衬成像模态下样品沿左右剪切方向的相位梯度分布。

20、优选地，定量相位成像模态下图像的处理方法为：

21、根据差分计算公式分别得到沿左右和上下剪切方向的相位梯度图像；

22、根据成像系统参数计算求解左右和上下剪切方向的相位传递函数，具体公式为：

23、

24、以左右剪切方向为例，其中u表示频域的频率分量，uj对应于在频域对应单个角度照明光源的相移量；p(u)表示傅里叶平面上物镜的光瞳函数；slr(uj)代表照明光源在左右方向上的强度分布；ptflr(u)代表左右轴方向上的相位传递函数；*表示取共轭。

25、将相位梯度图像、相位传递函数与得到的相位梯度图像的频谱进行一步反卷积求解，得到定量相位成像结果。

26、优选地，反卷积的公式为：

27、

28、其中，表示傅里叶反变换；u表示频域的频率分量；表示差分相衬成像下的相位传递函数；表示差分相衬成像模态下采集的图像的傅里叶强度谱；α表示正则化参数，被用来抑制反演过程中相位传递函数中极小数值被过度放大带来的重构误差。

29、优选地，相差成像模态下图像的处理方法为：

30、通过相位恢复获得物体的光强和相位产生的物体光场，具体公式为：

31、

32、根据物体光场，确定强度谱分布，具体公式为：

33、i(u)＝bδ(u)+a(u)atf(u)+iφ(u)ptf(u)

34、b＝∫∫l(uj)|p(uj)|2d2uj

35、

36、

37、其中，i0为il+ir，il和ir分别表示左、右半圆照明下的采集强度图像；φ(x,y)为差分相衬定量相位成像算法求解获得的样品相位φ。u表示傅里叶空间中的频率坐标；i(u)为强度谱分布；b表示背景项；a(u)为样品的振幅谱分布；atf(u)表示振幅的传递函数，表示相位恢复前后振幅之前的关系；φ(u)为样品的相位谱分布；ptf(u)表示相位传递函数；uj是单个倾斜照明引起的相应频移矢量，j表示不同角度的照明；l(uj)表示傅里叶域中照明源的强度分布；p(u)表示物镜的光瞳函数；*表示取共轭。

38、本发明与现有技术相比，其显著优点为：(1)本发明针对多模态计算光学显微镜，将相机的图像采集功能完整且灵活地嵌入整套显微系统，并创新性地采用了两种不同的图像采集方法，以适用于不同模态(传统显微成像和定量相位成像)的需求，最终实现了多模态计算光学显微镜的图像采集。(2)本发明通过软件前后端开发配合相机sdk，实现了显微成像的图像可视化，软件前端一键切换或同时显示六种模态下的成像结果，使得工业相机采集到的图像可以实时更新显示在前端，供用户进行观察和分析。

39、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。