一种纳米级显微物镜下自动对焦装置及方法与流程

本发明涉及显微成像和图像处理领域，具体为一种纳米级显微物镜下自动对焦装置。

背景技术：

1、在半导体或生物检测领域，为了获得更大的分辨率和更好的图像质量，往往使用更加高端的显微物镜，这类物镜有着高数值孔径、低工作距离和小景深的特点，因此自动对焦装置在该类设备中非常重要。始终让待测样品位于视野景深中是观测的必备条件。

2、现有的显微物镜在高数值孔径、高分辨率、低使用距离和低景深物镜下光学系统容易失焦，自动对焦方法主要分为主动对焦与被动对焦，其中主动对焦方法需要额外的设备去获取离焦量，并且该硬件装置往往与物镜光学参数息息相关，使用复杂度大、成本高。而被动式自动对焦方法使用传感器获取的图像进行解算离焦量。对于普通场景下相机自动对焦问题，使用表征模糊程度的算子可以有效计算出离焦量，然而对于纳米级显微物镜观测下，图像中存在着光源干涉、衍射以及光源均匀性不佳等一系列问题，传统算法直接表征非均匀性存在较大误差，通常无法自动对焦，因此设计合理的自动对焦方法是十分必要的。

3、申请号为cn202310769969.4的中国发明专利提供了一种基于深度学习的自然图像自动对焦方法提供了一种基于深度学习的自然图像自动对焦技术，该技术的实现包括几个关键步骤：首先，从当前显微镜位置采集自然图像；接着，从图像中提取出感兴趣的区域，这些区域可能包含目标物体或者感兴趣的特征；然后，利用一个经过训练的深度学习模型，对这些区域的散焦距离进行预测；最后，根据预测结果，调整显微镜的物镜位置，使得图像对焦，旨在解决显微镜等设备在观察自然图像时需要进行手动对焦的问题。上述技术存在以下局限性和缺陷。首先，该技术的适用范围有限，主要局限于自然图像的对焦，而在其他场景下可能效果不佳，如医学影像或工业检测。其次，由于深度学习模型的性能受训练数据和模型架构的影响，因此在实际应用中可能存在性能波动，导致对焦不准确。此外，尽管使用了硬件加速，但在某些情况下，仍可能存在推理过程的延迟，尤其是在需要实时响应的情况下，可能影响用户体验。

4、申请号为cn202210674506.5的中国发明专利提供了一种基于深度学习的自动对焦方法及系统，包括以下步骤：首先，获取摄像头拍摄的离焦图像，并利用经过训练的目标深度学习模型计算该图像的清晰度。然后，获取电机的步数范围，并根据图像清晰度与电机步数范围计算电机的移动步数，该电机用于驱动摄像头移动。接着，控制电机进行第一次移动，然后在预定的步数范围内控制电机进行第二次移动，以获取第二次移动过程图像中清晰度最高的目标位置。最后，控制电机移动至该目标位置，完成自动对焦，该发明的实施例利用网络的预测值，快速将电机移动到准确的焦点位置，从而极大地提高了自动对焦的速度。此外，该方法还减小了电机搜索的范围，使其在极暗和多灯光场景下均表现出良好的对焦效果，从而提升了对焦效率。然而，尽管该方法在速度和效率上取得了显著进步，但仍存在的局限性，例如在极端条件下的稳定性和适用性等方面的进一步优化。

技术实现思路

1、为解决解决上述背景技术中提出的现有的显微物镜在高数值孔径光学系统、高分辨率下景深小的光学系统下，使用传统的表征图像模糊程度的计算因子往往无法有效解算离焦量，并且由于光的干涉或衍射效应，基于单张图像的深度学习方法同样会出现计算效果差的问题。本发明提供了一种纳米级显微物镜下自动对焦装置，使用相邻的两个离焦图像可以进一步地利用之前的图像信息供网络学习，因此可以实现更好的离焦量解算效果和自动对焦跟随效果。

2、为实现上述目的，本发明提供如下技术方案：一种纳米级显微物镜下自动对焦装置，包括数据集构建单元、图像离焦量计算单元和位移运动平台；

3、数据集构建单元用于对不同的图像数据进行采集和处理，所述数据集构建单元包括数据获取模块和数据处理模块；

4、图像离焦量计算单元用于计算相邻图像关联信息解算出对应的离焦量，分析出运动平台运动方向；图像离焦量计算单元包括深度学习网络结构构建模块、网络训练模块和网络推理模块，其中深度学习网络结构构建模块包括卷积神经网络模型和长短期记忆网络模型；

5、位移运动平台用于对物镜的位移驱动。

6、网络训练模块包括计算回路、优化回路和权值参数回路。

7、数据获取模块用于进行离焦图像采集，分别进行前离焦和后离焦图像的获取；数据处理模块用于将采取的不同的两张图像进行分解，再进行拼接；

8、卷积神经网络模型用于对输入的张量进行特征的抽象化表达和提取；长短期记忆网络模型用于将送入的经过卷积神经网络模型提取后的特征数据进行进一步的时序相关性学习，最后每一个时序输出单个数据量，通过最终的全连接网络实现两组相邻图像的离焦量回归；网络训练模块用于对输入数据的特征和模式进行学习训练，从而提高其在各种任务中的性能；

9、计算回路用于前向计算每个神经元的输出值。优化回路用于确定优化目标函数。权值参数回路用于根据损失函数的梯度指引，更新网络权值参数；

10、网络推理模块用于利用图像之前的关联信息解算出对应的离焦量，分析出运动平台运动方向。

11、一种纳米级显微物镜下自动对焦方法，该方法利用上述纳米级显微物镜下自动对焦装置实现纳米级显微物镜对焦，包括以下步骤：

12、s1数据集构建

13、使用所述数据集构建单元的数据获取模块分别进行前离焦和后离焦图像的获取；使用数据处理模块对数据获取模块采集完大量的不同位置离焦图像进行分解再进行拼接得到数据集，并将数据集输入长短期记忆网络模型中；

14、s2深度学习网络结构构建

15、基于主流卷积神经网络骨架建立卷积神经网络模型，对输入的张量进行用于特征的抽象化表达和提取，将经卷积神经网络模型提取后的特征数据送入长短期记忆网络模型中，进行进一步的时序相关性学习，最后每一个时序输出单个数据量，通过最终的全连接网络实现两组相邻图像的离焦量回归；

16、s3网络训练

17、利用网络训练模块对输入数据的特征和模式进行学习训练得到训练集，首先利用计算回路前向计算每个神经元的输出值，然后利用优化回路确定优化目标函数，再利用权值参数回路用于根据损失函数的梯度指引，更新网络权值参数；

18、s4网络推理

19、将两张相邻图像送入网络推理模块，利用训练网络模块训练后得到的训练集得出图像关联信息，通过图像关联信息解算出对应的离焦量，分析出运动平台运动方向；

20、s5对物镜进行调整对焦

21、通过网络推理算出两个准确的离焦量之后，分析出运动平台运动方向的正确性，通过位移运动平台对物镜进行进行对应的位移，实现自动对焦。

22、与现有技术相比，本发明的有益效果是：

23、本发明利用卷积神经网络模型配合长短期记忆网络模型相结合对两个相邻图像进行离焦量的计算并使用序列化数据，可以进一步地利用之前的图像信息供网络学习，因此可以实现更好的离焦量解算效果和自动对焦跟随效果。