显微镜系统中的污染定位的制作方法

本发明的各种不同的例子涉及用于定位显微镜系统的光学部件上的脏污(verunreinigungen)或污染(verschmutzungen)的技术。

背景技术：

1、光学部件上的污染会限制借助于相应的显微镜系统所能实现的成像品质。

2、对于光学器件受污染的认知通常是基于用户具有改变了的陌生的图像印象。由于是逐渐改变的，因此污染有时并不明显，而且对于某些图像对比度(如荧光)而言，用户看不到污染，但污染会导致图像品质下降。因此，在实践中光学部件的清洁并不系统，常常也不知道污染位于哪个部件上。

3、从de 10 2016 108 079 a1已知数字后处理技术，借助于这种技术，可以在成像期间借助于角度选择的或角度可变的照明来减少因脏污造成的伪影影响。研究发现，在某些情况下用户可能不太希望通过这种数字后处理来减少因污染造成的成像伪影，因为这会导致所捕捉图像发生固有的变化。此外，通过数字后处理，有时可能只能在有限的程度上消除了通过较严重的脏污或污染造成的成像伪影。

技术实现思路

1、需要改进的技术，以避免因显微镜系统的光学部件污染而产生成像伪影。

2、该任务通过独立权利要求的特征解决。从属权利要求的特征限定了实施方式。

3、借助于这里描述的技术能够确定显微镜系统的成像路程中的污染位置。

4、显微镜系统包括成像光学系统。成像光学系统具有物平面。此外，成像光学系统具有成像平面，成像平面与物平面共轭。显微镜系统也包括照明模块。照明模块包括多个光源，例如发光二极管，它们彼此错开地布置。显微镜系统也包括检测器，其布置在成像平面中。此外，显微镜系统包括至少一个处理器。该至少一个处理器设置用于，操控检测器和多个光源，以捕捉多个强度图像。多个强度图像在此与通过多个光源中的不同光源的照明有关。至少一个处理器还设置用于，基于多个强度图像中的成像伪影的不同成像位置，关于显微镜系统的光学部件(即，特别是关于成像光学系统的光学部件)定位造成成像伪影的污染。

5、可以将多个光源布置在一个照明瞳孔平面上。但也可以考虑将光源与瞳孔平面错开地或间隔开地布置。

6、照明模块可以以关于物平面的透射光几何形状布置。

7、照明模块可以以科勒几何形状布置。

8、照明模块因此可以例如具有支架，在支架上布置多个光源。支架可以布置在照明瞳孔平面中。照明模块可以具有光场光阑。照明模块可以具有聚光透镜和附属的布置在聚光透镜与照明瞳孔平面之间的聚光镜光阑。

9、然后，在聚光透镜和成像光学系统的物镜之间可以布置物平面。在物镜之后可以是管透镜。管透镜可以限定与物平面共轭的中间图像平面。然后，中间图像平面可经由中继光学器件被成像到检测器或成像平面上。

10、至少一个处理器可以设置用于这样操控多个光源，使多个强度图像分别与多个光源之一的照明相关联。例如，光源可以接连地在一段时间内激活。首先可以操控第一发光二极管，使其发出光；然后可以捕捉相应的强度图像；然后再用另一发光二极管重复该过程。不过，也可以设想多个光源发出不同波长的光。这样就可以借助于多个光源进行至少在部分时间上时间平行的照明；然后可以通过使用合适的滤光片或检测器的检测器元件进行光谱分离。例如可以使用红-绿-蓝发光二极管，其具有三个可单独操控的通道；检测器可以相应地具有针对红-绿-蓝的三个通道。

11、这种照明也可称为角度可变的或角度选择的照明。这是因为，通过光源(垂直于显微镜系统的光束路径的光轴)彼此错开的布置，能够在物平面上产生不同的照明角度。这意味着各种不同的强度图像与不同的照明方向相关联。在各种角度下大面积照亮物平面。

12、脏污或干扰结构也会被倾斜地照明。如果脏污(其不一定必须布置在物平面内)在不同角度下被照明(这能够通过多个光源或角度可变的照明实现)，则这会导致成像平面中通过脏污引起的相应的成像伪影的成像位置错开。成像伪影的成像位置或两对成像位置之间的(针对通过激活不同光源实现的不同照明方向所引起的)相应错开取决于对应的污染在光通过显微镜系统且特别是成像光学系统的光束路径中的位置。这可用于关于成像光学系统的光学部件定位污染。

13、可以轴向地-也就是说沿着成像光学系统的光学主轴-定位污染。可选地，也可以横向地定位污染，也就是说确定污染与光学主轴的距离。

14、例如可以在定位过程中确定哪个光学部件(例如透镜或滤光片)位于或靠近估计的污染位置。污染，通常是环境中的灰尘颗粒或其他污垢，很可能布置在相应光学部件的表面上；因此清洁该光学部件可以有针对性地减少成像伪影。例如，定位也可以包括确定相应光学部件的被怀疑受污染的表面，即例如前表面或后表面。

15、因此，通过这些技术可对显微镜系统或光学部件进行有针对性的清洁。总体而言，由此可以改进在成像模式期间的图像品质。

16、在例子中，至少一个处理器被设置为，基于成像伪影的不同成像位置，并使用成像光学系统的光束光学模型(eines strahlenoptischen modells)，计算光束光学的光束传播。这样就可以关于成像光学系统的光学部件定位污染。

17、例如，可以在了解成像光学系统的各种不同的光学部件的布置的前提下追踪从物平面发出的光束(英文“ray tracing”，光线追踪)，以定位污染。这能够实现特别准确地定位污染。

18、例如可以进行光束光学的三角测量(triangulation)。甚至可以使用多于两个光束，即，可以使用与不同成像位置相关联的两个或更多个光束的光束光学的多重测角(multiangulation)，以例如确定成像平面与污染之间的轴向距离。这样就能以较低的计算密集度定位污染；精确度可足够用于识别怀疑被污染的确定的光学部件。

19、在此，成像光学系统的光束光学模型可相应地包括成像光学系统的多个透镜和/或滤光片等的轴向布置(即光学主平面沿光学主轴的定位)。替代地或附加地，光束光学模型可以包括多个透镜的焦距和/或透镜或其他光学部件的轴向厚度。这样就可以向用户发出特别精确的指示，例如有关相应光学部件的受污染表面的指示。

20、为了进入光学器件的瞳孔平面，可以借助于可引入的附加光学器件-例如贝特朗光学镜头-或通过移除确定的光学部件(例如物镜)来照亮瞳孔平面。因此，显微镜系统可以包括可选择性地定位在成像光学系统的光束路径中的光学元件。该光学元件可设置用于将照明瞳孔平面成像到成像平面上。然后，至少一个处理器可设置用于操控检测器和多个光源，以在诊断模式中捕捉多个强度图像，在诊断模式中光学元件位于光束路径中。通过使用诊断模式，可以使用合适的照明，该照明不适合对样本物体进行成像；但特别适合对污染进行定位。由此可以更准确地定位污染。能够更可靠地识别成像伪影。更一般地说，在确定的例子中，可以在诊断模式中捕捉多组强度图像。在此可以分别调整光通过显微镜系统的光束路径的配置，即每组强度图像都是利用光的光束路径的相应配置所捕捉的。例如，在第一种配置中贝特朗光学镜头可以布置在光束路径中，而在第二种配置中贝特朗光学元件不能布置在光束路径中。其他例子涉及例如在各种不同的配置之间改变物镜焦距，改变可变变焦系统的放大系数/变焦系数，或使用不同的视场光阑。物镜焦距的改变可以例如通过更换物镜来实现，例如，可以使用物镜转塔，其提供多个物镜用于选择性地引入到光束路径中。放大系数的改变可以例如通过平行于光束路径改变变焦系统的两个变焦透镜之间的距离来实现(z-驱动)。

21、除其他外，由于如例子中所述那样照明瞳孔平面成像到成像平面上，因此诊断模式不适合对布置在物平面中的物体，例如样品物体或待检查的样品块，进行真正的成像。相应地，如果要识别成像光学系统的污染或对污染进行定位，可以有针对性地激活诊断模式。另一方面，诊断模式不适合对布置在物平面中的样本物体进行成像。一个有利的方法是在诊断模式中移除样本物体，因为样本物体的图像效果会叠加污垢效果，从而使污垢效果不好看见或不易定位。此外，对于马达式系统有利的可以是，在诊断过程中更换或改变光学元件、如物镜，以获得对所观察的伪影位置的进一步参数化，从而明确地将伪影分配到受污染的界面上。最简单的情况是，如果引起伪影的物镜被污染，当换上另一个物镜后伪影就会消失。此外，适宜地可以是，在诊断模式中运行浸没物镜，无需样品基底和浸没，以评估物镜的清洁状况。有利的是，可经由控制单元尽可能自动地查询或设定各种不同的配置，或至少作为用于结算单元的可能的情况进行保存，以便推导出针对可能的污染位置的说明。

22、然后，用于关于光学部件定位污染的光束光学模型可以考虑使用位于光束路径中的相应光学元件，并将照明瞳孔平面成像到成像平面上。由此可以获得与脏污定位有关的其他信息。特别是由此能够更可靠、更精确地定位脏污。

23、上述各种不同的技术都是基于确定多个强度图像中的成像伪影的成像位置。在此，原则上有不同的可能性来确定各种不同的强度图像中的成像位置，如上所述，这些强度图像例如是在一段时间或光谱空间中分割捕捉的。例如可以通过计算机实现来进行相应的识别。至少一个处理器还可设置用于使用检测器算法在多个强度图像中定位成像伪影。例如可以使用机器学习算法。例如可以使用人工神经网络。人工神经网络可以获得各种不同的强度图像作为输入。可以对人工神经网络进行训练，以基于这些强度图像对污染进行定位。例如可以借助于手动标注的训练图像进行训练。能够在图像空间中提供这种处理的人工神经网络例如是深度卷积网络，其包括卷积层，在此情况下，输入权重与训练过程中确定的核被卷积。这种技术基于这样一种认识，即由于通常反复出现的污染类型(灰尘、棉絮等)而造成的成像伪影的大小、对比度和衍射结构具有相似的外观，因此计算机实现的识别可以达到较高的精确度。

24、检测器算法的一个示例性实现方式例如是自动编码器网络。自动编码器网络可以执行空间特征朝向瓶颈的收缩(“编码器分支”)，然后从瓶颈中的潜在特征向量出发，执行与收缩相关联的扩展(“解码器分支”)。这意味着，可以对自动编码器网络进行训练，以尽可能好地重建输入(例如强度图像)。在此，自动编码器网络可以基于针对清洁良好的显微镜系统所获得的训练数据进行训练，即没有或没有明显的成像伪影。如果现在出现成像伪影，自动编码器网络的输出就会与自动编码器网络的输入有明显不同；这意味着自动编码器网络只能对输入的强度图像进行不充分的重建。特别是在成像伪影的区域中，输入的强度图像与通过自编码器网络的重建之间存在着明显的像素差异。因此，可以借助于适当的异常检测技术来识别成像伪影。自动编码器网络的优点在于，可以基于通过输入与输出的比较自动地计算的损失函数进行无监控训练。除了这种通过自编码器网络实现检测器算法之外，还可以设想其他实现方式，特别是其他的异常检测算法。

25、至少一个处理器也可以设置为，基于在多个强度图像中的用户输入来定位成像伪影--作为检测器算法的替代或补充。因此这意味着，例如可以向用户呈现各种不同的强度图像，然后用户可以在各种不同的强度图像中分别标记成像伪影的成像位置。这种用户输入也可以通过首先运行检测器算法，然后在相应的图形用户界面上向用户呈现成像伪影的候选图像位置来支持；然后用户可以选择性地确认，在确定的成像位置上，在多个强度图像中实际上布置了一个且同一个成像伪影。通过这种技术可识别由强度图像中的脏污产生的成像伪影；例如，即使它是在此之前未知的成像伪影。

26、除了这种成像伪影检测/定位外，可选地还可以对成像伪影进行分类。例如至少一个处理器还可以设置为，基于多个强度图像中的成像伪影的外观，使用预先训练好的分类器算法确定污染的类型。例如可以在以下一种或多种污染类型之间进行区分：灰尘；棉絮；划痕；油渍；液滴等。这类技术基于这样一种认识，即强度图像中成像伪影的特征性外观已经很好地说明了污染的类型。污染类型常常也会影响清洁类型。例如，油渍可以借助于溶剂、例如丙酮或异丙醇去除。另一方面例如灰尘或棉絮可以借助于压缩空气去除。划痕无法简单地去除，因此可能需要更换相应的光学部件。通过操控带有相应污染信息的用户界面，可以向用户输出相应的用户引导。因此，在清洁过程中，这种成像伪影分类可为用户提供进一步支持。

27、分类器算法可以例如基于强度图像和上游检测器算法(如果使用的话)的输出来运用。分类器算法又可以被构造为人工神经网络，特别是人工神经卷积网络。分类器算法可以通过手动标注训练图像来训练，标注的内容涉及污染类型的基本事实。分类器算法可以例如基于检测器算法的输出，对从强度图像中提取的图像补丁进行处理。检测器算法可以检测相应的成像伪影，并在相应的强度图像中对其进行定位；然后可以提取以相应位置为中心的图像补丁，并将其作为分类器算法的输入。

28、一般来说，除了这种借助于人工神经网络的检测器算法和/或分类器算法的实现方式外，还可以使用另一种实现方式。例如可以使用不采用机器学习技术的传统检测器算法或传统分类器算法。相应的技术对于本领域技术人员来说原则上是从现有技术所熟知的，因此在这里不必进一步详细解释。

29、在各种不同例子中，至少一个处理器可被设置用于操控用户界面，以向用户输出污染信息。

30、例如可以使用图形用户界面。可以使用网页。

31、污染信息例如可包括关于清洁成像光学系统的光学部件中的确定光学部件的指导。

32、例如该指导可包括如何操作显微镜系统以进入到被怀疑受污染的切断光学部件的引导。例如该引导可以包括打开哪些翻板或螺丝。这些信息也可以包括关于推荐的清洁过程的信息，例如使用的清洁介质--如上所述，如果污染类型已经确定，这一点尤其有帮助。

33、为了促进在多个强度图像中对成像伪影进行定位或必要时的分类，至少一个处理器可以设置用于在诊断模式中使得没有样本物品布置在在物平面中。例如在存在马达式样品支架的情况下，可将样品支架从显微镜系统的光束路径中移除。例如可以经由用户界面向用户输出要求，以要求用户从光束路径上移除样品物体或样品支架。由此可以避免样品物体的成像与成像伪影重叠；从而可以在强度图像中更可靠地识别到成像伪影。此外，可以使用具有专门针对诊断模式有利的特性的照明(这些特性通常不同于针对样品物体成像的有利特性)。

34、可以使用发光二极管作为照明模块的光源。在各种不同的例子中，可以使用不同类型的发光二极管来实现用于诊断目的的角度可变的照明。可以使用固体发光二极管或有机发光二极管。特别是在各种不同的例子中，可以使用提供相对较窄的角光谱的发光二极管(即光以具有较小宽度的角度分布入射到图像平面中；该角度分布宽度在此基本上与绝对入射角无关，绝对入射角可大可小)。角光谱的宽度在此通过发射器的大小来限定，发射器经由聚光镜-物镜系统作为表面再次成像到物镜的瞳孔中。相对于物镜瞳孔的面积(即成像光学系统的数值孔径)而言，该面积应足够小，以确保足够的景深。理想的可以是，该比例在每种情况下不大于5％。通过光源提供的所有照明角度都通过成像光学系统的孔径被传送到检测器。这种技术基于这样一种认识，即在使用数值照明孔径相对较小的发光二极管时，成像的景深会增加。这(在诊断模式中)可以是理想的，以便也识别出沿光学主轴与物平面或与其共轭的平面的轴向距离相对较大的污染。另一方面，在相应的诊断模式中，不需要-如通常在未知样本物体成像时理想的那样-达到特别高的分辨率。也可以利用相对较低的分辨率-也就是说利用低数值的照明孔径-来实现强度图像中成像伪影的识别以及成像伪影彼此之间的定位，以便紧接着定位潜在的污染。由于针对不同的分别摆入的物镜都可以进行诊断，因此有利的是，用于诊断的发光元件中的至少一部分被居中地或至少靠近轴线地定位，从而确保对于数值孔径(na)较小的物镜也存在发光元件，其发射的光在传输中被成像到传感器上(见图4)。

35、这也意味着，对于诊断模式和成像模式来说，通常可以使用不同的发光二极管来对样品物体进行成像。例如，可以选择性地将不同的载体模块插入显微镜系统的光束路径中，这些载体模块分别一方面具有用于诊断模式的发射器面积较小的发光二极管且另一方面具有用于成像模式的发射器面积较大的发光二极管。也可以设想，照明模块具有集成的触发器，在触发器上布置多个用于诊断模式的发光二极管；但也可以布置其他的用于成像模式的发光二极管。这些其他的发光二极管的发射器面积可以大于用于诊断模式的多个发光二极管的发射器面积。这意味着，当诊断模式激活时，至少一个处理器可以接通/断开发射器面积较小的发光二极管，以捕捉对成像伪影进行成像的强度图像(而发射器面积较大的发光二极管被持续断开)；当成像模式激活时，至少一个处理器可以接通/断开发射器面积相对较大的发光二极管，以捕捉对样品物体进行成像的相应图像。

36、一种用于定位显微镜系统的光学部件的污染的方法包括操控显微镜系统的检测器和多个光源。该操控用于利用角度可变的照明捕捉多个强度图像。因此这意味着，多个强度图像与不同的照明方向相关联，这些照明方向通过由多个光源中的不同光源进行照明而得到。该方法也包括定位污染。污染基于多个强度图像中的成像伪影的不同成像位置来定位。污染造成成像伪影。定位是关于显微镜系统的光学部件进行的，即相对于光学部件。

37、一种计算机程序或一种计算机程序产品包括可由处理器实施的程序代码。当至少一个处理器实施该程序代码时，会使处理器实施一种用于定位显微镜系统的光学部件的污染的方法。该方法包括操控显微镜系统的检测器和多个光源。该操控用于利用角度可变的照明捕捉多个强度图像。因此这意味着，多个强度图像与不同的照明方向相关联，这些照明方向通过由多个光源中的不同光源进行照明而得到。该方法也包括定位污染。污染基于多个强度图像中的成像伪影的不同成像位置来定位。污染造成成像伪影。定位是关于显微镜系统的光学部件进行的，即相对于光学部件。

38、上文列出的特征和下文将要描述的特征不仅可用于相应明确列出的组合，在不脱离本发明的保护范围的前提下还可用于进一步的组合或单独使用。