荧光显微镜中基于寿命的解混的处理器的制作方法

本发明涉及荧光显微镜中基于寿命的解混的处理器。此外，本发明还涉及基于寿命的解混的方法。此外，本发明涉及包括处理器的显微镜系统、荧光显微镜中基于寿命的解混的方法和计算机程序。

背景技术：

1、在荧光显微镜中，有多种荧光染料可用，从而允许在多个颜色通道中捕获多色图像。然而，在发生光谱重叠的情况下，可能会发生明显的串扰或透光，这意味着在每个颜色通道中检测到来自多个荧光团的发射信号。因此，解释多色图像可能具有挑战性，因为每个图像由来自多个荧光团的发射信号的混合物组成。

2、荧光寿命成像显微镜(flim)是一种特殊的成像技术，可用于通过确定由荧光团发射的光子的衰减率来识别样本中的荧光团。在flim图像中，每个像素的强度由荧光寿命确定，荧光寿命可以通过使用例如脉冲激发光源在时域中获得。时间相关单光子计数(tcspc)通常用于记录荧光衰减直方图，提供每个像素的光子计数和光子到达时间的信息。荧光寿命成像可以用作成像技术，例如在共聚焦显微镜和双光子激发显微镜中。

3、在荧光寿命成像中，相量方法是一种完善的用于数据可视化和图像分析的方法，如vallmitjana等人，“phasor-based image segmentation:machine learningclustering techniques”，biomedical optics express，vol.12，no.6/1(2021)，3410-3422中所描述的。应用于将光子计数表示为到达时间的函数的直方图的相量变换产生两个量，这两个量被映射到称为相量空间的二维空间。

4、光谱荧光寿命成像允许以光谱分辨的方式同时获取时间荧光发射衰减。然而，对于定量分析，必须考虑不同荧光团之间的光谱重叠。这可以通过光谱解混或基于寿命的解混来实现。

5、然而，基于寿命的解混需要广泛的先验知识。这种知识不限于有关荧光团的特定寿命行为的信息。相反，它更一般地包括关于样本中荧光团的行为的信息或期望。此外，在某些样本中，诸如模式生物中，内源性信号也可以显著地增加复杂性。因此，试图基于寿命确定特定光谱通道中存在的荧光团种类往往被比作大海捞针。

6、可能有关于平均荧光寿命的信息，这意味着所有物种的总体贡献。在只有两个不同的单指数寿命存在的情况下，这可以从拟合方法推断出来。然而，当存在两个以上的荧光团时，或者当荧光团表现出显著的多指数行为时，拟合方法不再有效。

7、传统的相量方法不能很容易地使用，因为相量图示出了所有物种对图像的总体贡献。这导致用户必须根据经验查看相量图上的所有位置，以找到与他们想要看到的结构相对应的寿命位置。这种方法不容易复制。它也受到用户的偏见，并且不能自动化。

8、人们努力将人工智能(ai)和机器学习(ml)应用于寿命数据，试图了解可以找到多少分量。然而，这些努力需要特殊的训练，不能立即适用于任何给定的样本。

技术实现思路

1、目标是提供一种处理器，该处理器能够在荧光显微镜中实现可靠且直接的基于寿命的解混。

2、上述目标由根据权利要求1的处理器实现。在从属权利要求和以下描述中定义有利的实施例。

3、荧光显微镜中基于寿命的解混的处理器被配置为获取具有多个像素的图像，每个像素提供关于光子计数和光子到达时间的信息。处理器被配置为生成相量图，相量图是图像的向量空间表示。处理器被配置为将图像划分为多个图像段，每个图像段包括来自多个像素的子集。处理器被配置为根据像素的相应子集的总光子计数来评估图像段。处理器进一步被配置为执行寿命分类，其中寿命分类包括从图像段中选择以最大总光子计数评估的图像段的步骤；确定图像中包含图像段的感兴趣区域的步骤；确定相量图中对应于感兴趣区域的相量子集的步骤；以及生成包含与相量子集一致的那些图像段的寿命类的步骤。处理器被配置为通过基于未分配给上述寿命类之一的剩余图像段迭代地执行寿命分类来生成多个分离的寿命类，并使用分离的寿命类执行基于寿命的解混。

4、要求保护的解决方案是基于这样的知识：图像的各个像素通常不包含足够的信息来描述特定的荧光寿命。因此，在特定光谱范围内获取的同时携带荧光强度和到达时间信息的图像被用作起点。

5、处理器被配置为减少由用于识别源自多个荧光团的单个信号贡献的图像所提供的数据量。为此，处理器基于图像中存在的荧光团行为检测不同的荧光寿命类别或簇-重要的是，处理器使寿命类别能够以自动的方式被检测或确定。对于用户来说，提供至少一个用户输入来启用或启动自动寿命类检测可能是有所帮助的。这样的荧光寿命类别的自动检测使得包括来自样本的外源和/或内源性信号的荧光团解混成为可能。

6、由处理器执行的分割用于创建多个图像段，每个图像段包括像素的子集。分割的粒度优选地被选择为使得每个段中的像素数量一方面足够小以获得像素精确的分辨率，另一方面足够大以提供足够的信息量。

7、应该强调的是，所提出的解决方案不需要对样本的先验知识。

8、在优选实施例中，处理器被配置为确定与感兴趣区域相对应的确定相量子集是否在相量图中定义唯一位置。在这种情况下，处理器进一步被配置为，如果确定的相量子集对应于唯一位置，则新创建寿命类，并且如果所确定的相量子集不对应于唯一位置，则避免新创建寿命类。

9、优选地，处理器被配置为确定每个像素的平均到达时间，该平均到达时间表示关于光子到达时间的信息。平均到达时间(aat)是可以快速且容易地计算的每个荧光团的特征量。特别地，平均到达时间可以用作有效地确定分割的几何形状。一个有益的副作用是平均到达时间可以根据荧光团的环境而变化，这为分析荧光团的微环境提供了有用的参数。

10、处理器可以被配置为计算每个图像段的平均到达时间的最小方差，并基于平均到达时间的最小方差确定包含每个图像段的感兴趣区域。因此，可以将感兴趣区域视为以各个图像段为中心并且其空间范围由aat方差确定的图像部分。

11、优选地，处理器被配置为在执行基于寿命的解混之前从图像中去除背景。因此，基于寿命的解混变得更加精确。

12、在优选实施例中，处理器被配置为应用最小总光子计数作为分割的标准。因此，图像段的形状和大小被允许变化，以确保在每个段中有足够的光子计数。更简单的概念是使用规则的网格模式进行分割，使得段具有相同的大小和形状。

13、优选地，处理器被配置为向用户显示分离的寿命类的空间分布，例如在如显示器等的显示设备上。因此，可以提供在荧光寿命方面未混合的通道。

14、根据另一方面，提供了显微镜，其包括如上所述的处理器。

15、根据另一方面，提供了荧光显微镜中基于寿命的解混方法。该方法包括以下步骤：获取具有多个像素的图像，每个像素提供关于光子计数和光子到达时间的信息；生成相量图，相量图是图像的向量空间表示；将图像划分为多个图像段，每个图像段包括来自多个像素的子集；根据相应像素子集的总光子计数对图像段进行评估；并执行寿命分类。寿命分类包括从图像段中选择以最大总光子数评估的图像段的步骤；确定图像中包含图像段的感兴趣区域的步骤；确定相量图中对应于感兴趣区域的相量子集的步骤；以及生成包括与相量子集一致的那些图像段的寿命类的步骤。通过基于未分配给前面寿命类中的一个的剩余图像段迭代地执行寿命分类来生成多个分离的寿命类，并且使用分离的寿命类执行基于寿命的解混。

16、此外，还提供了具有用于执行上述方法的程序代码的计算机程序。