利用重新缩放的输入图像的细胞计数或细胞汇合的制作方法

1.本发明的各种示例涉及用于评估对细胞进行成像的光显微镜图像的技术。例如，可以估计细胞的数目和/或汇合度。


背景技术：

2.在细胞培养物的检查中，通常需要量化样品的特定性质。举例来说，可能有必要确定细胞数目的估计或确定细胞汇合度的估计。在这种情况下，汇合度表示被细胞覆盖的样品表面的比例。
3.通常，由用户基于光显微镜图像(显微镜图像)通过简单的光学估计来确定汇合度的估计。这种估计是不准确的。此外，难以量化随时间的变化。
4.细胞的数目可以例如在显微镜的视场中或者在整个样品区域中确定。为此目的，细胞的数目可以由用户人工计数，这是复杂的、费时的并且容易出错。
5.用于确定细胞的数目和/或汇合度的估计的人工技术具有某些缺点：例如，这种人工估计可能是相对费时的。这有时可能是有问题的，因为在相应的实验期间，在对细胞数目和/或汇合度的变化的应对中，用于与细胞培养物相互作用的某些作用可能是必需的。
6.用于确定细胞的数目和/或汇合度的估计的自动化技术也是已知的。在这种情况下，例如，可以确定光显微镜图像的对比度的阈值，并且然后对于每个图像点，可以将相应的对比度与阈值进行比较，以便确定相应的图像点是对细胞成像还是对背景成像。
7.在这种用于确定细胞的数目和/或汇合度的估计的基于阈值的技术的情况下，通常需要由用户适当地设置相应的评估算法的参数值。评估算法的这种参数化可能需要专家知识，因此容易出错。此外，结果使分析过程变慢。


技术实现要素：

8.因此，需要用于评估对细胞进行成像的显微镜图像的改进的技术，所述细胞涉及与细胞相关的一个或多个可观察量。
9.该目的通过独立权利要求的特征来实现。从属权利要求的特征限定了实施方式。
10.一种计算机实现的方法，包括：获取光显微镜图像。后者对多样细胞进行成像。该方法还包括调整光显微镜图像的尺寸，使得多样细胞的预定义细胞结构的尺寸对应于预定义参考值。此外，该方法包括基于光显微镜图像确定细胞数目的估计；或者或另外，该方法包括确定细胞的汇合度的估计。
11.计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。方法包括获取光显微镜图像。后者对多样细胞进行成像。方法还包括调整光显微镜图像的尺寸，使得多样细胞的预定义细胞结构的尺寸对应于预定义参考值。此外，方法包括基于光显微镜图像确定细胞数目的估计；或者或另外，方法包括确定细胞的汇合度的估计。
12.一种设备，包括处理器。处理器被配置为获取光显微镜图像。光显微镜图像对多样
细胞进行成像。此外，处理器被配置成调整光显微镜图像的尺寸，使得多样细胞的预定义细胞结构的尺寸对应于预定义参考值。此外，处理器被配置成基于光显微镜图像确定细胞数目的估计。可替选地或另外地，处理器被配置成确定细胞的汇合度的估计。
13.一种计算机实现的方法，包括：获取光显微镜图像。光显微镜图像对多样细胞进行成像。此外，方法包括基于光显微镜图像确定细胞数目和细胞的汇合度的估计。方法还包括执行细胞数目的估计和细胞的汇合度的估计的交叉合理性检查。
14.计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。方法包括获取光显微镜图像。光显微镜图像对多样细胞成像。此外，方法包括基于光显微镜图像确定细胞数目和细胞的汇合度的估计。该方法还包括执行细胞数目的估计和细胞的汇合度的估计的交叉合理性检查。
15.一种设备，包括处理器。该处理器被配置成获取对多样细胞进行成像的光显微镜图像。此外，处理器被配置成基于光显微镜图像确定细胞数目和细胞的汇合度的估计。此外，处理器被配置成执行细胞数目的估计和细胞的汇合度的估计的交叉合理性检查。
16.一种计算机实现的方法，包括获取光显微镜图像。光显微镜图像对多种细胞类型的多样细胞进行成像。此外，计算机实现的方法包括使用至少一个机器学习算法的多个机器学习处理路径来确定光显微镜图像的多个密度图。在这种情况下，将多个处理路径分配给多个细胞类型。多个密度图各自编码对应细胞类型的细胞存在或不存在的概率。方法还包括基于多个密度图并且针对多个细胞类型中的每一个确定相应细胞的数目和/或相应细胞的汇合度的估计。
17.计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。该方法包括获取光显微镜图像。光显微镜图像对多种细胞类型的多样细胞进行成像。此外，计算机实现的方法包括使用至少一个机器学习算法的多个机器学习处理路径来确定光显微镜图像的多个密度图。在这种情况下，将多个处理路径分配给多个细胞类型。多个密度图各自编码相应细胞类型的细胞存在或不存在的概率。方法还包括基于多个密度图并针对多个细胞类型中的每一个确定相应细胞的数目和/或相应细胞的汇合度的估计。
18.一种设备，包括处理器。处理器被配置成获取对多种细胞类型的多样细胞进行成像的光显微镜图像。此外，处理器被配置成使用至少一个机器学习算法的多个机器学习处理路径来确定光显微镜图像的多个密度图。在这种情况下，将多个处理路径分配给多个细胞类型。多个密度图各自编码对应细胞类型的细胞存在或不存在的概率。此外，处理器被配置成基于多个密度图并且针对多个细胞类型中的每一个来确定相应细胞的数目和/或汇合度的对应估计。
19.一种计算机实现的方法，包括获取光显微镜图像。后者对多种细胞类型的多样细胞成像。此外，方法包括使用至少一个机器学习算法确定光显微镜图像的聚合密度图。聚合密度图针对每个细胞类型通过对应的值范围编码对应细胞存在或不存在的概率。此外，方法包括基于多个细胞类型的每一个的聚合密度图确定相应细胞的数目和/或汇合度的估计。
20.计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可
以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。方法包括获取光显微镜图像。后者对多种细胞类型的多样细胞成像。此外，方法包括使用至少一个机器学习算法确定光显微镜图像的聚合密度图。聚合密度图针对每个细胞类型通过对应值范围编码对应细胞存在或不存在的概率。此外，方法包括基于多个细胞类型中的每一个的聚合密度图确定相应细胞的数目和/或汇合度的估计。
21.一种设备，包括处理器。处理器被配置成获取对多种细胞类型的多样细胞进行成像的光显微镜图像。此外，处理器被配置成使用至少一个机器学习算法来确定光显微镜图像的聚合密度图。聚合密度图针对每个细胞类型通过对应的值范围编码对应细胞存在或不存在的概率。此外，处理器被配置成基于多个细胞类型中的每一个的聚集密度图来确定相应细胞的数目和/或汇合度的估计。
22.一种计算机实现的方法，包括获取对多种细胞类型的多样细胞进行成像的光显微镜图像。方法还包括使用第一机器学习处理路径确定光显微镜图像的密度图，其中，密度图独立于细胞类型来编码细胞存在或不存在的概率。此外，方法包括使用第二机器学习处理路径基于光显微镜图像确定多样细胞中的细胞的细胞类型。该方法还包括识别密度图中的细胞类型；以及基于密度图和对细胞类型的识别并且针对多个细胞类型中的每一个，确定相应细胞的数目和/或汇合度的估计。计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。方法包括获取对多种细胞类型的多样细胞进行成像的光显微镜图像。方法还包括使用第一机器学习处理路径确定光显微镜图像的密度图，其中，密度图独立于细胞类型来编码细胞存在或不存在的概率。此外，方法包括使用第二机器学习处理路径基于光显微镜图像确定多样细胞中的细胞的细胞类型。方法还包括识别密度图中的细胞类型；以及基于密度图和对细胞类型的识别并且针对多个细胞类型中的每一个，确定相应细胞的数目和/或汇合度的估计。
23.一种设备，包括处理器。该处理器被配置成获取对多种细胞类型的多样细胞进行成像的光显微镜图像。此外，处理器被配置成使用至少一个机器学习算法来确定光显微镜图像的密度图。所述密度图独立于细胞类型来编码细胞存在或不存在的概率。此外，处理器被配置成基于光显微镜图像、特别地使用第二机器学习处理路径来确定多样细胞中的细胞的细胞类型。处理器还被配置成识别密度图中的细胞类型。此外，处理器被配置成基于密度图和对细胞类型的识别并且针对多个细胞类型中的每一个来确定相应细胞的数目和/或汇合度的估计。
24.一种计算机实现的方法，包括获取对多种细胞类型的多样细胞进行成像的光显微镜图像。此外，计算机实现的方法包括使用至少一个机器学习算法来确定光显微镜图像的密度图。在这种情况下，密度图独立于细胞类型来编码细胞存在或不存在的概率。此外，方法包括基于密度图确定细胞的位置，以及基于细胞的位置确定光显微镜图像的图像摘录(excerpt)。方法包括：对于每个图像摘录，对相应的细胞进行分类以确定相应的细胞类型，并且识别密度图中的细胞类型。此外，方法包括基于密度图和对细胞类型的识别并且针对多种细胞类型中的每一种确定相应细胞的数目和/或汇合度的估计。
25.计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。该方法
包括获取对多种细胞类型的多样细胞成像的光显微镜图像。此外，计算机实现的方法包括使用至少一个机器学习算法来确定光显微镜图像的密度图。在这种情况下，密度图独立于细胞类型编码细胞存在或不存在的概率。此外，方法包括基于密度图确定细胞的位置，以及基于细胞的位置确定光显微镜图像的图像摘录。方法包括：对于每个图像摘录，对相应的细胞进行分类以确定相应的细胞类型，并识别密度图中的细胞类型。此外，方法包括基于密度图和所述识别并且针对多种细胞类型中的每一种确定相应细胞的数目和/或汇合度的估计。
26.一种设备，包括处理器。该处理器被配置成获取光显微镜图像。光显微镜图像对多种细胞类型的多样细胞进行成像。此外，处理器被配置成使用至少一个机器学习算法来确定光显微镜图像的密度图。密度图独立于细胞类型编码细胞存在或不存在的概率。此外，处理器被配置成基于密度图确定细胞的位置，并且基于细胞的位置确定光显微镜图像的图像摘录。此外，处理器被配置成针对每个图像摘录对相应细胞进行分类，以便确定相应细胞类型。处理器还被配置成识别密度图中的细胞类型，并且基于所述密度图、所述识别并且针对所述多种细胞类型中的每一种确定相应细胞的数目和/或汇合度的估计。
27.一种计算机实现的方法，包括利用多个通道获取光显微镜图像。多个通道各自以相应的对比度对多样细胞进行成像。多个通道中的至少一个参考通道包括相应的荧光图像，该荧光图像用对相应的荧光细胞结构特定的对比度对多样细胞成像。方法还包括基于至少一个参考通道的荧光图像自动确定密度图和/或汇合图。密度图编码细胞存在或不存在的概率。汇合图掩蔽汇合区域。方法还包括基于作为训练输入的多个通道中的训练通道以及作为真值(ground truth)的密度图和/或汇合图来训练至少一个机器学习算法。
28.计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。当处理器执行程序代码时，这具有处理器执行方法的效果。该方法包括利用多个通道获取光显微镜图像。多个通道各自以相应的对比度对多样细胞成像。多个通道中的至少一个参考通道包括相应的荧光图像，所述荧光图像用对相应的荧光细胞结构特定的对比度对多样细胞成像。方法还包括基于至少一个参考通道的荧光图像自动确定密度图和/或汇合图。密度图编码细胞存在或不存在的概率。汇合图掩蔽汇合区域。方法还包括基于作为训练输入的多个通道中的训练信道以及作为真值的密度图和/或汇合图来训练至少一个机器学习算法。
29.一种设备，包括处理器。所述处理器被配置成利用多个通道获取光显微镜图像。多个通道各自以相应的对比度对多样细胞成像。多个通道中的至少一个参考通道包括相应的荧光图像，所述荧光图像用对相应的荧光细胞结构特定的对比度对多样细胞成像。处理器还被配置成基于至少一个参考通道的荧光图像自动确定密度图和/或汇合图，其中，密度图编码细胞存在或不存在的概率。汇合图掩蔽汇合区域。处理器被配置成基于作为训练输入的多个通道中的训练信道以及作为真值的密度图和/或汇合图来训练至少一个机器学习算法。
30.在不脱离本发明的保护范围的情况下，上面陈述的特征和下面描述的特征不仅可以在明确陈述的相应组合中使用，而且可以在另外的组合中或单独地使用。
附图说明
31.图1示意性地示出了根据各种示例的用于与对细胞进行成像的显微镜图像的评估相关联的数据处理的设备。
32.图2是一个示例性方法的流程图。
33.图3是示例性显微镜图像。
34.图4是对来自图3的显微镜图像的细胞的存在和不存在进行编码的示例性密度图。
35.图5是示例性显微镜图像。
36.图6是掩蔽来自图5的显微镜图像的汇合区域的示例性汇合图。
37.图7是一个示例性方法的流程图。
38.图8是一个示例性方法的流程图。
39.图9是一个示例性方法的流程图。
40.图10示意性地示出了用于确定密度图的示例性数据处理。
41.图11示意性地示出了用于确定密度图的示例性数据处理。
42.图12示意性地示出了用于确定密度图的示例性数据处理。
43.图13示意性地示出了用于确定密度图的示例性数据处理。
44.图14示意性地示出了根据各种示例的用于估计细胞的数目和汇合度的数据处理。
45.图15示意性地示出了根据各种示例的用于训练估计细胞的数目的ml算法的数据处理。
具体实施方式
46.结合以下结合附图更详细解释的示例性实施例的描述，上述本发明的特性、特征和优点以及实现这些特性、特征和优点的方式将变得更清楚和更清楚地理解。
47.下面参照附图基于优选实施例更详细地解释本发明。在附图中，相同的附图标记表示相同或相似的元件。附图是本发明的各种实施例的示意表示。附图中所示的元件不一定被示出为比例正确。而是，附图中示出的各种元件以其功能和一般目的变得为本领域技术人员容易理解的方式呈现。如图中所示的功能单元与元件之间的连接和耦接也可以被实现为间接连接或耦接。连接或耦接可以以有线或无线方式实现。功能单元可以被实现为硬件、软件或者硬件和软件的组合。
48.下面描述了用于评估显微镜图像的技术，所述显微镜图像对多样细胞进行成像。根据本文中所述的技术，可以检查例如，细胞培养物。细胞或细胞培养物的性质可以被量化。
49.作为示例，借助于本文中描述的技术，可以确定细胞数目的估计。替选地或附加地，还可以确定细胞的汇合度——即，样品表面与细胞的覆盖程度——的估计。
50.原则上，这样的估计可以涉及光显微镜图像的视场或者涉及整个样品。
51.本文中描述的技术尤其使得完全自动化或至少部分自动化的评估成为可能。本文中描述的技术使得能够以高准确度确定估计。此外，借助于本文中描述的技术，可以特别有效地在计算上执行估计。因此，可以实现的是，例如，即使在移动设备上执行评估，也不需要具有特殊硬件的计算机。作为示例，可以在光显微镜中的集成芯片上执行本文中描述的评估(“设备上”实现)。
52.在一些示例中，可能发生光显微镜图像对多种细胞类型进行成像。不同的细胞类型可以例如由不同种类的细胞例如神经细胞与肌肉细胞构成。然而，不同的细胞类型也可以由相同种类但处于不同生命阶段的细胞例如活细胞与死细胞构成。不同的细胞类型可以具有不同的尺寸。
53.不同的细胞类型也可以在预定义的层次结构中彼此相关联。例如，在预定义层次结构的最高层次水平，可以在细胞类型“正常”与“分离”之间进行区分；在下一个较低的层次水平，对于细胞类型“分离”，然后可以在“死亡”与“有丝分裂”之间，或者在活细胞的不同细胞周期阶段之间进行区分；在下一个较低的层次水平，对于“死亡”，然后可以在“坏死”与“凋亡”之间进行区分。这仅仅是一个示例，并且其他细胞类型和其他层次结构也是可以想象的。
54.贴壁细胞培养物在基板上生长；悬浮细胞漂浮在水介质中。细胞借助于细胞分裂随时间繁殖。然而，其也会死亡。凋亡细胞、已经死亡的细胞以及有丝分裂细胞通常只能在相位对比的很大差异的情况下分化。存在允许细胞状态分化的各种标记物或染色剂。在此，存在例如用于区分活细胞和死细胞的台盼蓝，而且还存在标记死细胞或凋亡细胞的荧光标记物。细胞分裂或有丝分裂的过程中的细胞同样可以借助于合适的标记物标识。
55.不同的细胞类型可以是例如：分离与非分离；存活与死亡；有丝分裂与凋亡；不同种类的细胞。
56.根据本文中所述的技术，原则上可以对不同的细胞类型进行评估。特别地，例如，可以为不同的细胞类型选择性地确定不同的定量估计。
57.本文中描述的各种示例基于使用一个或更多个机器学习(ml)算法用于确定与细胞相关联的估计。在各种示例中，在此可以使用不同类型的ml算法。例如，在此可以使用人工神经网络(ann)。ann包括执行不同操作的多个层。ann的一个示例是卷积神经网络，该卷积神经网络利用执行输入值与内核的卷积的卷积层。各个层可以通过合适的权重彼此连接。非线性激活是可以想象的。可以执行池化操作：在其中丢弃了信息。一个示例是最大池化，在该最大池化中仅保留区域的最强值(例如，2
×
2神经元)。ann可以具有前馈结构。在此，一个层的结果仅被转发到另一个层。如果存在所谓的跳转连接，则可以将一个层的输出转发到多个后续层。原则上，可以使用不同类型的ann，例如特别是还可以使用生成对抗网络(gan)或自动编码器网络，例如变分自动编码器网络。
58.图1示意性地示出了根据各种示例的系统100。系统100包括设备101。设备101用于评估显微镜图像。设备101例如可以是计算机或服务器。设备101包括处理器102和存储器103。设备101还包括接口104。经由接口104，设备101可以从一个或更多个成像设备111、112接收图像数据，例如显微镜图像。处理器102还可以经由接口104将控制数据发送至所述一个或更多个成像设备111、112，以便控制所述一个或更多个成像设备111、112捕获图像数据。通过控制数据，处理器102还可以设置一个或更多个成像参数——例如照明参数——的值。
59.一般而言，处理器102可以被配置成从存储器103加载控制指令并执行控制指令。当处理器102加载并执行控制指令时，这具有使处理器102执行诸如本文所述的技术的效果。这样的技术将包括例如控制成像设备111以及可选地控制成像设备112以便捕获图像数据。例如，处理器102可以被配置成控制成像设备111，以便在观察时段期间通过显微成像来
捕获样品的多个显微镜图像。处理器102可以被配置成确定细胞的数目和/或细胞的汇合度的估计。处理器102可以被配置成基于训练数据和表示先验知识的标签来训练ml算法。
60.原则上，在本文所述的示例中，对于待评价的显微镜图像，可以使用不同的成像模态。所述不同的成像模态可以由诸如成像设备111、成像设备112的一个或更多个成像设备来实现。示例性成像模态例如涉及透射光对比(无荧光)。例如，特别地，可以使用相位衬度。可以使用宽场对比度。还可以使用明场对比度。另一种成像模态提供荧光对比度。例如，可以使用荧光标记来特定地对某些细胞结构进行染色。例如，细胞核或细胞骨架可以被染色。数字图像对比度也能够被构想为成像模态。例如，可以通过倾斜照明产生数字相位对比度。可以根据期望的评估来调整数字图像对比度。有时也可以将不同的对比度编码为图像的不同通道。然后可以选择一个或更多个通道用于随后的评估。例如，不同的通道可以与标识不同细胞结构的不同荧光波长相关联。例如，然后可以选择一个或更多个通道用于特定的评估任务，例如确定数目的估计或者确定汇合度的估计。如果已经彼此配准的不同成像模态的多个图像可用于样品，则可以自动选择特别适于随后的评估的对比度。可选地，还可以并行地执行针对不同对比度的评估，并且然后将结果彼此比较或融合。
61.图2是一个示例性方法的流程图。例如，来自图2的方法可以至少部分地由设备101的处理器102执行。
62.图2示出了与显微镜图像的评估的不同阶段相关联的各方面。
63.框3005涉及对用于显微镜图像的评估或分析的一个或更多个ml算法的训练，例如以便确定成像细胞的数目和/或汇合度的估计。因此，在训练的背景下确定相应ml算法的参数值。
64.这可以考虑到训练数据——即训练显微镜图像、通过使特定目标函数最大化或最小化的迭代优化来实现，所述训练数据以标签的形式被分配有先验知识或真值(ground truth)。作为示例，可以结合ann使用后向传播技术。此处可以使用梯度下降方法来设置ann的不同层的权重。
65.标签可以由专家手动分配。然而，还将能够构想到自动生成标签。另外的图像对比度，特别是荧光对比度可以用于该目的。这样的另外的图像对比度能够专门在训练期间获得。
66.可以通过例如人工产物——例如划痕、灰尘、污垢——被模拟并叠加在训练显微镜图像上来扩展训练数据。可以扩展训练数据以便实现更准确的训练。作为示例，可以加入人工产物，例如细胞培养物的细菌或真菌感染。可以以这种方式提供机器学习评估算法的鲁棒性。
67.可以联合或单独地训练不同的评估算法，例如用于确定数目的估计和汇合度的估计。
68.在一些示例中，具有损失函数的联合训练是可构想的，该损失函数强行实现了数目的估计和汇合度的估计之间的一致性。损失功能可以例如惩罚汇合区域中细胞的不存在和/或奖励汇合区域中细胞的存在。损失函数可以例如惩罚汇合区域内细胞的位置空间密度的变化。因此，这意味着可以检查在汇合区域内选择性地被考虑的细胞的位置空间密度是否根据位置而变化。如果存在这样的显著变化，则可以指示细胞的数目或汇合度或两者被错误地估计。
69.稍后将结合图8描述框3005的一个可能的详细实现方式。
70.在训练结束之后，随后在框3010中可以进行推理，即，在没有先验知识的情况下确定估计。然而，在一些示例中，还可以重复地执行训练，例如以与框3010中的推理嵌套的方式。作为结果，一个或更多个ann或其它ml算法可以被持续地改进。例如，可以实现经由人机接口的用户交互，该用户交互询问特定估计是否正确。
71.在框3005中训练的所述一个或更多个ml算法的应用然后在框3010中发生。这意味着，在没有先验知识的情况下，针对与成像的细胞相关联的特定可观察量来确定估计。作为示例，可以基于光学显微镜图像来确定细胞的数目的估计和/或细胞的汇合度的估计。
72.在一些示例中，可以以针对不同细胞类型分离的方式执行——例如细胞的数目和/或汇合度的——估计。作为示例，可以分别计数死细胞和活细胞。例如，将可构想对分离的和未分离的细胞分别计数。可以分别计数有丝分裂中的细胞和凋亡中的细胞。
73.框3010中的估计可以由背景信息支持。可以自动地或手动地确定背景信息。示例性背景信息包括：早期估计；用户；细胞类型；使用的成像模态；成像设备的物镜的放大因子；物镜类型；摄像机或摄像机适配器；显微镜设置。
74.例如，将可构想基于这样的附加信息对估计结果进行合理性检查。例如，在不改变成像模态或成像参数的情况下，数目和/或汇合度的估计的突然变化可能是不合理的。
75.用户能够经由人机接口(hmi)——通常是图形用户界面(gui)——启动和/或中断评估是可能的。例如，如果估计离开特定的预定范围，例如因为它们是不可靠的，或者如果获得了特定的置信水平，则也可以实现评估的自动终止。
76.在框3015中，然后可以可选地基于在框3010中确定的一个或更多个估计来进行应用。下面给出一些情况。
77.在一个变型中，细胞的数目的估计和/或汇合度的估计经由hmi输出至用户。例如，这样的值可以图形地显示，例如与显微镜图像一起显示。显微镜图像可以以其原始尺寸输出，即可以被缩放回去，或者可以在没有任何缩放的情况下将副本保存存储器中，并且然后输出。可以在gui中将估计显示为与显微镜图像叠加。例如，细胞中心点和/或汇合区域可以例如以可调节的透明度叠加在显微镜图像上。例如，可以例如以固定的图像刷新率捕获图像序列。然后可以重复地确定该估计，并且在每种情况下与图像序列的相关图像一起显示该估计。特别地，因此可以利用图像刷新率重新确定估计，也就是说，例如实时地确定估计。
78.作为示例，将可以检查细胞的数目是否在特定阈值以上。作为示例，可以检查图像摘录中或整个样品中的细胞数目是否在特定阈值以上。如果细胞的数目太低——例如因为图像阶段已经被选择得太小或者因为样品仅包括几个细胞，则可以启动自动工作流程，该自动工作流程使得例如在其他位置和/或以其他放大因子获取另外的图像。
79.除了估计之外，例如，还可以输出估计的置信度或可靠性。例如，可以以空间分离的方式指示置信水平；例如，特别地，可以突出显微镜图像中细胞的数目的估计和/或汇合度的估计与高不准确度相关联的区域。
80.所述一个或更多个估计可以与工作流程相关联地使用。例如，可以根据细胞的数目和/或汇合度的估计来启动显微镜测量的一个或更多个动作。例如，可以启动例如具有特定成像参数的另外的图像采集。例如，如果超过或未达到特定的汇合度，则可以以自动方式捕获光显微镜图像。为此，可以经由通信接口控制相应的成像设备(参见图1：成像设备111、
成像设备112和接口104)。可选地，可以输出警告。可选地，测量日志可以扩展一个条目。
81.所述一个或更多个估计可以存储在相应的光显微镜图像的元数据(例如，报头信息)中。作为一般规则，除了数目和/或汇合度的估计以外或者作为数目和/或汇合度的估计的替选，其他信息也可以存储在图像的元数据中。例如，物镜的放大率可以存储在元数据中。可以将一种类型的物镜存储在元数据中。一种类型的图像捕获单元——例如摄像机或摄像机适配器——可以存储在元数据中。一种类型的样品载体可以存储在元数据中。例如，这样的数据可以被自动地确定或者被手动地查询。
82.还可以将所述一个或更多个估计与较早的估计进行比较。例如，可以以这种方式确定细胞的数目的估计和/或汇合度的估计的时间曲线。作为示例，可以确定变化率。
83.细胞计数可以用于对细胞浓度的估计。例如，将可构想确定样品上细胞总数的估计。为此，例如，可以估计细胞的密度并将其乘以样品的已知面积作为先验知识。可以根据样品载体的几何形状来确定样品的面积。样品载体可以被自动识别或由用户指定。还可以执行与“牛鲍氏计数板(neubauer chamber)”相关联的应用。例如，可以自动识别细胞是否漂浮在悬浮液中。如果细胞数目的估计结果足够准确，则牛鲍氏计数板的使用可能是不必要的。细胞数目的估计还可以用于检查在分离步骤(例如使用胰蛋白酶)之后仍粘附在样品载体上的细胞的比例。
84.在各种示例中，将可构想根据细胞的数目和/或汇合度的估计来启动特定的分析操作。这样的分析操作的示例包括例如：纵向分析(也就是说，对随时间的变化的测定)；总数估计(也就是说，整个样品区域中细胞数目的估计)；细胞周期分析(也就是说，对细胞在细胞周期中的阶段的测定)：细胞生长分析(也就是说，对根据时间的尺寸变化的测定)。例如，可以确定预期细胞已经完成生长或者准备好转移到新样品的时间点。例如，可以根据对汇合度的估计的时间序列确定细胞生长曲线。例如，可以确定细胞培养的适合度指标。这可以基于例如数目的估计与不同细胞类型的汇合度的估计的比较。如果例如成比例地存在许多死细胞，则适合度可能低。如果例如存在许多处于特定细胞阶段的细胞，则适合度可能低。
85.在一些示例中，框3015中的应用因此可以在不同的细胞类型之间进行区分。这尤其适用于针对不同细胞类型(例如活细胞与死细胞等)分别确定数目和/或汇合度的估计。
86.如果关于不同细胞类型的信息是可获得的，例如可以从对不同细胞类型的相应估计的比较中得出关于细胞培养状态的陈述。细胞培养的状态也可以以在特定时段内暂时分离的方式确定。相应的统计可以输出至用户。
87.如果例如与不同细胞类型相关联的细胞的定位是可获得的，则可以本地地执行进一步的检查。例如，可以以靶向方式选择有丝分裂中的这样的细胞。
88.根据细胞培养的状态，可以启动自动或半自动的工作流程。例如，如果在捕获的显微镜图像的时间序列期间超过死细胞对活细胞的一定比例，则可以向用户输出警告。
89.可以以空间分离的方式确定活细胞的数目。也就是说，可以对处于退化状态的样品的不同区域上的活细胞进行计数。这可以用作传代期间稀释计算的基础。
90.图3示出了示例性显微镜图像91。细胞是可见的。特别地，细胞类型是可见的，即活细胞和死细胞。这两种类型的细胞各自用箭头标记。
91.在这种显微镜图像例如示例性光显微镜图像91的基础上，可以确定细胞数目的估
计和/或汇合度的估计，可选地分别针对不同的细胞类型确定细胞数目的估计和/或汇合度的估计。
92.原则上，存在用于确定细胞数目的估计和/或汇合度的估计的各种选择。例如，可以使用对存在或不存在细胞进行译码的细胞指标表示。可以使用指示细胞中心点的图。可以使用检测器结果列表。
93.根据各种示例，可以特别地基于密度图来确定这样的细胞数目的估计和/或汇合度的估计。图4中针对来自图3的显微镜图像91示出了这样的密度图。
94.图4示意性地示出了密度图92。在图4的示例中，针对来自图3的光显微镜图像91创建密度图92。密度图通过对比度识别细胞存在或不存在的概率。在根据所示示例的密度图92中，为此，预定义的密度分布在每种情况下以几何细胞中心点的位置为中心。作为示例，高斯钟形曲线(高斯核)可以用作预定义的密度分布。根据图4明显的是，高斯钟形曲线的半高全宽(full width at half maximum)显著小于细胞的典型直径。
95.活细胞的每个高斯钟形曲线上的局部位置空间积分可以产生例如值1。结果可以实现的是，整个密度图92上的位置空间积分等于细胞的数目。在任何情况下，可以基于位置空间积分来估计细胞的数目。
96.在图4中，明显的是，显微镜图像91的不同细胞类型(即活细胞和死细胞)的预定义的密度分布具有不同的值范围(用白色和黑色编码)。这原则上是可选的。
97.图5是显微镜图像92的另一示例。在图5的示例中，利用荧光对比度作为成像模态来捕获光学显微镜图像92。
98.图6示出了与来自图5的光显微镜图像92相关联的汇合图96。汇合图掩蔽汇合区域(图6中的白色对比度)，也就是说，其中排列细胞的区域。可以基于汇合图96确定汇合度的估计。
99.图7是一个示例性方法的流程图。图7示出了用于估计由显微镜图像成像的细胞的数目和/或汇合度的显微镜图像的数字评估的各方面。作为示例，来自图7的方法可以由连接至显微镜以用于与其通信的数据处理单元执行。作为示例，来自图7的方法可以由设备101执行，特别是由处理器102基于处理器102从存储器103加载并执行的程序代码来执行。
100.例如如结合图3和5中的任一个所讨论的，图7中的方法用于评估显微镜图像。通过图7中的方法，特别是可以确定细胞数目的估计和/或细胞汇合度的估计。
101.例如，图7可以实现框3010。
102.原则上，将可构想由用户选择一个或更多个估计变量。然而，例如基于所使用的捕获光显微镜图像的显微镜的操作模式或者所使用的成像模态(所使用的成像模态可以例如从显微镜图像中的元信息中得出)，也可以使细胞的数目的估计和/或细胞的汇合度的估计可选地被激活。例如，将可构想的是，通过使用荧光对比度和细胞核标记作为成像模态，对汇合度的估计是不必要的，并且自动排他地激活对细胞数目的估计。
103.原则上，可以基于预定义的设置(例如细胞类型或成像模态)自动地确定细胞数目的估计和/或汇合度的估计的激活。
104.还可以基于元数据来选择适当的估计变量。例如，图像或图像捕获设置的元数据可以作为选择是否执行细胞数目的估计和/或汇合度的估计的基础。还可以通过预处理算法来执行图像内容的粗略分析，并且基于该上游评估来选择用于确定细胞数目的估计和/
或用于确定汇合度的评估算法。还可以通过条形码提供元数据。用户选择将是可构想的。
105.本文中描述的各种示例中可以使用不同的评估算法。例如，可以使用具有经验参数化的基于阈值的评估算法。还可以使用ml评估算法。可以使用利用了密度图和/或汇合图的评估算法。
106.如果多个评估算法可用于确定例如细胞的数目和/或汇合度的估计，则可以使用不同的评估算法来确定独立的估计。然后可以将它们融合。
107.首先，在框3105中，获取对多样细胞进行成像的显微镜图像(通常为光显微镜图像)。这可以包括例如经由通信接口控制成像设备，使得成像设备捕获图像(参见图1：成像设备111、成像设备112)。
108.捕获图像可以例如由用户主动启动，例如通过点击图形用户界面中的相应按钮。也可以例如根据预定义的时间表自动地启动对显微镜图像的捕获。作为示例，例如，如果改变一个或更多个成像参数，则可以自动地启动图像捕获。例如，如果视场改变，例如由于样品保持器移动，则可以启动自动图像捕获。如果样品改变，则可以启动自动图像捕获；如果物镜改变，则可以启动自动图像捕获。
109.例如，可以根据样品载体来限定待捕获图像的数目和/或待捕获图像的样品台的位置。作为示例，可以使用标准化的样品载体，例如多孔板。在这种过程的情况下，可以将用于样品台的特定位置的评估算法的结果外推到其他样品区域。
110.作为示例，可以设想的是，在认为另外的显微镜图像不可用之后，在框3105中获取该显微镜图像；特别地，可以响应于另外的显微镜图像的不可用性而获取显微镜图像。在这种情况下，原则上存在用于确定可用性的各种标准。作为示例，可以确立在另外的显微镜图像中可见的细胞数目在特定阈值以下。这意味着在另外的显微镜图像中仅相对少的细胞或根本没有细胞是可见的。然后，在框3105中，作为对此的响应，可以获取显微镜图像。为了确定对细胞数目的估计，可以使用本文中描述的技术，例如参见图10至图13。例如，可以在样品上的不同位置处捕获另外的显微镜图像或显微镜图像。因此，出于捕获显微镜图像的目的，可以移动显微镜的样品台。
111.然而，显微镜图像也可以从数据库加载或从存储器加载。
112.任选地可选地，可以设想的是，评估显微镜图像的质量。基于此，可以确定显微镜图像是否适于支持后续的分析操作。这意味着可以检查显微镜图像是否能够以足够的准确度来确定细胞数目的估计和/或汇合度的估计。如果确立质量不足，则例如，以下选项是可用的：作为示例，可以完全省略用于分析目的的后续框的实施。也可以例如仅执行细胞数目的估计，而不执行汇合度的估计，反之亦然。替选地或附加地，可以例如利用适配的图像捕获参数来启动新的图像捕获。还可以向用户输出警告或者向用户询问预期的进一步动作。可以将这样的图像质量评估的结果存储在图像的元数据中。可以例如通过识别划痕或污垢来评估质量。为此，可以使用合适的质量评估算法。原则上，存在评估图像质量的各种可能性。作为示例，可以检查边缘锐度是否超过特定阈值。可以检查样品是在焦点上还是被布置在焦点之外。还可以执行对细胞类型的确定，并且然后可以确定所期望的分析是否适用于这些细胞类型。替选地或附加地，可以检查在光显微镜图像中是否存在噪声、污染、伪影等。
113.在框3105中获取显微镜图像还可以包括：自动地选择合适的成像对比度或合适的成像模态。作为示例，如果存在多个对比度，则可以设想的是，选择合适的对比度。例如，根
据任务，例如是要执行数目的估计还是要执行汇合度的估计或要执行基于此的特定应用(参见框3015)，可以选择不同的对比度。可以提供对应的查找表。因此，通常，获取光显微镜图像可以包括：从具有不同对比度的多样光显微镜图像中选择光显微镜图像。
114.然后，在框3110中，可以可选地调整来自框3105的显微镜图像的尺寸。特别地，可以调整尺寸，使得特定预定义细胞结构(例如细胞核的或平均细胞直径的)的尺寸对应于预定义参考值。这意味着显微镜图像可以被重新缩放。获取经重新缩放的显微镜图像，这然后可以是图7中的后续框的基础。
115.在这种情况下，原则上存在在框3110中调整显微镜图像的尺寸的各种可能性。例如，可以设想的是，使用对应的ml算法(重新缩放算法)，其借助于基于光显微镜图像的图像到图像转换来调整显微镜图像的尺寸。作为示例，可以使用回归、分类或有序回归。在这种情况下，不必首先明确地计算缩放因子，然后根据缩放因子在下游执行放大或缩小。相反，重新缩放可以借助于重新缩放算法的合适训练来自动实现。然后，借助于将经重新缩放的图像与原始图像进行比较，可以确定缩放因子是否是期望的(例如，以检查缩放因子的合理性)。例如，这样的重新缩放算法可以由ann实现。ann可以例如通过作为训练图像输入的显微镜图像和后续计算的损失函数来训练，这考虑了ann的输出尺寸与由用户手动重新缩放的参考图像的偏差。然后可以基于损失函数的值来实现ann的训练。
116.在另外的示例中，机器学习的重新缩放算法可以用于借助于图像到标量转换来确定缩放因子。可以利用回归连续地输出缩放因子。作为输入，重新缩放算法可以获取整个光显微镜图像或图像摘录。如果针对多个图像摘录确定了缩放因子，则后续可以对这些缩放因子求平均；这意味着关于多个图像摘录进行求平均。然后，在下游算法中，可以基于缩放因子来改变光显微镜图像的尺寸。在这样的图像到标量重新缩放算法的情况下，不需要细胞结构的明确定位；相反，机器学习用于确定缩放因子的合适特征。例如，这样的重新缩放算法可以由ann实现。ann可以例如通过作为训练图像输入的显微镜图像和后续计算的损失函数来训练，这考虑了ann的输出与由用户手动确定的参考缩放因子的偏差。然后可以基于损失函数的值来实现对ann的训练。
117.然而，使用ann来执行重新缩放仅仅是一个示例。在另一示例中，可以设想的是，存在预定义参考值的细胞结构被定位在光显微镜图像中。例如，为此可以使用对象识别算法。该算法可以基于试探法。例如，可以找到特定的预定义轮廓，然后对轮廓执行椭圆拟合，并基于此确定椭圆的半径作为细胞的尺寸。因此，预定义结构然后可以描述细胞直径。然后，基于该定位，可以确定光显微镜图像中的细胞结构的平均尺寸，并基于平均尺寸与预定义参考值的比率来确定缩放因子。例如，可以在每种情况下针对多个图像摘录中的每一个确定细胞结构的平均尺寸，并且然后对这些值进行求平均，即，关于图像摘录实现求平均。然后可以基于缩放因子来放大或缩小显微镜图像。例如，可以对显微镜图像的多个部分区域多次执行缩放因子的这种确定。然后可以确定平均缩放因子。可以将该平均缩放因子应用于整个图像。
118.不需要在单个步骤中实现调整显微镜图像的尺寸。作为示例，可以用不同的重新缩放步长来执行迭代调整。这意味着例如在每种情况下可以迭代地估计相应细胞结构的尺寸，并且然后可以执行对应的重新缩放。如果例如确立缩放因子在预定范围之外，则可以进行粗略的预缩放，其后是基于粗略的预缩放进行更准确的缩放。
119.可以为不同的评估任务确定不同的缩放因子。例如，经重新缩放的图像的第一实例可以用于在框3115中确定细胞数目的估计，而经重新缩放的图像的第二实例可以用于在框3120中确定汇合度的估计。
120.原则上，可以设想的是，在框3110中确定经重缩放的图像的多个实例。在一些示例中，样品可以包括多种细胞类型。在这样的示例中，可以为不同的细胞类型确定多个缩放因子。一般而言，可以确定显微镜图像的多个重新缩放的实例，其中，不同的重新缩放的实例相对于原始显微镜图像具有不同的缩放因子。这里，在每种情况下，可以相对于对应细胞类型的预定义细胞结构来缩放不同的重新缩放的实例。作为示例，可以确定每种细胞类型的显微镜图像的相关联实例，并调整显微镜图像的相应实例的尺寸，使得相应细胞类型的预定义细胞结构的尺寸对应于预定义参考值。然后，可以获取显微镜图像的各个重新缩放的实例作为结果。在这种情况下，可以设想的是，实例或细胞类型的数目被预先预定义；然而，基于显微镜图像确定实例或细胞类型的数目也是可以设想到的。
121.不同类型可以被布置在显微镜图像的不同部分区域中。作为示例，在显微镜图像的不同部分区域中，与其他类型相比，不同类型可以占优势，即占主导地位地出现。因此，这些类型也可以与图像的附属部分区域相关联，在该附属部分区域中出现了相应的类型或者这些类型是占优势。
122.在这种情况下，可以使用各种技术来确定与特定类型相关联的图像的部分区域。下面结合表1描述一些示例性技术。
123.124.[0125][0126]
标签。表1：用于在显微镜图像的各个实例中定位细胞类型或识别图像的对应部分区域的各种技术。
[0127]
下面给出用于确定细胞类型的数目和可选地在显微镜图像中定位细胞类型的示例性技术的描述。该示例性实现方式特别地使用来自表1的技术的组合。为此，可以分割描述显微镜图像中的细胞类型的出现的图。因此，对于显微镜图像的各种图像位置，该图可以指示在每种情况下在那里是否出现特定的细胞类型。然后，分割的结果可以指示多个部分区域，在这些部分区域中，一种类型出现，占优势或被排他地遇到。
[0128]
这里可以使用各种技术来确定这样的图作为分割的输入。在一个变体中，可以使用标记显微镜图像中的不同细胞类型的具体位置——即，例如在每种情况下标记细胞类型的各个细胞的中心点——的对象识别算法。在这种情况下，对象识别算法可以依靠关于显微镜图像中的各个细胞类型的外观的先验知识。例如，可以附随地提供显微镜图像中的不同细胞类型的成像尺寸作为先验知识(例如基于已知的结构尺寸和已知的成像模态的放大因子)。例如，可以附随地提供不同细胞类型的几何形状作为先验知识。然而，不是在所有变体中都需要这样的先验知识。有时，对象识别算法本身也可以确定不同细胞类型的出现，即识别先验未知类别或细胞类型。例如，对象识别算法本身可以确定细胞类型的成像尺寸或显微镜图像中的几何形状。确定这样的图的另外示例是使用聚类算法。聚类算法可以在没有特定训练的情况下识别特性签名的频繁出现，其中所述频繁出现然后可以在每种情况下与特定的细胞类型的存在相关联。基于聚类算法，可以在每种情况下在位置空间中确定细胞类型的出现，然后在地图中标记细胞类型的出现。聚类算法又可以对各种输入进行操作。例如，聚类算法可以使用针对显微镜图像的不同像素或者基于图像到图像转换而逐图块地确定的缩放因子作为输入。然后可以在位置空间中识别聚类。然后可以使用机器学习算法来执行图像到图像转换。以这种方式，例如，可以局部地预测缩放因子。例如，所述缩放因子可以因像素而变化，并且在每种情况下，聚类可以相应地识别可比较缩放因子的聚类。可以例如基于人工神经网络的活动来确定聚类算法的输入的另外示例，即，可以基于机器学习算法的潜在特征向量的值来获取聚类算法的输入的另外示例。详细地，可以使用编码分支以在每种情况下对显微镜图像的像素或图块进行编码。以这种方式，为每个像素或图块获取潜在特征向量。特征向量的不同条目对应于在所考虑的像素或图块中出现相应类型的结构的可能性。例如，然后可以相应地组合多个像素或图块的活动，以以这种方式形成图。输入到聚类算法中的又一示例涉及基于对比度值的分割的使用。作为示例，在每种情况下都可以确定显微镜图像的可比对比度值的段。以这种方式，前景可以与背景分离。利用聚类算法，可以在前景区域中以靶向的方式搜索可比较签名的聚类；然而，还可以已经以基于结构的方式直接形成聚类，而不划分成前景和背景(即，不单独检查显微镜图像中的每个强度值，而是基于结构检查显微镜图像的图块)。如果在图像中根本没有背景，例如如果细胞的汇合度是100％，则最后提到的变体将是有利的。
[0129]
然后可以基于显微镜图像的这些重新缩放的实例来确定细胞的数目和/或汇合度的估计。在这种情况下，可以考虑与不同的重新缩放的实例相关联的图像的部分区域。
[0130]
然而，一般而言，关于如何考虑显微镜图像的重新缩放的实例存在各种可能性。一
些示例在表2中列出。
[0131][0132][0133]
标签。表2：在确定密度图或汇合图时考虑图像的部分区域的各种可能性。
[0134]
例如，因此可以设想的是，针对显微镜图像的每个重新缩放的实例，确定分配的密度图(参见图4)，然后将分配给不同的重新缩放的实例的密度图彼此组合。然后，可以基于该组合/聚合密度图执行对细胞数目的估计。相应地，作为密度图的替选或除密度图之外，也可以针对每个重新缩放的实例确定汇合图。在每种情况下，可以在汇合图中标记相关联的细胞类型的相关联汇合区域。然后，这些汇合图可以彼此组合。在每种情况下也可以实现单独的部分估计。因此，可以针对每个重新缩放的实例实现相应数目和/或相应汇合度的(部分)估计。然后可以将结果彼此组合以获取所有细胞类型的组合估计。这意味着在每种情况下对重新缩放的显微镜图像的不同实例执行多次评估(其中，例如，在每种情况下可以忽略对与对于相应重新缩放至关重要的细胞类型不同的细胞类型进行成像的这样的区域)。
[0135]
不同细胞类型之间的区分在这里可以基于对象识别来实现。例如，不同的细胞类型可以具有不同的形状，例如椭圆形和圆形。通过通过使用合适的对比度，例如合适的荧光标记，不同的细胞类型在光显微镜图像中可以具有不同的对比度水平。
[0136]
存在各种确定实例的可能。例如，可以在每种情况下创建整个光学显微镜图像的副本。然后可以根据与相应的细胞类型相关联的相应缩放因子来调整这些副本的大小。可以选择性地对在各自情况下以特定尺寸成像的这些细胞进行后续的评估。还可以想到，这些实例对应于原始光学显微镜图像的不同分区。这意味着，在每种情况下，光显微镜图像的不同部分区域或图像摘录可以根据与相应分区相关联的细胞类型而被不同地缩放。例如，在每种情况下，分区可以与在那里主要出现的细胞类型或在那里大量出现的细胞类型相关联。例如，可以使用无监督对象识别算法来识别和定位不同细胞类型的细胞；然后可以基于相应的结果来确定分区。这种无监督对象识别可以例如考虑细胞的特征，例如尺寸。
[0137]
缩放因子的合理性检查(plausibilization)可以可选地执行。例如，如果确定缩放因子在预定范围外，则可以向用户输出警告。还可以想到的是，在合理性检查失败的情况下，执行光显微镜图像的尺寸的调整的重新迭代。替换地或附加地，通过用户接口可以查询缩放因子是否可接受。可以询问由用户定义的缩放因子。例如，可以确定缩放因子的置信水平。例如，置信度水平可以作为相应的机器学习算法的输出来获取。如果置信度太低，则合理性检查可能失败。例如，可以检查缩放因子是否在预定范围内。例如，可以检查缩放因子是否不大于预定的上阈值和/或不小于预定的下阈值。
[0138]
随后，在重新缩放之后，然后可以在框3115中确定细胞数目的估计和/或可以在框3120中确定汇合度的估计(可选地，还可以预先去除图像边缘或提取图块)。
[0139]
作为一般规则，框3115和框3120可由不同算法实现。框3115和框3120也可以由共同的算法实现。
[0140]
可以想到，框3110和框3115和/或框3120由共同的算法实现。这意味着框3115和/或3120中的重新缩放和后续的评估可以由算法以集成的方式来实现。
[0141]
可选地，这可以例如基于重新缩放的显微镜图像的多个实例针对不同的细胞类型单独进行。然而，估计也可以在细胞类型未知的情况下进行，例如特别是如果显微镜图像的多个重新缩放的实例被融合。
[0142]
通过在框3110中使用重新缩放，可以降低在框3115和/或框3120中使用的评估算法的复杂度。例如，也可以使用ml算法例如ann作为评估算法。在这种情况下，评估算法的训练(参见图2：框3005)可以被限制为训练数据，该训练数据以细胞结构具有根据预定参考值的尺寸的方式对细胞进行成像。例如，可以使用对应于相对较小图像尺寸的预定参考值。结果，可以减小所使用的ml算法的运算符的大小。可以减少计算操作的数量。结果，在移动设备上例如在光学显微镜的处理器上的计算上有效的实现方式也是可行的。
[0143]
例如，为了在框3115中确定细胞数目的估计，可以使用无定位方法，也就是说，基于图像直接估计细胞数目。这可以通过顺序回归或基于图块的预测和聚集来执行。这种技术基于输入图像的全局分析。不必解析各个细胞的位置。相应的示例性技术在paul cohen，joseph等人在2017年ieee国际计算机视觉研讨会会刊“count-ception:counting by fully convolutional redundant counting”中进行了描述。另一种技术是基于细胞中心点位置的预测。这样的技术在xie,weidi,j.alison noble,and andrew zisserman在在生
物力学和生物医学工程中的计算机方法：成像和可视化6.3(2018)：283-292中的“microscopy cell counting and detection with fully convolutional regression networks”中例如在原则上进行了描述。因此，在这种情况下，使用ml算法例如ann，其基于(例如重新缩放的)显微镜图像提供密度图。所述密度图将细胞存在或不存在的概率编码为图像中位置的函数。可以基于密度图确定细胞的数目。例如，卷积网络可以用作ann。例如，可以使用遵循ronneberger，olaf，philippfischer和thomas brox在国际医学影像计算和计算机辅助干预会议。springer，cham，2015中的“u-net:convolutional networks for biomedical image segmentation”的u-net体系结构。可以执行图像到图像的回归。可以以每个细胞中心点为中心设置预定的密度分布例如2d高斯函数。在这种情况下，特别地，调整框3110中的显微镜图像的尺寸具有以下优点：仅单个细胞尺寸必须被用于创建密度图的相应模型覆盖。然后可以通过在密度图上积分来确定细胞的数目。可以基于阈值方法和例如对靠近在一起的局部峰值的抑制来定位细胞的中心点。例如，可以使用所谓的非极大值抑制(nms)操作。由于图像的重新缩放的尺寸(框3110)，这样的滤波器可以具有固定的参数设定。
[0144]
在一些示例中，还可以获得多个密度图，每个密度图标识特定细胞类型的细胞存在或不存在的概率。还可以想到，对于单个密度图，例如通过不同的值范围或边界框或通过附加信息来区分两种不同的细胞类型。在这种情况下，可以以针对不同细胞类型解析的方式来执行细胞数目的估计。
[0145]
原则上，框3115中的细胞数目的估计和框3120中的细胞汇合度的估计可以通过共同的评估算法共同确定。然而，也可以使用单独的评估算法来确定框3115中的细胞数目估计和确定框3120中的细胞汇合度。
[0146]
存在用于方框3120中确定汇合度的估计的各种可能。例如，启发式评估算法可用于确定汇合度的估计。例如，可以找到细胞的轮廓。例如，可以进行阈值分析，然后在以这种方式获得的掩膜中根据预定的参考形状找到合适的轮廓。这些轮廓可以指定细胞的周边，从而描述汇合区域。然后可以以这种方式提供对汇合区域进行掩膜的汇合图。然后可以基于汇合区域依次确定汇合度的估计。然而，这种汇合图也可以基于机器学习的评估算法来使用。例如，可以使用卷积神经网络来提供二进制分段以创建汇合区域的掩膜。也可以使用u-net体系结构。可以执行语义分割作为用于估计汇合度的另一种方法。可以以这种方式再次执行汇合区域的二进制掩膜。在这种情况下，不需要执行相邻细胞的分离，因为对于确定汇合不需要对细胞进行计数或对相邻细胞进行定界。
[0147]
也可以基于密度图估计汇合度。为此，例如，可以假定平均细胞尺寸，并分别将其分配给每个细胞中心点。细胞中心点的定位可以根据密度图确定。
[0148]
如果有多种类型的评估算法可用，则可以自动选择合适的评估算法。在此，可以存在各种选择标准。例如，可以根据实验类型或样品类型选择合适的评价算法。例如，可以基于概观图像或基于用户输入来确定样本的类型。这不仅涉及评估，而且例如还涉及在重复训练的上下文中选择用于使现有模型与新记录的数据相适应的合适模型，参见图2：框3005。
[0149]
如果在框3115中确定了细胞数目的估计，并且在框3120中确定了细胞汇合度的估计，则随后可以在框3125中进行细胞数目的估计和汇合度的估计的交叉合理性检查。这意
味着可以检查细胞数目的估计是否与汇合度的估计一致，和/或检查汇合度的估计是否与细胞数目的估计一致。这意味着可以将细胞数目的估计或由其导出或形成基础的变量与汇合度的估计或由其导出或形成基础的变量进行比较。例如，框3125中的交叉合理性检查可以包括关于在每种情况下细胞是否排列在汇合区域中的检查。例如，可以检查细胞中心点或者特定的细胞结构例如细胞核在每种情况下是否排列在汇合区域中。细胞中心点可以根据在此描述的密度图确定(作为局部最大值)。替代地或另外地，交叉合理性检查还可以包括确定汇合区域内细胞的位置空间密度的变化。因此，这意味着可以检查选择性地考虑在汇合区域内的细胞的位置空间密度是否作为位置的函数而变化。因此，可以检查如下标准：例如，每个预测汇合区域每单位面积是否包含大致相同数目的细胞中心点，即预测细胞密度与所有预测汇合区域相当；和/或汇合区域内是否有明显远离细胞中心点预测的点(大于约3倍细胞直径)？如果存在这样的显著变化，则可以指示细胞的数目或汇合度或两者被错误地估计。
[0150]
作为位置空间密度的变化的替代或补充，也可以考虑汇合区域内的细胞的位置空间密度的绝对值。
[0151]
除了框3125中的这种明确的交叉合理性检查之外，还可以想到用于框3115中的数目估计的确定和框3120中的汇合度估计的确定的分析算法被联合训练，使得结果是交叉合理的或一致的。这意味着一致性可以在训练中被约束，然后对于推断隐含地存在。在框3005中进行训练，参见图2。将结合图8中的框3520描述这方面的细节。
[0152]
框3110到框3125具有实时能力。这意味着在框3105中获取图像和执行后续处理步骤之间的等待时间可以特别短，例如短于半秒或短于100ms。
[0153]
图8是一个示例性方法的流程图。图8示出了与用于评估显微镜图像的评估算法的训练相关联的方面。该评价可用于估计通过显微镜图像成像的细胞的数目和/或汇合度。作为示例，图8的方法可以由连接到显微镜或用于与其通信的一些其他成像单元的数据处理单元来执行。作为示例，图8的方法可以由设备101执行，特别是由处理器102基于处理器102从存储器103加载并执行的程序代码来执行。
[0154]
图8的方法是框3005的示例性实现。
[0155]
图8的方法是基于如下认识：产生随后用于训练ml算法的标记可能是费力的。标签通常由人工注释生成。这是耗时的并且有时是主观的。这在细胞计数和使用具有例如相位衬度的透射光记录的显微镜图像的汇合度测量的情况下可能变得非常费力。因此，提供了根据图8的用于训练的解决方案，其使得人工注释在最大可能的程度上是多余的并且得到客观结果。自动训练是可行的。
[0156]
利用用于训练的透射光和荧光对比度的适当组合，可以执行评估算法的可靠训练。为此目的，例如，使用染色细胞核的荧光标记(例如dapi，hoechst，pi)和反映细胞范围(面积)或细胞边界的另一标记。例如通过对质膜进行染色的方式是可行的。以此方式，可以自动地并且无需人工注释地从相衬图像生成用于细胞计数和确定汇合度的训练数据。特别地，自动训练是可行的。
[0157]
框3505涉及获取显微镜图像。后者包括多个通道。不同的通道每个成像具有相关对比度的多个细胞。
[0158]
不同的通道彼此对准。这意味着存在图像点的分配。也可以可选地执行对准。
[0159]
多个通道中的至少一个参考通道用于生成先验知识或标记，并且包括用于此目的的相应荧光图像。这样的荧光图像以对比度对各个荧光细胞结构特定的方式对多个细胞进行成像。在这种情况下，不同的参考通道可以具有不同的荧光对比度。例如，第一参考通道可以具有涉及被标记的细胞核的荧光对比度。第二参考通道可以具有涉及被标记的细胞骨架的荧光对比度。代替从细胞核染色(dapi，hoechst，
…
)提取，关于细胞中心点的信息也可以替代地从其它染色提取。实例：基于细胞骨架染色。在这种情况下，细胞核在染色中可辨别为“孔”。例如，对于汇合图，可以使用如下染色的荧光对比剂：肌动蛋白；微管(可能形成凸壳)；血浆染色；质膜染色(可能填充在细胞核方向上出现的节段)；或其组合。区域细胞结构因此可以在此被染色。
[0160]
荧光通道不需要精确地聚焦，因为在它们的处理期间通常仅关注“低频”信息(在传统算法的情况下，通常甚至经常实现显式低通滤波)。
[0161]
如果存在多个参考通道，则可以基于不同的参考通道来确定密度图和汇合图。可以根据相应的对比度来选择相应的参考通道。这可以自动完成。
[0162]
在每种情况下可以基于多个荧光图像来确定密度图和/或汇合图，也就是说可以联合使用多个荧光图像。实例：使用细胞骨架和细胞膜染色(例如，通过形成交集)以更稳健地确定汇合图。
[0163]
信道还包括训练信道。后者不同于一个或多个参考信道。训练信道可以例如在没有荧光对比度的情况下被捕获，也就是说例如借助于相位衬度。然而，也可以用荧光对比度捕获训练通道。训练通道包括训练显微镜图像。对应的成像模态对应于稍后在推断期间可用的成像模态(框3010)(而一个或多个参考通道的对比度在推断期间不可用)。
[0164]
存在用于框3505中采集显微镜图像的各自实现变体。作为示例，框3505可以包括控制用于捕获显微镜图像或显微镜图像的各个通道的至少一个成像设备。这可以例如通过按压例如图形用户界面上的按钮由用户主动发起。也可以加载已经存在的，先前存储的显微镜图像。用户可以手动加载显微镜图像。还可以自动捕获显微镜图像。在这种情况下，可以例如在实验期间以规则的时间间隔预定义捕获时间，或者可以自适应地定义捕获时间。例如，可以根据事件启动捕获。
[0165]
可以对显微镜图像进行预处理。例如，可以发现和校正未转殖的细胞。污染物，污垢或异物或其它图像干扰可以被识别，并且如果合适的话，可以被去除。在de 102020126554和de 102021114351中描述了相应的技术。
[0166]
例如，可以去除仅部分可见的在图像边缘处的细胞。还可以过滤部分可见细胞的几何图形，例如椭圆，以便以这种方式使得可以确定汇合图的中心点或参数。
[0167]
可选地，可以在框3506中获取来自框3505的关于显微镜图像的上下文信息。示例性上下文信息包括：早期估计；用户；细胞类型；使用的成像模式；成像装置的物镜的放大倍数；物镜类型；相机或相机适配器；显微镜设置；关于细胞几何形状或细胞外观的先验知识；关于细胞空间分布的先验知识；关于细胞亮度分布的先验知识。
[0168]
该上下文信息可以例如从显微镜图像的图像标题加载或者由用户输入。
[0169]
可以在训练算法时例如在确定真值(框3515)和/或作为进一步的训练输入(框3520)时考虑上下文信息。
[0170]
可选地，然后可以在框3510中调整显微镜图像的尺寸。特别地，图像的尺寸可以以
将预定细胞结构的尺寸对应于预定参考值的方式调整。上面已经结合图7的方框3110描述了相应的技术。
[0171]
随后，在框3515中，基于至少一个参考通道的一个或多个荧光图像来确定密度图和/或汇合图。这可以以自动的方式完成，也就是说不需要人工注释/标记。可以考虑来自框3506的上下文信息。例如，可以使用多个参考通道的组合来确定密度图和/或汇合图，这可能是有帮助的，例如如果不同的参考通道具有不同的识别互补细胞结构的荧光对比度。已经结合图4描述了与密度图95相关的方面。已经结合图6描述了与汇合图96相关的方面。
[0172]
随后，在框3520中，可以基于密度图和/或汇合图作为真值或标签来训练评估算法。训练信道用作训练的输入。训练输入还可以包括来自框3506的上下文信息。
[0173]
因此损失函数可以补偿评估算法的输出与密度图和/或汇合图之间的偏差。例如，可以考虑像素级偏差。
[0174]
如果在框3520中训练首先输出密度图然后输出汇合图的一个或多个ml算法的多个ml处理路径，也可以考虑混合两种预测的损失函数。结果可以实现数目和汇合度的一致估计。例如，可以想到使用第一ml处理路径进行细胞数目的估计，并且使用第二ml处理路径进行汇合度的估计。第一机器学习处理路径和第二ml处理路径可以是单个分析算法的一部分或者可以是不同分析算法的一部分。第一ml处理路径的训练和第二ml处理路径的训练可以基于惩罚汇合区域中细胞不存在和/或奖励汇合区域中细胞存在的损失函数。替代地或另外地，可以考虑惩罚汇合区域内的细胞的位置空间密度的变化的损失函数。
[0175]
存在用于基于一个或多个参考通道在框3515中将密度图和/或汇合图确定为先验知识的各种可能。作为示例，可以基于另一ml算法来创建密度图和/或汇合图，该另一ml算法提供从参考通道的相应荧光图像到密度图和/或到汇合图的图像到图像转换。这样的技术是基于这样的认识，即基于荧光图像确定密度图和/或汇合图可以特别稳健地进行，特别是对于不同的细胞类型也是如此。这可以通过荧光对比度相对于特定细胞结构的确定性特征来实现。因此，可以使用可靠的ml算法来基于荧光对比度确定密度图和/或来确定汇合图，其中这对于例如简单的相位衬度是不可能的，或仅在限制的方式下是可能的。
[0176]
替选地或附加地，还可以基于至少一个参考通道的荧光图像来定位细胞中心点。然后可以将预定义的密度分布集中在细胞中心点，例如具有预定义的半高全宽的高斯密度分布。然后这些密度分布的总和产生密度图。
[0177]
定位细胞中心点可以包括例如将基于阈值的分割操作应用于至少一个参考通道的荧光图像，以便以此方式获得前景掩膜。这样的阈值操作的一个示例是otsu算法。然后可以识别前景掩膜(foreground mask)的各个段。所述各个段可以各自与细胞相关联。然后可以将各个段的几何中心点确定为细胞中心点。
[0178]
可选地，可以对前景掩膜应用一个或更多个形态学操作。可以以这种方式修改前景掩膜的形态。例如，小孔可以被封闭，小岛可以被去除，等等。分割操作的伪影可以以这种方式被去除。
[0179]
可以例如通过轮廓寻找或斑点检测或椭圆拟合来确定各个段。也可以根据尺寸和/或形状来过滤各个段。平滑可能是有效的。
[0180]
特别地，可以基于关于细胞几何形状的先验知识来识别各个段。前景掩膜可以基于关于细胞几何形状的这样的先验知识来过滤。
[0181]
也可以考虑关于细胞空间分布的先验知识。例如，可以检查特定段是否根据空间分布的先验知识排列。
[0182]
替选地或附加地，还可以想到考虑关于细胞的亮度分布的先验知识。以这种方式，例如，可以基于像素值检查段是否对细胞进行成像。例如，可以基于上下文信息(参见图8，框3506)来确定这样的和另外的先验知识，或者固定地预定义这样的和另外的先验知识。
[0183]
在细胞分裂的情况下，两个细胞核可以非常靠近在一起。已经观察到，细胞核的这样的相邻排列可以不利地影响用于定位细胞中心点的算法。因此，可以有针对性地识别这样的特殊情况。例如，可以对这些段的形状进行分析：例如，如果存在与椭圆形形状有显著偏差的段，则可以将其评级为细胞分裂存在的指示，即细胞分裂事件。然后可以忽略对应的区域和/或可以启动用户查询。还可以例如通过使用期望最大化算法的优化来拟合多个椭圆。
[0184]
例如，也可以通过基于阈值的分割操作，可选地在诸如低通滤波器的上游平滑操作之后，获取汇合图。此外，可以应用形态学操作和/或过滤。
[0185]
如果例如细胞结构被染色，其从细胞核在细胞膜(例如肌动蛋白，微管)的方向上扩散，则可以实现前景掩膜的方向依赖性平滑，特别是在相对于结构的正交方向上。
[0186]
因此，细胞内的结构被平滑，但是强度没有超过细胞膜。因此，这样确定的汇合区域的边界在某些情况下甚至更准确地位于实际的细胞膜处。
[0187]
通常，在前景掩膜的过滤期间可以使用上下文信息。作为示例，可以使用关于预期细胞尺寸(以像素为单位)的知识，以便例如使平滑操作(特别是高斯核的尺寸)适应。关于细胞类型或实验类型的知识可以用于预设参数(例如，过滤器尺寸，阈值等)。关于用户的(重新)识别的知识可以用于预设参数，例如在已经进行的实验中(可能由用户校正)。
[0188]
原则上，可以想到在确定汇合图和/或密度图中考虑上下文信息。例如，关于尺寸和/或取向的先验知识可以取决于放大倍数。特定结构的预期灰度值可以从先验知识得出。
[0189]
例如，可以基于上下文信息(参见图8，框3506)来确定这样的和另外的先验知识，或者固定地预定义这样的和另外的先验知识。
[0190]
除了确定汇合图和/或密度图之外，还可以实现细胞的实例分割。例如，这可以通过将经滤波的前景掩膜直接用于生成实例分割或用作针对实例分割模型的机器学习模型的学习数据来实现。
[0191]
可选地，然后可以重复该方法，用于进一步的显微镜图像。后者可以对例如不同细胞类型的细胞进行成像。然后，框3510中的尺寸的调整可以在每种情况下使用不同的缩放因子，用于对具有不同尺寸的不同细胞类型的细胞进行成像的显微镜图像。以这种方式可以实现的是可以评估不同的细胞类型。借助于可选的重新缩放，即使相对于成像参数的变化以及不同尺寸和不同细胞类型的细胞，也可以鲁棒地训练评估算法。
[0192]
可以在公共密度图和/或多个密度图中识别不同细胞类型的细胞中心点。下面给出了能够确定细胞数目和/或汇合度的估计的技术的详细描述，其中可以考虑不同的细胞类型。这意味着可以为不同的细胞类型确定不同的估计。这些技术可以与非荧光对比成像模态如相位衬度结合。由于可以在每个检查时间检查“活细胞活力”，因此可以改善细胞培养物的质量检查。与化学物质或化合物反应的细胞生长的活-死测定或检查可以以简化的方式进行。另一个优点是，在细胞培养中，可以省去用计数室(细胞在悬浮液中)计数细胞的
步骤，因为通过计数粘附细胞获得了相同的信息。活细胞的数目对于确定合适的稀释度是重要的，例如当细胞传代时。
[0193]
图9中描述了与多类(对于多种细胞类型)基于密度的数目和/或汇合度的估计相关联的细节。
[0194]
图9是一个示例性方法的流程图。图9示出了与确定不同细胞类型的细胞的数目和/或汇合度的估计相关联的方面。作为示例，图9的方法可以由数据处理单元执行，该数据处理单元连接到显微镜以与其通信。作为示例，图9的方法可以由设备101执行，特别是由处理器102基于处理器102从存储器103加载并执行的编程代码来执行。
[0195]
图9中的方法用于推断(参见图2：框3010)细胞的数目和/或汇合度。这包括区分不同的细胞类型。图9中的方法基于一个或更多个密度图操作。已经结合图4描述了与密度图95相关的方面。
[0196]
这样的技术是基于这样的认识，即例如“活-死”分化对于细胞数目的正确测定可能是重要的，其然后用作例如稀释系列的基础。这意味着可以选择性地例如对活细胞进行评价。根据图9的处理可以在细胞培养物的定期检查期间同时进行，从而能够在变化或不规则的情况下进行早期识别。通过计数室对单独细胞计数的需要可能变得无效。
[0197]
在框3205中获取显微镜图像。框3205对应于框3105。
[0198]
在框3205中获取显微镜图像可以以各种方式实现。作为示例，在框3205中，可以控制用于获取显微镜图像的成像装置。这可以由用户主动启动，例如通过按压例如在gui中的按钮。也可以加载已经存在的，先前存储的显微镜图像。用户可以手动加载显微镜图像。还可以自动捕获显微镜图像。在这种情况下，可以例如在实验期间以规则的时间间隔预定义捕获时间，或者可以自适应地定义捕获时间。例如，可以根据事件启动捕获。
[0199]
显微镜图像可以具有透射光对比度而没有荧光编码。作为示例，显微镜图像可以具有相位对比度或相位梯度对比度(例如，通过用不同照明方向捕获的图像的组合数字地生成)、明场对比度、tie、dic等。然而，显微镜图像也可以具有荧光对比度，例如通过细胞核的染色。
[0200]
在框3210中，然后基于来自框3205的显微镜图像确定一个或更多个密度图。可选地，随后可以在框3215中在密度图中识别不同的细胞类型。在其他示例中，可以确定多个密度图，在每种情况下确定不同的细胞类型。如果确定了多个密度图，则可以可选地在框3220中将它们融合。
[0201]
一般而言，框3210因此可以关于多个细胞类型来执行。原则上，可以想到的是，框3210被迭代地多次实现，即，对于基于细胞类型之间的预定义层级从多个细胞类型中选择的不同细胞类型。例如，对于“正常”和“分离”细胞类型的细胞，可以首先执行框3210，也就是说，可以执行如上所述和下面更详细解释的密度图等的相应分离。之后，属于“分离的”细胞类型的这些细胞可以进一步分化，例如关于“死亡的”和“有丝分裂的”细胞类型。然后可以将细胞类型“死亡”进一步分成“坏死”和“凋亡”。以这种方式可以逐渐地改进结果，但是原则上相同的处理步骤可以用于许多分级级别。
[0202]
下文结合图10、图11、图12和图13讨论与确定一个或更多个密度图相关联的细节。这些都是可以结合框3210、3215和3220实现的变型。多类基于密度的细胞中心点定位的技术实现可以以各种方式进行。下面解释四种情况。基于密度的细胞中心点定位在此可以形
成公共基础。在这种情况下，对于输入图像中可见的每个细胞中心点，图像-图像模型(或图像回归模型)在输出图像中产生“小高斯钟形波”，例如，每个小钟形波的强度加起来为1。不同细胞类型之间的额外分化可以已经在该步骤中整合，或者随后或并行发生。下面结合图10至图13解释四个不同的示例。
[0203]
图10示意性地示出了用于确定对不同细胞类型的细胞的存在或不存在的概率进行编码的密度图的数据处理。图10中的场景对应于具有不同细胞类型的后续图块分类的细胞的基于细胞类型诊断密度的定位。
[0204]
首先，在步骤5005中获取显微镜图像93。步骤5005因此对应于图9的框3205。
[0205]
然后，步骤5010包括使用ml算法确定显微镜图像93的密度图95。然后在步骤5015中获取密度图95作为输出。密度图95独立于细胞类型(也就是说细胞类型未知)对细胞存在或不存在的概率进行编码。
[0206]
然后步骤5020包括确定细胞在密度图95中的位置，例如通过阈值分析或非最大抑制评估。这使得可以避免另外的细胞位于细胞周围的区域中。
[0207]
在步骤5020中，然后还可以基于所确定的细胞位置来确定图像摘录，即所谓的图块。对于这些图像摘录中的每一个，可以基于显微镜图像对细胞进行分类。可以以这种方式确定各个细胞类型。在步骤5025中，在密度图95中识别以这种方式确定的细胞类型。基于密度图95和该识别，可以对每个细胞类型进行数目和/或汇合度的估计。
[0208]
ml算法可用于步骤5020中的分类。所述算法可以基于图像摘录和人工注释被适当地训练。
[0209]
图11示意性地示出了用于确定两个密度图95-1，95-2的数据处理，其中每个密度图都对存在或不存在相应细胞类型的细胞的概率进行编码。图11中的场景对应于具有用于不同细胞类型的单独通道的细胞的多类基于密度的定位。
[0210]
首先，在步骤5105中获取显微镜图像93。因此，步骤5105对应于图10的步骤5005或图9的框3205。
[0211]
然后，步骤5110包括使用ml算法确定多个密度图95-1，95-2。基于在步骤5115中作为输出获得的所述多个密度图95-1，95-2，然后可以确定各个细胞的数目和/或汇合度的估计。
[0212]
两个密度图95-1、95-2可以彼此比较。特别地，可以确定细胞中心点是否位于两个密度图95-1、95-2中的特定位置。这将指示处理错误。以此方式，通过空间分辨的比较，两个密度图95-1、95-2的合理性检查因此成为可能。
[0213]
可选地，可以想到将两个密度图95-1、95-2融合，以便以此方式获得聚合密度图(也参见图12和图13)，其通过不同的值范围对不同细胞类型的细胞的存在或不存在进行编码。因此，可以将不同的单独密度图95-1、95-2的值映射到聚合密度图的不同值范围上。然后可以基于聚合密度图确定细胞的数目和/或汇合度的估计。这可以提供紧凑数据处理的优点。
[0214]
在图11的场景中，在步骤5110中使用单个机器学习算法来确定密度图95-1、95-2。该ml算法包括分配给不同细胞类型的多个处理路径。
[0215]
作为一般规则，存在实现不同处理路径的多种可能性。作为示例，在一个变体中，多个处理路径可以具有公共的编码分支(其导致特征向量在位置空间中朝向具有输入图像
的潜在表示的瓶颈的收缩)和解码分支(其导致特征向量在位置空间中远离瓶颈的扩展)，且仅具有不同的输出通道。也就是说，处理可以仅在ann的最后一层中不同。然而，多个处理路径也可以具有公共编码分支和单独的解码分支——其可以包括多个层。作为示例，对于每个处理分支可以有不同的头。在一些示例中，甚至可以想到针对不同的密度图95-1，95-2(图11中未示出)使用完全分开的ml算法。
[0216]
为不同的细胞类别生成单独的密度图95-1、95-2使得可以避免相互影响——例如，由于因在与其他细胞类型相关联的值范围中排列的不同值的叠加。
[0217]
图12示意性地示出了用于确定密度图95的数据处理，密度图95对相应细胞类型的细胞的存在或不存在的概率进行编码。图12中的场景对应于多个细胞类型的细胞的基于密度的定位，其中根据不同的细胞类型划分密度图95的值范围。
[0218]
首先，在步骤5205中获取显微镜图像93。因此，步骤5205对应于图11和图10的步骤5105和5005，或图9的框3205。
[0219]
然后在步骤5210中通过ml算法确定在步骤5215中获取的聚合密度图95。
[0220]
对于每个细胞类型(在图12中示出了两种细胞类型)，聚合密度图通过相应的值范围对相应细胞存在或不存在的概率进行编码。在图12的示例中，在来自步骤5215的聚合密度图95中用白色和黑色对比度表示两个值范围。
[0221]
基于该聚合密度图，可以为多种细胞类型中的每一种确定相应细胞的数目和/或汇合度的估计。
[0222]
例如，可以用值范围[0，1]中的密度分布对活细胞进行编码，和/或可以用值范围[－1，0]中的密度分布对与其相反的细胞进行编码。对于值0，这将意味着在那里没有发现细胞。这些值范围仅仅是示例。作为示例，也可以使用第一细胞类型[0，0.5]和第二细胞类型[0.5，1]的值范围。
[0223]
这样的变型的优点在于，后处理可以特别地更紧凑地进行，因为仅使用单个密度图95。
[0224]
图13示意性地示出了用于确定密度图95的数据处理，密度图95通过使用多个值范围对多个细胞类型的细胞的存在或不存在的概率进行编码。因此，图13中的场景对应于多种细胞类型的细胞的基于密度的定位。在这种情况下，分别进行细胞类型和细胞存在的建模。
[0225]
首先，在步骤5305中获取显微镜图像93。因此，步骤5305在每种情况下对应于图10、图11和图12的步骤5005、5105和5205，或图9的框3205。
[0226]
然后，在步骤5310、5315和5320中，首先确定密度图95，其独立于细胞类型对细胞存在或不存在的概率(即，输出细胞样性质，而不解析特定细胞类型)进行编码；其次，基于显微镜图像93确定细胞的细胞类型。为此，使用两个不同的ml处理路径，这两个处理路径可以至少部分重叠。在图13的示例中，然后获取细胞类型图99，其在每种情况下在细胞位置处对相应的细胞类型进行编码。
[0227]
细胞类型图99可以可选地在位置空间中被平滑。
[0228]
然后可以识别密度图中的细胞类型，由此获得对细胞的位置和细胞类型二者进行编码的聚合密度图95。
[0229]
基于步骤5021中的该聚合密度图95，对应于图12的步骤5215，可以确定数目和/或
汇合度的估计。
[0230]
从图13中明显看出，步骤5315中ml算法的输出在步骤5325中提供密度图95，该密度图95为多个细胞类型提供位于相同值范围内的密度图值(在图13中，所有细胞用白色对比度编码)。例如，相应的ml处理路径可以具有将用于多个细胞类型的细胞的ml处理路径的不同激活映射到该相同值范围上的层。可以使用限定值范围的relu/sigmoid函数。其结果是不能产生具有负偏移的密度分布。因此，处理路径被限制为独立于各个细胞类型预测正密度分布。
[0231]
相比之下，步骤5320中ml处理路径的输出为多个细胞类型提供不同的离散值(在图13中，这些离散值分别用白色和黑色编码)。这些不同的离散值可以用作乘法器，密度图95中的细胞类型通过密度图与乘法器的相乘来识别。然而，也可以想到其它类型的融合。因此，细胞类型图99的处理路径的输出不旨在能够预测连续值(也就是说，例如密度分布)——而是可以用作例如乘法器的离散值。乘法器可以具有不同的符号，但是具有相同的幅度，例如 1、－1。这可以通过在输出层的下游或作为输出层应用相应的函数来实现。这可以是tanh函数或具有在[－1，1]之间的值范围的heaviside函数。目的是仅确定符号(即，与和细胞类型相关的类别的关联)，而不是对密度分布建模。在heaviside函数的情况下，可以在ml处理路径的训练期间将噪声施加到输出值。
[0232]
图13示出了其中两种细胞类型被区分的场景——例如将活细胞与死细胞区分。如果存在多个细胞类型，则也可以分级地实现分类。例如，首先分级级别“正常”对“脱落”，然后将“脱落”分成“死亡”对“有丝分裂”，然后将“死亡”分成“坏死”对“凋亡”。在某些情况下，有丝分裂也可以被分成单独的阶段。
[0233]
步骤5310、5315、5320中的相应处理路径中的期望输出可以在训练期间受“深度监督”约束。在这种情况下，损耗函数被引入期望的中间输出。具体而言，对于类细胞的性质——即步骤5315中的处理路径——这意味着密度图被生成作为现有知识(在图8的框3515中)，其仅示出了正密度分布(即独立于类)。该密度图与处理路径的输出之间的损耗可以如图10中那样计算，并且作为附加因素影响优化。因此，在训练中，可以将处理路径明确地约束为独立于类地为每个细胞中心点生成偏移(excursion)。这隐含地意味着对于步骤5325中的另一处理路径，只有符号针对它“被留下”。
[0234]
图13说明两个处理路径部分分离的示例。原则上，可以使用两个完全分离的ml算法。然而，也可以使用具有部分分离的处理路径的ml算法，例如分离的输出层和可能的解码部分。还可以使用具有符号的模型作为注意机制(也就是说，由于ml算法的设计，仅一个输出层和分离隐含)。
[0235]
通过根据图13的数据处理，可以使处理路径的特别紧凑的实现方式成为可能。然而，可以获得明确的预测；可以避免例如图12中的叠加。密度图95对于细胞类型是不可知的，因此可以针对不同的细胞类型联合地训练。不需要用于细胞定位的特定处理路径。结果，可以降低一个或更多个ml算法的复杂度。可以减少运行时间，并且可以增加通用性。
[0236]
图14示意性地示出了用于基于显微镜图像确定细胞数目的估计和汇合度的估计的数据处理。图14可以实现例如图7的方法。
[0237]
首先，在步骤4005中获取显微镜图像。例如，所述显微镜图像可以具有相位衬度。在图14中，识别了细胞，其中细胞具有例如先前未定义且取决于目标选择的平均直径。
[0238]
在步骤4010中，然后确定缩放因子，其例如在所示示例中将是0.23。这意味着可以通过调整在步骤4015中获取的原始显微镜图像的尺寸(减小到原始尺寸的大约四分之一)来确定重新缩放的显微镜图像。上面已经结合方框3110描述了相应的技术。例如，可以使用ml算法，或者可以通过试探法来测量平均细胞尺寸或细胞结构尺寸——取决于用于实现归一化的内容。
[0239]
随后在步骤4020中确定细胞数目的估计。在这种情况下，在图14中，在每种情况下在显微镜图像中标记细胞中心点(其被再次缩放回原始尺寸)。例如可以从密度图(参见图4中的密度图96)确定细胞中心点，其中，密度图用于确定细胞数目的估计。密度图可以例如通过合适的人工神经网络基于重新缩放的显微镜图像来确定。如果对多种细胞类型进行成像，则可以使用根据图9至图13的技术。
[0240]
在步骤4025中确定汇合度的估计。在这种情况下，图14示出了汇合区域如何叠加在显微镜图像上(再次缩放回到其原始尺寸)。可以使用汇合图(参见图6，其中讨论了汇合图96)确定汇合度的估计。也可以使用密度图确定汇合度。
[0241]
在步骤4030中，可以向用户输出细胞数目的估计和汇合度的估计。
[0242]
图15示意性地示出了用于训练机器学习算法的数据处理，该机器学习算法可以用于估计细胞的汇合度和/或数目。例如，可以训练可以在图14中的步骤4020和步骤4025中使用的ml评估算法。根据图15的数据处理可以实现例如图8的方法。
[0243]
首先，步骤4105包括捕获在步骤4110中获取的具有多个通道的显微镜图像。这对应于图8的框3505。
[0244]
作为示例，在所示的场景中，获取了具有三个通道的显微镜图像，即相位衬度(顶部右侧)，标记dna的荧光对比度(中间)和标记细胞骨架的另一荧光对比度(底部右侧)。荧光对比度是所谓的参考通道，因为这些通常仅在训练期间可用，并且用于确定现有知识。作为一般规则，突出显示细胞的区域结构的这种荧光对比度可以适用于确定汇合图。示例将是例如标记细胞骨架或细胞膜的荧光对比度。
[0245]
相位衬度或宽场对比度或非荧光对比度通常可以用于训练信道。
[0246]
然后，步骤4115包括确定密度图形式的先验知识。例如，另一ml算法可以用于此目的。也可以使用阈值操作，例如后面跟着一个或更多个形态操作。图15示出了基于标记dna或细胞核的荧光对比度确定密度图形式的先验知识，即基于显微镜图像的相应参考通道。
[0247]
此外，步骤4120涉及以汇合图的形式确定先验知识。同样，ml算法可以用于此目的。也可以使用阈值操作，例如后面是一个或更多个形态操作。图15示出了基于标记细胞骨架的荧光对比度确定汇合图形式的现有知识，即基于显微镜图像的相应参考通道。
[0248]
结果，在每种情况下在步骤4125和步骤4130中获取训练数据。在步骤4125中获取的训练数据包括作为训练显微镜图像的来自步骤4110的显微镜图像的相位衬度通道和作为先验知识的来自步骤4115的密度图。在步骤4130中获取的训练数据又包括作为训练显微镜图像的来自步骤4110的显微镜图像的相位衬度通道和作为先验知识的来自步骤4120的密度图。
[0249]
然后可以训练相应的ml算法，使得它们分别预测密度图或汇合图。可以预先调整尺寸，使得特定细胞结构具有根据预定义参考值的尺寸。
[0250]
用于确定密度图和汇合图的ml处理路径和算法的训练可以以耦合的方式执行。可
以考虑促进一致结果的损失函数(例如汇合区域中的细胞核和汇合区域中细胞密度的低变化)。
[0251]
总之，描述了至少以下示例：
[0252]
示例1.一种计算机实现的方法，包括：
[0253]
获取(3105)对多样细胞成像的光显微镜图像(91，92)，
[0254]
调整(3110)所述光显微镜图像(91，92)的尺寸，使得所述多样细胞的预定义细胞结构的尺寸对应于预定义参考值，以及
[0255]
在调整(3110)所述尺寸之后：基于所述光显微镜图像(91，92)确定(3115，3120)所述细胞的数目和/或汇合度的估计。
[0256]
示例2.根据示例1的计算机实现的方法，还包括：
[0257]
使用第一机器学习算法，所述第一机器学习算法通过基于所述光显微镜图像(91，92)的图像到图像转换来调整所述光显微镜图像(91，92)的尺寸。
[0258]
示例3.根据示例1的计算机实现的方法，还包括：
[0259]
使用第一机器学习算法，所述第一机器学习算法通过基于所述光显微镜图像(91，92)的图像到标量转换来确定用于调整尺寸的缩放因子。
[0260]
示例4.根据示例3所述的计算机实现的方法，
[0261]
其中，所述第一机器学习算法获取所述光显微镜图像的多个图像摘录，并且其中，基于与所述光显微镜图像的所述多个图像摘录相关的求平均来确定所述缩放因子。
[0262]
示例5.根据示例1的计算机实现的方法，还包括：
[0263]
在所述光显微镜图像(91，92)中定位所述细胞结构，
[0264]
基于所述定位，确定所述光显微镜图像(91，92)中的细胞结构的平均尺寸，以及
[0265]
基于所述平均尺寸与所述预定义参考值的比率来确定用于调整所述尺寸的缩放因子。
[0266]
示例6.根据示例5所述的计算机实现的方法，
[0267]
其中，针对所述光显微镜图像的多个图像摘录执行对所述细胞结构的定位和对所述平均尺寸的确定，并且基于与所述光显微镜图像的多个图像摘录相关的求平均来确定所述平均尺寸。
[0268]
示例7.根据前述示例中任一项所述的计算机实现的方法，还包括：
[0269]
执行与对所述光显微镜图像的尺寸的调整相关联的缩放因子的合理性检查。
[0270]
示例8.根据示例7所述的计算机实现的方法，
[0271]
其中，所述合理性检查是根据所述缩放因子的置信水平来执行的。
[0272]
示例9.根据前述示例中任一项所述的计算机实现的方法，
[0273]
其中，以多次迭代的方式执行对所述光显微镜图像的尺寸的调整。
[0274]
示例10.根据示例9所述的计算机实现的方法，
[0275]
其中，以多次迭代的方式实现对所述光显微镜图像的尺寸的调整，直到与对所述光显微镜图像的尺寸的调整相关联的缩放因子的合理性检查成功。
[0276]
示例11.根据前述示例中任一项所述的计算机实现的方法，
[0277]
其中，所述多样细胞具有不同尺寸的多种细胞类型，
[0278]
其中，对所述光显微镜图像(91，92)的尺寸的调整还包括：
[0279]
针对每个细胞类型：确定所述光显微镜图像(91，92)的相关联的实例，并且调整所述光显微镜图像(91，92)的相应实例的尺寸，所述相应细胞类型的预定义细胞结构的尺寸对应于所述预定义参考值，由此获取所述光显微镜图像(91，92)的相应经重新缩放的实例，其中，基于所述光显微镜图像的经重新缩放的实例来执行对所述细胞的数目和/或汇合度的估计的确定。
[0280]
示例12.根据示例11所述的计算机实现的方法，其中，所述方法还包括：
[0281]
每种情况下的实例对应于其中对应细胞类型占主导的光显微镜图像的分区。
[0282]
示例13.根据示例12所述的计算机实现的方法，
[0283]
其中，使用无监督的对象识别算法以定位所述多种细胞类型的细胞。
[0284]
示例14.一种计算机实现的方法，包括：
[0285]
获取(3105)对多样细胞成像的光显微镜图像(91，92)，
[0286]
基于所述光显微镜图像确定(3115，3120)细胞的数目的估计和细胞的汇合度的估计，
[0287]
执行(3125)对细胞的数目的估计和细胞的汇合度的估计的交叉合理性检查。
[0288]
示例15.根据示例14所述的计算机实现的方法，
[0289]
其中，所述交叉合理性检查包括与在每种情况下细胞是否排列在汇合区域中有关的检查。
[0290]
示例16.根据示例14或15所述的计算机实现的方法，
[0291]
其中，所述交叉合理性检查包括确定汇合区域内细胞的位置空间密度的绝对值和/或变化。
[0292]
示例17.根据前述示例中任一项所述的计算机实现的方法，
[0293]
其中，使用至少一个第二机器学习算法的第一机器学习处理路径来确定细胞的数目的估计，
[0294]
其中，使用所述至少一个第二机器学习算法的第二机器学习处理路径来确定细胞的汇合度的估计，
[0295]
其中，基于损失函数对所述至少一个第二机器学习算法的所述第一机器学习处理路径和所述至少一个第二机器学习算法的所述第二机器学习处理路径进行训练，所述损失函数惩罚汇合区域中细胞的不存在和/或奖励汇合区域中细胞的存在。
[0296]
示例18.根据前述示例中任一项所述的计算机实现的方法，
[0297]
其中，使用至少一个第二机器学习算法的第一机器学习处理路径来确定细胞的数目的估计，
[0298]
其中，使用所述至少一个第二机器学习算法的第二机器学习处理路径来确定细胞的汇合度的估计，
[0299]
其中，基于损失函数对所述至少一个第二机器学习算法的所述第一机器学习处理路径和所述至少一个第二机器学习算法的所述第二机器学习处理路径进行训练，所述损失函数惩罚汇合区域内细胞的位置空间密度的变化。
[0300]
示例19.根据前述示例中任一项所述的计算机实现的方法，
[0301]
其中，使用第二机器学习算法确定所述细胞的数目的估计，
[0302]
其中，所述第二机器学习算法基于所述光显微镜图像提供密度图(95)，其中，所述
密度图(95)对细胞存在或不存在的概率进行编码，其中，基于所述密度图(95)确定细胞的数目。
[0303]
示例20.根据前述示例中任一项所述的计算机实现的方法，
[0304]
其中，使用第二机器学习算法确定所述细胞的汇合度的估计，
[0305]
其中，所述第二机器学习算法基于所述光显微镜图像(91，92)提供汇合图(96)，其中，所述汇合图(96)掩蔽汇合区域，其中，基于汇合图(96)来确定所述汇合度。
[0306]
示例21.根据前述示例中任一项所述的计算机实现的方法，其中，所述方法还包括：
[0307]
将所述光显微镜图像(91，92)与所述细胞的数目和/或汇合度的估计一起显示，并且显示作为多个显微镜图像的图像序列的一部分。
[0308]
示例22.根据前述示例中任一项所述的计算机实现的方法，其中，所述方法还包括：
[0309]
在调整所述尺寸之前以其原始尺寸显示所述光显微镜图像(91，92)。
[0310]
示例23.根据前述示例中任一项所述的计算机实现的方法，其中，所述方法还包括：
[0311]
基于捕获所述光显微镜图像(91，92)的成像装置(111，112)的操作模式或所述光显微镜图像(91，92)的成像模态中的至少一个，可选地激活所述细胞的数目的估计和/或所述细胞的汇合度的估计。
[0312]
示例24.根据前述示例中任一项所述的计算机实现的方法，其中，所述方法还包括：
[0313]
可选地根据细胞的数目和/或汇合度的估计启动显微镜测量的至少一个动作。
[0314]
示例25.根据示例24所述的计算机实现的方法，
[0315]
其中，所述显微镜测量的所述至少一个动作包括：对所述多样细胞成像的一个或更多个另外的光显微镜图像的图像捕获。
[0316]
示例26.根据示例24或25所述的计算机实现的方法，
[0317]
其中，所述至少一个动作包括：基于所述数目和/或所述汇合度的估计的分析操作，其中，分析操作可选地选自以下组：纵向分析；总数目估计；细胞周期分析；细胞生长分析。
[0318]
示例27.根据前述示例中任一项所述的计算机实现的方法，还包括：
[0319]
确定另外的光显微镜图像中的细胞的数目的估计，
[0320]
如果细胞的数目的估计低于预定义阈值：丢弃所述另外的光显微镜图像，
[0321]
其中，所述光显微镜图像是响应于所述另外的光显微镜图像的丢弃而获取的。
[0322]
示例28.根据前述示例中任一项所述的计算机实现的方法，还包括：
[0323]
从具有不同对比度的多个光显微镜图像中选择所述光显微镜图像。
[0324]
示例29.根据前述示例中任一项所述的计算机实现的方法，
[0325]
其中，通过单个算法来执行调整所述光显微镜图像(91，92)的尺寸和确定细胞的数目和/或汇合度的估计。
[0326]
示例30.一种设备(101)，包括被配置成执行以下步骤的处理器(120)：
[0327]
获取(3105)对多样细胞成像的光显微镜图像(91，92)，
[0328]
调整(3110)所述光显微镜图像(91，92)的尺寸，使得预定义的细胞结构的尺寸对应于预定义的参考值，以及
[0329]
在调整(3110)所述尺寸之后：基于所述光显微镜图像(91，92)确定(3115，3120)所述细胞的数目和/或汇合度的估计。
[0330]
示例31.根据示例30所述的设备(101)，其中，所述处理器被配置成执行根据示例1所述的方法。
[0331]
示例32.一种设备(101)，包括被配置成执行以下步骤的处理器(120)：
[0332]
获取(3105)对多样细胞成像的光显微镜图像(91，92)，
[0333]
基于所述光显微镜图像确定(3115，3120)细胞的数目的估计和细胞的汇合度的估计，
[0334]
执行(3125)对细胞数目的估计和细胞的汇合度的估计的交叉合理性检查。
[0335]
示例33.根据示例32所述的设备，其中，所述处理器被配置成执行根据示例14所述的方法。
[0336]
无需置言，上述本发明各方面以及各实施例的特征可以互相结合。具体地，这些特征不仅可以上述结合方式运用，还可以其它结合方式甚或单独运用，而不会背离本发明的范围。