分辨率增强成像的制作方法

本公开总体上涉及用于分辨率增强成像的方法和系统，并且更具体地涉及用于为生物测定应用(例如，核酸检测和测序应用)执行分辨率增强成像的方法和系统。

背景技术：

1、用于光学检查和基因组测序的高性能成像系统被设计成最大限度地提高成像通量、信噪比(snr)、图像分辨率和图像对比度，这些是许多成像应用的关键品质因数。例如，在基因组测序中，高分辨率成像使得能够在流动池表面上使用克隆扩增的核酸分子的更高堆积密度，这反过来又可以实现更高通量的测序(就每个测序反应周期调用的碱基数量而言)。然而，当尝试增加成像通量同时尝试提高在较高放大倍率下解析小图像特征的能力时可能出现的问题是可用于成像的光子数量减少。例如，在基于荧光成像的测序中，当荧光团用于标记与流动池表面相连的核酸分子时，高分辨率成像实际上可以减少流动池表面区域(例如，特征)中存在的被成像的荧光团总数，从而导致产生更少的光子。尽管可以例如通过在较长时间段上积分来采集可接受的图像(例如，具有足够的信噪比来解析感兴趣的特征的图像)来解决该问题，但是该方法可能对图像数据采集速率、成像通量和整体测序反应周期时间具有不利影响。

2、常规成像系统的图像分辨率因为衍射而被限制为由面向物体的成像光学器件的有效数值孔径(na)和被成像的光的波长决定的值。近年来，开发出了一些成像技术(例如，受激发射耗尽显微术(sted)、光激活定位显微术(palm)、随机光学重建显微术(storm)、可逆饱和光学荧光跃迁显微术(resolft)等)，所述成像技术可用于采集超过衍射受限图像分辨率的图像。然而，这些方法通常具有较低的成像通量(并且在许多情况下需要专门的荧光团)，因此排除了它们在高速成像应用中的使用。

3、可用于采集图像分辨率更适度但仍显著增加的图像的其他成像技术(例如，共焦显微术、结构化照明显微术(sim)和图像扫描显微术(ism))利用图案化照明。然而，鉴于所获得的分辨率的适度增加(例如，由于在共焦显微术的情况下使用针孔孔隙作为空间滤波器)，这些技术要么遭受信号的显著损失，要么需要采集多个图像并随后对分辨率增强图像进行计算重建(从而显著增加图像采集时间、成像系统复杂性以及结构化照明显微术(sim)和图像扫描显微术(ism)的计算开销)。必须采集多个图像通常还会具有不良影响，即，每次图像采集时都会累积读取噪声(或数字化噪声)。

4、时间延迟和积分(tdi)成像通过将图像形成信号累积到二维固定传感器像素阵列上来实现高通量成像与高snr的组合，在被成像的物体相对于成像系统移动或反之亦然时，所述二维固定传感器像素阵列使所采集的图像信号与所述物体的运动同步地从像素阵列中的一个像素行移位到下一行。与常规成像系统的情况一样，tdi成像系统的图像分辨率是衍射受限的。因此，仍然需要能够进行高通量成像同时保持高图像分辨率、高snr和高图像对比度的成像系统。

技术实现思路

1、本文公开了将以下各项组合的系统和方法：(i)使用第一光学变换来产生被引导到被成像物体的图案化照明，使得由所述物体反射、透射、散射或发射的光包括关于所述物体的原本不会获得的高分辨率空间信息；以及(ii)使用第二光学变换，所述第二光学变换在时间延迟和积分(tdl)图像传感器处生成分辨率增强的光学图像，所述分辨率增强的光学图像包括由于所述图案化照明而包含在所述光中的所述高分辨率信息的全部或一部分。可以采集所得的分辨率增强的图像，而无需改变用于产生第一光学变换和第二光学变换的光学变换装置的配置、位置或取向，无需进行额外的数字处理，或者在一些情况下，使用与常规的分辨率增强成像方法相比计算复杂度大幅降低的数字处理。所有这些因素都有助于成像系统的简单性和高通量。

2、在一个示例性实现方式中，所公开的系统和方法利用光学光子重新分配(opra)与时间延迟和积分(tdi)成像的新颖组合来提供物体的高通量和高信噪比(snr)图像，同时还提供增强的图像分辨率。所公开的系统和方法提供了增强的图像分辨率而不会损害成像通量和高snr，这是通过将无源光学变换装置并入到成像系统的照明和检测光学路径两者中使用tdi成像来实现。在一些实施方案中，与使用缺少一个或多个无源光学变换装置的在其他方面相同的成像系统采集的图像相比，本文描述的系统和方法提供增强的图像分辨率(例如，增强的原始图像分辨率)。在一些实施方案中，在单次扫描中获得分辨率增强的图像，而不需要采集或重新组合多个图像。在一些实施方案中，需要很少数字处理或不需要数字处理就能产生分辨率增强的图像。

3、在一些实施方案中，本文提供的系统和方法可以是独立的系统或者可以并入到预先存在的成像系统中。在一些实施方案中，成像系统可用于对例如生物分析物、非生物分析物、合成分析物、细胞、组织样品或其任何组合进行成像。

4、本文公开了成像系统，所述成像系统包括：成像装置，所述成像装置包括：照明单元，所述照明单元包括光学耦合到第一光学变换装置的辐射源，其中所述第一光学变换装置对从所述辐射源接收到的光束应用第一光学变换以生成照明图案，所述照明图案被引导到物体的对应区域；投影单元，所述投影单元接收由所述物体反射、透射、散射或发射的光并将它引导到检测单元，其中所述投影单元被配置为在限定的传播角范围内接受所述光；检测单元，所述检测单元包括一个或多个图像传感器，所述一个或多个图像传感器被配置用于时间延迟和积分(tdi)成像并且光学耦合到第二光学变换装置，其中所述第二光学变换装置对从所述投影单元接收到的光应用第二光学变换；其中通过所述第一光学变换生成的所述照明图案致使被所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的所述投影单元接受的所述光中；并且其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及致动器，所述致动器被配置为在扫描所述物体的全部或一部分期间产生所述成像装置与所述物体之间的相对移动，其中所述相对移动与所述时间延迟和积分(tdi)成像同步，使得所述一个或多个图像传感器采集所述物体的全部或一部分的扫描图像。

5、在一些实施方案中，所述照明图案包括多个光强度最大值，并且所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。

6、在一些实施方案中，由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。在一些实施方案中，由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过衍射受限空间分辨率的横向空间分辨率。

7、在一些实施方案中，由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(snr)相比增加的信噪比(snr)。

8、在一些实施方案中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。

9、在一些实施方案中，所述第一光学变换装置包括选自由微透镜阵列(mla)、衍射光学元件、数字微镜装置(dmd)、相位掩模、振幅掩模、空间光调制器(slm)和针孔阵列组成的组中的一个或多个部件。在一些实施方案中，所述第二光学变换装置包括选自由微透镜阵列(mla)、衍射光学元件、数字微镜装置(dmd)、相位掩模、振幅掩模、空间光调制器(slm)和针孔阵列组成的组中的一个或多个部件。

10、在一些实施方案中，所述成像系统仅包括在成像期间其位置、相对取向和光学性质保持静态的部件，但以下各者除外：(i)被配置为产生所述成像装置与所述物体之间的相对运动的所述致动器；以及(ii)自动聚焦系统的部件。

11、在一些实施方案中，所述第二光学变换装置是无损光学变换装置。在一些实施方案中，从所述投影单元接收到的进入所述第二光学变换装置的所述光的至少40％、50％、60％、70％、80％、90％、95％或99％到达所述一个或多个图像传感器。

12、在一些实施方案中，所述致动器还包括可移动台，所述可移动台机械地联接到所述物体以支撑所述物体、使所述物体相对于所述成像装置旋转、或相对于所述成像装置平移所述物体、或其任何组合。

13、在一些实施方案中，所述辐射源包括相干源、部分相干源、非相干源或其任何组合。

14、在一些实施方案中，所述一个或多个图像传感器包括一个或多个时间延迟和积分(tdi)相机，或包括图像采集的tdi模式的一个或多个相机，并且其中所述成像装置与所述物体之间的所述相对移动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。

15、在一些实施方案中，在扫描期间对被引导到所述物体的照明图案光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。在一些实施方案中，所述照明图案中的所述多个光强度最大值中的任两个之间的间隔距离是对应的强度峰值分布的半高全宽(fwhm)的至少1倍至100倍。

16、在一些实施方案中，所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(mla)，并且其中所述微透镜阵列(mla)包括两个或更多个微透镜的规则排列。在一些实施方案中，所述第二光学变换装置包括微透镜阵列，并且其中所述照明图案中的所述多个光强度最大值与所述微透镜阵列中的微透镜之间存在1:1对应。在一些实施方案中，所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。在一些实施方案中，所述规则排列是六边形图案。在一些实施方案中，所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。在一些实施方案中，所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。在一些实施方案中，所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。

17、在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。在一些实施方案中，所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。在一些实施方案中，通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。

18、在一些实施方案中，所述成像装置被配置为执行荧光成像，并且其中所述照明单元被配置为提供处于两个或更多个激发波长的激发光。在一些实施方案中，所述成像装置被配置为执行荧光成像，并且其中所述检测单元被配置为检测处于两个或更多个发射波长的荧光。

19、在一些实施方案中，所述成像系统还包括同步单元，所述同步单元被配置为控制所述成像装置与所述物体的所述相对移动与所述一个或多个图像传感器的所述时间延迟积分(tdi)的同步。

20、在一些实施方案中，所述物体包括用于执行核酸测序的流动池或基片。在一些实施方案中，所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。

21、在一些实施方案中，所述第二光学变换装置不是衍射光栅。在一些实施方案中，所述成像系统还包括补偿器，所述补偿器被配置为校正所述第二光学变换装置的非平面度。在一些实施方案中，所述成像系统还包括位于所述一个或多个图像传感器上或前面的一个或多个针孔孔隙阵列，其中所述针孔孔隙阵列被配置为减少所述成像系统的点扩散函数中的伪影。

22、本文还公开了对物体成像的方法，所述方法包括：用光束照射第一光学变换装置，其中所述第一光学变换装置被配置为对所述光束应用第一光学变换以产生照明图案，所述照明图案通过投影单元的面向物体的光学部件投影到所述物体上；将由所述物体反射、透射、散射或发射并且由所述投影单元的所述面向物体的光学部件接受的光引导到第二光学变换装置，其中所述第二光学变换装置被配置为对由所述投影单元接受的所述光应用第二光学变换并且将它中继到被配置用于时间延迟和积分(tdi)成像的一个或多个图像传感器；其中通过所述第一光学变换产生的所述照明图案致使由所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的投影单元接受的所述光中；并且其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及相对于所述面向物体的光学部件扫描所述物体或相对于所述物体扫描所述面向物体的光学部件，其中在所述扫描期间所述物体与所述面向物体的光学部件的相对运动与所述时间延迟和积分(tdi)成像同步，使得所述一个或多个图像传感器中的每一个采集所述物体的全部或一部分的扫描图像。

23、在一些实施方案中，所述照明图案包括多个光强度最大值，并且所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。

24、在一些实施方案中，由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。

25、在一些实施方案中，由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(snr)相比增加的信噪比(snr)。

26、在一些实施方案中，所述投影单元接受的所述光无显著损耗地通过所述第二光学变换装置。在一些实施方案中，所述投影单元接受的通过所述第二光学变换装置的所述光是所述投影单元接受的到达所述第二光学变换装置的所述光的至少30％、40％、50％、60％、70％、80％、90％、95％、98％或99％。

27、在一些实施方案中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，并且其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。

28、在一些实施方案中，所述第一光学变换装置包括选自由微透镜阵列(mla)、衍射光学元件、数字微镜装置(dmd)、相位掩模、振幅掩模、空间光调制器(slm)和针孔阵列组成的组中的一个或多个部件。在一些实施方案中，所述第二光学变换装置包括选自由微透镜阵列(mla)、衍射光学元件、数字微镜装置(dmd)、相位掩模、振幅掩模、空间光调制器(slm)和针孔阵列组成的组中的一个或多个部件。

29、在一些实施方案中，用于执行所述方法的成像系统仅包括在成像期间保持静态的部件，但以下各者除外：(i)被配置为产生所述成像系统与所述物体之间的相对运动的致动器；以及(ii)自动聚焦系统的部件。

30、在一些实施方案中，所述投影单元接收的并且进入所述第二光学变换装置的所述光的至少40％、50％、60％、70％、80％、90％、95％或99％到达所述一个或多个图像传感器。

31、在一些实施方案中，所述一个或多个图像传感器包括一个或多个时间延迟和积分(tdi)相机，或包括图像采集的tdi模式的一个或多个相机，并且其中所述面向物体的光学部件与所述物体之间的所述相对运动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。

32、在一些实施方案中，在扫描期间对被引导到所述物体的照明图案光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。在一些实施方案中，所述照明图案中的所述多个光强度最大值中的任两个光强度最大值之间的间隔距离是对应的强度峰值分布的半高全宽(fwhm)的至少1倍至100倍。

33、在一些实施方案中，所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(mla)，并且其中所述微透镜阵列(mla)包括两个或更多个微透镜的规则排列。在一些实施方案中，所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。在一些实施方案中，所述规则排列是六边形图案。在一些实施方案中，所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。在一些实施方案中，所述规则排列是交错的。在一些实施方案中，所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。在一些实施方案中，所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。

34、在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。在一些实施方案中，所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。在一些实施方案中，通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。

35、在一些实施方案中，所述一个或多个图像传感器包括一个或多个时间延迟和积分(tdi)相机、电荷耦合装置(ccd)相机、互补金属氧化物半导体(cmos)相机或单光子雪崩二极管(spad)阵列。

36、在一些实施方案中，所述扫描图像包括荧光图像，并且其中照明步骤包括提供处于两个或更多个激发波长的激发光。在一些实施方案中，所述扫描图像包括荧光图像，并且其中所述一个或多个图像传感器被配置为检测处于两个或更多个发射波长的荧光。

37、在一些实施方案中，所述物体包括用于执行核酸测序的流动池或基片。在一些实施方案中，所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。

38、以引用的方式并入

39、本说明书中提到的所有出版物、专利和专利申请通过引用整体并入本文，其程度如同每个单独出版物、专利或专利申请具体地和单独地被指示为以引用的方式整体并入。如果本文中的术语与并入的参考文献中的术语发生冲突，则以本文中的术语为准。