一种荧光显微镜超分辨率图像重建方法及系统

本发明涉及图像重建，更具体地，涉及一种荧光显微镜超分辨率图像重建方法及系统。

背景技术：

1、荧光显微技术是一种通过捕捉生物过程的空间或时空信息而在生命科学中发挥重要作用的荧光显微技术。它的分子特异性、低侵袭性和多重性使其成为生理条件下在分子水平上研究生物过程时空结构和功能的有力工具。高分辨率荧光显微镜图像在生命科学和医学等领域具有重要应用。

2、然而，对于荧光显微镜而言，由于阿贝衍射极限的限制，其获取到的图像通常具有较低的空间分辨率，且成像仪器不可避免地会受到噪声、模糊等干扰，使得获取的图像质量下降，分辨率受损。受成像技术和拍摄设备的影响，高分辨率的荧光显微镜影像获取比较困难，往往需要昂贵的高精度仪器去进行拍摄，既耗费了人力也耗费了物力。

3、近年来越来越多的研究人员用有监督的深度学习方法对荧光显微镜成像进行超分辨率重建，并且取得了不错的进展，但是这些方法都需要用到了大量成对的高分辨率-低分辨率图像，这在实际的荧光显微镜成像领域是十分难实现的。并且训练神经网络模型需要花费大量的时间与人力物力。

4、现有技术公开了一种显微图像的深度学习超分辨率重建方法、介质及电子设备，该方法包括以下步骤：对低分辨率图像进行小波分解，获得第一系数子图；将所述第一系数子图输入变分自编码器，获得高分辨率的第二系数子图；基于所述第二系数子图进行小波反变换重构得到高分辨率图像；将所述低分辨率图像输入到训练好的卷积神经网络中，并将重构的所述高分辨率图像以残差的方式加入到该卷积神经网络，通过上采样得到与高分辨率图像尺寸相同的超分辨率图像。该方法存在的缺陷是，需要采用大量成对的高分辨率-低分辨率图像，这在实际的荧光显微镜成像领域是十分难实现的。

5、为此，结合以上需求和现有技术缺陷，本技术提出了一种荧光显微镜超分辨率图像重建方法及系统。

技术实现思路

1、本发明提供了一种荧光显微镜超分辨率图像重建方法及系统，在半二次方分裂(half quadratic splitting，hqs)迭代过程中融入了深度图像先验(deep image prior，dip)重建方法与降噪器作为先验知识辅助超分辨率重建，以实现即插即用的荧光显微镜超分辨率图像重建。

2、本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

3、本发明第一方面提供了一种荧光显微镜超分辨率图像重建方法，本方法包括以下步骤：

4、s1、构建降噪器网络与超分辨率重建网络模型，利用半二次方分裂重建迭代方程构建整体超分辨率重建过程。

5、s2、采用用于去噪的荧光显微镜公众数据集对降噪器网络进行训练。

6、s3、将低分辨率荧光显微镜图像作为第一图像输入至超分辨率重建网络模型得到第二图像并输入至所述降噪器网络，经过预设次数迭代后得到第三图像。

7、所述第一图像为低分辨率荧光显微镜图像，所述第二图像为初步超分辨率重建荧光显微镜图像，所述第三图像为最终输出的超分辨率荧光显微镜图像。

8、进一步地，所述半二次方分裂重建迭代方程具体为：

9、xk＝argminx‖y-τ(x)‖2+α‖x-zk‖2+β(1-ssim)

10、zk＝denoser(xk)

11、其中，y表示第一图像，α和β表示惩罚系数，τ表示可学习退化核，k＝1,2,...,k，k表示总迭代次数，xk表示第二图像，zk表示第三图像，denoser表示降噪器网络；所述可学习退化核为一个两层的全连接层网络，网络结构为一层全连接层接relu激活后再通过一层全连接层接softmax函数输出。

12、进一步地，所述降噪器网络构建过程具体为：

13、通过5个下采样卷积块对输入图像进行非线性映射，得到非线性映射后的特征图像，其中上下采样操作使用双线性下采样；通过5个上采样卷积块对下采样所得的非线性映射后的原始特征图像逐步进行上采样，并且拼接由下采样过程中的特征图像，最终得到降噪后的干净荧光显微镜图像。

14、进一步地，在所述降噪器网络中，所述5个下采样卷积块依次由含有[16，32，64，128，128]个尺寸为3*3的卷积核的卷积层、批量标准化层以及prelu激活函数组成；所述5个上采样卷积块依次由含有[16，32，64，128，128]个尺寸为3*3的卷积核的卷积层、批量标准化层以及prelu激活函数组成。

15、进一步地，所述超分辨率重建网络模型的构建过程具体为：

16、利用1个尺寸为1*1的卷积核对第一图像进行卷积运算，并使用relu激活，得到第一图像对应的原始特征图像；然后通过5个下采样卷积块对得的原始特征图像进行非线性映射，得到非线性映射后的特征图像，其中上下采样操作使用双线性插值下采样；最后通过4个上采样卷积块对所得的非线性映射后的原始特征图像逐步进行上采样，并且拼接由下采样过程中的特征图像，最终得到由第一图像超分辨率2倍的第二图像。

17、进一步地，在所述超分辨率重建网络模型中，所述5个下采样卷积块都由含有128个尺寸为3*3的卷积核的卷积层、批量标准化层以及gelu激活函数组成；所述4个上采样卷积块都由含有128个尺寸为3*3的卷积核的卷积层、批量标准化层以及gelu激活函数组成。

18、进一步地，步骤s2中，所述降噪器网络的训练过程中，降噪器网络的损失函数为：

19、loss＝loss_l2+loss_tv+loss_perceptual

20、其中loss l2为降噪器网络的输出图像和地面真实值图像二者像素值的均方误差；loss_tv是降噪器网络的输出图像全变分误差；loss_perceptual是采用经过预训练的vgg－19神经网络计算的loss l2，最终融合后的loss即为降噪器网络部分的目标函数，并在训练中更新降噪器网络的参数。

21、进一步地，步骤s2中，所述超分辨率重建网络模型的训练过程中，超分辨率重建网络模型的损失函数为：

22、loss_reconstruct＝loss_l2+β*(1-loss_ssim)+α*loss_hqs

23、所述loss_l2为超分辨率重建网络模型输出图像与地面真实值图像二者像素值的均方误差，所述loss_ssim为超分辨率重建网络模型输出图像和底面真实值图像之间的结构相似性，其中α为惩罚项，β为加权项，loss_hqs为第二图像和第三图像的像素值的均方误差，最终融合后的loss_reconstruct即为超分辨率重建网络部分的目标函数，在训练中，利用优化器同时更新超分辨率重建网络模型与可学习退化核的参数。

24、进一步地，步骤s3具体为：将一个大小与目标重建图像大小相同的随机高斯噪声和第一图像作为输入，将其输入到超分辨率重建网络模型中计算重建得到第二图像xk，然后将xk输入至训练好的降噪器网络进行先验知识约束；最终经过k次迭代后得到的第三图像zk作为最终输出图像。

25、本发明第二方面提供了一种荧光显微镜超分辨率图像重建系统，该系统用于所述的一种荧光显微镜超分辨率图像重建方法，包括有：算法构建模块、模型训练模块和图像重建模块。

26、所述算法构建模块构建降噪器网络与超分辨率重建网络模型，所述模型训练模块调用去噪后的荧光显微镜公众数据集对超分辨率重建网络模型和降噪器网络进行训练，所述图像重建模块调用训练后的超分辨率重建网络模型和降噪器网络，接收公众数据集中的第一图像，输出第三图像。

27、与现有技术相比，本发明技术方案的有益效果是：

28、本发明提供了一种荧光显微镜超分辨率图像重建方法及系统，通过结合传统图像重建方法与卷积神经网络能够解决有监督深度学习超分辨率方法需要高分辨率-低分辨率荧光显微镜图像对的问题，解决了现有常规退化操作无法适应实际荧光显微镜的复杂退化操作的问题。