电子显微镜联合去噪与分割方法、系统、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种电子显微镜联合去噪与分割方法、系统、设备及存储介质。

背景技术：

1、电子显微镜（electron microscopy，em）成像作为连接组学中的重要成像技术，在纳米级别解析密集排列的神经元结构。然而，电子显微镜图像（简称为电镜图像）数据庞大，获取高质量且信噪比高的大规模图像非常耗时，虽然增加停留时间和电压可以提高信噪比，但这种方法与数据吞吐量的要求相矛盾。自动组织收集和成像技术方向上的最新进展，如自动收集超微切片机（atum）和传输电子显微镜相机阵列（temca）显著减少了这些获取负担，使得百万亿级别的数据收集成为可能。然而，这些高吞吐量技术伴随着其好处也带来了各种各样的伪像，使得数据分析更具挑战性。例如，一些用于最近发展的高吞吐量传输电子显微镜（tem）技术的电子透明膜的电子吸收性质并不均匀，产生一致的背景噪音（胶片噪音）。此外，扫描电子显微镜（sem）有时会观察到电荷损伤伪像，其中电子可以在样品组织切片的30-60纳米厚度中积累，并导致永久性损伤，产生类似斑点的伪像以及高斯噪声样式的腐败（电荷噪声）。这样的电镜图像伪像很难通过传统的针对特定噪声模型开发的去噪滤波器来去除。

2、图像去噪是计算机视觉领域的研究热点和重要方向。传统的去噪技术通常依赖于滤波器设计和稀疏表示技术，这些方法通常最适用于具有已知分布的随机噪声，无法有效解决电镜图像噪声问题。近年来，基于深度学习的自然图像去噪算法蓬勃发展并取得了一系列进展，而基于深度学习的电镜图像去噪方法大多沿用自然图像去噪算法，然而电镜图像中的噪声存在噪声分布复杂，噪声模型难以准确建立的特点，且电镜图像中的噪声多为结构性噪声，不满足现有自然图像去噪算法中的噪声假设，导致真实电镜图像去噪仍面临着巨大挑战。buchholz t o等人（buchholz t o, jordan m, pigino g, et al. cryo-care: content-aware image restoration for cryo-transmission electronmicroscopy data[c]//2019 ieee 16th international symposium on biomedicalimaging (isbi 2019). ieee, 2019: 502-506. ）证明了电镜图像去噪对下游电镜分割任务的促进性。所以，对于电镜图像去噪，如何在去噪的同时保留膜结构、线粒体、胞体和囊泡等重要结构以促进下游神经元分割任务至关重要。

3、生物医学实例分割旨在将图像中的每个像素分配给一个实例，这在生物医学实例形态和分布分析中至关重要。亲和度学习算法是当前的典型代表实例分割方法，基于亲和度图图像分割的代表论文有（thorsten beier, constantin pape, nasim rahaman, timoprange, stuart berg, davi d bock, albert cardona, gra- ham w knott, stephen mplaza, louis k scheffer, et al. multicut brings automated neuritesegmentation closer to human performance. nature methods, 14(2):101–102,2017. ）和（ jan funke, fabian tschopp, william grisaitis, arlo sheri- dan,chandan singh, stephan saalfeld, and srinivas c turaga. large scale imagesegmentation with structured loss based deep learning for connectomereconstruction. ieee transactions on pattern analysis and machineintelligence, 41(7):1669–1680, 2019. ），亲和度学习预测像素亲和度，它仅编码相邻实例之间的空间结构信息，而无需确保每个实例在特征空间中的唯一性。因此，亲和度图容易被网络学习，并且不受实例数量的影响。即使只有一个被标注的实例，这种方法也可以学习未标注区域与该实例之间的亲和度。

4、但是，当前在电镜去噪领域分割辅助去噪的可能性仍未被探究，有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供一种电子显微镜联合去噪与分割方法、系统、设备及存储介质，具备提高去除噪声并保留有用结构的能力，同时隐性地提升了分割性能。

2、本发明的目的是通过以下技术方案实现的：

3、一种电子显微镜联合去噪与分割方法，包括：

4、构建训练数据集，包括：噪声与干净电镜图像对以及亲和度标签，其中，干净电镜图像是不含噪声的电镜图像；

5、构建去噪与分割模型并使用训练数据集进行训练，所述去噪与分割模型包括：去噪网络、分割网络与融合网络；输入噪声电镜图像至去噪网络，获得初步去噪图像，并经分割网络输出预测的亲和度图；融合网络中，以预测的亲和度图作为引导重建出去噪电镜图像，在重建的过程中，以结构感知的方式将预测的亲和度图中包含的语义信息逐步融合至初步去噪图像的特征中，最终重建出去噪电镜图像；结合初步去噪图像与对应干净电镜图像的差异、去噪电镜图像与对应干净电镜图像的差异、以及预测的亲和度图与亲和度标签的差异构建训练优化目标，并对去噪与分割模型进行训练；

6、将给定电子显微镜输入至训练后的去噪与分割模型，获得去噪电镜图像，以及对应的预测的亲和度图，并将预测的亲和度图处理为分割结果。

7、一种电子显微镜联合去噪与分割系统，包括：

8、训练数据集构建单元，用于构建训练数据集，包括：噪声与干净电镜图像对，以及亲和度标签，其中，干净电镜图像是不含噪声的电镜图像；

9、模型构建与训练单元，用于构建去噪与分割模型并使用训练数据集进行训练，所述去噪与分割模型包括：去噪网络、分割网络与融合网络；输入噪声电镜图像至去噪网络，获得初步去噪图像，并经分割网络输出预测的亲和度图；融合网络中，以预测的亲和度图作为引导重建出去噪电镜图像，在重建的过程中，以结构感知的方式将预测的亲和度图中包含的语义信息逐步融合至初步去噪图像的特征中，最终重建出去噪电镜图像；结合初步去噪图像与对应干净电镜图像的差异、去噪电镜图像与对应干净电镜图像的差异、以及预测的亲和度图与亲和度标签的差异构建训练优化目标，并对去噪与分割模型进行训练；

10、去噪与分割单元，用于将给定电子显微镜输入至训练后的去噪与分割模型，获得去噪电镜图像，以及对应的预测的亲和度图，并将预测的亲和度图处理为分割结果。

11、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

12、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

13、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

14、由上述本发明提供的技术方案可以看出，构建的去噪与分割模型实现噪声条件下的电镜图像去噪和分割，实现两个子任务（图像去噪任务与图像分割任务）之间的互相增益，模型中的融合网络结合了分割先验用于电镜图像去噪，以提高去除噪声并保留有用结构的能力，同时隐性地提升了分割性能；通过本发明获得的去噪电镜图像，可以接近在高电压，长曝光时间下得到的干净电镜图像，同时保持细胞结构上的完整性和细节特征，获得的分割结果可以精确地分割出感兴趣的目标实例。