针对iDPC-STEM图像的图像处理方法及装置、电子设备及介质

本公开涉及图像处理，尤其涉及一种针对idpc-stem图像的图像处理方法及装置、电子设备及介质。

背景技术：

1、传统的电子显微成像需要极高的电子剂量才能实现原子级别的图像分辨率。这种方法不适用于对电子束敏感的材料，如沸石、金属有机框架(mofs)、钙钛矿等。近年来，积分差分相位对比扫描透射电子显微术(idpc-stem)的发展有效地解决了低电子利用效率的挑战。然而在低电子剂量条件下，大量的散射噪声使得精确识别分子筛中单个分子的位置和构象变得复杂，这使得idpc-stem也存在限制。

2、因此，目前在idpc-stem图像领域，对于图像质量可能较低或结构复杂的图像，迫切需要开发更加适应性的图像处理方法，以解决相关技术在处理idpc-stem图像时遇到的限制和挑战。

技术实现思路

1、有鉴于此，本公开提出了一种针对idpc-stem图像的图像处理方法及装置、电子设备及介质，能够实现idpc-stem图像的去噪和增强，显著提高图像质量，为后续的单分子检测和分子构象匹配分析提供了有力的工具。

2、根据本公开的一方面，提供了一种针对idpc-stem图像的图像处理方法，包括：获取针对目标分子筛的待处理图像，所述待处理图像为积分差分相位对比扫描透射电子显微镜idpc-stem图像；利用图像处理模型中的基于变分自编码器构建的去噪模型对所述待处理图像进行噪声提取，得到目标噪声图像，所述目标噪声图像用于指示所述待处理图像的噪声分布情况，其中，所述图像处理模型还包括基于深度残差网络构建的超分辨率模型；根据所述待处理图像和所述目标噪声图像，确定出目标去噪图像；利用所述超分辨率模型对所述目标去噪图像进行图像增强，得到目标超分图像，所述目标超分图像为去除噪声且进行图像增强后的所述目标分子筛的idpc-stem图像。

3、在一种可能的实现方式中，所述方法还包括：获取各样本分子筛的理想图像和多张模拟图像，各所述样本分子筛的理想图像用于指示对应样本分子筛的真实微观结构，各所述样本分子筛的多张模拟图像是在不同的电子剂量下成像得到的idpc-stem图像；根据所有样本分子筛的理想图像和多张模拟图像，构建出训练样本集；利用所述训练样本集训练原始的图像处理模型，直至计算出的图像处理模型的损失函数值满足预设条件，得到训练后的图像处理模型，其中，所述损失函数值包括所述去噪模型的去噪损失值和所述超分辨率模型的超分损失值。

4、在一种可能的实现方式中，所述去噪损失值包括第一损失值和第二损失值，所述第一损失值是根据最新的图像处理模型处理模拟图像得到的样本去噪图像和该模拟图像对应的理想图像计算出的，所述第二损失值是根据最新的图像处理模型处理所述模拟图像得到的样本噪声图像和预设的正态分布计算出的；所述超分损失值是根据最新的图像处理模型处理所述模拟图像得到的样本超分图像和该模拟图像对应的理想图像计算出的。

5、在一种可能的实现方式中，所述方法还包括：获取各所述样本分子筛的原子结构信息，所述原子结构信息包括对应样本分子筛中各原子的原子序数、原子坐标、原子半径；基于各所述样本分子筛中各所述原子的原子序数确定出对应样本分子筛的对比度值，以及，基于各所述样本分子筛中各所述原子的原子坐标确定出对应样本分子筛的相对位置；基于各所述样本分子筛中各所述原子的原子半径以及对应的对比度值和相对位置，构建出对应样本分子筛的理想图像。

6、在一种可能的实现方式中，所述目标超分图像包括至少一个孔道区域；其中，所述方法还包括：对所述目标超分图像中所有孔道区域进行单分子检测，并对具有单分子结构的所有孔道区域进行标注，得到检测结果。

7、在一种可能的实现方式中，所述方法还包括：在所述待处理图像的大小超过预设值的情况下，将所述待处理图像划分为多个；其中，所述方法还包括：在所述待处理图像为多个的情况下，对每个所述待处理图像对应的目标超分图像进行平滑处理后，按照对应的待处理图像的位置信息进行拼接后得到最终的目标超分图像。

8、在一种可能的实现方式中，根据所述待处理图像和所述目标噪声图像，确定出目标去噪图像，包括：利用所述待处理图像减去所述目标噪声图像，得到所述目标去噪图像。

9、根据本公开的另一方面，提供了一种针对idpc-stem图像的图像处理装置，包括：获取模块，用于获取针对目标分子筛的待处理图像，所述待处理图像为积分差分相位对比扫描透射电子显微镜idpc-stem图像；去噪模块，用于利用图像处理模型中的基于变分自编码器构建的去噪模型对所述待处理图像进行噪声提取，得到目标噪声图像，所述目标噪声图像用于指示所述待处理图像的噪声分布情况，其中，所述图像处理模型还包括基于深度残差网络构建的超分辨率模型；处理模块，用于根据所述待处理图像和所述目标噪声图像，确定出目标去噪图像；超分模块，用于利用所述超分辨率模型对所述目标去噪图像进行图像增强，得到目标超分图像，所述目标超分图像为去除噪声且进行图像增强后的所述目标分子筛的idpc-stem图像。

10、在一种可能的实现方式中，所述装置还包括训练模块，用于：获取各样本分子筛的理想图像和多张模拟图像，各所述样本分子筛的理想图像用于指示对应样本分子筛的真实微观结构，各所述样本分子筛的多张模拟图像是在不同的电子剂量下成像得到的idpc-stem图像；根据所有样本分子筛的理想图像和多张模拟图像，构建出训练样本集；利用所述训练样本集训练原始的图像处理模型，直至计算出的图像处理模型的损失函数值满足预设条件，得到训练后的图像处理模型，其中，所述损失函数值包括所述去噪模型的去噪损失值和所述超分辨率模型的超分损失值。

11、在一种可能的实现方式中，所述去噪损失值包括第一损失值和第二损失值，所述第一损失值是根据最新的图像处理模型处理模拟图像得到的样本去噪图像和该模拟图像对应的理想图像计算出的，所述第二损失值是根据最新的图像处理模型处理所述模拟图像得到的样本噪声图像和预设的正态分布计算出的；所述超分损失值是根据最新的图像处理模型处理所述模拟图像得到的样本超分图像和该模拟图像对应的理想图像计算出的。

12、在一种可能的实现方式中，所述装置还包括构建模块，用于：获取各所述样本分子筛的原子结构信息，所述原子结构信息包括对应样本分子筛中各原子的原子序数、原子坐标、原子半径；基于各所述样本分子筛中各所述原子的原子序数确定出对应样本分子筛的对比度值，以及，基于各所述样本分子筛中各所述原子的原子坐标确定出对应样本分子筛的相对位置；基于各所述样本分子筛中各所述原子的原子半径以及对应的对比度值和相对位置，构建出对应样本分子筛的理想图像。

13、在一种可能的实现方式中，所述目标超分图像包括至少一个孔道区域；其中，所述装置还包括检测模块，用于：对所述目标超分图像中所有孔道区域进行单分子检测，并对具有单分子结构的所有孔道区域进行标注，得到检测结果。

14、在一种可能的实现方式中，所述装置还包括划分模块，用于：在所述待处理图像的大小超过预设值的情况下，将所述待处理图像划分为多个；其中，所述装置还包括拼接模块，用于：在所述待处理图像为多个的情况下，对每个所述待处理图像对应的目标超分图像进行平滑处理后，按照对应的待处理图像的位置信息进行拼接后得到最终的目标超分图像。

15、在一种可能的实现方式中，根据所述待处理图像和所述目标噪声图像，确定出目标去噪图像，包括：利用所述待处理图像减去所述目标噪声图像，得到所述目标去噪图像。

16、根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

17、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

18、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

19、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。