由物理信息引导的冷冻电镜图像生成方法、系统、设备、芯片及介质与流程

本发明涉及应用于结构生物学的计算机图形处理技术，具体地说是一种由物理信息引导的冷冻电镜图像生成方法、系统、设备、芯片及介质。

背景技术：

1、冷冻电镜技术(cryo-em)采用极端低温迅速冻结生物样本，从而在其几乎未受损的自然状态下进行观察与分析。此技术使科学家能够捕获蛋白质、病毒及其他生物大分子的结构，实现近乎原子级的分辨率，进而揭示其功能和作用机制。冷冻电镜技术面临的一大挑战是必须从包含多个不同位置和姿态的目标粒子的高噪声(低信噪比)图像中精确挑选粒子的中心位置并确定粒子的姿态，这一任务目前主要依赖深度学习模型，而这些模型的效果受限于缺乏高质量、标注完善的训练数据集。

2、现有的物理模拟技术虽能模拟冷冻电镜图像，但计算代价高昂，且难以有效复现实际冷冻电镜图像中的复杂噪声特性。现有生成模型未能充分考虑物理制约，因此产生的图像物理上不够精确，不适合用来提升冷冻电镜图像分析的准确性。深度生成模型，这种基于深度学习结构的先进人工智能技术，通过模拟学习数据分布，能生成与原始数据高度相似的新样本，从而提升深度学习模型的性能。它们已在娱乐、视觉艺术和更广泛的科学成像领域证明了其广泛的应用前景，例如生成高清的脑部磁共振成像(mri)、计算机断层扫描(ct)图像，甚至执行复杂的天体物理学模拟。然而，将这些设计用于一般图像生成或其他科学成像任务的方法直接应用于冷冻电镜图像生成任务中，面对冷冻电镜图像的特有性质和复杂度，需要专门设计的方法以满足其特定的数据特性和物理限制。

技术实现思路

1、本发明旨在提供一种由物理信息引导的冷冻电镜图像生成方法、系统、设备、芯片及介质，以解决获得高质量标注冷冻电镜数据集困难、传统方法在模拟真实图像复杂噪声方面的不足、物理模拟成本高昂以及现有生成模型未充分考虑物理约束等问题。

2、为了达到上述目的，本发明提供的方法包括：

3、s1，制备包含大量目标分子结构的虚拟样本；

4、s2，对虚拟样本执行基于物理的仿真，模拟冷冻电镜成像过程，得到二维成像；

5、s3，基于逐片对比学习，将二维成像中简单的高斯噪声转换为真实的冷冻电镜噪声；

6、s4，采用掩模引导采样的对比学习，有效区分颗粒特征和背景特征，确保噪声的负样本和正样本在语义上不同，使最终成像更为逼真。

7、在一些实施例的s1中，通过cryosparc平台进行起始重构，随后利用cryodrgn算法执行连续异构重构，得到目标分子颗粒的神经体积表征v(p，w)：其中，表示空间坐标，表示高维构型嵌入；

8、放置过程中，逐个将n个颗粒的神经体积表征v(p，w)加入到一个空虚拟样本中；每次从so(3)空间随机采样方向矩阵从学习的构型空间随机采样构象wi，从虚拟样本的未占用区域平移虚拟样本可以表示为：

9、

10、其中数量n～u(nmin，nmax)，最小nmin和最大nmax源自真实显微照片中颗粒计数的实际分布。

11、在一些实施例的s1中，目标分子在虚拟样本中的位置、方向和构型为随机分布或均匀分布。

12、在一些实施例的s2中，所述模拟冷冻电镜成像过程包括电子与样本的相互作用、和/或冰层梯度、和/或光学像差的模拟。

13、在一些实施例的s2中，采用弱相位物体近似法将电子与样本的相互作用转化为样本的正交投影。

14、在一些实施例的s2中，通过icebreaker软件估计冰梯度，以生成冰的权重图w(x，y)，获得冰层梯度的真实分布。

15、在一些实施例的s2中，通过ctffind4软件计算点扩散函数g，即对比度传递函数ctf的傅里叶变换，以估算冷冻电镜的光学像差。

16、在一些实施例中，根据下述成像公式，得到基于物理的二维成像的结果iphy(x,y)：

17、

18、在一些实施例中，在模拟过程中，从真实微图集中随机选取一对权重图和ctf的估计值，用以生成符合物理基础的微图。

19、在一些实施例的s3中，将iphy～x输入条件生成模型，以学习来自真实冷冻电镜图像ireal～y的实际噪声分布，输出具有真实噪声的合成冷冻电镜图像在一些实施例中，条件生成模型包括鉴别器d和生成器其中genc是编码器，gdec是解码器。

20、在一些实施例中，在条件生成模型的训练和推理阶段引入随机性，将零均值高斯随机噪声集成到干净的物理模拟中，导致以增强噪声的生成过程。

21、在一些实施例中，在条件生成模型的训练过程中，随即选择iinter和isyn中的成对补丁作为正样本和查询，然后选择iinter中的k个补丁作为负样本；编码器genc将这些映射到规范化向量v，v+和目标是通过最小化交叉熵损失来最大化选择正样本的可能性：

22、

23、其中，τ是一个温度因子，用于缩放查询与样本之间的距离。

24、在一些实施例的s4中，将基于物理的二维成像结果转换为二进制的颗粒-背景掩模m(x，y)，m(x，y)＝1表示颗粒，m(x，y)＝0表示背景；

25、定义位于颗粒上的位置为p∈p，位于背景上的位置为b∈b，其中p表示所有m＝1的位置，b表示所有m＝0的位置；

26、第l层在颗粒位置p处的特征表示为集合表示为第l层在背景位置b处的特征表示为集合表示为

27、从输出isyn编码的特征表示为

28、得出掩模引导采样的噪声对比估计损失函数为：

29、

30、通过最小化masknce损失，实现有效区分颗粒特征和背景特征。

31、在一些实施例中，还包括对抗性损失函数lgan，用于促进网络产生更加逼真的基于物理的二维成像结果isyn:

32、

33、在一些实施例中，将该对抗性损失函数lgan与对比估计损失函数lmasknce相结合，形成整体的训练损失函数：

34、

35、本发明还提供一种冷冻电镜图像生成系统，包括：

36、粒子重建模块，用于制备包含大量目标分子结构的虚拟样本；

37、成像模拟模块，用于对虚拟样本执行基于物理的仿真，模拟冷冻电镜成像过程，得到二维成像；

38、噪声转换模块，用于将二维成像中简单的高斯噪声转换为真实的冷冻电镜噪声；采样学习模块，用于采用掩模引导采样的对比学习，确保噪声的负样本和正样本在语义上不同。

39、本发明还提供一种冷冻电镜图像生成设备，包括存储器以及处理器，存储器中包括可在其上运行的计算机程序，所述处理器执行所述计算机程序时实现任一所述的方法。

40、本发明还提供一种芯片，包括一个或多个处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行任一项所述的方法。

41、本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行任一所述的方法。

42、本发明将基于物理的模拟与对比噪声生成相结合，以改进冷冻电镜图像的重建结果。本发明从初级重构获得的3d生物分子结构出发，应用虚拟样本投影、粒子与背景掩膜引导的对比学习采样策略，以及基于对比学习的未匹配噪声转化技术，生成具有标注的高度逼真的合成冷冻电镜数据集。

43、提出了通过虚拟样本投影的方法，精确控制了生成图像中粒子的中心位置，解决了高噪声图像生成内容难以精准控制的技术问题。该技术通过粒子与背景掩膜引导的对比学习采样策略和基于对比学习的未匹配噪声转化技术，在冷冻电镜高噪声图像生成的视觉质量上超越了现有生成方法，解决了现有生成方法难以既保护生成图像内容又同时建模高度随机噪声的技术问题。