一种基于扩散模型的有限角度CT重建系统

本发明涉及医学机器视觉中有限角度ct重建算法领域，具体是一种基于扩散模型的有限角度ct重建系统。

背景技术：

1、计算机断层扫描(ct)作为一种目标无损成像方法，是利用精确准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕目标物的某一部位作连续的断面扫描，最后利用重建算法将扫描数据重建成ct图像，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。在理论上，只要给出足够角度范围的扫描投影数据(平行束要求180度，扇束要求180度加上扇角)，重建算法就可以实现高质量的ct图像重建。ct成像技术可以生成人类肉眼所能识别的目标组织图片的原理在于x射线可以穿透物质并被不同程度地吸收，而人体组织对x射线的吸收能力与密度成正比，根据人体内不同组织的吸收程度不同，使得扫描数据经过数学变换为呈现出不同对比度的像素位，从而实现对不同组织结构的成像。然而，x射线是一种高能辐射，具有穿透力强、能量高的特点，在人体组织吸收x射线的同时，它也会与人体组织细胞中的dna分子发生相互作用，导致遗传信息损坏和细胞变异等现象，长期接触x射线会增加患癌以及其他各类疾病的风险，尤其是对于儿童和孕妇，辐射的危害更为突出。这就导致患者对ct检查方案产生了极大的抵触心理，加大了癌症等各类疾病的早期筛查，对公众健康问题形成了极大负面影响。由于这些因素，研究者们提出了如何在保证ct成像质量的前提下尽可能降低ct扫描过程中x射线剂量的问题。

2、在某些情况下，受限于特定的成像条件例如手术导航、乳房断层扫描和牙科断层扫描等对固定目标的扫描应用中，传统的完整角度的ct扫描不再适用。由于目标与周围组织存在不可断开的连接状态，导致可扫描角度急剧缩减，最终使得扫描后得到的采样数据不完整(例如由标准的521*180°采样数据缩减为512*60°)，这样的不完整采样数据会导致重建图像的组织边缘出现难以忍受的发散现象，这并不能作为医师在临床诊断中的需求。有限角度(la)ct重建技术因此被提出，旨在利用有限的采样数据来计算出组织完整、结构清晰的ct图像。同时，由于扫描角度的缩减，扫描目标所受到的辐射剂量也大大降低，因此该技术也被学者提出用于解决降低临床ct扫描射线剂量的问题。

3、扩散模型是一种生成模型，通过模拟扩散过程生成数据，其训练过程比gan系列模型更加高效稳定，更容易得到目标成果，且生成质量更高。借助扩散模型强大的图像生成能力和改进后的强大去噪能力，结合传统迭代重建算法的设计思路，来恢复有限角度采样ct图像充缺失的扫描数据。具体而言，该模型通过带有数据自增强模块迭代架构和经过条件生成适应性改进的扩散模型就行图像数据恢复，可以捕捉到正弦域和图像域中不同特点的特征信息，从而更好地检测不同种类的异常情况。

技术实现思路

1、基于上述想法，本发明提出了一种基于扩散模型的有限角度ct重建系统，此系统实现了利用扩散原理和迭代重建原理的图像生成，有效的解决了深度模型生成质量不高和ct图像数据量不足的情况，从而提高了有限角度ct重建的准确性。

2、为了实现上述目的，采用如下技术方案：

3、一种基于扩散模型的有限角度ct重建系统，包括扩散生成模块、基于数据保真约束的数据自增强模块：

4、所述的扩散生成模块包含投影域子网络、滤波反投影单元和图像域子网络；

5、投影域子网络：在投影域对有限角度采样数据进行插值操作，对输入子网络的采样数据进行结构补全，使其大小与全采样数据相等，得到相对完整的正弦图数据；

6、滤波反投影单元：将投影域子网络补全后得到的正弦图数据进行滤波和反投影来实现数据的域转换，得到扫描目标截面图；

7、图像域子网络：由基于u-net的扩散骨干模块构成，用于在图像域对滤波反投影得到的结果进行恢复操作，对输入图像进行组织细节恢复和倾斜伪影去除，使其适应医师诊断要求；

8、所述的基于数据保真约束的数据自增强模块包括一个基于残差的数据一致性单元和一个数据替换单元，基于残差的数据一致性单元计算生成数据与采样数据的残差，然后与生成图像做权重差值运算，数据替换单元将采样数据按照对应角度覆盖替换到生成数据中；

9、基于数据保真约束的数据自增强模块包括：

10、radon变换单元：对图像域子网络的生成图像进行radon变换，将其投影至投影域正弦图；

11、滤波反投影：将投影域正弦图进行滤波和反投影来实现数据的域转换，得到扫描目标截面图；

12、权重求和单元：将投影域差值正弦图转换而来的图像域残差ct图像与图像域子网络生成ct图像进行可学习权重运算；

13、投影域数据一致性单元：将经过radon变换后的生成投影域数据与采样数据进行残差运算；

14、数据替换单元：在投影域将采样数据按照对应角度覆盖替换到生成投影域数据上；

15、路径门控单元：控制数据流向基于残差的数据一致性单元或数据替换单元。

16、所述的一种基于扩散模型的有限角度ct重建系统，所述的投影域子网络：假设x为一张输入的有限采样的正弦图数据，y为对应的全采样图像模型通过训练学习到分布pθ(yt-1|yt,x)，迭代推理出y0～p(y|x)；设置一个前向的马尔可夫的加噪过程q，它逐步将标准高斯噪声添加到全采样图像y0上；

17、

18、其中常数η1:t是一个超参数，其取值的范围符合区间ηt∈(0,1)，用于确定每次添加噪声的噪声方差，方差决定了噪声值在均值周围的分布范围，方差越大，噪声的波动范围越广；由此可以推导出在已知(x0,xt)情况下的xt-1的后验分布为：

19、

20、在推理过程中，通过参数化反向链和定义反向链对数似然的变分下界；后验分布是在给定观察数据的情况下，模型参数的条件概率分布，它能够反映模型参数的不确定性以及与观测数据的一致性；推理过程被认为是一个逆马尔可夫过程，从前向扩散最终得到的噪声图像开始：

21、

22、根据模型在训练过程中学习到的高斯条件分布pθ(yt-1|yt,x)确定推理过程；改进后的u-net被用于在确定的噪声图像yt中分离噪声ε，由此，可以在逆向推理中重新组合来得到目标近似图像y0：

23、

24、令pθ(yt-1|y0,yt)的方差σ2默认为(1-ηt)。可以得出q(yt-1|y0,yt)后验分布，以此将pθ(yt-1|yt,x0)的均值μ进行参数化：

25、

26、到此可以得出条件扩散模型迭代细化的形式：

27、

28、所述的一种基于扩散模型的有限角度ct重建系统，所述的滤波反投影单元：为了去除图像中的噪声和伪影，恢复组织结构细节，将每一个经过投影域子网络处理的正弦图数据，经过滤波和反投影的操作，获得与之相对应的图像域ct图像，滤波反投影公式如下：

29、p(a,b)＝∫p(a-δa,b-δb)h(δa,δb)dadb

30、u＝a-δa·cos(θ)

31、v＝b-δb·cos(θ)

32、在上述公式中p(a,b)表示原始投影数据，h(δa,δb)表示滤波函数，(δa,δb)表示图像长宽上的偏移量，θ表示投影方向与水平方向的夹角。

33、所述的一种基于扩散模型的有限角度ct重建系统，所述的基于u-net的扩散骨干模块包括一个编码器、一个解码器、一个包含空间注意力单元和通道注意力单元的双路注意力模块以及多个基于自注意力的门控单元；将正弦图或ct图像作为模型的输入，通过编码器来对生成图像的重要特征进行提取，编码器输出的特征图进入双路注意力模块，双路并行的注意力机制使得模型能够同时捕获图像的空间细节和通道间的相关性，进而更加有效地进行特征提取和噪声发掘，后将输出送入解码器中，以推理最终的期望结果；

34、u-net的编码器输出的高维特征图在输入空间注意力模型会依次执行两次通道池化和一次单核卷积操作。这个卷积核的大小选择为1×1或3×3，目的是计算每个空间位置的注意力得分，以评估每个像素空间位置相对于其他像素位置的重要性；通过这样的计算，以确定哪些区域在特征图中具有更高的注意力权重，从而指示了这些区域在整个特征图中的重要性；接下来，利用计算出的空间注意力二维矩阵，将其应用于原始的特征矩阵的每个像素位；目的是对特征图中的每个像素位置进行加权，以增强重要区域的特征表示，同时抑制其他区域的表达；与此同时，基于通道的注意力模型关注于图像的通道维度，目标是识别哪些通道对当前任务更为关键；u-net的编码器输出的高维特征图在输入通道的注意力模型后会经过一个注意力模块，该注意力模块由两部分组成，分别是通道维度池化和特征全连接计算；通道维度池化是以通道维度为单位，对每张特征图进行池化操作，得到一个特征值，即该通道的重要性分数，从而获取各个通道的整体信息；池化方式的选择大多是与池化层类似的最大池化和平均池化，分别提取最大特征值和全图平均特征值；而特征全连接计算部分是由一个全连接层和激活函数构成，通过可学习参数计算每个通道的注意力得分；使用通道的注意力得分对原特征图的每个通道进行加权计算，以此得到强调重要通道表达、抑制次要通道信息的新特征图。

35、所述的一种基于扩散模型的有限角度ct重建系统，所述的radon变换单元：通过在不同方向上对图像进行投影，radon变换可以提供关于图像中不同方向的特征的信息；具体而言，它将图像的所有像素点各自转换为一条线，这些线条表示沿着某个角度的积分，称之为投影；radon变换建立了一种投影和原始图像之间的映射关系，这也是投影数据可以逆向重建出原本图像的原因，其数学形式如下：

36、

37、其中f(x,y)是被投影的二维图像，θ表示射线方向，s表示射线位移量，δ是狄拉克(delta)函数，表示一条以角度θ方向的射线，并且该射线距离原点的位移为s；f(x,y)和δ之积即为沿着θ方向的射线上的像素值，对其进行积分运算得到投影值r(d,θ)。通过环绕的投影数据，就可以重构出原本的二维图像，这个重构过程是使用反radon变换实现，其原理是将投影数据沿着不同的角度进行叠加。

38、所述的一种基于扩散模型的有限角度ct重建系统，所述的权重求和单元：权重求和单元包含一个可学习参数λi用于调整经过数据保真项处理后所得到的正弦域残差在与原本的生成ct图像融合时所占的比重，公式如下：

39、

40、其中sl表示正弦域采样数据，fbp表示滤波反投影算法，fp表示前向投影算法。经过权重求和模块融合后，ct图像会在尽可能减少域转化损失的情况下恢复采样真值。

41、所述的一种基于扩散模型的有限角度ct重建系统，所述的投影域数据一致性单元：投影域数据一致性单元同时使用数据保真项和数据替换项，让数据保真项和数据替换项交替运行，在数据域转化损失和采样数据恢复之间尽可能达到符合医学诊断标准的平衡，公式如下：

42、

43、其中iter表示当前外层迭代序数，r表示每隔r次迭代运行一次替换算子θ(·)，λi作为一个可学习参数，用于调整正弦域残差所占的比重。dsem交替应用数据保真约束和数据一致性约束，在尽可能减少数据域转换带来的信息损失的同时，保证生成数据在每次迭代过程中不会发生严重偏离。

44、所述的一种基于扩散模型的有限角度ct重建系统，所述的数据替换单元：将输入的结果图像经过前向投影层投影为正弦域数据然后使用有限角度正弦域真实数据sl对sd进行条件覆盖操作，得到最后利用滤波反投影算子，将sd′转回图像域得到模块输出，过程可以被数学表示为：

45、

46、

47、其中fbp和fp分别表示滤波反投影算子和前向投影算子；θ(·)为正弦替换算子，用于将采样的真实正弦数据替换至图像域生成网络的输出结果转换而来的正弦生成数据，以恢复被深度学习模型所篡改的采样数据；的上标m∈[1,m]表示正弦域数据的第m个视图。

48、所述的一种基于扩散模型的有限角度ct重建系统，所述的路径门控单元：将图像域子网络的输出输入到基于数据保真约束的数据自增强模块中，门控参数经过实验验证设置为3，即路径在经过三次数据替换项后转向一次数据保真项，尽可能还原重要的采样信息，引导生成数据和采样信息进行融合；

49、所述的一种基于扩散模型的有限角度ct重建系统，所述的基于自注意力的门控单元：通过计算特征之间的内部依赖关系，能够进一步提升模型对图像中远程依赖信息的捕获能力，这对于增强图像对比度和去除噪声尤为重要。在u-net原本的跳跃连接中加入了自注意力门(self-attention gates)模块，它在接收跳跃连接起点的特征图的同时，也会接收跳跃连接终点前一层的解码器输出特征图。注意力门通过卷积操作会计算输入特征图的空间注意力权重，计算方法与基于空间的注意力模型相似，而后经过卷积将两个权重矩阵融合并输出，令其与跳跃连接终点模块的输入进行加权运算，以达成自注意力机制。

50、本发明的有益效果是：

51、本发明方法构建了一种基于扩散模型的有限角度ct重建系统，用于实现有限角度ct采样情况下的ct图像重建，该发明是基于扩散模型和迭代重建改进而来，针对在实际的医学辅助诊断场景中，深度模型生成质量不足和ct图像数据样本稀少的问题，利用适应了条件图像生成过程的扩散模型，恢复有限采样的ct正弦数据中的结构细节，去除有限采样的ct图像中的噪声伪影，提高临床医学的诊断效率与诊断准确性。

52、本发明使得患者在尽可能减少计算机断层扫描过程中所受到的x射线辐射剂量的情况下，仍然可以获得符合临床诊断需求的ct图像，解决了有限角度ct扫描中采样数据缺失所带来的重建质量低下问题，成功降低了ct扫描对人体的不可逆伤害、降低了患者组织癌变风险，并为临床诊断过程中的自动化和智能化发展奠定了坚实的基础。