基于多模态成像的脂质斑块检测方法及成像系统与流程

本发明涉及生物医学成像，尤其涉及一种基于多模态成像的脂质斑块检测方法及成像系统。

背景技术：

1、全球范围内，心血管疾病是导致死亡的主要原因，评估斑块的易损性对于预防心血管疾病至关重要。通过血管内成像技术获取斑块形态学信息，评估斑块负荷和薄纤维帽粥样硬化，同时识别和定量脂质成分，是评估斑块易损性的重要依据。

2、临床常用的血管内成像方式是血管内超声成像(ivus)、血管内光学相干层析成像(ivoct)和近红外光谱成像(nirs)。ivus能够提供约6mm成像深度，有助于评估斑块负荷和冠脉狭窄程度。然而，有限的分辨率限制了其对薄纤维帽的识别。ivoct得益于微尺度的分辨率，对于评估易损斑块的薄纤维帽的厚度至关重要。此外，传统nirs通过光谱学分析，可提供形态学以外的功能信息，对脂质核心斑块负荷非常敏感。然而，nirs缺乏深度分辨能力，限制了其对组织深层脂质斑块尺寸的检测。通过oct干涉光谱提取光谱信息，可实现深度分辨nirs功能，以区分脂质斑块与正常组织。在申请号为202110516333.x，名称为“一种多模态腔内成像系统及多模态数据融合方法”的专利文献中，采用了oct与nirs结合的方法进行腔内成像及数据融合，但是oct成像和nirs成像技术，受穿透深度影响，常常会导致成像分辨率较低，因此其形成的多模态成像结果并不能准确反映血管内实际情况。

3、近年来，血管内光声成像(ivpa)通过光激发和超声检测原理，同时实现声学大穿透深度和光学高分辨率，脂质核心尺寸的高精度检测将成为可能。同时，基于多波长激发的光声成像系统能够通过光谱信息，将脂质成分与其他成分区分开，并量化脂质浓度。

4、脂质斑块的检测与斑块的结构及其化学成分密切相关，临床医生需要多种特征来进行综合识别。因此，急需结合结构与功能成像的多模态成像技术来评估纤维帽厚度和提供脂质分布信息。需要注意的是，脂质的光谱吸收峰有多个，仅通过单一吸收峰分析与量化脂质成分无法完全满足高精度3d脂质斑块识别的诊断需求。因此，如何将微尺度结构成像、大深度功能成像以及多波段光谱分析技术有机结合，增强纤维帽厚度检测、脂质核心尺寸检测以及脂质分布定位是当前急需解决的问题。

技术实现思路

1、因此，本发明的目的在于提供一种基于多模态成像的脂质斑块检测方法及成像系统，可提供微尺度、大深度结构成像以及深度分辨的图谱，提高纤维帽厚度检测、脂质核心尺寸检测以及脂质3d分布定位功能。

2、为了实现上述目的，本发明提供的一种基于多模态成像的脂质斑块检测方法，包括以下步骤：

3、s1、获取目标血管的oct干涉光谱信号和ivpa光声信号，得到oct-ivpa图像矩阵；

4、s2、分别对所述oct干涉光谱信号和ivpa光声信号进行光谱特征提取，得到oct-ivpa双光谱特征矩阵；

5、s3、将得到的oct-ivpa图像矩阵和oct-ivpa双光谱特征矩阵提取多维度混合特征；

6、s4、将所述oct-ivpa图像矩阵各像素点的多维度混合特征输入到预设的分类模型中进行分类任务；

7、s5、根据分类任务结果，得到3d脂质斑块概率分布，根据斑块概率分布，确定深度分辨的nirs图像矩阵，采用nirs-3d化学图谱显示脂质斑块分布情况。

8、进一步，优选的，在s2中，对所述oct干涉光谱信号进行光谱特征提取，包括：

9、s201、采用短时傅里叶变换，针对oct干涉光谱信号进行光谱分析，得到沿深度z波数k可分辨的轴向oct强度信号i(k，z)：

10、s202、基于所述oct强度信号i(k，z)计算各光谱的衰减系数μ(k，x，y，z)，进行光谱特征提取。

11、进一步，优选的，在s201中，采用如下公式(1)计算轴向oct强度信号i(k，z)：

12、

13、其中，stft[spec(k)]表示对光谱信号进行短时傅里叶变换，spec(k′)为带波数k′的oct干涉光谱信号，w(k′-k；δk)是固定带宽为△k的窗函数，通过在oct干涉光谱信号s(k)滑动一个固定带宽的窗口w(k′-k；δk)，其中心位于波数k，并对每个窗口内的oct干涉光谱信号spec(k′)进行傅里叶变换，e-ik′z为复指数项，用于将时域信号转换到频域，窗函数类型选择汉宁窗，归一化带宽为0.2，重叠度90％。

14、进一步，优选的，在s202中，采用如下公式(2)计算各光谱的衰减系数μ(k，x，y，z)：

15、

16、其中，μ(k，x，y，z)为当前波数k当前位置(x，y，z)处的衰减系数，x为血管内oct探测扫描中的周向扫描方向的坐标值，y为血管内oct探测扫描中的回撤方向的坐标值，z为深度方向的坐标值，a′(k，x，y，z)为当前波数k当前位置(x，y，z)处散斑噪声抑制后的oct信号的强度，σ为深度方向上每个像素对应的空气中的物理尺寸，n为目标组织区域的折射率。

17、进一步，优选的，在s2中，通过公式(3)计算各像素的光声-吸收光谱的相关系数pacorr以进行ivpa光声信号的光谱特征提取

18、

19、式中，ii为第i个激发波长对应的光声信号强度，ai为第i个激发波长对应的光吸收值，为i个激发波长对应的光声信号强度的平均值，为i个激发波长对应的光吸收值的平均值，n为激发波长总数。

20、进一步，优选的，在s4中，将所述oct-ivpa图像矩阵各像素点的多维度混合特征输入到预设的分类模型中进行分类任务，采用的分类模型为随机森林、支持向量机、极限梯度提升以及卷积神经网络中的一种或多种。

21、进一步，优选的，当分类模型为卷积神经网络时，包括如下步骤：

22、s401、将得到的多维度混合特征分别在5通道维度堆叠；所述多维度混合特征包括：oct强度光谱、oct衰减光谱、ivpa光谱、oct结构以及ivpa结构特征；

23、s402、采用卷积神经网络对堆叠后的混合特征进行提取，其中，卷积神经网络采用编码-解码的结构，编码器使用多个卷积核聚集跨aline信息；

24、s403、编码结束后采用通道注意力机制来重新分配权重；

25、s404、解码器使用上采样或反卷积层来逐渐增加特征图的空间分辨率，直到达到原始图像的尺寸；

26、s405、使用softmax激活函数输出每个像素点的类别概率。

27、本发明还提供一种基于多模态成像的脂质斑块检测成像系统，包括oct成像装置、ivpa成像装置和信号处理装置，oct成像装置和ivpa成像装置均连接多模态成像探头；所述oct成像装置包括：扫频光源、第一光纤耦合器、第一光纤环形器、第二光纤环形器、第二光纤耦合器、偏振控制器、平衡探测器、参考臂以及样品臂，所述样品臂包括双包层光纤耦合器的芯层以及多模态成像探头；

28、扫频光源输出的oct光束通过光纤耦合器直接耦合到单模光纤，其中一路经过第一光纤环形器入射到参考臂上形成参考光，另一路经过第二光纤环形器和样品臂形成样品光；样品光与参考光干涉后，由平衡探测器接收形成oct干涉光谱信号；

29、所述ivpa成像装置包括脉冲光参数振荡器激光器、双包层光纤耦合器的内包层和脉冲收发器；

30、所述脉冲光参数振荡器激光器发射的光声激励光束接入双包层光纤耦合器中，利用双包层光纤耦合器的内包层传输光声激励光束，芯层传输oct光束；光声激励光束和oct光束经过多模态成像探头对病灶进行三维扫描，得到oct干涉光谱信号和ivpa光声信号；

31、所述信号处理装置，用于将同时捕获的oct干涉光谱信号和ivpa光声信号，进行解调，形成第三模态nirs-3d化学图谱，所述信号处理装置用于实施上述基于多模态成像的脂质斑块检测成像方法的步骤，对得到的图像进行脂质斑块检测。

32、本技术公开的基于多模态成像的脂质斑块检测方法及成像系统，相比于现有技术至少具有以下优点：

33、1、本发明结合oct成像、ivpa成像以及基于光谱oct-ivpa双脂质吸收峰生成的深度分辨nirs图像，可兼具微尺度、大深度以及高精度的功能性深度分辨3d-nirs成像能力，提高针对冠脉易损斑块的定性、定量分析能力，具有其突出显著的技术效果。

34、2、本发明通过基于光谱oct-ivpa双脂质吸收峰生成的深度分辨nirs图像，可结合双脂质吸收峰以及oct-ivpa的深度分辨特性，提高脂质斑块的识别精度。

35、3、本发明通过基于光谱oct-ivpa双脂质吸收峰生成的深度分辨nirs图像，可有效降低系统复杂度，降低系统搭建成本。