由医学图像进行联合异常检测和生理状况估计的系统和方法与流程

由医学图像进行联合异常检测和生理状况估计的系统和方法
1.相关申请的交叉引用
2.本技术基于2020年1月4日提交的美国临时申请第63/133,754号并要求其优先权，该申请通过引用整体结合于此。
技术领域
3.本公开涉及医学图像的处理和分析的技术领域，更具体地，涉及用于进行联合异常检测和生理状况估计的医学图像的处理和分析的技术领域。


背景技术：

4.冠状动脉疾病(cad)是冠状动脉管腔狭窄可导致心肌缺血的一种危重疾病。心肌缺血的早期和有效的评估对最佳治疗计划是重要的，以便于提升生活质量和减少医疗费用。各种成像技术为包括血管病变程度在内的冠状动脉的结构的评估提供有效的方法。然而，解剖血管病变不一定导致显著的功能性血流动力学改变，仅仅基于解剖血管病变并不能实现精准的诊断和最佳治疗。
5.病变可能会导致患者的冠状动脉狭窄或闭塞，从而导致心肌供血不足甚至心肌缺血。另一方面，可以使用血流储备分数(ffr)或瞬时无波率(ifr)或其他测量值来评估生理条件。例如，ffr可以包括在充血条件下平均远端病变与主动脉血压之间的比值。ifr可以在不需要充血的条件下测量，并正在成为一种替代指标。可以在导管实验室中通过压力导丝有创地测量包括ffr和ifr的这些指标。然而，这些方法都是有创的，并且导致患者痛苦。因此，希望一种基于图像的冠状动脉疾病分析系统，以在日常手术中帮助医生进行诊断治疗。
6.机器学习在多个领域中已经成为了复杂系统建模的有用工具。最新的机器学习进展已经使其可以应用于就解剖异常评估和生理参数估计来说的cad分析。然而，现有方法通过针对各个任务分别训练独立模型使得两个不同的模型用于处理这两个任务(例如解剖异常评估和生理参数估计这两个任务)，从而分立地处理这两个任务。结果导致这两个模型没有考虑到这两个任务的相关性，并且来自这两个模型的预测结果可能不一致。此外，由于这两个模型的各个模型都是在对应的任务上用独立的标注数据集训练的，训练过程可能没有充分利用数据标注。


技术实现要素：

7.本公开提供一种由医学图像进行联合异常检测和生理状况估计的系统和方法，其能够基于包含解剖结构(例如血管)的医学图像，联合地预测解剖结构上的异常(例如血管异常)和所述解剖结构的功能性生理参数，且显著提升解剖结构的异常的预测结果和解剖结构的功能性生理参数的预测结果之间的一致性。
8.根据本公开的第一方案，提供一种由医学图像进行联合异常检测和生理状况估计的方法。所述方法可以包括经由至少一个处理器接收由图像获取装置获取的医学图像。所述医学图像包括解剖结构。所述方法可以进一步包括，经由所述至少一个处理器，基于所述
医学图像应用联合学习模型来联合地确定所述解剖结构的异常状况连同生理参数。所述联合学习模型满足在所述异常状况与所述生理参数之间的预定约束关系。该联合学习模型可以采用多任务学习框架，或者串行模型，或将异常检测和生理参数轨迹这两个任务融合的学习框架。
9.根据本公开的第二方案，提供一种由医学图像进行联合异常检测和生理状况估计的系统。所述系统可以包括通信接口，其配置为接收由图像获取装置获取的所述医学图像。所述医学图像包含解剖结构。所述系统进一步包括至少一个处理器。所述至少一个处理器可以配置为基于所述医学图像应用联合学习模型来联合地确定所述解剖结构的异常状况连同生理参数。所述联合学习模型满足在所述异常状况与所述生理参数之间的预定约束关系。
10.根据本公开的第三方案，提供一种非暂时性计算机可读存储介质，其上存储有计算机可执行的指令。当所述计算机可执行指令由处理器执行时，可以执行一种由医学图像进行联合异常检测和生理状况估计的方法。所述方法可以包括接收由图像获取装置获取的医学图像。所述医学图像包括解剖结构。所述方法可以进一步包括基于所述医学图像应用联合学习模型来联合地确定所述解剖结构的异常状况连同生理参数。所述联合学习模型满足在所述异常状况与所述生理参数之间的预定约束关系。
11.根据本公开的系统和方法，能够基于医学图像利用联合学习模型，联合地预测解剖结构的异常(血管异常，诸如血管病变)连同解剖结构的功能性生理参数。通过应用所述联合学习模型，本文公开的系统和方法能够显著提升解剖结构的异常的预测结果和解剖结构的生理参数的预测结果之间的一致性。
12.上述的一般描述和以下的详细描述只是示例性和说明性的，并不旨在限制要求保护的发明。
附图说明
13.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
14.图1a示出根据本公开实施例的一种进行联合异常检测和生理状况估计的示例性方法的流程图。
15.图1b示出根据本公开实施例的一种进行联合异常检测和生理状况估计的另一示例性方法的流程图。
16.图2示出根据本公开实施例的用于联合的病变检测和生理参数预测的联合学习模型的示例性结构的示意图。
17.图3示出根据本公开实施例的用于联合的病变检测和生理参数预测的联合学习模型的另一示例性结构的示意图。
18.图4示出根据本公开实施例的用于训练联合学习模型的损失函数中的偏离损失项
的示意图。
19.图5示出根据本公开实施例的联合学习模型的训练过程的流程图。
20.图6示出根据本公开实施例的对于包含血管树的医学图像进行病变检测连同生理参数预测的分析过程的流程图。
21.图7示出根据本公开实施例的一种进行联合异常检测和生理状况估计的系统的示意性框图。
具体实施方式
22.现在将详细参考示例性实施例，其示例在附图中示出。
23.在本公开中，解剖结构可以包括血管或任何其他适合的解剖结构。在不损失通用性的情况下，下文中的说明以血管(诸如冠脉)作为解剖结构的示例来进行，但该说明也可应用于任何其他解剖结构。
24.根据本公开，血管的异常状况表示与血管的正常组织结构区别开的状况，诸如血管的异常状况。例如，血管的异常状况可以表示与血管的病变或亚健康相关的状况，例如但不限于血管解剖结构中生成的血管斑块、心肌桥、血管瘤等中的至少一种。在另一示例中，血管的异常状况也可以表示在血管组织中引入了异物，例如但不限于支架、导管、或导丝中的至少一种。
25.图1a示出根据本公开实施例的一种进行联合异常检测和生理状况估计的示例性方法的流程图。如图1a所示，所述方法可以始于步骤101，获取由图像获取装置获取的医学图像。所述医学图像可以包括血管。例如，所述医学图像可以包括通过各种成像模态所生成的图像，各种成像模态包括但不限于ct、磁共振成像(mri)、超声、光学相干断层扫描(oct)等。
26.可以在步骤102，基于所述医学图像，可以应用联合学习模型来确定所述血管的异常状况连同生理参数。所述联合学习模型满足在所述血管的异常状况与所述血管的生理参数之间的预定约束关系。
27.例如，可以为包括血管异常检测和血管生理参数预测这两个任务构建联合学习模型，使其既可用于血管异常检测又可用于生理参数估计。该联合学习模型可以从医学图像中一并检出血管异常并预测生理参数。该联合学习模型可以采用多任务学习框架，或采用串行模型，或是两个任务互相融合的学习框架。
28.该联合学习模型可以利用多组数据标注进行联合训练，从而显著减少了针对某单个任务的过拟合，而能够习得更好对两个任务的更好表示。从而，训练好的联合学习模型能更好地对没新的测试数据进行泛化。进一步地，通过联合训练，更容易学习到某些有用特征的任务能够向难捕捉这些特征的其他任务提供指示，使得其他任务能够更好地学习这些特征。这相较传统方法带来若干优点。首先，当仅对于病变检测或ffr预测来训练模型，可能具有在单个任务上过拟合噪声的风险。另一方面，如果对两个任务来训练模型，模型可以习得不对单个任务的噪声过拟合的更好的表示。结果是，训练好的模型能够更好泛化以处理新的测试数据。第二，在单个任务上训练模型会导致无法捕捉某些特征。这可能因为该任务以复杂方式与这些特征交互作用。通过训练联合模型，更容易习得这些特征的附加任务能够引导该任务更好地学习这些特征。第三，如稍迟描述的，本文中公开的联合学习模型能够显
性地设计以生成一致的病变和ffr预测。也可以实现其他优点。
29.此外，联合学习模型不仅可以使用完整标记训练，也可以使用部分标记甚至未标记的数据来训练，从而使得各种数据标注得到充分利用。以生理参数为例，生理参数的完整标记示例包括指示路径上每个位置的生理参数的回拉曲线。生理参数标记还可以使用其他方式来生成。生理参数的部分标记的示例可以包括在一个或某几个位置处测量得到的一个以上的生理参数值。生理参数的未标记示例可以是未病变的健康血管(其可以视为正常)而严重狭窄(例如，闭塞大于90％)的血管可以视为血管功能受到显著影响的血管。以病变作为异常的示例，病变的标记可以包括但不限于如下：标记的病变位置、边界框、起点和终点、病变类型(钙化/非钙化/混合；或脆弱/稳定病变等)、病变严重程度(区域减少率、直径减小率等)等。
30.在步骤102中，可以通过各种方式，嵌入将所述血管的异常状况与所述血管的生理参数之间的预定约束关系。例如，可以在联合学习模型的模型结构中，以显式限定的方式，来建模(或内置)所述血管的异常状况与生理参数之间的预定约束关系，从而强制避免该模型的异常检测结果与生理参数预测结果之间的任何潜在冲突。又例如，也可以在联合学习模型的训练过程中，使用损失函数对所述血管的异常状况与生理参数之间的预定约束关系的偏离进行惩罚，使得联合学习模型习得能够减少甚至消除这种偏离(或冲突)的更好的表示。
31.图1b示出根据本公开实施例的一种进行联合异常检测和生理状况估计的方法的流程图。如图1b所示，该方法始于步骤101，接收包含血管的医学图像。在步骤102a，从所述医学图像中提取血管的中心线。
32.在步骤102b，基于所述医学图像，提取沿着血管的中心线的至少一个位置的特征映射的序列，作为联合特征。例如，特征映射的序列可以包括沿着血管的中心线的至少一个位置的至少一个特征。特征映射可以通过外部模型生成或作为输入给出。特征映射可以在联合学习模型中直接习得。各个位置的对应特征可以包括人工设计特征、原始图像、自主学习特征或者血管蒙版中的至少一种。例如，位置处的特征可以是从心血管图像或冠脉蒙版提取的人工设计特征或自动习得特征。
33.在步骤102c,基于所提取的联合特征,确定血管的异常状况连同血管的生理参数。在一些实施例中，所述血管的异常状况可以包括沿着所述血管的中心线的至少一个位置的异常蒙版、异常的代表性坐标(例如异常的中心坐标)、异常的类型、异常的位置和异常的尺寸/严重程度中的至少一种。所述血管的生理参数包括沿着所述血管的中心线的至少一个位置的生理功能状态中的如下血管功能参数中的至少一种：血流压力、血流速度、血流量、壁面剪切力、血流储备分数(ffr)参数、微循环阻力指数(imr)、瞬时无波形比值(ifr)参数、相较邻近位置的相对ffr变化参数或相对ifr变化参数。
34.下文中以冠状动脉ct图像作为医学图像的示例、血管病变作为血管的异常状况的示例、并以ffr作为生理参数的示例，对本公开的进行联合异常检测和生理状况估计的方法进行具体说明。但须知，本公开不限于此，还可以扩展到其他情况。
35.在一些实施例中，所述异常状况可以包括血管斑块、心肌桥、血管瘤、支架、导管、导丝中的至少一种的相关状况。在一些实施例中，血管的生理参数(也称为血管功能参数)除了ffr之外，还可以包括生理功能状态、血流压力、血流速度、血流量、壁面剪切力、微循环
阻力指数(imr)、瞬时无波形比值(ifr)、相较邻近位置的相对ffr变化参数或相对ifr变化参数中的至少一种。
36.图2示出根据本公开实施例的用于异常检测(例如病变检测)和生理状况估计(例如生理参数预测)的联合学习模型的示例性结构的示意图。如图2所示，所述联合学习模型可以包括联合特征提取部201、病变检测部202(作为异常检测部的示例)和ffr预测部203(作为生理参数预测部的示例)。
37.联合特征提取部201被配置为基于所述医学图像提取联合特征。例如，联合特征可以包括沿着血管的中心线的特征f的序列。在一些实施例中，联合特征可以直接从原始医学图像、转换后的医学图像或处理后的图像(蒙版、通过不同强度转换得到的图像等)推导得出。联合特征可以是人工设计，也可以通过例如神经网络的模型自动地习得。在后一种情况中，联合特征提取部201能够在训练阶段进行学习。所提取的联合特征将用于病变检测和生理参数预测。通过共享联合特征提取部201，联合学习模型能够充分利用病变检测和生理参数预测这两个任务之间的相关性。
38.在医学图像不同时，联合特征提取部201可以用不同方式来提取联合特征。
39.例如，在接收沿着所述血管的中心线的至少一个位置的初始特征信息的序列作为输入时，联合特征提取部201分别为所述至少位置的各个位置的初始特征信息提取特征映射。以此方式，可以得到沿着所述血管的中心线的至少一个位置的特征映射的序列作为所述联合特征，其中，特征映射的序列可以分别包括至少一个位置的至少一个特征映射。在一些实施例中，各个位置的初始特征信息可以包括在该位置提取的(2d/3d)图像块、血管蒙版、人工提取的初始特征、半自动提取的初始特征、或者自动提取的初始特征中的至少一个。例如，可以为各个位置分别采用cnn单元来提取对应的特征映射，各个cnn单元的参数在训练时经由反向传播一起优化。
40.作为另一示例，在接收包含血管的医学图像(例如2d/3d整图)作为输入时，可以为沿着所述血管的中心线的各个位置的周围区域执行卷积运算来获得各个位置的特征映射。结果是，能够得到沿着所述血管的中心线的至少一个位置的特征映射的序列作为所述联合特征。
41.在一些实施例中，联合特征的联合学习可以采用中心线上的至少一个位置。但是，所述至少一个位置可以不限于中心线点。在一些实施例中，各个位置也可以从包括横向区域、纵向区域、扰动中心线点或血管蒙版等的相邻区域中选择。为了描述方便，本文中采用中心线点作为各个位置的示例，但下文的说明也可以灵活转用于任何其他类型的各个位置，而不损失通用性。
42.联合特征提取部201所提取的联合特征兼用作病变检测部202和ffr预测部203的共同输入。然后，病变检测部202可以基于所提取的联合特征确定血管的病变检测结果p，ffr预测部203则基于所提取的联合特征确定血管的ffr预测结果y。在一些实施例中，病变检测结果p可以包括如下中的至少一种：病变蒙版(各个中心线点处是/否)、病变中心坐标、病变尺寸、病变位置、边界框、起点和终点、病变严重程度、病变类型(钙化/非钙化/混合；或脆弱/稳定病变等)。ffr预测结果y可以包括各个或者部分中心线点处的ffr值、相较于邻近点的相对ffr变化等。
43.在一些实施例中，病变检测部202和ffr预测部203可以采用cnn、mlp(多层感知
机)、fcn(全连接神经网络)、rnn(递归神经网络)、gcn(图卷积网络)中的任何一种来实现。
44.在一些实施例中，所述联合学习模型可以基于异常标注数据集连同生理参数标注数据集进行联合训练，且所述联合训练使用的损失函数对所述血管的异常状况与生理参数之间的预定约束关系的偏离进行惩罚。替代地或者结合地，所述联合学习模型可以配置为将所述血管的异常状况与生理参数之间的预定约束关系建模到其模型结构中，使得消除或减少所述血管的异常状况与生理参数之间的预定约束关系的偏离。
45.以血管的各个位置处的病变程度和ffr值分别作为异常状况和生理参数的示例，可以经由联合学习模型的架构和/或联合训练使用的损失函数的结合，来嵌入血管的病变状况与ffr值之间的这一预定约束关系。所述预定约束关系可以指示ffr值根据病变程度改变，同时ffr值在非病变位置处不发生改变或者改变缓慢。如此，训练好的联合学习模型获得的病变检测结果和ffr预测结果能够符合两者之间的生理作用机制，生理上相符，且可以显著提升病变检测结果和ffr预测结果的准确性和鲁棒性。
46.图3示出根据本公开实施例的用于病变检测和生理参数预测的联合学习模型的另一示例性结构的示意图。如图3所示，所述病变检测部202可以配置为检测沿着所述血管的中心线的各个位置是否异常(例如，在该位置处是否发生异常)。ffr预测部203可以配置为，针对所述各个位置：经由ffr变化预测部203a预测该位置的ffr相较上游邻近位置的变化值δffr，并经由ffr聚合部203b对该位置上游的变化值δffr进行聚合，来确定该位置处的ffr。例如，各个位置的变化值δffr可以是相较上游邻近位置的ffr下降值，并且δffr可以用于表示ffr下降值，如下所述。
47.在一些实施例中，可以在经由ffr变化预测部203a预测变化值的过程中和/或在ffr变化预测部203a的构造中，强制嵌入血管的ffr变化与病变之间的上述预定约束关系。
48.具体说来，可以经由初始预测子部203a1，基于所述联合特征，预测各个位置处的ffr相较上游邻近位置的初始下降值(δffri)。在一些实施例中，初始预测子部203a1可以利用线性层来实现。
49.可以经由第一调节子部203a2对所述初始下降值δffri进行第一调节来获得中间下降值使得中间下降值落入所述ffr下降值δffr的预定范围。在一些实施例中，第一调节子部203a2可以采用整流线性单元(relu)，对初始下降值δffri进行处理，如公式(1)所示，保留正值而将负值映射为0。结果，中间ffr下降值具有非负值(例如0或正值)，从而符合ffr值从血管上游向着下游下降的先验知识。由此，避免了不合理的ffr下降值δffr且不违背这一先验知识。
[0050][0051]
接着可以经由第二调节子部203a3，基于病变发生位置对第一调节后所得的中间ffr下降值进行第二调节来获得所述ffr下降值δffr，使得病变发生位置与第二调节后所得的ffr下降值δffr之间满足预定约束关系。在这里使用ffr作为血管功能参数的示例，所述预定约束关系可以表示：ffr值根据病变程度改变，同时ffr值在非病变位置处不发生改变或者改变缓慢。例如，可以根据公式(2)，将非病变位置的ffr相较上游邻近位置的
下降值δffr置零，或者置于一个接近零的数(例如小于或等于预定阈值的数)。
[0052][0053]
如图3所示，灰色的圆圈表示δffr可为正值的发生病变的中心线点，而白色的圆圈表示δffr应为零值或接近零值的非病变(例如正常)的中心线点。经过第一调节子部203a2和第二调节子部203a3的共同作用，每个中心线点处预测得到的δffr仅可能在预测为病变点的中心线点非零(确切说来为正)，其余中心线点处(也就是正常位置处)的δffr均为0(或小值)。从而，使得两次调节后的δffr不仅满足沿着血管的向下游延伸的血管路径通常不增加的先验知识，还满足ffr主要因为病变而改变的先验知识。一旦获得ffr下降值δffr，再由ffr聚合部203b来生成在第t个中心线点的最终ffr值ffr
t
的转变。例如，可以根据以下公式(3)来获得最终ffr值ffr
t
。
[0054][0055]
其中，ffr
t
表示第t个中心线点处的最终ffr值，ffr0表示主动脉附近的初始ffr值，∪
t
表示第t个中心线点的上游的所有中心线点的集合，δffrj表示为第j个中心线点预测的ffr变化值(例如ffr下降值)。因为这些操作都是可微的，所以整个联合学习模型能够进行端到端地学习。
[0056]
在一些实施例中，所述联合训练使用的损失函数中可以包含偏离损失项，其中，偏离损失项表征病变的检测结果与生理参数的预测结果之间的偏离程度。如图4所示，对于血管病变和ffr值来说，偏离损失项可以包括ffr的分布与病变分布的不一致程度205。不一致程度越高，则惩罚就越高。灰色的圆圈表示该中心线点属于病变区域而白色圆圈表示该中心线点属于非病变区域。可以针对非病变区域的各个位置，例如图4中所示的白色圆圈所对应的中心线点，累计当前位置相较上游邻近位置的ffr变化值δffr的绝对值。累计值越大，证明ffr的分布与病变分布的不一致程度可能越高，损失函数的值也就越大。从而，使得联合学习模型据此调节参数来向着减少损失函数(包含不一致程度在内)进行训练。因此，联合学习模型能够习得能够减少甚至消除这种不一致(冲突)的更好的表示。预定约束条件可以指示ffr值根据病变程度而改变。在一些实施例中，偏离度也可以与病变区域中的病变程度相关联，使得具有更大病变程度的点或位置具有更少惩罚，但是具有更小病变程度的点或位置具有更多惩罚。
[0057]
图5示出根据本公开实施例的联合学习模型的训练过程的流程图。如图5所示，可以在步骤501，根据医学图像的血管病变和ffr值的地面真值来构建用于训练联合学习模型的训练数据集。训练数据集可以包括完整标记、部分标记甚至未标记的数据，从而使得各种数据标记在训练中得到充分利用。
[0058]
在步骤502，可以利用训练数据集对联合训练模型进行联合训练，直到损失函数收敛。具体说来，可以使用诸如随机梯度下降法(sgd)、rmsprop或adam等优化方法来端到端训练。例如，损失函数可以由公式(4)来表示：
[0059]
l＝ld λcly λ
in
l
in
ꢀꢀꢀꢀꢀꢀꢀ
公式(4)
[0060]
其中，ld表示病变检测损失，ly表示ffr回归损失，λc表示ffr回归损失的权重，l
in
表示在ffr与病变预测之间强制附加的一致性损失，λ
in
是该一致性损失的权重。例如，非病变
的中心线点处的ffr下降值可以强制为零。例如但非限制，l
in
可以由公式(5)来表示：
[0061]
l
in
＝∑
j∈c
|δffrj|
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式(5)
[0062]
其中，c是所有预测为非病变的中心线点的集合，δffrj是第j个中心线点相对于其的上游的中心线点的ffr下降值。根据ffr的生理形成机制的先验知识，非病变区域在相邻中心线点之间的ffr下降值为零或近乎为零。通过惩罚非病变区域的ffr下降的绝对值的累计值，引导联合学习模型习得更符合该先验知识的模型参数。
[0063]
图6示出根据本公开实施例的对于包含血管树的医学图像进行病变检测连同生理参数预测的分析过程的流程图。如图6所示，在步骤601，可以接收包含血管树的医学图像并提取血管树的中心线。在步骤602，可以沿着中心线提取一系列的图像块，基于所提取的一系列的图像块利用训练好的联合学习模型，确定血管树的(尤其是候选狭窄处的)病变状况以及ffr值。在步骤603，可以输出并显示整个血管树的病变状况以及ffr值。
[0064]
在一些实施例中，在联合训练期间，可以预估血管病变下游或者血管病变分支上的生理功能状态。该生理功能状态可以是连续的变量、或者是0(正常)或者1(不正常)，也可以是分级的(i，ii，iii，iv级等)。如果血管上游或者分支没有病变的位置(例如没有病变点)，血管的生理功能状态预测结果应该是正常状态。另一方面，如果血管上游或者分支存在病变(例如病变点)，血管的生理功能状态应该是异常的。就生理功能状态与病变位置之间的不一致，可以通过惩罚函数进行惩罚，或者通过逻辑处理进行调节。
[0065]
图7示出根据本公开实施例的一种进行联合异常检测和生理状况估计的系统的示意性框图。如图7所示，该系统可以包括模型训练装置700a、图像获取装置700b和图像分析装置700c。
[0066]
在一些实施例中，图像分析装置700c可以是专用计算机或通用计算机。例如，图像分析装置700c可以是为医院执行图像获取和图像处理任务而定制的计算机，也可以是云端的服务器。
[0067]
该图像分析装置700c可以包括至少一个处理器703，其配置为执行根据本文中描述的功能。例如，所述至少一个处理器703可以配置为执行本文中公开的方法，尤其进行联合异常检测和生理状况估计的方法。
[0068]
在一些实施例中，处理器703可以是包括一个及以上的通用处理装置的处理装置，例如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等。更具体地，处理器703可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集组合的处理器。处理器703还可以是一个及以上的专用处理装置，诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等。
[0069]
该图像分析装置700c还可以包括存储器701，存储器701可以被配置为加载或存储根据本公开的任意一个及以上的实施例的训练好的联合学习模型，或者图像处理/分析程序，该图像分析程序由处理器703执行时可以实现本文中公开的方法。
[0070]
存储器701可以是非暂时性计算机可读介质，诸如只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)，其他类型的随机存取存储器(ram)、闪存或其他形式的闪存、高速缓存、寄存器、静态存储器、光盘只读存储器(cd-rom)、数字多功能
盘(dvd)或其他光学存储器、盒式磁带或其他磁存储设备，或用于存储计算机设备等可访问的信息或指令的任何其他可能的非暂时性介质。当由处理器703执行存储在存储器701上的指令时，可以执行根据本文中记载的方法。
[0071]
虽然在图7中将模型训练装置700a与图像分析装置700c示出为独立的装置，但在一些实施例中，图像分析装置700c还可以执行模型训练功能，并且因此，存储器701可以被配置为加载标注有血管的异常状况和生理参数的训练数据集。例如，处理器703可以被配置为基于加载的训练数据集来联合地训练联合学习模型，例如其中的联合特征提取部、异常检测部和生理参数预测部。
[0072]
在一些实施例中，图像分析装置700c可以进一步包括内存702，内存702被配置为从例如存储器701加载根据本公开的任意一个及以上的实施例的联合学习模型，或者暂时存储在利用联合学习模型的处理/分析过程中产生的中间数据。处理器703可以通信地附接到内存702并且被配置为执行其上存储的可执行指令，以执行本文中公开的方法。
[0073]
在一些实施例中，内存702可以存储训练阶段或预测阶段期间生成的中间信息，诸如执行计算机程序的同时生成的特征信息、血管的异常状况和/或生理参数、各个损失项的值等。在一些实施例中，内存702可以存储计算机可执行指令，诸如一个及以上的图像处理程序。在一些实施例中，联合学习模型、联合学习模型中的各个部、各个子部可以作为存储在存储器701中的应用实现，并且这些应用能够被加载到内存702中，并且然后由处理器703执行以实现对应的功能。
[0074]
在一些实施例中，内存702可以是非暂时性计算机可读介质，诸如只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦可编程只读存储器(eeprom)、其他类型的随机存取存储器(ram)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器或任意其他可能的介质，用于存储计算机设备等可以访问和执行的信息或指令。
[0075]
在一些实施例中，图像分析装置700c可以进一步包括通信接口704，用于接收由图像获取装置700b采集的医学图像。在一些实施例中，通信接口704可以包括网络适配器、电缆连接器、串行连接器、usb连接器、并行连接器、高速数据传输适配器(诸如光纤、usb 3.0、thunderbolt接口等)、无线网络适配器(诸如wifi适配器)、电信(3g、4g/lte、5g等)适配器等中的任何一种。
[0076]
图像分析装置700c可以通过通信接口704连接到模型训练装置700a、图像获取装置700b和其他组件。在一些实施例中，通信接口704可以被配置为从模型训练装置700接收训练好的联合学习模型，并且还可以被配置为从图像获取装置700b接收包含血管的医学图像。
[0077]
具体地，图像获取装置700b可以包括普通ct、普通mri、功能性磁共振成像(诸如fmri、dce-mri和弥散mri)、锥形束计算机断层扫描(cbct)、正电子发射断层扫描(pet)、单光子发射计算机断层扫描(spect)、x射线成像、光学断层扫描(oct)、荧光成像、超声成像、放疗场成像等中的任意一个。
[0078]
在一些实施例中，模型训练装置700a可以被配置为训练联合学习模型，并且向图像分析装置700c发送训练好的联合学习模型，以便通过使用训练好的联合学习模型基于获取的包含血管的医学图像来确定血管的异常状况和生理参数。在一些实施例中，模型训练
装置700a和图像分析装置700c可以由单一计算机或处理器实现。
[0079]
在一些实施例中，模型训练装置700a可以使用由执行训练处理的软件专门编程的硬件来实现。例如，模型训练装置700a可以包括和图像分析装置700c相似的处理器和非暂时性计算机可读介质。处理器通过执行存储在计算机可读介质中的训练过程的可执行指令来实现训练。模型训练装置700a还可以包括输入和输出接口来与训练数据库、网络、和/或用户界面进行通信。用户界面可以用来选择训练数据集，在训练处理中调整一个及以上的参数，选择或修改学习模型的框架等。
[0080]
本公开的另一方面旨在提供一种存储指令的非暂时性计算机可读介质，当执行指令时，其使一个及以上的处理器执行上述方法。计算机可读介质可以包括易失性或非易失性、磁性、基于半导体的、基于磁带的、光学的、可移动的、不可移动的或其他类型的计算机可读介质或计算机可读存储装置。例如，计算机可读介质可以是其中存储有计算机指令的存储装置或存储模块，如所公开的。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的磁盘或闪存驱动器。
[0081]
对本公开的方法、装置和系统可以进行各种变型和更改。鉴于所公开的系统和相关方法的描述和实践，可以由本领域的技术人员衍生出其他实施例。本公开的各个权利要求都可理解为独立实施例，并且它们之间的任意组合也用作本本公开的实施例，并且这些实施例被视为都包括在本公开中。
[0082]
意图描述和示例仅视为示例性的，真实范围由所附权利要求书及其等效来表示。