用于分析三维图像数据的系统和方法与流程

用于分析三维图像数据的系统和方法
关联申请的交叉引用
1.本技术要求2019年10月25日提交的美国临时专利申请第62/926,088号的优先权，该美国临时专利申请的内容通过引用以其整体结合于此。关于联邦资助研究的说明
2.不适用。


背景技术：

3.数字乳房断层合成(dbt)，也可被称为三维(3d)乳房x线摄影术，已被证明在检测乳腺癌方面比传统的全视野数字乳房x线摄影术具有更优越的临床性能。全视野乳房x线摄影术可以生成表示乳房整个深度的二维(2d)投影图像，以得到多个视图。相比之下，dbt可以生成10-150个或更多的2d图像，该2d图像表示每个视图的乳房薄片(即约1mm厚)。
4.由于dbt比全视野乳房x线摄影术生成更多的数据，因此对人类从业者而言，筛选dbt生成的图像以及做出是否存在恶性肿瘤和/或病变的确定可能是困难的。此外，什么被认为以及什么不被认为是潜在恶性区域可能因从业者而异，这可导致即使使用相同的图像集合，对患者是否患有恶性肿瘤和/或病变的判断也不一致。
5.因此，期望具有更有效且准确地分析3d乳房x线摄影数据以及使用3d乳房x线摄影数据一致地(uniformly)估计恶性肿瘤和/或病变的系统和方法。


技术实现要素：

6.本公开提供了用于有效且准确地分析3d乳房x线摄影数据以及使用3d乳房x线摄影数据一致地估计恶性肿瘤和/或病变的系统和方法。在一个非限制性方面，本公开提供了一种用于确定患者的乳房组织的恶性(malignancy)可能性分数的方法。该方法包括：接收乳房组织的多个二维图像，该二维图像是从乳房组织的三维图像导出的；针对每个二维图像，向包括第一经训练的神经网络的第一模型提供该二维图像，以及接收来自第一模型的数个指示符，每个指示符与被包括在多个二维图像中的二维图像相关联；基于该数个指示符和多个二维图像中的至少一个二维图像生成合成二维图像；向包括第二经训练的神经网络的第二模型提供合成二维图像；接收来自第二模型的恶性可能性分数；以及将包括恶性可能性分数的报告输出到存储器或显示器中的至少一者。
7.在该方法中，指示符可以包括相关性分数，并且所述生成可以包括：确定第一指示符和第二指示符重叠，确定第一指示符具有比第二指示符更高的相关性分数，以及响应于确定第一指示符具有更高的相关性分数，而在合成二维图像中包括第一指示符的至少一部分。第一指示符可以与被包括在多个二维图像中的第一二维图像相关联，并且第二指示符可以与被包括在多个二维图像中的第二二维图像相关联。
8.在该方法中，每个指示符可以包括像素阵列和相关性分数，每个像素包括强度值。
9.在该方法中，所述生成可以包括：将被包括在合成二维图像中的第一像素中所包括的第一强度值设置为等于被包括在指示符中的第二强度值。
10.在该方法中，所述生成可以包括：将被包括在合成二维图像中的第一像素中所包括的第一强度值设置为等于被包括在多个二维图像中的第二二维图像中所包括的第二强度值，该第二强度值被包括在不与任何指示符相关联的第二像素中。
11.在该方法中，第二二维图像可以与至少一个指示符相关联。
12.在该方法中，所述生成可以包括：确定与被包括在该数个指示符中的第一指示符相关联的并且包括第二像素阵列的第一覆盖区域，确定与被包括在该数个指示符中的第二指示符相关联的并且包括第三像素阵列第二覆盖区域，以及基于被包括在第一覆盖区域中的第二强度值和被包括在第二覆盖区域中的第三强度值，确定被包括在合成二维图像中的第一像素的第一强度值。第一覆盖区域可以包括不被包括在第一指示符中的至少一个像素，并且第二覆盖区域可以包括不被包括在第二指示符中的至少一个像素。确定第一像素的第一强度值可以包括将第一强度值设置为等于第二强度值乘以第一权重加上第三强度值乘以第二权重的总和。
13.在该方法中，所述生成可以包括：确定第一指示符和第二指示符重叠，确定第一指示符具有比第二指示符更高的相关性分数，以及响应于确定第一指示符具有更高的相关性分数，而在合成二维图像中不包括第二指示符的任何部分。
14.在该方法中，三维图像可以使用数字乳房断层合成被生成。
15.在该方法中，第一经训练的神经网络可以包括第一子网络，并且第二经训练的神经网络可以包括第二子网络，第一子网络和第二子网络包括相同数量的层和滤波器。第二经训练的神经网络可以使用第一神经网络的权重值集合作为初始权重值被训练。
16.该方法可以进一步包括：从该数个指示符中移除至少一个指示符，以及基于该数个指示符和多个二维图像中的至少一个二维图像生成第二合成二维图像。
17.在该方法中，第一模型可以基于图像数据集被训练，该图像数据集包括由医疗从业者注释的二维全视野数字乳房x线摄影图像。在该方法中，被包括在乳房组织的多个二维图像中的每个二维图像可以是被包括在三维数字乳房断层合成体积中的切片。
18.在另一非限制性方面，本公开提供了一种用于生成患者的乳房组织的合成二维图像的方法。该方法包括：接收乳房组织的多个二维图像，该二维图像是从乳房组织的三维图像导出的；针对每个二维图像，向包括经训练的神经网络的模型提供该二维图像，以及接收来自模型的数个感兴趣区域，每个感兴趣区域包括分数并且与被包括在多个二维图像上的二维图像相关联；确定目标感兴趣区域具有该数个感兴趣中的至少部分地重叠目标感兴趣区域的二维位置的任何感兴趣区域的最高分数，该二维位置由多个二维图像中的每一个二维图像共享；以及基于目标感兴趣区域和多个二维图像中的至少一个二维图像生成合成二维图像。
19.在该方法中，每个感兴趣区域可以进一步包括像素阵列，每个像素包括强度值。
20.在该方法中，所述生成可以包括：将被包括在合成二维图像中的第一像素中所包括的第一强度值设置为等于被包括在感兴趣区域中的第二强度值。
21.在该方法中，所述生成可以包括：将被包括在合成二维图像中的第一像素中所包括的第一强度值设置为等于被包括在多个二维图像中的第二二维图像中所包括的第二强度值，该第二强度值被包括在不与任何感兴趣区域相关联的第二像素中。
22.在该方法中，所述生成可以包括：确定与被包括在该数个感兴趣区域中的第一感
兴趣区域相关联的并且包括第二像素阵列的第一覆盖区域，确定被包括在该数个感兴趣区域中的第二感兴趣区域相关联的并且包括第三像素阵列第二覆盖区域，以及基于被包括在第一覆盖区域中的第二强度值和被包括在第二覆盖区域中的第三强度值，确定被包括在合成二维图像中的第一像素的第一强度值。第一覆盖区域可以包括不被包括在第一感兴趣区域中的至少一个像素，并且第二覆盖区域可以包括不被包括在第二感兴趣区域中的至少一个像素。确定第一像素的第一强度值可以包括将第一强度值设置为等于第二强度值乘以第一权重加上第三强度值乘以第二权重的总和。
23.在该方法中，所述生成可以包括：确定第一感兴趣区域和第二感兴趣区域重叠，确定第一感兴趣区域具有比第二感兴趣区域更高的相关性分数，以及响应于确定第一感兴趣区域具有更高的相关性分数，而在合成二维图像中不包括第二感兴趣区域的任何部分。
24.在该方法中，三维图像可以使用数字乳房断层合成被生成。
25.该方法可以进一步包括：从该数个感兴趣区域中移除至少一个感兴趣区域，以及基于该数个感兴趣区域和多个二维图像中的至少一个二维图像生成第二合成二维图像。
26.在又另一非限制性方面，本公开提供了一种用于确定患者的乳房组织的恶性可能性分数的系统。该系统包括存储器、处理器和显示器，该存储器被配置成用于存储乳房组织的多个二维图像，该二维图像是从乳房组织的三维图像导出的，该处理器被配置成用于访问存储器并且用于：向包括第一经训练的神经网络的第一模型提供每个二维图像；并且针对每个二维图像，接收来自第一模型的数个指示符，每个指示符与被包括在多个二维图像中的二维图像相关联；基于该数个指示符和多个二维图像中的至少一个二维图像生成合成二维图像；向包括第二经训练的神经网络的第二模型提供合成二维图像；使用第二模型确定恶性可能性分数，该显示器被配置成用于显示包括恶性可能性分数的报告。
27.在该方法中，该模型可以基于图像数据集被训练，该图像数据集包括由医疗从业者注释的二维全视野数字乳房x线摄影图像。在该方法中，被包括在乳房组织的多个二维图像中的每个二维图像可以是被包括在三维断层合成体积中的切片。
28.在附加的非限制性方面，本公开提供了一种用于生成患者的乳房组织的合成二维图像的系统。该系统包括存储器和处理器，该存储器被配置成用于存储乳房组织的多个二维图像，该二维图像是从乳房组织的三维图像导出的，该处理器被配置成用于访问存储器并且用于：向包括经训练的神经网络的模型提供每个二维图像；并且针对每个二维图像，接收来自模型的数个感兴趣区域，每个感兴趣区域包括分数并且与被包括在多个二维图像上的二维图像相关联；确定目标感兴趣区域具有该数个感兴趣中的至少部分地重叠目标感兴趣区域的二维位置的任何感兴趣区域的最高分数，该二维位置由多个二维图像中的每一个二维图像共享；并且基于目标感兴趣区域和多个二维图像中的至少一个二维图像生成合成二维图像。
29.在进一步的非限制性方面，本公开提供了一种用于确定患者的乳房组织的恶性可能性分数的系统。该系统包括存储器、处理器和显示器，该存储器被配置成用于存储乳房组织的多个二维图像，该二维图像是从乳房组织的三维图像导出的，该处理器被配置成用于访问存储器并且用于：向包括第一经训练的神经网络的第一模型提供每个二维图像；针对每个二维图像，接收来自第一模型的数个指示符，每个指示符与被包括在多个二维图像中的二维图像相关联；基于该数个指示符和多个二维图像中的至少一个二维图像生成第一合
成二维图像；基于多个二维图像中的至少一个二维图像和第一合成二维图像生成第二合成二维图像；基于多个二维图像中的至少一个二维图像和第一合成二维图像生成第三合成二维图像；向包括第二经训练的神经网络的第二模型提供第一合成二维图像、第二合成二维图像和第三合成二维图像；使用第二模型确定恶性可能性分数，该显示器被配置成用于显示包括恶性可能性分数的报告。
30.在又进一步的非限制性方面，本公开提供了一种用于生成患者的乳房组织的合成二维图像的系统。该系统包括存储器和处理器，该存储器被配置成用于存储乳房组织的多个二维图像，该二维图像是从乳房组织的三维图像导出的并且每个二维图像与切片编号相关联，该处理器被配置成用于访问存储器并且用于：顺序地向包括经训练的神经网络的模型提供被包括在多个二维图像中的第一二维图像、第二二维图像和第三二维图像，与第一二维图像相关联的切片编号和与第二二维图像相关联的切片编号相差预定的偏移值，并且与第二二维图像相关联的切片编号和与第三二维图像相关联的切片编号相差预定的偏移值；针对被包括在多个二维图像中的每个二维图像，接收来自模型的数个感兴趣区域，每个感兴趣区域包括分数并且与被包括在多个二维图像中的二维图像相关联；确定目标感兴趣区域具有该数个感兴趣区域中的至少部分地重叠目标感兴趣区域的二维位置的任何感兴趣区域的最高分数，该二维位置由多个二维图像中的每一个二维图像共享；基于目标感兴趣区域和多个二维图像中的至少一个二维图像生成合成二维图像。
附图说明
31.图1是示出示例性x射线成像系统的框图。
32.图2是示出用于为三维断层合成数据的二维切片生成感兴趣区域的模型的示例性实施例的框图。
33.图3是示出了使用被训练以检测断层合成数据的二维切片中的感兴趣区域的模型来创建合成图像的过程中的各步骤的一些示例的流程图。
34.图4是示出与示例性初步合成图像相关联的感兴趣区域的示意图。
35.图5是示出与图4的示例性初步合成图像相关联的感兴趣区域和覆盖区域的另一示意图。
36.图6是示出用于生成恶性可能性分数的示例性二级模型的进一步框图。
37.图7是示出了使用被训练以估计乳房组织中的肿瘤和/或病变的恶性的模型来创建合成图像的过程中的各步骤的一些示例的流程图。
38.图8是示出图7的过程的可视数据流路径的图像集合。
39.图9是用于基于3d断层合成数据的第一2d切片、3d断层合成数据的第二2d切片、和3d断层合成数据的第三2d切片来生成3d断层合成数据的第二2d切片的感兴趣区域(roi)的模型的示例性实施例。
40.图10是用于使用图9的模型生成合成图像的过程。
41.图11是用于生成恶性可能性分数的另一示例性二级模型。
42.图12是使用被训练以估计乳房组织中的肿瘤和/或病变的恶性的模型来创建三个合成图像并基于所述合成图像生成恶性可能性分数的过程。
具体实施方式
43.如本文将描述的，提供了用于使用一个或多个合成二维(2d)图像有效且一致地显示三维(3d)断层扫描数据的相关区域以及使用机器学习技术使用一个或多个合成图像确定恶性的示例性系统和方法。
44.除了以下描述的系统和方法之外，可能存在用于分析3d断层合成数据的相关区域和/或确定乳房组织的肿瘤和/或病变的恶性的方法，所有这些系统和方法都有缺点。一种方法是让人类从业者标记3d乳房x线照片中所包括的每个切片的相关区域。由于人类从业者标记每个2d切片需要大量时间，因此基于人类的方法可能成本高昂且速度缓慢。此外，由于人类从业者之间的偏好/专业水平不同，因此基于人类的方法可能会不一致。
45.另一方法是训练机器学习模型，该机器学习模型接收整个3d断层扫描数据集(即3d断层扫描数据集中所包括的每个切片)并输出恶性可能性分数，该恶性可能性分数指示乳房组织中存在的肿瘤和/或病变的恶性。由于数据处理系统的数据大小和存储器限制，这种方法可能不可行，并且还可能容易过度拟合。
46.又另一方法可涉及从2d切片采样集合中随机选择切片或选择2d切片集合中的默认切片(即第25个切片或中间切片)，并基于该切片训练机器学习模型以输出恶性可能性分数。这种方法也可能容易过度拟合，因为切片将可能不包含肿瘤和/或病变(如果存在肿瘤和/或病变的话)。
47.参考图1，示出了x射线成像系统100的示例，诸如3d数字乳房断层合成(dbt)系统。x射线成像系统100可以包括被耦合到臂102的第一端110的x射线源组件108。x射线检测器组件112可以被偶合在相对端114附近。x射线源组件108可以基本上垂直于臂102延伸并且指向x射线检测器组件112。x射线检测器组件112也从臂102延伸，使得x射线检测器组件112接收由x射线源组件108产生的、传输通过乳房并入射在x射线检测器组件112上的x射线辐射。乳房支撑板116和乳房压缩板118被定位在x射线源组件108和x射线检测器组件112之间。x射线源组件108可以是固定的或可移动的。x射线成像系统100可以生成包括3d dbt数据的经重建的图像。3d dbt数据可以包括数个2d切片。在一些实施例中，经重建的图像可以包括3d断层扫描数据，该3d断层扫描数据包括多个具有约1mm厚度的2d切片。2d切片可用于创建合成的2d图像，这将在下面进行描述。在一些实施例中，x射线成像系统100可以生成中间二维“平板(slab)”，该中间二维“平板”例如表示二维切片子集的最大强度投影。例如，可以根据十个切片生成单个最大强度投影平板，并且也可以根据多个切片生成多个平板，例如根据一百个切片生成十个板。经重建的图像可以被应用作为给计算机126的输入，该计算机126将图像存储在大容量存储设备128中，该大容量存储设备128可以包括存储器。计算机126还可以向x射线成像系统100提供命令以便控制经重建的图像的生成。
48.参考图2，示出了用于为3d断层合成数据的二维(2d)切片204生成感兴趣区域(roi)的模型200的示例性实施例。roi可以被称为指示符。模型200可以接受2d切片204并输出任意数量的roi，例如，包括第一区域208a和第一分数208b的第一roi，以及包括第二区域212a和第二分数212b的第二roi。每个roi可以与指示roi被生成所基于的2d切片的切片编号相关联，例如75个2d切片的集合中的第四切片。切片编号可以在选择和/或组合roi以创建合成图像时被使用，如将在以下所解释的。取决于2d切片204的特性，诸如当2d切片204被认为不具有足以指示潜在恶性的任何区域时，可以输出零个roi。每个roi可以包括可以是
c的前馈残差神经网络(“resnet”)。第二子网络220可以建立在第一子网络之上以有效地创建单个神经网络，使用第一子网络216作为网络的主干。第二子网络220可以包含多个层，该多个层包括第一层222a、第二层222b和第三层222c，尽管可以使用其他数量的层(即，五层)，但为了简单起见示出了三层。第一层222a、第二层222b和第三层222c中的每一层可以是卷积层。每层可以由数个构建块(未显示)组成。每个构建块可以包括数个参数层，诸如三个参数层，每个参数层包括数个(例如，256个)具有给定滤波器大小(例如，3x3)的滤波器。第一层222a、第二层222b和第三层222c中的每一层可以具有相关联的输出大小，诸如144x144、72x72和36x36。基于预处理条件和/或参数，输出大小可以在各输入切片之间变化。当输出大小在第二子网络220的各层之间减小时，参数层的滤波器的数量可以成比例地增加，即，输出大小减半导致滤波器的数量加倍。第二子网络还可以包括连接到最终层(即第三层222c)的全局平均池化(pooling)层，连接到全局平均池化层的全连接层，以及连接到全连接层并具有1x1输出大小(即单个值)的softmax层。
54.模型200可以包括多个三级子网络，诸如第一三级网络224a、第二三级网络224b和第三三级网络224c。三级网络224a-c中的每一个可以连接到第二子网络220的一层。第一三级网络224a可以连接到第一层222a，第二三级网络224b可以连接到第二层222b，并且第三三级网络224c可以连接到第三层222c。每个三级网络可以接收来自第二子网络220的一层的特征，以便检测不同尺度水平的肿瘤和/或病变。
55.每个三级网络可以包括框回归子网络226。框回归子网络226可以包括一个或多个卷积层228a-b(每个卷积层之后是整流线性(relu)激活)，以及最终卷积层230，最终卷积层230被配置成用于输出回归坐标，该回归坐标对应于与第二子网络220的层中的一层的一部分相关联的锚(并且对应于输入2d切片204的像素阵列)。锚可以是第二子网络220的各个层的预定子阵列。回归坐标可以表示锚与预测边界框之间的预测偏移。对于roi中所包括的每个边界框，可以使用回归坐标集合(例如四个回归坐标)和对应的锚来计算边界框的坐标。
56.每个三级网络可以包括分类子网络232。分类子网络232可以包括一个或多个卷积层234a-b(每个卷积层之后是relu激活)，以及最终卷积层238，最终卷积层238之后是s型激活，以输出对对象存在(即，恶性肿瘤和/或病变存在)的预测。分类子网络232可用于获得关于患者是否在2d切片204的各个空间位置处具有恶性肿瘤和/或病变的一个或多个估计。更具体地，每个边界框可以与由分类子网络输出的估计分数相关联。在一些实施例中，每个估计分数的值可以在从零到一的范围内。各空间位置中的一个空间位置可以包括第二子网络220的整个层，即第一层222a。以这种方式，分类子网络232可以基于2d切片输出对患者是否具有恶性肿瘤和/或病变的估计。预期最终卷积层238之后可以是模型中的softmax激活，该模型被训练以对多种类型的恶性区域进行分类，例如多种水平的恶性(例如，低风险区域、高风险区域等)。
57.模型200可以包括输出层250，用于跨不同尺度对数据进行归一化、计算边界框坐标以及过滤掉低得分的边界框预测。输出层250可以接收来自三级子网络224a-c的输出并输出一个或多个roi，每个roi包括缩放到2d切片204的阵列大小的像素阵列和相关联的分数。像素阵列可以是基于回归坐标和锚计算的边界框(例如，矩形边界框)。输出层250可以过滤掉任何低于预定阈值(例如，0.5)的分数。在一些实施例中，输出层250可以接收来自三级子网络224a-c的输出并且输出单个恶性可能性分数。在一些实施例中，可以将单个恶性
可能性分数选择为最高得分边界框分数。
58.参考图1以及图3，示出了使用被训练来检测3d断层合成数据的2d切片中的roi的模型来创建合成图像的过程300。过程300可以包括一个或多个步骤，以用于从模型中选择最相关的roi输出中的一个或多个并使用所述roi来创建合成图像。过程300可以被实现为数据处理系统中所包括的一个或多个存储器上的指令。数据处理系统可进一步包括与一个或多个存储器通信并被配置成用于执行指令的一个或多个处理器。一个或多个处理器可以被配置成用于访问存储器，该存储器可以被包括在大容量存储设备128中，具有3d断层合成数据，包括存储在其上的数个二维切片。
59.在304处，过程300可以接收患者的乳房组织的3d断层合成数据。可以由诸如x射线成像系统100之类的3d乳房x线摄影成像系统生成3d断层合成数据。3d断层合成数据可以包括数个与乳房组织的预定厚度(诸如1mm)相对应的2d切片。取决于患者和/或成像系统，3d断层合成数据可以包括大约10-150个2d切片或更多。每个2d切片可以是预定大小的像素阵列，诸如2000x1500个像素。过程300随后可以进行至308。
60.在308处，过程300可以将数个2d切片中的每一个2d切片单独地提供给能够基于2d切片检测roi的经训练的模型。经训练的模型可以是以上所述的模型200。在一些实施例中，可以将所有2d切片提供给经训练的模型。在一些实施例中，可以将2d切片子集(诸如每第五个切片)提供给经训练的模型。过程300随后可以进行至312。在一些实施例中，可以基于图像数据集训练该经训练的模型，该图像数据集包括由医疗从业者注释的二维全视野数字乳房x线摄影图像。
61.在312处，过程300可以针对被提供给模型的每个2d切片，接收模型输出的数个roi。该模型可以输出零个roi、一个roi或多个roi。取决于2d切片和/或模型，大多数切片可能没有任何roi。如上所述，roi可以包括2d切片的分数和像素子阵列，每个像素具有强度值和在2d切片内的位置。每个roi可以与切片编号相关联，该切片编号指示roi是根据3d断层合成数据中的哪个2d切片生成的。过程300随后可以进行至316。
62.在316处，过程300可以从该数个roi中过滤掉分数低于预定阈值的任何roi。阈值可以被选择以便在最终合成图像中包括更多或更少的roi(通过分别选择较低或较高的阈值)，以减少潜在的假阴性(通过选择较低的值)，和/或以便减少潜在的假阳性(通过选择较高的值)。例如，如果分数可以在0和1之间的范围内，则用户可以选择为0.5的阈值。过程300随后可以从该数个roi中移除分数低于0.5的任何roi。过程300随后可以进行至320。
63.在320处，过程300可以确定该数个roi是否包含至少一个roi。过程300随后可以进行至324。
64.在324处，过程300可以响应于确定该数个roi不包括至少一个roi(在324为“否”)而进行至328。替代地，过程300可以响应于确定该数个roi包括至少一个roi而进行至332。
65.在328处，过程300可以在不使用任何roi的情况下生成最终合成图像。在一些实施例中，该过程可以选择被包括在3d断层合成数据中的2d切片的默认切片以用作最终合成图像。默认切片可以随机选择，2d切片中的第一切片(例如，七十五个2d切片中的第一个切片)，2d切片的最后一个切片(例如，七十五个2d切片中的第七十五个切片)或2d切片中的中间切片(例如，七十五个2d切片中的第三十八个切片)。随后可以将默认切片的像素包括作为最终合成图像的像素。
66.在一些实施例中，过程300可以选择2d切片中的给定像素位置(例如，阵列中的(x，y)位置)处具有最大强度值的像素，以被包括在最终合成图像中。换言之，过程300可以使用最大强度投影来基于2d切片生成最终合成图。最终合成图像可以具有与2d切片中的每一个2d切片相同的尺寸。针对每个像素位置，过程300可以确定哪个(哪些)切片具有最大强度值，并在最终合成图像中的在该像素位置处使用最大强度值。以此方式，可与潜在病变相对应的具有最高强度的像素可以被包括在最终合成图像中。
67.在一些实施例中，过程800可以针对每个像素位置对来自两个或更多个2d切片的两个或更多个强度值进行平均。可以通过以下方式来选择两个或更多个2d切片：选择每第x个2d切片(即每第三个切片或每第五个切片)、选择第一个2d切片和最后一个2d切片、其他2d切片子集、或被包括在2d切片中的每个切片。随后可以对每个像素位置处的强度值进行平均，以便提供对乳房组织的概览。
68.在332处，过程300可以用被包括在该数个roi中的一个或多个roi来填充(populate)初步合成图像的区域。初步合成图像可以是与最终合成图像大小相同的阵列，该初步合成图像针对像素强度值中的每一个用空值进行初始化。随后过程300可以将一个或多个roi添加到初步合成图像。可以基于一个或多个标准添加roi。在一些实施例中，该过程可以针对每个像素位置确定具有最高分数的roi。随后可以将初步合成图像在该像素位置处的强度值设置为等于该roi在该像素位置处的强度值。在多个roi在给定像素位置处具有相同分数的情况下，可以将具有最多像素数量的roi、围绕该像素位置的像素数量最多的roi、和/或在该像素位置处强度值最高的roi选择作为用于该像素位置的roi。在一些实施例中，可以基于交并比(intersection-over-union)阈值来填充初步合成图像。如果多个roi在给定像素处重叠，则过程300可以通过不使用得分较低的roi来填充初步合成图像来“抑制”除了得分最高的roi之外的所有roi。可以从该数个roi中移除用于填充初步合成图像的roi，并且该数个roi中剩余的任何roi可以用于创建附加的合成图像，如下面将解释的。替代地，用于填充初步图像的得分较高的roi可用于填充附加的合成图像，其中得分较高的roi不重叠未在初步图像中使用的得分低的roi中的任何roi。例如，具有0.85和0.75的分数的roi可用于填充初步图像。分数为0.85的roi可重叠分数为0.65的较低得分的roi(例如，占据与分数为0.65的roi相同的像素位置中的至少一个)，并且分数为0.75的roi可能不重叠分数为0.65的roi。随后可以使用分数为0.75的roi和分数为0.65的roi生成附加的合成图像。初步合成图像的每个像素也可以与用于填充给定像素的给定强度值的roi的切片编号相关联。过程300随后可以进行至336。
69.在336处，过程300可以填补(fill)初步合成图像中的未填充区域。在一些实施例中，过程300可以使用分水岭洪泛(watershed-by-flooding)算法来填补未填充区域。为了实现分水岭洪泛算法，过程300可以基于与每个roi相关联的2d切片来填充未填充区域。过程300可以针对用给定roi的像素初始化的每个2d切片生成覆盖区域。例如，roi可以包括在坐标(10,11)、(50,11)、(10,40)和(50,40)处具有拐角的像素阵列，并且该过程可以在2d切片的覆盖区域中包括该像素阵列。过程300随后可以迭代地扩展(多个)覆盖区域，直到初步合成图像的每个像素与切片编号相关联，并且通过扩展与2d切片相关联。一旦每个像素与2d切片相关联，过程300就可以针对每个像素位置将初步合成图像的每个像素的强度值设置为等于相关联的2d切片在给定像素位置处的像素的强度值。过程300随后可以迭代地扩
展每个覆盖区域，直到初步合成图像中的每个像素与切片编号相关联，并且通过扩展与2d切片相关联。在一些实施例中，该过程可以将每个覆盖区域向上、向下、向左和向右扩展一个像素。例如，如果覆盖区域包括在坐标(10,11)、(50,11)、(10,40)和(50,40)处具有拐角的像素阵列，则该过程可以将阵列扩展为在坐标(9,10)、(51,10)、(9,41)和(51,41)处具有拐角。过程300可以在与邻近覆盖区域的边界处停止扩展覆盖区域，其中覆盖区域的进一步扩展将导致将该覆盖区域扩展到已经与另一覆盖区域相关联的像素中，或者导致将覆盖区域扩展到初步合成图像结束的像素。在过程300将多个覆盖区域扩展到相同像素中的情况下，过程300可以将与得分最高的roi相关联的覆盖区域扩展到该像素中。过程300可以根据上述协议迭代地扩展覆盖区域，直到初步合成图像的每个像素都与单个覆盖区域相关联，并且通过扩展，与单个2d切片相关联。
70.在一些实施例中，过程300可以使用“基于斜率”的技术来填补未填充区域。该过程可以从切片迭代地扩展覆盖区域达预定的迭代次数，随后使用邻近切片继续填充未填充区域，直到到达中心切片。作为示例，使用来自四十个切片dbt体积(意味着切片20是中心切片)中的切片5的roi，过程300可以扩展roi以填充未填充区域达预定迭代次数，例如10次。随后，在第十次迭代之后，过程300可以继续使用第六切片来填充未填充区域。因此，被填充在距原始roi十个像素的距离内的像素被包括在第五个切片中，但接下来的十个像素被包括在第六个切片中。过程300可以继续增大用于填充未填充区域的切片编号(或者，如果原始切片编号高于中间切片，例如第36个切片，则减小)，直到到达中间切片编号(即，20)，该这种情况下，任何剩余扩展来自切片20。当两个roi最终接触时，“基于斜率”的方法可导致更平滑的过渡，并提供更“规范(canonical)”的乳房视图。附加地，过程300可以调整原始roi的空间位置以更好地匹配相对于中心切片的空间位置。例如，与中心切片相比，较早和较晚的切片可具有比中心切片占用图像的更多部分的乳房边界，在这种情况下，该过程可以调整最终合成中roi的位置。
71.在一些实施例中，过程300可以基于默认切片填补初步合成图像的未填充区域。在一些实施例中，该过程可以选择被包括在3d断层合成数据中的2d切片中的默认切片，以用于填补初步合成切片的未填充区域。默认切片可以随机选择，2d切片中的第一切片(例如，七十五个2d切片中的第一个切片)，2d切片的最后一个切片(例如，七十五个2d切片中的第七十五个切片)或2d切片中的中间切片(例如，七十五个2d切片中的第三十八个切片)。过程300可以将每个未填充像素与默认切片的切片编号相关联，并将初步合成图像的未填充像素的强度值设置为等于默认切片在对应像素位置处的像素的强度值。在一些实施例中，过程300可以通过以下方式来设置未填充像素的强度值：选择在2d切片中的给定像素位置(例如，阵列中的(x，y)位置)处具有最大强度值的像素，并且将未填充像素的强度值设置为等于最大强度值。换言之，过程300可以使用最大强度投影来基于2d切片填补未填充像素的强度值。针对每个像素位置，过程300可以确定哪个(哪些)切片具有最大强度值，将初步合成图像的每个像素与具有最大强度值的2d切片的切片编号相关联，并将未填充像素的强度值设置为等于该像素位置处整个2d切片中的最大强度值。以此方式，可与潜在病变相对应的具有最高强度的像素可以被包括在初步合成图像中。
72.在一些实施例中，在过程300已经生成初步合成图像之后(其中所有像素都被填充有强度值)，过程300可以进行至340以对初步合成图像进行后处理。在一些实施例中，过程
300可以将最终合成图像设置为等于初步合成图像，并进行至344。
73.在340处，过程300可以对初步合成图像执行后处理。在一些实施例中，过程300可以混合(blend)初步图像的覆盖区域的边缘，以便潜在地减少各覆盖区域之间的边界效应。如上所述，初步图像的每个像素可以与切片编号和/或2d切片相关联。在初步图像在两个覆盖区域彼此接壤处附近的像素的区域处，过程300可以基于每个覆盖区域在给定像素的像素位置处的强度值来设置像素的强度值。过程300可以如下设置在初步合成图像的接壤覆盖区域附近的像素位置处的强度值：iv
p
＝w1ivj w2ivkꢀꢀꢀꢀꢀꢀ
(1)其中iv
p
是在初步合成图像的给定像素位置处的强度值，w1和w2分别是总和为1的第一权重和第二权重，并且ivj和ivk分别是第一覆盖区域和第二覆盖区域的在给定像素位置处的强度值。换句话说，ivj和ivk是对应2d切片在给定像素位置处的强度值。对于位于各覆盖区域之间的边界处的像素，例如其中每个像素在x方向或y方向上只有一步之遥，第一权重w1和第二权重w2可以各自被设置为0.5，从而反映对“家庭”覆盖区域(即该像素所位于的覆盖区域)和与家庭覆盖区域接壤的覆盖区域的同等重视。对于位于距离边界较远的像素，诸如位于第一覆盖区域内距离边界两个像素的像素，可以将第一权重w1设置为等于0.8，并且可以将第二权重w2设置为等于0.2，从而反映对像素的家庭覆盖区域的更大重视。在一些实施例中，过程300可以使用数学函数(诸如线性增加/减少函数)设置权重。例如，针对位于边界上的像素、位于距边界一个像素的像素以及位于距边界两个像素的像素，过程300可以将第一权重w1分别设置为0.5、0.75和1.0，并且可以将第二权重w2分别设置为0.5、0.25和0.0。可以使用另一数学函数来设置权重，该另一数学函数诸如是对数地增加/减少或指数地增加/减少远离边界的权重，只要权重总和为1即可。如果像素位于各邻近覆盖区域之间的边界的阈值距离内，诸如距离边界小于三个像素，则过程300可以仅使用上面的等式(1)确定像素的强度值。过程300随后可以使用等式(1)和可应用的数学函数(诸如线性增加/减少函数)来确定阈值距离内的任何像素的强度值。不在阈值距离内的像素可以保留更早分配的强度值。在覆盖区域的边缘已经被混合之后，过程300可以将最终合成图像设置为等于(经处理的)初步合成图像。过程300随后可以进行至344。
74.在344处，过程300可以将最终合成图像输出到存储器以供存储和/或由另一过程使用，和/或将最终合成图像输出到诸如计算机监测器之类的显示器以供人类从业者查看。例如，过程300可以将最终合成图像输出到医疗设施中的显示器，以允许医疗从业者查看最终合成图像并潜在地推断关于最终合成图像中存在的肿瘤和/或病变的信息。作为另一示例，附加过程(将在下面描述)可以利用最终合成图像来预测乳房组织中的肿瘤和/或病变的恶性的可能性。最终合成图像可用于替换3d断层合成数据中所包括的所有切片的存储，这可以节省存储器空间，因为可能只需要存储最终合成数据的像素阵列以及与相关联的感兴趣区域有关的数据，而不是10-150个切片或更多切片。这种对存储器要求的减少可以减少由医院使用的信息技术系统所需的服务器大小。过程300随后可以进行至348。
75.在348处，该过程可以确定是否应该生成附加的合成2d图像。过程300可确定该数个roi是否包含至少一个roi。如果该数个roi不包含至少一个roi，则过程300可以确定没有更多的合成图像应当被生成。如果该数个roi包含至少一个roi，则过程300可以确定更多的合成图像应当被生成。然后，该过程可进行至352。
76.在352处，如果过程300确定没有更多的合成图像应当被生成，则过程300可以进行至结束。如果过程300确定更多的合成图像应当被生成，则过程300可以进行至332。
77.参考图3以及图4，示出了与示例性初步合成图像相关联的roi。roi被示出为布置在初步合成图像的阵列404上。第一roi 400a可以与被包括在2d切片集合中的第五2d切片相关联。第二roi 400b可以与被包括在2d切片集合中的第二2d切片相关联。第三roi 400c可以与被包括在2d切片集合中的第八2d切片相关联。第四roi 400d可以与被包括在2d切片集合中的第四2d切片相关联。阵列404可以包含一个或多个未填充像素408。图4可以表示初步合成图像在步骤332已经被执行之后的状态。
78.参考图3和图4以及图5，示出了与图4的示例性初步合成图像相关联的roi和覆盖区域。第一roi 400a可以与第一覆盖区域500a相关联。第二roi 400b可以与第二覆盖区域500b相关联。第三roi 400c可以与第三覆盖区域500c相关联。第四roi 400d可以与第四覆盖区域500d相关联。阵列404的每个像素可以与覆盖区域500a-d中的一个相关联。图5可以表示初步图像在步骤336已经被执行之后，特别是在分水岭洪泛算法已经被执行之后的状态。
79.参考图3以及图6，示出了用于生成恶性可能性分数654的示例性二级模型600。二级模型600可以接收可以使用如上所述的过程300生成的输入合成图像604，并且输出可以在零到一范围内的恶性可能性分数654。在一些实施例中，恶性可能性分数654可以指示风险类别，即低风险、中等风险或高风险类别。在一些实施例中，恶性可能性分数654可以选自一系列值，诸如整数1-5，其中1指示最低风险水平，并且5指示最高风险水平。
80.在一些实施例中，二级模型600可以包括神经网络，诸如残差卷积神经网络。为了训练二级模型600，可以使用包括被标记为恶性或非恶性的合成图像的训练数据集来训练该模型。人类从业者可以标记合成图像。例如，与已知患有癌症的患者相对应的合成图像可以被赋予标签“1”，而与已知没有患有癌症的患者相对应的合成图像可以被赋予标签“0”。在一些实施例中，合成图像可以是300。一旦被训练，二级模型600可以接收输入合成图像并输出指示乳房组织是否包含恶性肿瘤和/或病变的恶性可能性分数。
81.二级模型600可以包括数个层，诸如卷积层。应当理解，二级模型600的一些实施例可以具有不同数量的层、不同布置的层或其他差异。然而，在所有实施例中，二级模型600可以能够接收输入的2d合成图像并输出恶性可能性分数。二级模型600可以是包括一个或多个子网络的单阶段检测网络。
82.简要回顾图2和图6，二级模型600可以包括初级子网络616和二级子网络620，初级子网络616和二级子网络620可以与以上所描述的模型200的初级子网络216和二级子网络220相同。在一些实施例中，初级子网络616和二级子网络620可以与模型200已经被训练之后的初级子网络216和二级子网络220相同。换言之，可以在训练之前用来自模型200的权重来对二级模型600进行初始化。
83.二级模型600很重要，因为上述模型200可能能够检测乳房组织的感兴趣的区域，但可能无法准确地确定roi是否实际上是恶性的。二级模型600可用于使用由上述模型200生成的合成图像更准确地估计乳房组织的恶性。在测试中，当使用使用过程300创建的合成图像而不是使用成像设备制造商的默认图像生成技术创建的合成图像来对具有1000个看不见的乳房x线照片(100种癌症)的集合进行测试时，示例性模型600被观察到在接收者操
作特性(roc)图的曲线下面积(auc)中具有0.03增加。
84.模型600可以包括多个三级子网络，诸如第一三级网络624a、第二三级网络624b和第三三级网络624c。三级网络624a-c中的每一个可以连接到第二子网络620的一层。第一三级网络624a可以连接到第一层622a，第二三级网络624b可以连接到第二层622b，并且第三三级网络624c可以连接到第三层622c。每个三级网络可以接收来自第二子网络620的一层的特征，以便估计乳房组织的不同尺度水平的恶性。
85.每个三级网络可以包括框回归子网络626。框回归子网络626可以包括一个或多个卷积层628a-b(每个卷积层之后是整流线性(relu)激活)，以及最终卷积层630，最终卷积层630被配置成用于输出回归坐标，该回归坐标对应于与第二子网络620的层中的一层的一部分相关联的锚(并且对应于输入合成2d切片604的像素阵列)。锚可以是第二子网络620的各个层的预定子阵列。回归坐标可以表示锚与预测边界框之间的预测偏移。针对roi中所包括的每个边界框，可以使用回归坐标集合(例如四个回归坐标)和对应的锚来计算边界框的坐标。
86.每个三级网络可以包括分类子网络632。分类子网络632可以包括一个或多个卷积层634a-b(每个卷积层之后是relu激活)，以及最终卷积层638，最终卷积层638之后是s型激活，以输出对对象存在(即，恶性肿瘤和/或病变存在)的预测。分类子网络632可用于获得关于患者是否在合成2d切片604的各个空间位置处具有恶性肿瘤和/或病变的一个或多个估计。更具体地，每个边界框可以与由分类子网络632输出的估计分数相关联。边界框也可以与如上所述的切片编号相关联。在一些实施例中，每个估计分数的值可以在从零到一的范围内。各空间位置中的一个空间位置可以包括第二子网络620的整个层，即第一层622a。以这种方式，分类子网络632可以基于2d切片输出对患者是否具有恶性肿瘤和/或病变的估计。预期最终卷积层638之后可以是模型中的softmax激活，该模型被训练以对多种类型的恶性区域进行分类，例如多种水平的恶性(例如，低风险区域、高风险区域等)。
87.模型600可以包括输出层650，用于跨不同尺度对数据进行归一化、计算边界框坐标以及过滤掉低得分的边界框预测。输出层650可以接收来自三级子网络624a-c的输出并输出一个或多个roi，每个roi包括缩放到2d切片604的阵列大小的像素阵列和相关联的分数。像素阵列可以是基于回归坐标和锚计算的边界框(例如，矩形边界框)。输出层650可以过滤掉任何低于预定阈值(例如，0.5)的分数。在过滤之后，输出层650可以基于与剩余分数相关联的一个或多个锚来确定每个roi的像素阵列。在将锚包括作为输出roi的阵列之前，输出层650可以重新设计锚的大小以便匹配2d切片604的缩放，这对于与第二子网络620的较小层相关联的锚可能是必要的。输出层650可以接收来自第三子网络624a-c的输出并且输出恶性可能性分数654。在一些实施例中，可以将恶性可能性分数654选择为最高得分边界框分数。在一些实施例中，模型600可以输出一个或多个roi 608，每个roi 608包括分数608a和像素阵列608b。像素阵列208b可以是矩形边界框。一个或多个roi 608可以向从业者提供与合成图像604的潜在恶性区域有关的附加信息。
88.现在参考图1、图3和图6以及图7，示出了过程700，过程700用于使用模型创建合成图像并基于该合成图像生成恶性可能性分数，该模型被训练以估计乳房组织中的肿瘤和/或病变的恶性。过程700可以被实现为数据处理系统中所包括的一个或多个存储器上的指令。数据处理系统可进一步包括与一个或多个存储器通信并被配置成用于执行指令的一个
或多个处理器。一个或多个处理器可以被配置成用于访问存储器，该存储器可以被包括在大容量存储设备128中，具有3d断层合成数据，包括存储在其上的数个二维切片。
89.在704处，过程700可以接收患者的乳房组织的3d断层合成数据。可以由诸如x射线成像系统100之类的3d乳房x线摄影成像系统生成3d断层合成数据。3d断层合成数据可以包括数个与乳房组织的预定厚度(诸如1mm)相对应的2d切片。取决于患者和/或成像系统，3d断层合成数据可以包括大约10-150个或更多个2d切片。每个2d切片可以是预定大小的像素阵列，诸如2000x1500个像素。过程700随后可以进行至708。
90.在708处，过程700可以使用上述步骤308-352中的至少一个来生成一个或多个合成图像(即，乳房x线照片)。过程700随后可以进行至712。
91.在712处，过程700可以将一个或多个合成图像中的每一个提供给经训练的模型以用于确定恶性可能性分数。经训练的模型可以是如以上所述的模型600。过程700随后可以进行至716。
92.在716处，过程700可以接收来自经训练的模型的恶性可能性分数。在一些实施例中，恶性可能性分数可以在从零到一的范围内(零和一包括在内)，其中一指示恶性的高风险，并且零指示恶性的风险最小或没有风险。在一些实施例中，恶性可以是“是”(即1)或“否”(即0)，分别指示肿瘤被预测为是恶性的还是非恶性的。在一些实施例中，恶性可能性分数可以指示风险类别，例如低风险、中等风险或高风险类别。在一些实施例中，恶性可能性分数可以选自一系列值，诸如整数1-5，其中1指示最低风险水平，并且5指示最高风险水平。在一些实施例中，过程700还可以接收由经训练的模型生成的一个或多个感兴趣区域，诸如上述感兴趣区域608。过程700随后可以进行至720。
93.在720处，过程700可以将恶性可能性分数输出到存储器以供存储和/或由另一过程使用，和/或将恶性可能性分数输出到诸如计算机监测器之类的显示器以供人类从业者查看。例如，过程300可以将恶性可能性分数输出到医疗机构中的显示器，以允许医疗从业者查看恶性可能性分数并基于恶性可能性分数潜在地确定对患者的诊断。恶性可能性分数可以被存储在医疗记录数据库中，以用于对乳腺癌患者的未来分析和/或研究。在一些实施例中，过程700还可以输出在716处接收的感兴趣区域中的一个或多个以供存储和/或由另一过程使用，和/或将在716处接收的感兴趣区域中的一个或多个输出到诸如计算机监测器之类的显示器以供人类从业者查看。过程700可以输出恶性可能性分数和/或一个或多个感兴趣区域作为报告。随后过程700可以结束。
94.在测试中，过程300和过程700被示出为检测致密乳房和非致密乳房两者中是否存在乳腺癌。使用经注释的ffdm数据集来训练根据图2中的模型200的第一模型。使用经注释的三维乳房图像数据集来训练根据图6中的模型600的第二模型。为了训练第二模型，数据集中的三维图像中所包括的切片用于使用根据图3中的过程300的过程来生成合成图像。合成图像随后被医疗从业者注释并被提供给第二模型以用于训练。每个合成图像可以在整个图像水平上被注释为患有或不患有癌症。在一些实施例中，可以基于与经注释的三维乳房图像数据集相关联的注释来注释每个合成图像。因此，合成图像可以被弱注释。随后使用根据图7中的过程700的过程使用附加的三维乳房图像数据集来测试第一模型和第二模型。第二模型能够在88.9％的特异性下以92％的灵敏度在0.96的接收者操作特征(roc)曲线的曲线下面积(auc)处标识非致密乳房(birads a,b)中的癌症。该特异性是基于全国平均值选
择的。附加地，第二模型能够在88.9％的特异性下以85％的灵敏度在0.94的roc曲线的auc处标识致密乳房中的癌症(birads c,d)。总体而言，附加的三维乳房图像数据集的性能是auc为0.95，并且在88.9％的特异性下灵敏度为91％。
95.现在参考图7以及图8，示出了过程700的可视数据流路径。通常，过程700使用经训练的模型确定3d dbt数据的各个切片804a-e的roi 802a-e。随后使用包括roi 802a、roi 802c和roi 802e的roi的一部分来合成合成图像808。随后将合成图像808提供给第二经训练的模型812。第二经训练的模型812随后输出恶性可能性分数816。
96.参考图9，示出了用于基于3d断层合成数据的第一2d切片902、3d断层合成数据的第二2d切片903、和3d断层合成数据的第三2d切片904来生成3d断层合成数据的第二2d切片903的感兴趣区域(roi)的模型900的示例性实施例。如将在下文所述，第一2d切片902、第二2d切片903和第三2d切片904中的每一个可以被提供给模型900，模型900可以基于第一2d切片902、第二2d切片903和第三2d切片904来确定与第二2d切片903相对应的roi。模型900可以具有三个输入通道，以用于接收三个2d切片。每个2d切片以及与每个2d切片相关联的任何roi可以与由模型900分析的数据的输入通道相关联。例如，第一2d切片902可以与第一输入通道相关联，第二2d切片903可以与第二输入通道相关联，并且第三2d切片904可以与第三输入通道相关联。如以下将进一步解释的，可以使用与第二输入通道相关联的一个或多个roi来生成与第二输入通道相关联的合成图像。
97.roi可以被称为指示符。模型900可以接受输入的2d切片902、903、904，并针对第二2d切片903输出任意数量的roi。每个roi可以与第二输入2d切片903相关联。例如，模型可以输出与第二2d切片903相关联的第一roi 958。附加地，每个roi可以与指示被输入到第二通道的2d切片的切片编号相关联。例如，第二切片903可以是具有七十五个2d切片的集合中的第四切片，并且第一roi 958可以与切片编号四(例如第四切片)相关联。切片编号可以在选择和/或组合roi以创建合成图像时被使用，如将在以下所解释的。如上所述，每个roi可以包括区域和分数。例如，第一roi 958可以包括区域955和分数956。
98.与第一2d切片902、第二2d切片903和第三2d切片904相关联的切片编号可以相隔预定值n。例如，如果第二2d切片903与切片编号x2相关联，则第一2d切片902可与切片编号x1＝x
2-n相关联，并且第二2d切片904可与切片编号x3＝x2 n相关联，其中n可以在从一至五或更大数字的范围内。在一些实施例中，预定值n可以是三。在分析切片903时，切片902和904可以向模型900提供体积上下文(context)，该体积上下文可能有助于预测切片903所表示的乳房组织中是否存在恶性肿瘤和/或病变。
99.第一2d切片902、第二2d切片903和第三2d切片904中的每一个可以被格式化为预定大小的像素阵列，例如2000x1500。像素可以包括单个强度值(例如，白色强度值)。roi的像素可以包括单个强度值(例如，白色强度值)以及在相关联的2d切片内的位置(例如，在2000x1500像素切片中的给定(x，y)位置处的像素)。
100.除了像素子阵列之外，每个roi可以包括指示像素子阵列在确定恶性可能性分数中的相关程度的相关性分数(这将在下文结合图11进行解释)。相关性分数可用于使用一个或多个roi创建合成2d图像，如将在下面详细解释。相关性分数可以从诸如0和1之间的值范围中选择。在标识用于训练数据集的roi时，人类从业者可以为每个roi分配在值范围内的相关性分数。人类从业者可以替代地使用不同的尺度分配相关性分数，诸如0-100(其中分
数越高指示恶性的可能性越大)，该相关性分数随后将可以被归一化为由模型900使用的相关性分数范围。在一些实施例中，人类从业者可以将roi标识为良性，以便更好地训练模型900标识潜在的恶性roi。
101.在一些实施例中，模型900可以包括神经网络，诸如卷积神经网络。为了训练模型900，训练数据集可用于训练该模型，该训练数据集由来自3d断层合成图像集合的切片以及被预先标识(例如，由一个或多个医疗从业者预先标识)的roi组成。在对3d断层合成图像训练模型900期间，还可以包括具有相应roi的2d全视野数字乳房x线摄影(ffdm)图像，在这种情况下，可以跨所有三个输入通道复制2d图像。针对ffdm图像或断层合成切片，人类从业者可以通过检查给定的2d切片、使用预定形状(诸如矩形框)勾勒可能感兴趣的任何区域来标识roi，并基于他们在评估肿瘤和/或病变时的医学专业知识和/或经验向预定形状分配相关性分数。替代地，可以基于指示病变是否为恶性的病理学结果来分配相关性分数。可以通过让一个或多个医疗从业者在取自多个ffdm图像或3d断层合成图像(例如，多个患者的图像)的切片的2d图像中标识roi，来生成大型训练数据库。可以通过如下方式训练模型900：顺序地提供断层合成切片的按预定偏移值(例如n＝1)偏移的三个切片，或者跨三个输入通道复制给定的ffdm图像，并在任一情况下包括任何相关联的roi。一旦被训练，模型900就可以接收三个输入2d切片并输出一个或多个roi，每个roi包括估计的相关性分数和第二2d切片903的像素子阵列。
102.模型900可以包括数个层，诸如卷积层。应当理解，模型900的一些实施例可以具有不同数量的层、不同布置的层或其他差异。然而，在所有实施例中，模型900可以能够接收三个2d输入切片并输出与第二2d切片903相关联的任何感兴趣区域。模型900可以是包括一个或多个子网络的单阶段检测网络。
103.模型900可以包括第一子网络916。第一子网络916可以是具有一个或多个层918a-c的前馈残差神经网络(“resnet”)。层918c可以是被配置成用于接受三个输入2d切片902、903和904的输入层。以这种方式，模型900可以使用来自所有三个切片902、903和904的数据来检测特定切片(诸如第一2d切片902)中的潜在roi。第二子网络920可以建立在第一子网络之上以有效地创建单个神经网络，使用第一子网络916作为网络的主干。第二子网络920可以包含多个层，该多个层包括第一层922a、第二层922b和第三层922c，尽管可以使用其他数量的层(即，五层)，但为了简单起见示出了三层。第一层922a、第二层922b和第三层922c中的每一层可以是卷积层。每层可以由数个构建块(未显示)组成。每个构建块可以包括数个参数层，诸如三个参数层，每个参数层包括数个(例如，256个)具有给定滤波器大小(例如，3x3)的滤波器。第一层922a、第二层922b和第三层922c中的每一层可以具有用于每个输入2d切片的相关联的输出大小，诸如144x144、72x72和36x36。基于预处理条件和/或参数，输出大小可以在各输入切片之间变化。当输出大小在第二子网络920的各层之间减小时，参数层的滤波器的数量可以成比例地增加，即，输出大小减半导致滤波器的数量加倍。第二子网络还可以包括连接到最终层(即第三层922c)的全局平均池化层，连接到全局平均池化层的全连接层，以及连接到全连接层并具有1x1输出大小(即单个值)的softmax层。
104.模型900可以包括多个三级子网络，诸如第一三级网络924a、第二三级网络924b和第三三级网络924c。三级网络924a-c中的每一个可以连接到第二子网络920的一层。第一三级网络924a可以连接到第一层922a，第二三级网络924b可以连接到第二层922b，并且第三
三级网络924c可以连接到第三层922c。每个三级网络可以接收来自第二子网络220的一层的特征，以便检测输入2d切片902、903和904中的每一个中的不同尺度水平的肿瘤和/或病变。
105.每个三级网络可以包括框回归子网络926。框回归子网络926可以包括一个或多个卷积层928a-b(每个卷积层之后是整流线性(relu)激活)，以及最终卷积层930，最终卷积层930被配置成用于输出对应于与第二子网络920的层中的一层的一部分相关联的锚(并且对应于第二输入2d切片903的像素阵列)的回归坐标。锚可以是第二子网络920的各个层的预定子阵列。回归坐标可以表示锚与预测边界框之间的预测偏移。针对roi中所包括的每个边界框，可以使用回归坐标集合(例如四个回归坐标)和对应的锚来计算边界框的坐标。
106.每个三级网络可以包括分类子网络932。分类子网络932可以包括一个或多个卷积层934a-b(每个卷积层之后是relu激活)，以及最终卷积层938，最终卷积层938之后是s型激活，以输出对对象存在(即，恶性肿瘤和/或病变存在)的预测。分类子网络932可用于获得关于患者是否在第二输入2d切片903的各个空间位置处具有恶性肿瘤和/或病变的一个或多个估计。更具体地，每个边界框可以与由分类子网络输出的估计分数相关联。在一些实施例中，每个估计分数的值可以在从零到一的范围内。预期最终卷积层938之后可以是模型中的softmax激活，该模型被训练以对多种类型的恶性区域进行分类，例如多种水平的恶性(例如，低风险区域、高风险区域等)。
107.模型900可以包括输出层950，用于跨不同尺度对数据进行归一化、计算边界框坐标以及过滤掉低得分的边界框预测。输出层950可以接收来自三级子网络924a-c的输出并输出一个或多个roi，每个roi包括缩放到输入2d切片903的阵列大小的像素阵列和相关联的分数。像素阵列可以是基于回归坐标和锚计算的边界框(例如，矩形边界框)。输出层950可以过滤掉任何低于预定阈值(例如，0.5)的分数。在一些实施例中，输出层950可以接收来自三级子网络924a-c的输出并且输出单个恶性可能性分数。在一些实施例中，单个恶性可能性分数可以被选择为与输入2d 903中的任一个相关联的最高得分边界框分数。
108.现在参考图1、图3、图6、图7和图9以及图10，示出了用于使用模型900生成合成图像的过程1000。通常，过程1000基于与模型900的第二输入通道相关联的roi生成合成图像。可以使用上述模型900生成roi。在过程1000已经生成合成图像之后，该合成图像可以用于结合上述模型600使用过程700来确定恶性可能性分数。过程1000可以被实现为数据处理系统中所包括的一个或多个存储器上的指令。数据处理系统可进一步包括与一个或多个存储器通信并被配置成用于执行指令的一个或多个处理器。一个或多个处理器可以被配置成用于访问存储器，该存储器可以被包括在大容量存储设备128中，具有3d断层合成数据，包括存储在其上的数个二维切片。
109.在1004处，过程1000可以接收患者的乳房组织的3d断层合成数据。3d断层合成数据可以包括数个与乳房组织的预定厚度(诸如1mm)相对应的2d切片。步骤1004可以与以上所述的步骤304相同。过程1000随后可以进行至1008。
110.在1008处，过程1000可以将被包括在3d断层合成数据中的2d切片顺序地提供给经训练的模型。经训练的模型可以是如以上所述地训练的模型900。过程1000可以将被包括在3d断层合成数据中的三个2d切片提供给经训练的模型以用于并行处理。在一些实施例中，可以基于图像数据集训练该经训练的模型，该图像数据集包括由医疗从业者注释的二维全
视野数字乳房x线摄影图像。三个2d切片中的每一个被提供给经训练的模型的不同输入通道。例如，可以将第一2d切片提供给第一输入通道，可以将第二2d切片提供给第二输入通道，并且可以将第三2d切片提供给第三输入通道。2d切片可以具有相关联的切片编号，这些相关联的切片编号相差预定的偏移值。例如，如果偏移值为二，则第一2d切片可与切片编号一相关联，第二2d切片可与切片编号三相关联，并且第三2d切片可与切片编号五相关联。在一些实施例中，过程1000可以向过程提供三个2d切片，直到所有切片都已被提供给第二输入通道(连同被提供给第一通道和第二通道的以该偏移值偏移的切片)。针对一些2d切片，可能不存在切片编号比该2d切片的切片编号小或大该预定偏移值的另一2d切片。例如，如果被提供给第二输入通道的2d切片具有相关联的切片编号一，并且偏移值为二，则被提供给第一输入通道的2d切片的切片编号将为负一。在这种情况下，过程1000可以向第一通道提供下一个最接近的切片(例如，与切片编号为一相关联的2d切片)。随后该过程可以通过将与要被提供的2d切片相关联的切片编号增加一来“向上移动”通过2d切片。例如，过程1000可以提供与切片编号一、三和五相关联的2d切片，并且随后提供与切片编号二、四和六相关联的2d切片。在一些实施例中，过程1000可以将2d切片的子集提供给第二通道模型900，诸如每隔一个切片、每三个切片等。一旦每个2d切片(或每隔一个切片、每三个切片等)已被提供给经训练的模型至少一次，过程1000就可以进行至1012。
111.在1012处，过程1000可以接收来自经训练的模型的数个roi。每个roi可以与第二输入通道和2d切片中的一个2d切片相关联。当相关联的2d切片连同被提供给经训练的模型的第一通道和第三通道的2d切片一起被提供给经训练的模型时，可以生成每个roi。过程1000随后可以进行至1016。
112.在1016处，过程1000可以基于该数个roi生成和输出合成图像。使用在1012处生成的该数个roi，过程1000可以执行如上所述的步骤316-352的至少一部分。过程1000随后可以进行至1024。随后过程1000可以结束。
113.参考图10以及图11，示出了用于生成恶性可能性分数1154的示例性二级模型1100。二级模型1100可以接收三个输入合成图像，包括第一合成图像1102、第二合成图像1103和第三合成图像1104。可以使用如上所述的过程1000来生成第二合成图像1103。可以基于第二合成图像和一个或多个2d切片生成第一和第三合成图像，如将在以下所描述的。模型1100可以输出可以在从零到一的范围内的恶性可能性分数1154。在一些实施例中，恶性可能性分数1154可以指示风险类别，即低风险、中等风险或高风险类别。在一些实施例中，恶性可能性分数1154可以选自一系列值，诸如整数1-5，其中1指示最低风险水平，并且5指示最高风险水平。可以使用如上所述的模型200或模型1000来生成第二合成图像1103。
114.如上所述，被包括在合成图像中的每个像素可以与切片编号相关联(或者，例如，如果使用混合技术，则与多个切片相关联)。例如，被包括在第二合成图像1103中的第一像素群组可以与第七切片相关联，并且被包括在合成图像中的第二像素群组可以与第五切片相关联。被包括在第一合成图像1102和第三合成图像1104中的每个像素的强度值可以通过如下方式被确定：从加上或减去距离与第二合成图像1103中给定位置处的像素相关联的切片预定切片偏移数量的切片(即，对于第一合成图像1102，为x
–
n，并且对于第三合成图像1104，为x n，其中x是与被包括在第二合成图像1103中的像素相关联的切片编号，并且n是预定切片偏移数量)中所包括的像素中选择强度值。例如，在预定切片偏移数量为一的情况
下，被包括在第一合成图像1102中的在与第一像素群组(被包括在第二合成图像1103中并与第七切片相关联)相同的像素位置处的像素的强度值可以被设置为等于：被包括在第六切片中并且位于与第一像素群组相同的位置处的像素的强度值。针对第三合成图像1104，被包括在第三合成图像1104中的在与第一像素群组(被包括在第二合成图像1103中并且与第七切片相关联)相同的像素位置处的像素的强度值可以被设置为等于：被包括在第八切片中并且位于与第一像素群组相同的位置处的像素的强度值。
115.在已经使用混合来创建第二合成图像1103的实施例中，被包括在第一合成图像1102和第三合成图像1104中的每个像素的强度值可以被设置为等于：距离用于生成第二合成图像1103的每个切片预定切片偏移数量的切片中所包括的各像素的各强度值中的每一个强度值乘以用于生成第二合成图像1103的权重的总和。
116.在一些实施例中，二级模型1100可以包括神经网络，诸如残差卷积神经网络。为了训练二级模型1100，可以使用包括被标记为恶性或非恶性的合成图像的训练数据集来训练该模型。人类从业者可以标记合成图像。一旦被训练，二级模型1100可以接收从乳房组织的3d断层合成数据生成的三个输入合成图像，并且输出指示乳房组织是否包含恶性肿瘤和/或病变的恶性可能性分数。
117.二级模型1100可以包括数个层，诸如卷积层。应当理解，二级模型1100的一些实施例可以具有不同数量的层、不同布置的层或其他差异。然而，在所有实施例中，二级模型1100可以能够接收三个输入2d合成图像并输出恶性可能性分数。二级模型1100可以是包括一个或多个子网络的单阶段检测网络。
118.简要回顾图9和图11，二级模型1100可以包括初级子网络1116和二级子网络1120，初级子网络1116和二级子网络1120可以与以上所描述的模型900的初级子网络916和二级子网络920相同。在一些实施例中，初级子网络1116和二级子网络1120可以与模型900已经被训练之后的初级子网络916和二级子网络920相同。换言之，可以在训练之前用来自上述模型900、模型600或模型200的权重对二级模型1100进行初始化。初级子网络1116可以包括被配置成用于接收三个输入合成图像的输入层1118。
119.二级模型1100很重要，因为上述模型900可能能够检测乳房组织的感兴趣的区域，但可能无法准确地确定roi是否实际上是恶性的。二级模型1100可用于使用由上述模型900生成的合成图像更准确地估计乳房组织的恶性。
120.模型1100可以包括多个三级子网络，诸如第一三级网络1124a、第二三级网络1124b和第三三级网络1124c。三级网络1124a-c中的每一个可以连接到第二子网络1120的一层。第一三级网络1124a可以连接到第一层1122a，第二三级网络1124b可以连接到第二层1122b，并且第三三级网络1124c可以连接到第三层1122c。每个三级网络可以接收来自第二子网络1120的一层的特征，以便估计乳房组织的不同尺度水平的恶性。
121.每个三级网络可以包括框回归子网络1126。框回归子网络1126可以包括一个或多个卷积层1128a-b(每个卷积层之后是整流线性(relu)激活)，以及最终卷积层1130，最终卷积层1130被配置成用于输出对应于与第二子网络1120的层中的一层的一部分相关联的锚(并且对应于被包括在第二输入合成2d切片1103中的像素阵列)的回归坐标。锚可以是第二子网络1120的各个层的预定子阵列。回归坐标可以表示锚与预测边界框之间的预测偏移。针对roi中所包括的每个边界框，可以使用回归坐标集合(例如四个回归坐标)和对应的锚
来计算边界框的坐标。
122.每个三级网络可以包括分类子网络1132。分类子网络1132可以包括一个或多个卷积层1134a-b(每个卷积层之后是relu激活)，以及最终卷积层1138，最终卷积层1138之后是s型激活，以输出对对象存在(即，恶性肿瘤和/或病变存在)的预测。分类子网络1132可用于获得关于患者是否在第二输入合成2d切片1103的各个空间位置处具有恶性肿瘤和/或病变的一个或多个估计。更具体地，每个边界框可以与由分类子网络1132输出的估计分数相关联。边界框也可以与如上所述的切片编号相关联。在一些实施例中，每个估计分数的值可以在从零到一的范围内。各空间位置中的一个空间位置可以包括第二子网络1120的整个层，即第一层1122a。以这种方式，分类子网络1132可以基于合成2d切片输出对患者是否具有恶性肿瘤和/或病变的估计。预期最终卷积层1138之后可以是模型中的softmax激活，该模型被训练以对多种类型的恶性区域进行分类，例如多种水平的恶性(例如，低风险区域、高风险区域等)。
123.模型1100可以包括输出层1150，用于跨不同尺度对数据进行归一化、计算边界框坐标、以及过滤掉低得分的边界框预测。输出层1150可以接收来自三级子网络1124a-c的输出并输出一个或多个roi，每个roi包括缩放到第二输入合成2d切片1103的阵列大小的像素阵列和相关联的分数。像素阵列可以是基于回归坐标和锚计算的边界框(例如，矩形边界框)。输出层1150可以过滤掉任何低于预定阈值(例如，0.5)的分数。在过滤之后，输出层1150可以基于与剩余分数相关联的一个或多个锚来确定每个roi的像素阵列。在将锚包括作为输出roi的阵列之前，输出层1150可以重新设计锚的大小以便匹配输入合成2d切片1102、1103和1104的缩放，这对于与第二子网络1120的较小层相关联的锚可能是必要的。输出层1150可以接收来自第三子网络1124a-c的输出并且输出恶性可能性分数1154。在一些实施例中，可以将恶性可能性分数1154选择为最高得分边界框分数。在一些实施例中，模型1100可以输出一个或多个roi 1108，每个roi 1108包括分数1108a和像素阵列1108b。像素阵列1108b可以是矩形边界框。一个或多个roi 1108可以向从业者提供与第二输入合成2d切片1103的潜在恶性区域有关的附加信息。
124.现在参考图1、图9和图11以及图12，示出了过程1200，过程1200用于使用模型创建三个合成图像并基于这些合成图像生成恶性可能性分数，该模型被训练以估计乳房组织中的肿瘤和/或病变的恶性。过程1200可以被实现为数据处理系统中所包括的一个或多个存储器上的指令。数据处理系统可进一步包括与一个或多个存储器通信并被配置成用于执行指令的一个或多个处理器。一个或多个处理器可以被配置成用于访问存储器，该存储器可以被包括在大容量存储设备128中，具有3d断层合成数据，包括存储在其上的数个二维切片。
125.在1204处，过程1200可以接收患者的乳房组织的3d断层合成数据。可以由诸如x射线成像系统100之类的3d乳房x线摄影成像系统生成3d断层合成数据。3d断层合成数据可以包括数个与乳房组织的预定厚度(诸如1mm)相对应的2d切片。取决于患者和/或成像系统，3d断层合成数据可以包括大约10-150个或更多个2d切片。每个2d切片可以是预定大小的像素阵列，诸如2000x1500个像素。过程1200随后可以进行至1208。
126.在1208处，过程1200可以生成用于第二输入通道的合成图像。该合成图像被称为第二合成图像(即，模型1100的第二通道的合成图像)，并且可以使用上述步骤1008-1016中
的至少一个来生成该合成图像。过程1200随后可以进行至1212。
127.在1212处，过程1200可以基于预定切片偏移数量和第二合成图像生成用于第一输入通道的合成图像，被称为第一合成图像(即，用于模型1100的第一通道的合成图像)。如上所述，被包括在合成图像中的每个像素可以与切片编号相关联(或者，例如，如果使用混合技术，则与多个切片相关联)。例如，被包括在第二合成图像中的第一像素群组可以与第七切片相关联，并且被包括在第二合成图像中的第二像素群组可以与第五切片相关联。过程1200可以通过以下方式确定被包括在第一合成图像中的每个像素的强度值：从低于在与第二合成图像中给定位置处的像素相关联的切片一预定切片偏移数量的切片(即，对于第一合成图像，为x-n，其中x是与被包括在第二合成图像中的像素相关联的切片编号，并且n是预定切片偏移数)中所包括的像素中选择强度值。例如，在预定切片偏移数量为一的情况下，被包括在第一合成图像中的在与第一像素群组(被包括在第二合成图像中并与第七切片相关联)相同的像素位置处的像素的强度值可以被设置为等于：被包括在第六切片中并且位于与第一像素群组相同的位置处的像素的强度值。在已经使用混合来创建第二合成图像的实施例中，过程1200可以将被包括在第一合成图像中的每个像素的强度值设置为等于：距离用于生成第二合成图像的每个切片预定切片偏移数量的切片中所包括的各像素的各强度值中的每一个强度值乘以用于生成第二合成图像的权重的总和。随后，该过程可进行至1216。
128.在1216处，过程1200可以基于预定切片偏移数量和第二合成图像生成用于第三输入通道的合成图像，被称为第三合成图像(即，用于模型1100的第三通道的合成图像)。过程1200可以通过以下方式确定第三合成图像中所包括的每个像素的强度值：从高于在与第二合成图像中给定位置处的像素相关联的切片一预定切片偏移数量的切片(即，对于第三合成图像，为x n，其中x是与被包括在第二合成图像中的像素相关联的切片编号，并且n是预定切片偏移数)中所包括的像素中选择强度值。例如，在预定切片偏移数量为一的情况下，被包括在第三合成图像中的在与第一像素群组(被包括在第二合成图像中并与第七切片相关联)相同的像素位置处的像素的强度值可以被设置为等于：被包括在第八切片中并且位于与第一像素群组相同的位置处的像素的强度值。在已经使用混合来创建第二合成图像的实施例中，过程1200可以将被包括在第一和第三合成图像中的每个像素的强度值设置为等于：距离用于生成第二合成图像的每个切片预定切片偏移数量的切片中所包括的各像素的各强度值中的每一个强度值乘以用于生成第二合成图像的权重的总和。随后，该过程可进行至1220。
129.在1220处，过程1200可以将三个合成图像提供给经训练的模型以用于确定恶性可能性分数。经训练的模型可以是如以上所述的模型1100。过程1200随后可以进行至1216。
130.在1224处，过程1200可以接收来自经训练的模型的恶性可能性分数。在一些实施例中，恶性可能性分数可以在从零到一的范围内(零和一包括在内)，其中一指示恶性的高风险，并且零指示恶性的风险最小或没有风险。在一些实施例中，恶性可以是“是”(即1)或“否”(即0)，分别指示肿瘤被预测为是恶性的还是非恶性的。在一些实施例中，恶性可能性分数可以指示风险类别，例如低风险、中等风险或高风险类别。在一些实施例中，恶性可能性分数可以选自一系列值，诸如整数1-5，其中1指示最低风险水平，并且5指示最高风险水平。在一些实施例中，过程1200还可以接收由经训练的模型生成的一个或多个感兴趣区域，
诸如上述感兴趣区域1108。过程1200随后可以进行至1220。
131.在1228处，过程1200可以将恶性可能性分数输出到存储器以供存储和/或由另一过程使用，和/或将恶性可能性分数输出到诸如计算机监测器之类的显示器以供人类从业者查看。例如，过程1200可以将恶性可能性分数输出到医疗机构中的显示器，以允许医疗从业者查看恶性可能性分数并基于恶性可能性分数潜在地确定对患者的诊断。恶性可能性分数可以被存储在医疗记录数据库中，以用于对乳腺癌患者的未来分析和/或研究。在一些实施例中，过程1200还可以输出在1216处接收的感兴趣区域中的一个或多个以供存储和/或由另一过程使用，和/或将在1216处接收的感兴趣区域中的一个或多个输出到诸如计算机监测器之类的显示器以供人类从业者查看。过程1200可以输出恶性可能性分数和/或一个或多个感兴趣区域作为报告。随后过程1200可以结束。
132.应当理解，使用由模型200或模型900生成的roi来生成的合成图像可用于使用上述模型600或模型1100生成恶性可能性分数。因此，本公开提供了用于根据乳房的3d断层扫描数据有效且一致地创建合成2d图像以及用于估计可能存在于乳房中的肿瘤和/或病变的恶性的系统和方法。
133.已经在一个或多个优选实施例的方面描述了本发明，并且应当理解，除那些清楚说明以外的许多等同、替换、变型、以及修改是可能的且在本发明的范围内。