医学影像中的病灶的匹配方法、装置、设备及存储介质与流程

1.本公开涉及医学数据处理技术领域，尤其涉及一种医学影像中的病灶的匹配方法、装置、设备及存储介质。


背景技术：

2.医学技术领域中，考虑到对待诊断部位的诊断准确性，通常会从至少两个拍摄视角进行待诊断部位的影像拍摄。相关技术中，针对拍摄出的至少两个医学影像，医学诊断系统仅能够做到对单个医学影像的病灶进行检测，功能较为有限。此外，至少两个医学影像是从不同的拍摄视角反映出的患病情况，同一病灶在至少两个医学影像中可能会同时出现，如果从不同视角的医学影像中确定出同一病灶，势必会增加对该病灶的诊断准确性。由此可见，如何从至少两个医学影像中确定出表示为同一病灶的病灶成为了亟待解决的技术问题。


技术实现要素：

3.本公开提供了一种医学影像中的病灶的匹配方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
4.根据本公开的第一方面，提供了一种医学影像中的病灶的匹配方法，所述方法包括：
5.获取第一医学影像和第二医学影像，所述第一医学影像和第二医学影像为通过采用不同的拍摄视角对同一待诊断部位进行拍摄而得到的三维影像；
6.基于第一医学影像的特征图、第二医学影像的特征图，分别得到第一医学影像中存在的至少一个第一病灶在第一医学影像中所处的位置、第二医学影像中存在的至少一个第二病灶在第二医学影像中所处的位置；
7.基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，确定在所述第一医学影像和第二医学影像中表示为所述同一待诊断部位的同一病灶的第一病灶和第二病灶。
8.在一可实施方式中，所述基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，确定在所述第一医学影像和第二医学影像中表示为所述同一待诊断部位的同一病灶的第一病灶和第二病灶，包括：
9.基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，得到各个第一病灶和各个第二病灶之间的关联信息；
10.将所述关联信息输入至匹配网络，得到各个第一病灶和各个第二病灶之间的匹配参数；
11.基于所述匹配参数，确定在第一医学影像和第二医学影像中表示为同一病灶的第一病灶和第二病灶。
12.在一可实施方式中，所述基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，得到各个第一病灶和各个第二病灶之间的关联信息，包括：
13.将各个第一病灶在第一医学影像中所处的位置和各个第一病灶在第一医学影像的特征图中的特征进行联合，得到各个第一病灶的联合特征；
14.将各个第二病灶在第二医学影像中所处的位置和各个第二病灶在第二医学影像中的特征图中的特征进行联合，得到各个第二病灶的联合特征；
15.基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息。
16.在一可实施方式中，所述基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，得到各个第一病灶和各个第二病灶之间的关联信息，包括：
17.将各个第一病灶在第一医学影像中所处的位置、各个第二病灶在第二医学影像中所处的位置分别进行编码，得到各个第一病灶的目标特征、各个第二病灶的目标特征；
18.将各个第一病灶的目标特征以及各个第一病灶在第一医学影像的特征图中的特征进行联合，得到各个第一病灶的联合特征；
19.将各个第二病灶的目标特征以及各个第二病灶在第二医学影像的特征图中的特征进行联合，得到各个第二病灶的联合特征；
20.基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息。
21.在一可实施方式中，所述基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息，包括：
22.各个第一病灶的联合特征和各个第二病灶的联合特征均为特征向量；
23.将各个第一病灶的联合特征和各个第二病灶的联合特征进行特征向量的拼接，得到各个第一病灶和第二病灶之间的关联信息。
24.在一可实施方式中，所述匹配参数为匹配矩阵，所述匹配矩阵的第i行第j列表示第一医学影像中的第i个第一病灶与第二医学影像中的第j个第二病灶之间的匹配分值；其中i、j均为大于等于1的正整数；
25.其中，所述基于所述匹配参数，确定在第一医学影像和第二医学影像中表示为同一病灶的第一病灶和第二病灶，包括：
26.利用预设的二分图匹配算法对匹配矩阵进行处理，得到表示为同一病灶的第一病灶和第二病灶。
27.在一可实施方式中，所述将所述关联信息输入至匹配网络，得到各个第一病灶和各个第二病灶之间的匹配参数，包括：
28.基于匹配网络的权重参数，对所述关联信息进行处理；
29.将处理后的关联信息输入至匹配网络，得到由匹配网络输出的各个第一病灶和各个第二病灶之间的匹配参数。
30.根据本公开的第二方面，提供了一种医学影像中的病灶的匹配装置，所述装置包括：
31.第一获取单元，用于获取第一医学影像和第二医学影像，所述第一医学影像和第二医学影像为通过采用不同的拍摄视角对同一待诊断部位进行拍摄而得到的三维影像；
32.第二获取单元，用于基于第一医学影像的特征图、第二医学影像的特征图，分别得到第一医学影像中存在的至少一个第一病灶在第一医学影像中所处的位置、第二医学影像中存在的至少一个第二病灶在第二医学影像中所处的位置；
33.确定单元，用于基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，确定在所述第一医学影像和第二医学影像中表示为所述同一待诊断部位的同一病灶的第一病灶和第二病灶。
34.根据本公开的第三方面，提供了一种电子设备，包括：
35.至少一个处理器；以及
36.与所述至少一个处理器通信连接的存储器；其中，
37.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
38.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
39.本公开提供一种医学影像中的病灶的匹配方法、装置、设备及存储介质，所述方法包括：获取第一医学影像和第二医学影像，所述第一医学影像和第二医学影像为通过采用不同的拍摄视角对同一待诊断部位进行拍摄而得到的三维影像；基于第一医学影像的特征图、第二医学影像的特征图，分别得到第一医学影像中存在的至少一个第一病灶在第一医学影像中所处的位置、第二医学影像中存在的至少一个第二病灶在第二医学影像中所处的位置；基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，确定在所述第一医学影像和第二医学影像中表示为所述同一待诊断部位的同一病灶的第一病灶和第二病灶。
40.利用本发明技术方案，对于获取到的两个医学影像，基于两个医学影像中各自存在的各病灶在各自医学影像中所处的位置以及两个医学影像中各自存在的各病灶在各自医学影像的特征图中存在的特征，不仅实现了两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶的匹配或识别，还实现了两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶的准确匹配或识别，保证了匹配或识别的准确性。
附图说明
41.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
42.在附图中，相同或对应的标号表示相同或对应的部分。
43.图1示出本公开实施例医学影像中的病灶的匹配方法的实现流程示意图一；
44.图2示出本公开实施例医学影像中的病灶的匹配方法的实现流程示意图二；
45.图3示出本公开实施例医学影像中的病灶的匹配方法的实现流程示意图三；
46.图4示出本公开实施例医学影像中的病灶的匹配方法的实现流程示意图四；
47.图5示出本公开实施例针对dbt影像而实现的医学影像中的病灶的匹配识别的具体实现示意图；
48.图6示出本公开实施例的网络结构示意图；
49.图7示出本公开实施例医学影像中的病灶的匹配装置的组成结构示意图；
50.图8示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
51.为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
52.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
53.在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以、除了在这里图示或描述的以外的顺序实施。
54.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。
55.应理解，在本技术的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
56.本发明提供的技术方案，能够将采用不同的拍摄视角对同一待诊断部位进行拍摄而得到的两个三维影像(第一医学影像和第二医学影像)中表示同一待诊断部位的同一病灶的两个病灶匹配或确定出。从至少两个医学影像中实现了表示为同一病灶的病灶确定。通俗来讲，本发明提供的技术方案，能够将两个三维影像中的匹配病灶(表示为同一病灶的两个病灶)匹配或识别出。
57.本发明实施例中的医学影像中的病灶的匹配方法可应用于任何合理的电子设备，如终端或服务器。其中，所述终端包括但不限于：台式机、笔记本电脑、一体机、手机等设备。服务器包括但不限定于普通服务器、云服务器或集群服务器。
58.在工业上，考虑到本发明实施例的技术方案可能会被应用在诸如医学诊断等专业领域中，医学影像中的病灶的匹配方法可应用在的电子设备包括但不限定于在前述专业领域中使用的医学诊断系统、装置或医学诊断服务器。
59.由于无法一一枚举本发明实施例可应用的电子设备，所以任何合理的设备均覆盖在本发明的保护范围内。
60.本发明提供一种医学影像中的病灶的匹配方法，可应用于医学影像中的病灶的匹
配装置或医学诊断系统中，如图1所示，所述方法包括：
61.s101：获取第一医学影像和第二医学影像，所述第一医学影像和第二医学影像为通过采用不同的拍摄视角对同一待诊断部位进行拍摄而得到的三维影像；
62.本步骤中，第一和第二医学影像可以是从不同的拍摄视角对同一待诊断部位进行拍摄的一组影像，为三维影像。在实际应用中，可通过读取已拍摄的一组影像的方法得到第一医学影像和第二医学影像。
63.在实际应用中，待诊断部位可以为人体上任何需要进行病情诊断的部位，如乳房、眼睛。其中，待诊断部位为乳房的情况下，同一待诊断部位可以是左乳房或右乳房，第一和第二医学影像为一组dbt(乳腺断层)影像。待诊断部位为眼睛的情况下，同一待诊断部位可以是左眼睛或右眼睛。第一和第二医学影像为一组眼部ct影像。
64.s102：基于第一医学影像的特征图、第二医学影像的特征图，分别得到第一医学影像中存在的至少一个第一病灶在第一医学影像中所处的位置、第二医学影像中存在的至少一个第二病灶在第二医学影像中所处的位置；
65.在s102中，可对两个医学影像的特征分别进行提取，得到两个医学影像的特征图。基于两个医学影像的特征图，识别出第一医学影像中存在的病灶及其在第一医学影像中所处位置以及第二医学影像中存在的病灶及其在第二医学影像中所处的位置。
66.可以理解，第一医学影像中的病灶以及第二医学影像中的病灶的数量可以为一个，还可以为两个或两个以上。两个医学影像中的病灶的数量可以相同，还可以不同，视具体情况而定。
67.为方面描述，将第一医学影像中存在的病灶视为第一病灶，将第一医学影像中存在的病灶视为第二病灶。
68.s103：基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，确定在所述第一医学影像和第二医学影像中表示为所述同一待诊断部位的同一病灶的第一病灶和第二病灶。
69.s103中，基于两个医学影像中各自存在的各病灶在各自医学影像中所处的位置以及两个医学影像中各自存在的各病灶在各自医学影像的特征图中存在的特征，识别或匹配出了在两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶。
70.示例性地，第一医学影像中存在病灶11和病灶12，第二医学影像中存在病灶21和病灶22，经过s103的识别，得到如下结果：第一医学影像中的病灶11和第二医学影像的病灶22是表示为同一待诊断部位的同一病灶的两个病灶、第一医学影像中的病灶12和第二医学影像的病灶21是表示为同一待诊断部位的同一病灶的两个病灶。
71.前述s101～s103中，对于获取到的两个医学影像，基于两个医学影像中各自存在的各病灶在各自医学影像中所处的位置以及两个医学影像中各自存在的各病灶在各自医学影像的特征图中存在的特征，不仅实现了两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶的匹配或识别，还实现了两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶的准确匹配或识别，保证了匹配或识别的准确性。
72.从应用意义上来说，从不同视角的医学影像中确定出同一病灶，会增加对该病灶的诊断准确性。在将该匹配或识别方案作为医学诊断系统中的一项功能时，可大大丰富医
学诊断系统的功能，提高系统的易用性。
73.作为本发明的一个可选方案，如图2所示，s103的实现可通过以下的技术方案来实现。
74.s1030：基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，得到各个第一病灶和各个第二病灶之间的关联信息；
75.本步骤中，基于病灶在各自医学影像中所处的位置以及特征，将第一医学影像中出现的各病灶和第二医学影像中出现的各病灶进行病灶特征的关联。其中，病灶特征可以包括病灶在医学影像中所处的位置和在医学影像的特征图中的特征。
76.基于病灶特征，将出现在两个医学影像中的病灶进行关联，可保证关联准确性。
77.s1031：将所述关联信息输入至匹配网络，得到各个第一病灶和各个第二病灶之间的匹配参数；
78.本步骤中，匹配网络可以是任何合理的神经网络模型或统计学模型。匹配参数表示为各个第一病灶和各个第二病灶之间的匹配程度。
79.通常，匹配网络具有很强的稳定性和鲁棒性，利用这样的网络可实现对匹配参数的准确计算。匹配参数的准确，可大大保证匹配病灶的识别或确定准确性。
80.s1032：基于所述匹配参数，确定在第一医学影像和第二医学影像中表示为同一病灶的第一病灶和第二病灶。
81.本步骤中，基于各个第一病灶和各个第二病灶之间的匹配程度，确定在第一医学影像和第二医学影像中的匹配病灶-表示为同一病灶的第一病灶和第二病灶。
82.在s1030～s1032中，先将第一医学影像中出现的各病灶和第二医学影像中出现的各病灶进行病灶特征的关联，再将关联而得到的关联信息输入至匹配网络，得到各个第一病灶和各个第二病灶之间的匹配参数，最后基于各个第一病灶和各个第二病灶之间的匹配参数，确定在第一医学影像和第二医学影像中的匹配病灶。可大大保证匹配病灶的确定或识别准确性。
83.在应用层面上来看，s1030～s1032的方案易行，可推广性强。
84.作为本发明的可选方案，s1030可通过以下两种方式中的其中一种来实现。
85.如图3所示，方式一的技术方案包括s301～s303：
86.s301：将各个第一病灶在第一医学影像中所处的位置和各个第一病灶在第一医学影像的特征图中的特征进行联合，得到各个第一病灶的联合特征；
87.s302：将各个第二病灶在第二医学影像中所处的位置和各个第二病灶在第二医学影像中的特征图中的特征进行联合，得到各个第二病灶的联合特征；
88.在s301和s302中，将病灶在各自医学影像中的位置以及特征进行联合，得到各病灶的联合特征。s301和s302无严格的先后顺序，还可以同时进行。
89.s303：基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息。
90.相当于基于各个病灶的联合特征将各个病灶之间进行关联。可保证关联信息的准确性，进而可在两个医学影像中获得准确的匹配病灶。
91.如图4所示，方式二的技术方案包括s401～s404：
92.s401：将各个第一病灶在第一医学影像中所处的位置、各个第二病灶在第二医学影像中所处的位置分别进行编码，得到各个第一病灶的目标特征、各个第二病灶的目标特征；
93.目标特征可视为病灶在医学影像中的位置特征。
94.s402：将各个第一病灶的目标特征以及各个第一病灶在第一医学影像的特征图中的特征进行联合，得到各个第一病灶的联合特征；
95.s403：将各个第二病灶的目标特征以及各个第二病灶在第二医学影像的特征图中的特征进行联合，得到各个第二病灶的联合特征；
96.s402和s403中，将病灶的位置特征和在医学影像的特征图中的特征进行联合，得到联合特征。s402和s403无严格的先后顺序，还可以同时进行。
97.s404：基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息。
98.在前述的方式一中，是直接将病灶在各自医学影像中的位置以及特征进行联合。在前述的方式二中，是将病灶在各自医学影像中的位置进行编码后，将编码后的位置以及病灶在医学影像的特征图中的特征进行联合。在两种方式中，基于各个病灶的联合特征将各个病灶之间进行关联。可保证关联信息的准确性，进而可在两个医学影像中获得准确的匹配病灶。其中，直接将病灶在各自医学影像中的位置以及特征进行联合的方案，在实现上更加简单易行，计算量小。
99.在一个可选的方案中，各个第一病灶的联合特征和各个第二病灶的联合特征均为特征向量。所述基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息的技术方案为：将各个第一病灶的联合特征和各个第二病灶的联合特征进行特征向量的拼接，得到各个第一病灶和第二病灶之间的关联信息。
100.这里，将各个第一病灶中的任意一个第一病灶，将其和所有第二病灶中的每个第二病灶的联合特征进行特征向量的拼接，如此实现了所有第一病灶和所有第二病灶之间的关联。所有第一病灶和所有第二病灶之间的关联，可为在两个医学影像中获得准确的匹配病灶提供了技术支持。
101.在一个可选的方案中，所述匹配参数为匹配矩阵，所述匹配矩阵的第i行第j列表示第一医学影像中的第i个第一病灶与第二医学影像中的第j个第二病灶之间的匹配分值；其中i、j均为大于等于1的正整数。基于此，所述基于所述匹配参数，确定在第一医学影像和第二医学影像中表示为同一病灶的第一病灶和第二病灶的技术方案可通过以下内容来实现：利用预设的二分图匹配算法对匹配矩阵进行处理，得到表示为同一病灶的第一病灶和第二病灶。可实现两个医学影像中的匹配病灶的准确识别。
102.在一个可选的方案中，可以将关联信息输入至匹配网络，得到各个第一病灶和各个第二病灶之间的匹配参数。还可以基于匹配网络的权重参数，对关联信息进行处理；将处理后的关联信息输入至匹配网络，得到由匹配网络输出的各个第一病灶和各个第二病灶之间的匹配参数。对关联信息进行处理后输入至匹配网络，更适于匹配网络的输入需求，进而使得匹配参数更加准确性。直接将关联信息输入至匹配网络，在实现上更加简单易行，计算量小。
103.下面结合图5-图6对本发明技术方案做进一步说明。
104.本应用场景中，以乳腺病变智能诊断的应用场景为例，乳腺断层影像(dbt)通常为针对同一侧乳房在两个不同拍摄视角中拍摄的医学影像。如果将针对同一侧乳房在两个不同拍摄视角中拍摄的医学影像视为一组医学影像，则该组医学影像包括同一侧乳腺的头足位(cc)影像和内外侧斜位(mlo)影像。其中头足位影像与内外侧斜位影像是影像机器从不同方向拍摄乳腺而得到的结果。
105.一般情况下，乳腺上的同一个病灶会同时出现在cc位影像以及mlo位影像中。如果能将同时出现在cc位影像以及mlo位影像中的表示乳腺的同一病灶的匹配病灶识别出或匹配出，会增加对该病灶的诊断准确性。
106.本应用场景中，以同一待诊断部位为左侧乳房、左侧乳房的cc位影像为第一医学影像、左侧乳房的mlo位影像为第二医学影像为例，对本方案的将两个医学影像中的匹配病灶识别出。
107.图5示出了本公开实施例针对dbt影像而实现的医学影像中的病灶的匹配识别的具体实现示意图；图6示出了本公开实施例的网络结构示意图。通俗来讲，图5为针对dbt影像而实现的匹配病灶的识别的实现流程示意图。图6为实现的匹配病灶的识别的网络结构示意图。利用图6所示的网络结构实现对dbt影像中的匹配病灶的识别。
108.如图5所示，本应用场景中的方案主要包括如下步骤：
109.s501：获取左侧乳房的cc位影像和mlo位影像。
110.读取摄影机器从不同拍摄视角对左侧乳房进行dbt影像而得到的左侧乳房的cc位影像和mlo位影像。将左侧乳房的cc位影像和mlo位影像视为一组dbt影像。该组dbt影像中的各影像其中分别表示dbt影像中的各影像的长、宽、高。
111.s502：对cc位影像和mlo位影像分别进行特征提取，得到cc位影像的特征图以及mlo位影像的特征图。
112.如图6所示，可通过特征提取网络进行特征的提取。
113.可以理解，cc位影像和mlo位影像为三维图像。针对dbt影像的三维成像的特点，针对cc位影像，利用一特征提取网络实现对cc位影像的特征的提取，得到cc位影像的特征图(用f1来表示)。针对mlo位影像，利用另一特征提取网络实现对mlo位影像的特征的提取，得到mlo位影像的特征图(用f2来表示)。
114.前述的特征提取网络均可由四层卷积构成。其中，四层卷积中的低层卷积用于提取dbt影像的低层特征，四层卷积中的高层卷积用于提取dbt影像的高层特征。低层特征可以是轮廓、边缘、颜色、纹理和形状特征。高层特征可以是用以区分dbt影像中病灶区域和非病灶区域的特征，如影像的亮度上来看，病灶区域的亮度明显亮于非病灶区域。
115.因为dbt影像为三维图像，具有三维成像的特点，所以前述的卷积层均为三维卷积层。利用三维卷积层提取出mlo位影像、mlo位影像的特征图。特征图可通过公式(1)而得到：
[0116][0117]
其中，3d(i)表示利用三维卷积层对cc位影像、mlo位影像进行卷积，分别表示特征图的长、宽、高、通道数。
[0118]
s503：基于cc位影像、mlo位影像的特征图，识别cc位影像、mlo位影像中是否存在病灶、以及在识别为有病灶的情况下，识别出cc位影像、mlo位影像中存在的病灶在cc位影
像、mlo位影像中的位置。
[0119]
由于三维卷积具有很好的归纳偏置的性质，图6所示的两个输入影像(cc位影像和mlo位影像)中各输入影像的特征图中的每一个点在其输入影像中会有一个对应的区域。
[0120]
例如，cc位影像的特征图中的位于左上角的点(第一个特征点)对应于cc位影像的第1-10行中各行的前20个像素点。cc位影像的特征图中的与左上角的点相邻的点(第二个特征点)对应于cc位影像的第1-10行中各行的第21-40个像素点。以此类推。
[0121]
对特征图f1、特征图f2分别使用识别网络来预测特征图f1、特征图f2上的每一点在其输入影像(cc位影像、mlo位影像)中的对应区域是否存在有病灶。
[0122]
如果经预测、得出特征图上的一个点在其输入影像的对应区域存在有病灶，则利用回归网络来预测该病灶在其输入影像中的位置，如公式(2)所示：
[0123]
(x1、y1、z1、x2、y2、z2)＝reg(f)
ꢀꢀꢀ
(2)
[0124]
其中，reg表示回归网络。可以理解，病灶在输入影像中的位置为三维空间中的位置。(x1、y1、z1、x2、y2、z2)为采用三维回归框进行病灶在输入影像中的位置的表示。回归框通常为一个矩形，其中(x1、y1、z1)表示矩形的一个角的坐标，(x2、y2、z2)表示和前述的矩形角处在同一对角线的矩形角的坐标。
[0125]
前述方案中，识别网络可以是任何合理的能够识别出病灶的神经网络。回归网络可以是任何合理的能够识别出病灶在输入影像中位置的神经网络。具体的，识别网络、回归网络具体可以是多层感知机(mlp)。
[0126]
由此，基于cc位影像的特征图，可识别出cc位影像的各病灶(第一病灶)以及各病灶在cc位影像中的位置。基于mlo位影像的特征图，可识别出mlo位影像的各病灶(第二病灶)以及各病灶在mlo位影像中的位置。
[0127]
s504：获得cc位影像中的各病灶在特征图f1中的特征向量以及mlo位影像中的各病灶在特征图f2中的特征向量。
[0128]
s505：cc位影像中的各病灶在cc位影像中所处的位置以及mlo位影像中的各病灶在mlo位影像中所处的位置进行编码。
[0129]
s506：将cc位影像中的各病灶在特征图f1中的特征向量以及cc位影像中被编码后的各病灶的位置进行联合；将mlo位影像中的各病灶在特征图f2中的特征向量以及mlo位影像中被编码后的各病灶的位置进行联合。
[0130]
在s504～s506中，假定从cc位影像中预测出的病灶为m个、从mlo位影像中预测出的病灶为n个，m和n均为正整数。
[0131]
可以理解，特征图f1、f2表示是输入影像中的各区域(对应于各特征点的区域)的特征向量。针对cc位影像中预测出的每个病灶，从特征图f1读取各个病灶在特征图f1中的特征向量作为cc位影像中存在的每个病灶在特征图f1中的特征。针对mlo位影像中预测出的每个病灶，从特征图f2读取各个病灶在特征图f2中的特征向量作为mlo位影像中存在的每个病灶在特征图f2中的特征。其中，为特征向量f
cc
和f
mlo
长度。
[0132]
可以理解，病灶的特征向量是从特征图的角度进行的病灶特征的表示。由于特征向量中是不包含病灶的位置信息的，而病灶在输入影像中的位置也可以作为病灶的一个特征，所以需要将能够作为病灶特征的所有信息-特征向量和病灶位置进行联合。
[0133]
在进行联合之前，为实现匹配网络对其输入的响应强烈性，需要将回归网络输出
的病灶位置进行编码。具体的，公式(3)所示为采用的余弦编码公式φ(x)。假定回归网络输出的病灶位置reg(f)为box，则公式(4)对回归网络输出的病灶位置进行的余弦编码而得到的编码后的位置。
[0134][0135]
encode(box)＝[φ(x1),φ(y1),φ(z1),φ(x2),φ(y2),φ(z2)]
ꢀꢀꢀ
(4)
[0136]
其中，公式(4)可以视为将(x1、y1、z1、x2、y2、z2)中的六个参量分别代入至公式(3)而得到的。2l为编码长度。
[0137]
针对两个输入影像中的每个病灶均进行病灶位置的余弦编码。编码后的encode(box)可视为病灶的目标特征。由于该目标特征是对病灶位置进行的编码，所以目标特征也可视为位置特征。
[0138]
针对cc位影像中的每个病灶如第i个病灶，将其在特征图f1中的特征向量fi和编码后的位置encode(box)进行联合，如公式(5)所示，得到cc位影像中的第i个病灶的联合特征其中，i为大于等于1且小于等于m的正整数。
[0139][0140]
针对mlo位影像中的每个病灶如第j个病灶，将其在特征图f2中的特征向量fj和编码后的位置encode(box)进行联合，如公式(6)所示，得到mlo位影像中的第j个病灶的联合特征其中，j为大于等于1且小于等于n的正整数。
[0141][0142]
可以理解，均为向量。因为表示的是病灶的特征，所以将向量看成是特征向量。
[0143]
s507：将cc位影像中的各病灶和mlo位影像中的各病灶的联合特征进行特征向量的拼接，得到cc位影像中的各病灶和mlo位影像中的各病灶之间的关联信息。
[0144]
将cc位与mlo位中的各个病灶的特征向量分别进行俩俩拼接，形成一个大小为m*n的拼接矩阵
[0145]
拼接矩阵p中的第i行第j列的值的含义是：为cc影像中第i个病灶的联合特征和mlo位影像中第j个病灶的联合特征的拼接得到的拼接结果p
ij
，如公式(7)所示。
[0146][0147]
其中，表示将和进行拼接。
[0148]
可以理解，在拼接矩阵p中的第i行的各个列表示cc影像中第i个病灶的联合特征和mlo位影像中的所有病灶的联合特征的拼接结果。如此，拼接矩阵p的所有行表示cc影像中每个病灶的联合特征和mlo位影像中的所有病灶的联合特征的拼接结果。
[0149]
这种拼接相当于将cc影像中的各个病灶的特征和mlo位影像中各个病灶的特征关联起来，拼接矩阵p可表示cc影像中的各个病灶和mlo位影像中各个病灶的关联信息。
[0150]
s508：基于匹配网络的权重参数，对拼接矩阵p进行处理，将处理后的拼接矩阵p输入至匹配网络，得到由匹配网络输出的cc影像中的各个病灶和mlo位影像中各个病灶之间的匹配参数。
[0151]
本步骤中，匹配网络为注意力网络、进一步为自注意力网络，以利用注意力机制来将cc位与mlo位影像中的病灶信息进行融合。
[0152]
自注意力网络存在有三个输入mq、mk以及mv。对拼接矩阵p进行整平(flatten)操作，然后分别和训练好的权重参数相乘，得到自注意力网络的三个输入mq、mk以及mv。具体的，参见如下公式：
[0153][0154][0155][0156]
其中，为自注意力网络的权重参数，其被预先训练好。flatten(p)表示将二维的拼接矩阵p变换成一维向量。前述方案可视为对拼接矩阵p进行处理的方案。
[0157]
将mq、mk以及mv输入至自注意力网络selfatten。如公式(8)和(9)所示：
[0158]mattn
＝selfatten(mq,mk,mv)
ꢀꢀꢀ
(8)
[0159][0160]
其中，softmax为自注意力网络的激活函数。为mq的向量长度，为已知值。mq,mk,mv以及m
attn
的向量长度均相等，等于前述的
[0161]mattn
为自注意力网络的输出的匹配矩阵。其中，匹配矩阵m
attn
的第i行第j列表示cc位影像的第i个病灶与mlo位影像的第j个病灶的匹配分值。
[0162]
s509：利用预设的二分图匹配算法对匹配矩阵进行处理，得到cc位影像和mlo位影像中的匹配病灶。
[0163]
示例性地，假定cc位影像存在a1～a5共5个病灶，mlo位影像存在b1～b5共5个病灶，经前述的技术方案可得到a1和b5为匹配病灶、a2和b4为匹配病灶、a3和b3为匹配病灶、a4和b2为匹配病灶、a5和b1为匹配病灶。
[0164]
在本方案中互为匹配的两个病灶表示在两个不同的输入影像中表示同一待诊断部位的同一病灶。
[0165]
在应用层面上，基于前述方案给出的匹配病灶a1和b5实际是同一待检测部位的同一病灶，由于采用不同的拍摄角度进行影像拍摄，所以可能存在有在两个拍摄影像中均清晰显示、均不清晰显示、或者其中一个清晰显示另一个不清晰显示的情况。如果基于cc位影像中的a1，医生给出了患者的左侧乳腺病变的程度为bi-rads二级。如果基于mlo位影像中与cc位影像中的a1匹配的病灶b5、医生给出的诊断结果与基于cc位影像中的a1医生给出的诊断结果，势必给出了准确的诊断结果。
[0166]
如果基于cc位影像中的a1、以及mlo位影像中与cc位影像中的a1匹配的病灶b5，医生给出的诊断结果不同，则需要参考cc位影像和mlo位影像中病灶清晰度强的影像给出最终的诊断结果，病灶清晰度弱的影像作为参考。
[0167]
可以理解，前述方案中，还可以将左侧乳房的mlo位影像视为第一医学影像，左侧乳房的cc位影像视为第二医学影像。以上方案是以同一待诊断部位为左侧乳房为例，此外，同一待诊断部位还可以为右侧乳房。在实际应用中，同一待诊断部位还可以为其他同一待诊断部位如左眼或右眼，第一、第二医学影像是针对左眼或右眼从不同拍摄视角而拍摄到
的影像。
[0168]
从前述方案可以看出，对于获取到的两个医学影像，基于两个医学影像中各自存在的各病灶在各自医学影像中所处的位置以及两个医学影像中各自存在的各病灶在各自医学影像的特征图中存在的特征，不仅实现了两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶的匹配或识别，还实现了两个医学影像中表示为同一待诊断部位的同一病灶的两个病灶的准确匹配或识别，保证了匹配或识别的准确性。
[0169]
从应用意义上来说，从不同视角的医学影像中确定出同一病灶，会增加对该病灶的诊断准确性。在将该匹配或识别方案作为医学诊断系统中的一项功能时，可大大丰富医学诊断系统的功能，提高系统的易用性。
[0170]
在前述的识别网络中，识别网络会给出特征图上的一个点在其输入影像的对应区域存在有病灶的概率，如果概率值大于或等于选好的概率阈值，则认为该对应区域存在有病灶，否则认为不存在病灶。
[0171]
本方案中，可为识别网络提供多个概率阈值，基于实际的使用需求，从多个中挑选一个作为识别网络在识别时使用的概率阈值。
[0172]
表1为在不同的概率阈值下两个评价指标(fp和recall)之间的对应关系。其中，fp表示输入影像中实际无病灶但被预测为有病灶的情况(预测出假阳性的情况)。recall表示输入影像中有多少实际病灶被成功预测出。
[0173]
表1
[0174]
fp0.1250.2500.5001.0002.0004.000recall0.3690.4440.5190.5900.6340.646
[0175]
在表1中从第二列开始每一列对应一个不同的概率阈值。如从第二列开始每一列对应的概率阈值为阈值1～阈值6。以表1中的第二列(fp＝0.125、recall＝0.369)为例，在概率阈值为阈值1的情况下，在每个输入影像中预测有0.125个假阳性病灶的情况下，该输入影像中有0.369个病灶被成功预测出。
[0176]
由此可依据实际使用情况，对fp和recall进行折中考虑，以从多个概率阈值中为识别网络挑选出合适的阈值。合适的阈值的选取，可实现本方案应用的最优化。
[0177]
本发明还提供一种医学影像中的病灶的匹配装置的实施例，如图7所示，所述装置包括：
[0178]
第一获取单元701，用于获取第一医学影像和第二医学影像，所述第一医学影像和第二医学影像为通过采用不同的拍摄视角对同一待诊断部位进行拍摄而得到的三维影像；
[0179]
第二获取单元702，用于基于第一医学影像的特征图、第二医学影像的特征图，分别得到第一医学影像中存在的至少一个第一病灶在第一医学影像中所处的位置、第二医学影像中存在的至少一个第二病灶在第二医学影像中所处的位置；
[0180]
确定单元703，用于基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像中所处的位置和在第二医学影像的特征图中的特征，确定在所述第一医学影像和第二医学影像中表示为所述同一待诊断部位的同一病灶的第一病灶和第二病灶。
[0181]
在一个可选的方案中，所述确定单元703还用于：基于各个第一病灶在第一医学影像中所处的位置和在第一医学影像的特征图中的特征、以及各个第二病灶在第二医学影像
中所处的位置和在第二医学影像的特征图中的特征，得到各个第一病灶和各个第二病灶之间的关联信息；将所述关联信息输入至匹配网络，得到各个第一病灶和各个第二病灶之间的匹配参数；基于所述匹配参数，确定在第一医学影像和第二医学影像中表示为同一病灶的第一病灶和第二病灶。
[0182]
在一个可选的方案中，所述确定单元703还用于：将各个第一病灶在第一医学影像中所处的位置和各个第一病灶在第一医学影像的特征图中的特征进行联合，得到各个第一病灶的联合特征；将各个第二病灶在第二医学影像中所处的位置和各个第二病灶在第二医学影像中的特征图中的特征进行联合，得到各个第二病灶的联合特征；基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息。
[0183]
在一个可选的方案中，所述确定单元703还用于：将各个第一病灶在第一医学影像中所处的位置、各个第二病灶在第二医学影像中所处的位置分别进行编码，得到各个第一病灶的目标特征、各个第二病灶的目标特征；将各个第一病灶的目标特征以及各个第一病灶在第一医学影像的特征图中的特征进行联合，得到各个第一病灶的联合特征；将各个第二病灶的目标特征以及各个第二病灶在第二医学影像的特征图中的特征进行联合，得到各个第二病灶的联合特征；基于各个第一病灶的联合特征以及各个第二病灶的联合特征，得到各个第一病灶和各个第二病灶之间的关联信息。
[0184]
在一个可选的方案中，所述确定单元703还用于：各个第一病灶的联合特征和各个第二病灶的联合特征均为特征向量；将各个第一病灶的联合特征和各个第二病灶的联合特征进行特征向量的拼接，得到各个第一病灶和第二病灶之间的关联信息。
[0185]
在一个可选的方案中，所述匹配参数为匹配矩阵，所述匹配矩阵的第i行第j列表示第一医学影像中的第i个第一病灶与第二医学影像中的第j个第二病灶之间的匹配分值；其中i、j均为大于等于1的正整数；
[0186]
所述确定单元703还用于：利用预设的二分图匹配算法对匹配矩阵进行处理，得到表示为同一病灶的第一病灶和第二病灶。
[0187]
在一个可选的方案中，所述确定单元703还用于：基于匹配网络的权重参数，对所述关联信息进行处理；将处理后的关联信息输入至匹配网络，得到由匹配网络输出的各个第一病灶和各个第二病灶之间的匹配参数。
[0188]
需要说明的是，本技术实施例的医学影像中的病灶的匹配装置，由于装置解决问题的原理与前述的医学影像中的病灶的匹配方法相似，因此，装置的实施过程及实施原理均可以参见前述方法的实施过程及实施原理、有益效果的描述，重复之处不再赘述。
[0189]
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
[0190]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0191]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中
的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0192]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0193]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如医学影像中的病灶的匹配方法。例如，在一些实施例中，医学影像中的病灶的匹配方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的医学影像中的病灶的匹配方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行医学影像中的病灶的匹配方法。
[0194]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0195]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0196]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
[0197]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0198]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0199]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。