图像检测方法、装置、设备和存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种图像检测方法、装置、设备和存储介质。


背景技术：

2.胰腺癌，是一种致死率很高的恶性肿瘤，不易筛查发现，一经发现，往往已经是癌症晚期，失去手术机会，5年生存率很低。
3.针对胰腺癌等胰腺相关疾病，目前往往是通过对病患进行电子计算机断层扫描(computed tomography，简称ct)图像的采集，以辅助诊断。常用的ct包括增强ct和平扫ct两种，其中，增强ct需注射造影剂，造影剂使患者有过敏的风险，增加了费用，并且由于多期像的扫描使患者暴露于更多的辐射。
4.如上的ct图像中会包含很多有价值的信息，按需对这些图像进行精细化检测具有重要意义。


技术实现要素：

5.本发明实施例提供一种图像检测方法、装置、设备和存储介质，用于实现对包含有病灶信息的图像的精细化检测。
6.第一方面，本发明实施例提供一种图像检测方法，所述方法包括：
7.获取通过平扫电子计算机断层扫描得到的检测图像；
8.从所述检测图像中提取出对应于目标身体部位的目标身体部位图像；
9.通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域；
10.通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别。
11.第二方面，本发明实施例提供一种图像检测装置，所述装置包括：
12.采集模块，用于获取通过平扫电子计算机断层扫描得到的检测图像；
13.切割模块，用于从所述检测图像中提取出对应于目标身体部位的目标身体部位图像；
14.第一检测模块，用于通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域；
15.第二检测模块，用于通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别。
16.第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面所述的图像检测方法。
17.第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的图像检测方法。
18.第五方面，本发明实施例提供一种图像检测方法，所述方法包括：
19.接收用户设备通过调用图像检测服务触发的请求，所述请求中包括通过对人体进行平扫电子计算机断层扫描得到的检测图像；
20.利用所述图像检测服务对应的处理资源执行如下步骤：
21.接收用户设备通过调用图像检测服务触发的请求，所述请求中包括通过平扫电子计算机断层扫描得到的检测图像；
22.利用所述图像检测服务对应的处理资源执行如下步骤：
23.从所述检测图像中提取出对应于目标身体部位的目标身体部位图像；
24.通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域；
25.通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别；
26.将标记有所述第二目标病灶类型及病灶区域的检测图像反馈至所述用户设备。
27.第六方面，本发明实施例提供一种图像检测方法，应用于扩展现实设备，所述方法包括：
28.获取通过平扫电子计算机断层扫描得到的检测图像；
29.从所述检测图像中提取出对应于目标身体部位的目标身体部位图像；
30.通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域；
31.通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别；
32.显示标记有所述第二目标病灶类型及病灶区域的检测图像。
33.在本发明实施例中，以检测胰腺部位的病灶情形为例，可以通过平扫ct对用户的胸部或腹部进行扫描以得到检测图像，不需要依赖于增强ct，从而不需要对用户注入造影剂(无介入)。之后，从检测图像中分割出对应于目标身体部位(如胰腺区域)的目标身体部位图像。之后，先通过第一图像检测模型对目标身体部位图像进行图像的分类和分割处理，以确定目标身体部位图像中是否存在第一目标病灶类型及对应于第一病灶类型的病灶区域。若存在，则通过第二图像检测模型对目标身体部位图像进行第二图像分类分割处理，以确定目标身体部位图像中存在的第二目标病灶类型及病灶区域，其中，第二目标病灶类型
是第一目标病灶类型的子类别。
34.由此可知，上述第一图像检测模型用于检测出目标身体部位图像中是否存在某种或某几种类型的病症以及对应的病灶区域，核心在于确定目标身体部位图像中是否包含需要进一步识别的病灶；基于此，第二图像检测模型用于进一步精确地检测出目标身体部位图像中具体包含的病灶类型和病灶区域。基于上述两个图像检测模型的使用，可以提供辅助图像信息，用于比如胰腺、肺部、胃部等不同部位相关疾病的定位。
附图说明
35.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明实施例提供的一种图像检测方法的流程图；
37.图2为本发明实施例提供的一种胰腺疾病筛查过程的应用示意图；
38.图3为本发明实施例提供的一种第一图像检测模型的组成示意图；
39.图4为本发明实施例提供的一种第二图像检测模型的组成示意图；
40.图5为本发明实施例提供的一种图像检测方法的应用示意图；
41.图6为本发明实施例提供的一种图像检测装置的结构示意图；
42.图7为本实施例提供的一种电子设备的结构示意。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
45.在实际生活中，以胰腺癌为例，至今没有官方推荐的胰腺癌筛查手段，大部分胰腺癌的患者一发现，即晚期，失去手术机会，5年生存率很低。如果能早期发现胰腺癌，术后经辅助化疗，5年生存率有望大幅提高。
46.胰腺癌的一线诊断成像方案是使用增强ct，需向用户(本文中的用户是指需要进行疾病检测的人，通常为患者)注射造影剂。然而，造影剂使患者有过敏的风险，增加了费用，并且由于多期像的扫描使患者暴露于更多的辐射。
47.胸部平扫ct正大量用于体检，其扫面范围已包括大部分胰腺，然而平扫ct图像对比度较低，医生肉眼很难判断胰腺上有没有肿瘤、是不是癌。事实上，在体检中漏掉胰腺肿瘤时常发生，这也是为什么一发现就晚期的原因之一。
48.在实际生活中，胰腺相关疾病除了包括胰腺导管腺癌(pancreatic ductal adenocarcinoma，简称pdac)这种恶性胰腺癌症外，还包括诸如原始神经外胚层肿瘤(primitive neuro ectodermal tumor，简称pnet)、导管内乳头状黏液肿瘤(intraductal papillary mucinous neoplasm，简称ipmn)、浆液性囊性肿瘤(serous cystade noma，简称
scn)、粘液性囊性肿瘤(mucinous cystic neoplasm，简称mcn)、胰腺实性假乳头状瘤(solid-pseudopapillary tumor of pancreas，简称spt)、慢性胰腺炎(chronic pancreatitis，简称cp)等胰腺疾病。
49.以上述胰腺相关疾病为了来说，本发明实施例中，可以将胰腺部位常见的病灶类型的检测认为划分为两个分类分割任务：第一个是基于平扫ct图像，识别出pdac、非pdac疾病(包括pnet、spt、ipmn、mcn、cp、scn等亚型)以及无疾病这三种类别以及其中每个病灶类型对应的病灶区域；第二个是如果第一个任务输出结果为非pdac类型或者是pdac，则进一步基于平扫ct图像进行亚型分类识别。
50.这里将pdac与其他非pdac类型疾病分类区分是一种非常重要的分类，因为pdac占胰腺癌的90％，是最为恶性的一种胰腺癌。
51.上述仅以胰腺部位为例进行了两个分类分割任务的简单介绍。实际上，其他身体部位的检测与之同理，也就是说，本发明实施例提供的图像检测方案，不局限于某些特定部位的特定疾病的检测，而是提供一种适用于很多身体部位的多种病灶类型的图像检测方案。比如，肺部的肺癌、肺结核、肺水肿等等。
52.需要说明的是，本发明实施例提供的图像检测方案仅是通过神经网络模型对图像中所呈现出的病灶特征的学习，实现对图像中可能包含的病灶类别和病灶区域的精确检测，该检测结果作为一种中间结果信息被提供给医生。
53.下面具体介绍本发明实施例提供的图像检测方法。
54.图1为本发明实施例提供的一种图像检测方法的流程图，如图1所示，该方法包括如下步骤：
55.101、获取通过平扫ct得到的检测图像，从检测图像中提取出对应于目标身体部位的目标身体部位图像。
56.102、通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域。
57.103、通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别。
58.在实际生活中，很多疾病的检测都需要借助医学影像的辅助，ct是一种常见的辅助方式，本发明实施例中，当某用户需要进行某种疾病的检测时，仅需要对该用户进行平扫ct的扫描，不需要进行增强ct。将通过平扫ct得到的图像称为检测图像。
59.在进行ct图像采集时，往往是对用户的比如胸部、腹部等整体区域进行扫描，而一些疾病的判断往往仅需要关注其中的某个身体部位(目标身体部位)，比如某个或某几个器官。以胰腺相关疾病的筛查为例，关注的目标身体部位即为胰腺。因此，在得到检测图像后，为便于后续的图像识别过程，首先需要从检测图像中提取出与目标身体部位对应的图像区域，称为目标身体部位图像，比如胰腺区域。
60.实际应用中，可以预先训练一个分割模型，用以实现从检测图像中分割出目标身体部位图像。
61.以胰腺为例，简单来说，在该分割模型的训练阶段，可以获取大量的带有标注信息
的训练样本图像，其中，训练样本图像即为包含胰腺区域的图像，标注信息即为胰腺区域在该图像中对应的位置，通常以多边形框的方式来标记，表示多边形框内的像素都是对应于胰腺区域的。基于这些带有标注信息的训练样本图像便可以实现对该分割模型的训练，训练至收敛的该分割模型便具有定位胰腺区域的能力。
62.基于此，将上述检测图像输入分割模型后，分割模型可以预测出检测图像中各像素对应的类别标签：是否位于胰腺区域内，假设用类别标签1来表示位于胰腺区域，用类别标签0表示不位于胰腺区域，则基于各像素对应的类别标签，可以确定由类别标签1对应的各像素所构成的连续区域作为胰腺区域，即目标身体部位对应的图像区域。其中，“连续区域”，意味着即使在大量的对应于类别标签1的像素之间存在特别少量的类别标签为0的像素，这些像素的类别标签0将被忽略。具体地连续区域的确定方法可以参考现有相关技术实现，本实施例中不赘述。
63.如上文所述，以胰腺疾病筛查场景为例，将胰腺疾病的筛查任务划分为两个分类分割任务，其中，第一个分类分割任务用于对目标身体部位图像进行第一组病灶类型的分类处理和图像分割处理；第二个分类分割任务用于对目标身体部位图像进行第二组病灶类型的分类处理和图像分割处理。
64.其中，这里的图像的分割处理是指定位出相应病灶类型在目标身体部位图像中对应的病灶区域，分类处理即为进行病灶类型的分类识别。
65.针对胰腺疾病来说，第一组病灶类型中可以包括pdac类型、非pdac类型以及无病灶(即正常)，第二组病灶类型可以包括pnet、spt、ipmn、mcn、cp、scn等类型，甚至还可以包括pdac。
66.在一可选实施例中，第二组病灶类型可以认为是非pdac类型下的子类别。所以，在实际应用中，第一分类分割任务输出目标身体部位在第一组病灶类型中对应的病灶类型为非pdac类型时，可以执行第二分类分割任务。
67.需要说明的是，也可以配置为当第一分类分割任务输出结果表明目标身体部位存在pdac或非pdac类型(即存在疾病)时，执行第二分类分割任务，此时，第二分类分割任务需提供进行pdac和非pdac类型的亚型(子类别)的分类功能。
68.基于上述胰腺疾病的举例，总结概括来说，第一图像检测模型用于进行第一组病灶类型的检测，第一组病灶类型中包括：按目标身体部位对应的疾病严重程度依次划分出的第三目标病灶类型、第一目标病灶类型和无病灶，其中，第一目标病灶类型是指除第三目标病灶类型外的病灶类型的统称。也就是说，第一目标病灶类型并未指向某一种特定的疾病，而是表示存在除第三目标病灶类型外的疾病的异常情形。
69.实际应用中，上述两个分类分割任务可以通过分别训练两个图像检测模型来完成，即上述第一图像检测模型和第二图像检测模型。
70.可以理解的是，如果第一图像检测模型对目标身体部位图像的检测结果为：其中存在第三目标病灶类型及其对应的病灶区域。此时，可选地，可以不用执行第二图像检测模型的处理过程。
71.将图像检测任务划分为上述两个分类分割任务来执行具有如下优点：
72.其一，相比于由一个模型来完成图像检测任务，两个图像检测模型可以各自有各自的侧重，容易训练出性能良好的更具有疾病侧重性的模型，降低样本不均衡对模型性能
的影响。
73.其二，对同一器官涉及的疾病进行上述两组类别的划分：第一组中包括最为严重的疾病、无疾病以及其他疾病的统称，保证第一图像检测模型能够充分地学习到这个最为严重的疾病的特征以及正常(无疾病)时该器官的特征，能够保证该最为严重的疾病的检测准确性，从而保证了这种恶性疾病的及时发现。第一分类分割任务相当于是粗分类分割任务，完成患者是否患有疾病，是否患有某些类型疾病的识别处理。第二分类分割任务相当于是细分类分割任务，其对应的第二图像检测模型被训练为可以学习更多类型疾病的细粒度的差异特征，保证图像检测结果的更加准确性。
74.其三，兼顾实际应用需求。由于第一图像检测模型会完成第一组病灶类型的分类和分割处理，不但基于该分类处理结果可以得知患者是否患有上述最为严重的疾病，还可以基于该分割处理结果得知患者的病灶区域。
75.本领域技术人员可以了解，上述实施例中提供的第二图像检测模型可以基于实际需要选择使用。
76.综上，在实际应用中，在从检测图像中定位出目标身体部位图像后，将目标身体部位图像输入第一图像检测模型，通过第一图像检测模型对目标身体部位图像进行第一组病灶类型的分类处理和图像分割处理，以得到目标身体部位图像在第一组病灶类型中存在的病灶类型及病灶区域。若目标身体部位图像中存在第一组病灶类型中包含的第一目标病灶类型(指特定的某一个或几个病灶类型)，则通过第二图像检测模型对目标身体部位图像进行第二组病灶类型的分类处理和图像分割处理，以确定目标身体部位图像在第二组病灶类型中存在的第二目标病灶类型及病灶区域。
77.可以理解的是，上述两个图像检测模型由于需要提供分类和图像分割能力，所以在模型训练过程中，需要获取带有两种标注信息的训练样本图像，其中一种标注信息即为训练样本图像中包含的病灶类型(包含于相应一组病灶类型中)，另一种是该病灶类型在训练样本图像中对应的病灶区域的位置。
78.在一可选实施例中，不管是上述第一图像检测模型还是第二图像检测模型，都可以采用如下的交叉验证的训练方式来训练，为便于描述，将分别以第一图像检测模型和第二图像检测模型作为目标图像检测模型，训练过程包括：
79.获取用于训练目标图像检测模型的训练样本集；
80.构建与所述训练样本集对应的多个训练样本子集；
81.分别通过多个训练样本子集训练多个目标图像检测模型。
82.举例来说，假设目标图像检测模型的训练样本集中共有100个样本图像，一共训练出5个目标图像检测模型(不同的图像检测模型)，其中，每个目标图像检测模型对应的训练样本子集中包含从这100个样本图像中采样出的80个样本图像(每个目标图像检测模型对应的训练样本子集是不同的)，剩下的20个样本图像则作为相应目标图像检测模型的测试集使用。
83.通过上述训练方法，可以得到多个不同的第一图像检测模型，以及多个不同的第二图像检测模型。基于此，可以分别通过多个第一图像检测模型对目标身体部位图像进行第一图像分类分割处理，以得到多个第一图像检测模型各自的输出结果，之后，根据多个第一图像检测模型各自的输出结果，确定目标身体部位图像是否存在对应于第一病灶类型病
灶区域。
84.其中，可选地，可以从多个第一图像检测模型各自的输出结果中，选择占比高的那个输出结果作为最终的输出结果，比如，5个第一图像检测模型中的4个都输出：pdac这个分类结果，且各自输出的病灶区域相同，那么确定目标身体部位图像中存在的病灶类型即为pdac，病灶区域即为这4个第一图像检测模型输出的病灶区域。
85.通过多个第二图像检测模型确定目标身体部位图像中存在的第二病灶类型及病灶区域，与之同理。
86.综上所述，结合本发明实施例提供的图像检测方案，以胰腺疾病筛查场景为例，通过上述两个图像检测模型的协同配合，基于被训练为具有少量的几类严重疾病的识别能力的第一图像检测模型，可以实现严重疾病的准确检测，其他一些类型疾病，可以基于第二图像检测模型进行检测，实现了对胰腺部位图像针对多种病灶类型的全面、准确识别。图2示意了结合本发明实施例提供的检测方案实施的胰腺图像检测过程。
87.下面介绍第一图像检测模型和第二图像检测模型的结构以及工作过程。
88.针对第一图像检测模型：
89.从结构角度来说，第一图像检测模型包括第一特征提取子模型和第一分类分割子模型，其中，第一特征提取子模型包括第一编码模块、第一解码模块以及第一编码模块和第一解码模块之间的跳接层。
90.从工作过程角度来说，工作过程如下：
91.通过第一编码模块提取目标身体部位图像对应的第一特征图组，第一特征图组由多个尺度的特征图构成；
92.通过跳接层将第一特征图组输入到第一解码模块；
93.通过第一解码模块获取目标身体部位图像对应的第二特征图组，第二特征图组由多个尺度的特征图构成；
94.将第二特征图组输入到第一分类分割子模型，以通过第一分类分割子模型对第二特征图组中包含的特征图进行融合，并基于融合后的特征图确定所述目标身体部位图像中是否存在第一目标病灶类型及对应于所述第一目标病灶类型的病灶区域。
95.为便于理解，结合图3来示例性说明第一图像检测模型的组成。
96.在图3中，左侧分支对应于第一特征提取子模型，右侧分支对应于第一分类分割子模型。其中，假设第一编码模块由6个卷积块组成，对应地，第一解码模块也由6个卷积块组成，其中，每个卷积块表示为：2xconv3d，是指由2个串行的三维(3d)的卷积层构成。其中，每个卷积块对应的尺度是不同的，用以提取出相应尺度的特征图，比如图中示意的5x8x5，10x16x10，20x32x20，
…
，其中，c＝320,256,128
…
，c表示的是通道数。图中示意的第一编码模块与第一解码模块中相同尺度对应的卷积块之间的有向连接线表示的是相同尺度的卷积块之间的跳接层。
97.基于图3中示意的第一特征提取子模型的结构，当将目标身体部位图像输入第一编码模块时，依次通过上述6个卷积块的卷积和下采样处理，可以依次得到尺度由大到小的6个尺度的特征图，其中，前一个卷积块的输出作为下一个卷积块的输入。第一编码模块中最后一个卷积块的输出会输入到第一解码模块，由第一解码模块依次通过6个卷积块逐层进行上采样和反卷积处理，会依次输出尺度由小到大的6个尺度的特征图，只是第一解码模
块中的一个卷积块在对前一个卷积块输入的某个尺度i的特征图进行上采样得到尺度j的特征图后，需要通过跳接层将第一编码模块中提取出的尺度j的特征图与该特征图进行拼接，在进行后续的卷积等操作。也就是说，跳接层的作用是：下采样(编码模块)和上采样(解码模块)得到的相同尺度的特征图在通道维度上的拼接。
98.第一编码模块提取出的多个尺度的特征图实际上是浅层特征，构成第一特征图组；而第一解码模块提取出的多个尺度的特征图实际上是深层特征，构成第二特征图组。通过跳接实现了特征的融合。
99.如图3中所示，第一分类分割子模型中可以包括多个池化层(比如图中示意的全局最大池化层：global pooling)以及与每个池化层连接的全连接层(fc)，还包括特征融合层。第二特征图组中包含的多个尺度的特征图对应的输入到多个池化层中进行压缩处理。
100.最终，经过压缩处理后的多个尺度的特征图输入特征融合层，进行特征融合(拼接)，并基于融合后的特征图确定目标身体部位图像中是否存在对应于第一目标病灶类型的病灶区域，比如图中示意的pdac/非pdac/正常这三种类别的识别结果，以及pdac/非pdac各自对应的病灶区域分割结果，以增强可解释性。
101.针对第二图像检测模型：
102.从结构角度来说，第二图像检测模型包括第一特征提取子模型、第二分类分割子模型和池化模块，其中，第二分类分割子模型中包括记忆单元和注意力模块；其中，记忆单元被训练为用于存储第一目标病灶类型下包含的不同病灶类型在目标身体部位中对应的位置和视觉特征，记忆单元被配置为以目标数量的记忆向量来存储所述位置和视觉特征；
103.从工作过程角度来说，工作过程如下：
104.通过第二特征提取子模型提取目标身体部位图像对应的第三特征图组，第三特征图组由多个尺度的特征图构成；
105.依次针对所述多个尺度的特征图中的目标特征图：通过池化模块对目标特征图进行池化处理，以将目标特征图压缩为目标数量的特征向量；以及通过注意力模块对目标数量的参考向量与目标数量的特征向量进行交叉注意力处理，对目标数量的参考向量进行自注意力处理，加和交叉注意力处理结果和自注意力处理结果；其中，当目标特征图是所述多个尺度的特征图中的第一个时，参考向量为所述记忆向量，当目标特征图不是所述多个尺度的特征图中的第一个时，参考向量为前一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和结果；目标特征图是第三特征图组中的任一个；
106.根据最后一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和结果，确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域。
107.实际上，与第一图像检测模型中的第一特征提取子模型相似地，第二特征提取子模型也包括第二编码模块、第二解码模块以及第二编码模块和第二解码模块之间的跳接层。基于此，可选地，通过第二特征提取子模型提取目标身体部位图像对应的第三特征图组，可以实现为：
108.通过第二编码模块提取所述目标身体部位图像对应的第四特征图组；
109.通过所述跳接层将第四特征图组输入到所述第二解码模块；
110.通过第二解码模块获取目标身体部位图像对应的第五特征图组；
111.确定第四特征图组中包含的部分特征图和第五特征图组中包含的部分特征图构
成第三特征图组。
112.另外，在一可选实施例中，第二图像检测模型中还可以包括位置嵌入模块。基于此，通过注意力模块对目标数量的参考向量与目标数量的特征向量进行交叉注意力处理，可以实现为：
113.分别对目标数量的特征向量叠加上对应的位置嵌入向量，其中，任一特征向量上叠加的位置嵌入向量用于表征所述任一特征向量在目标数量的特征向量中对应的位置信息；
114.通过注意力模块对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量进行交叉注意力处理。
115.位置嵌入向量的引入，本质上是引入了疾病在目标身体部位上的空间位置特征，有助于实现更加准确的识别效果。
116.为便于理解，结合图4来示例性说明第二图像检测模型的组成。
117.在图4中，左侧分支对应于第二特征提取子模型，中间的分支对应于位置嵌入模块，右侧分支对应于第二分类分割子模型。
118.其中，与图3相似地，假设第二编码模块由6个卷积块组成，对应地，第二解码模块也由6个卷积块组成，每个卷积块的组成和相关参数如图中所示。图中示意的第二编码模块与第二解码模块中相同尺度对应的卷积块之间的有向连接线表示的是相同尺度的卷积块之间的跳接层。
119.与上文中介绍第一特征提取子模型的工作过程一致，基于图4中示意的第二特征提取子模型的结构，当将目标身体部位图像输入第二编码模块时，依次通过上述6个卷积块的卷积和下采样处理，可以依次得到尺度由大到小的6个尺度的特征图，构成第四特征图组。由第二解码模块依次通过6个卷积块逐层进行上采样和反卷积处理，会依次输出尺度由小到大的6个尺度的特征图，构成第五特征图组。
120.之后，如图4中所示，分别从第四特征图组和第五特征图组中选取部分特征图，构成第三特征图组。
121.需要说明的是，理论上，第三特征图组也可以由第四特征图组和第五特征图组中包含的全部特征图构成，只是这样会增加计算复杂度。另外，由于第四特征图组和第五特征图组分别对应于浅层特征和深层特征，分别从第四特征图组和第五特征图组中选择部分特征图，可以兼顾浅层特征和深层特征以及计算量。
122.之后，针对第三特征图组中的每个特征图，通过池化模块对每个特征图进行池化处理，以将特征图压缩为目标数量的特征向量。其中，池化模块可以提供如图中示意的自适应平均池化处理(adaptive average pooling)，在图4中，假设该目标数量为5x8x5＝200个，与记忆单元中存储的200个320维的向量的尺寸相匹配。
123.其中，在图4中示意的多个尺度的特征图中，最小的尺度即为5x8x5，其他的尺度都是该尺度的整数倍，因此，其他各个尺度的特征图都可以以该5x8x5尺度为基准来压缩，压缩结果通过200个特征向量来表示。
124.在一可选实施例中，上述第三特征图中的各个特征图在被压缩为上述目标数量的特征向量之后，还可以针对其中的每个特征向量，叠加上对应的位置嵌入向量(pos)，其中，任一特征向量上叠加的位置嵌入向量用于表征所述任一特征向量在所述目标数量的特征
向量中对应的位置信息。
125.之后，如图4中所示，通过注意力模块对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量进行交叉注意力处理，以及对目标数量的参考向量进行自注意力处理，加和交叉注意力处理结果和自注意力处理结果。
126.其中，目标数量的参考向量根源在记忆单元中存储的目标数量的记忆向量。该记忆单元中存储的目标数量的记忆向量是在第二图像检测模型训练过程中更新学习的，在模型收敛时，记忆单元中存储的目标数量的记忆向量将被最终存储下来，以备之后使用。
127.如图4中所示，第三特征图组中的每个特征图在经过上述压缩和位置嵌入处理后，都相当于形成了一个向量序列，每个向量序列会依次输入注意力模块。从而，注意力模块可以视为由图中示意的多个注意力单元构成，每个注意力单元提供自注意力机制和交叉注意力机制的功能。
128.为便于描述和理解，将图中示意的第三特征图组中4个特征图经过池化处理后的目标数量的特征向量，分别表示为c1、c2、c3、c4，将对应的4个位置嵌入向量分别表示为p1、p2、p3、p4，将记忆单元中存储的目标数量的记忆向量表示为m0。基于此，第一个注意力单元对目标数量的记忆向量的自注意处理表示为：self-attention(m0)＝m
01
,第一个注意力单元对目标数量的记忆向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量c1的自注意处理表示为：cross-attention(c1 p1,m0)＝m
02
,其中，c1 p1表示目标数量的特征向量c1与其各自对应的位置嵌入向量的叠加。
129.记自注意处理结果与交叉注意力处理结果的加和为：m
01
m
02
＝m1,则m1即为下一个注意力单元的输入：目标数量的参考向量。
130.第二个注意力单元对此时的目标数量的参考向量m1的自注意处理表示为：self-attention(m1)＝m
11
,第二个注意力单元对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量c2的自注意处理表示为：cross-attention(c2 p2,m1)＝m
12
,记此时自注意处理结果与交叉注意力处理结果的加和为：m
11
m
12
＝m2。
131.以此类推，第三个注意力单元对此时的目标数量的参考向量m2的自注意处理表示为：self-attention(m2)＝m
21
,第三个注意力单元对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量c3的自注意处理表示为：cross-attention(c3 p3,m2)＝m
22
,记此时自注意处理结果与交叉注意力处理结果的加和为：m
21
m
22
＝m3。第四个注意力单元对此时的目标数量的参考向量m3的自注意处理表示为：self-attention(m3)＝m
31
,第四个注意力单元对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量c4的自注意处理表示为：cross-attention(c4 p4,m3)＝m
32
,记此时自注意处理结果与交叉注意力处理结果的加和为：m
31
m
32
＝m4。
132.之后，根据m4确定目标身体部位图像中存在的第二目标病灶类型及病灶区域。比如通过图4中示意的响应(response)模块对m4对应的200个320维的向量进行某种池化处理，从每个向量中选择出特征值，输入到后面的全连接层(fc)，之后输出病灶类型和病灶区域的预测结果。
133.本实施例中，记忆单元(memory)，用于存储一组全局共享的模型参数，在模型训练阶段，记忆单元中的初始值可以随机确定，之后，模型每次迭代训练会该参数会被更新。记忆单元被设计为用以学习全局上下文信息和位置信息，例如胰腺肿瘤在胰腺内的相对位
置，从而为第一目标病灶类型(即第二组病灶类型)下包含的每种胰腺疾病类型提供可区分的描述符，也就是说，记忆单元旨在存储不同胰腺疾病的位置(空间)和纹理(视觉)等特征信息，该特征信息的更新和构建需要通过自注意机制和交叉注意力机制来实现。
134.本发明实施例提供的图像检测方法可以在云端来执行，在云端可以部署有若干计算节点，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。服务接口包括软件开发工具包(software development kit，简称sdk)、应用程序接口(application programming interface，简称api)等形式。
135.针对本发明实施例提供的方案，云端可以提供有图像检测服务的服务接口，用户通过用户设备调用该服务接口，以向云端触发图像检测请求，该请求中包括通过平扫电子计算机断层扫描得到的检测图像。云端确定响应该请求的计算节点，利用该计算节点中的处理资源执行如下步骤：
136.从所述检测图像中提取出对应于目标身体部位的目标身体部位图像；
137.通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域；
138.通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别；
139.将标记有所述第二目标病灶类型及病灶区域的检测图像反馈至所述用户设备。
140.上述执行过程可以参考前述其他实施例中的相关说明，在此不赘述。
141.为便于理解，结合图5来示例性说明。用户可以通过图5中示意的用户设备e1调用图像检测服务，以上传包含检测图像的服务请求。在云端，如图中所示，除部署有若干计算节点外，还部署有运行有管控服务的管理节点e2，管理节点e2在接收到用户设备e1发送的服务请求后，确定响应该服务请求的计算节点e3，计算节点e3在接收到该服务请求后，执行上述计算过程，以得到标记有第二目标病灶类型及病灶区域的检测图像。之后，计算节点e3将具有这些标记信息的检测图像发送给用户设备e1，用户设备e1显示该检测图像，用户可以在此基础上进行进一步的编辑等操作。
142.以下将详细描述本发明的一个或多个实施例的图像检测装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
143.图6为本发明实施例提供的一种图像检测装置的结构示意图，如图6所示，该装置包括：采集模块11、切割模块12、第一检测模块13、第二检测模块14。
144.采集模块11，用于获取通过平扫电子计算机断层扫描得到的检测图像。
145.切割模块12，用于从所述检测图像中提取出对应于目标身体部位的目标身体部位图像。
146.第一检测模块13，用于通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域。
147.第二检测模块14，用于通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别。
148.可选地，所述第一图像检测模型用于进行第一组病灶类型的检测，所述第一组病灶类型中包括：按所述目标身体部位对应的疾病严重程度依次划分出的第三目标病灶类型、所述第一目标病灶类型和无病灶，其中，所述第一目标病灶类型是指除所述第三目标病灶类型外的病灶类型的统称。
149.可选地，所述第一图像检测模型包括第一特征提取子模型和第一分类分割子模型，所述第一特征提取子模型包括第一编码模块、第一解码模块以及所述第一编码模块和所述第一解码模块之间的跳接层。基于此，所述第一检测模块13用于：通过所述第一编码模块提取所述目标身体部位图像对应的第一特征图组，所述第一特征图组由多个尺度的特征图构成；通过所述跳接层将所述第一特征图组输入到所述第一解码模块；通过所述第一解码模块获取所述目标身体部位图像对应的第二特征图组，所述第二特征图组由多个尺度的特征图构成；将所述第二特征图组输入到所述第一分类分割子模型，以通过所述第一分类分割子模型对所述第二特征图组中包含的特征图进行融合，并基于融合后的特征图确定所述目标身体部位图像中是否存在第一目标病灶类型及对应于所述第一目标病灶类型的病灶区域。
150.可选地，所述第二图像检测模型包括第二特征提取子模型、第二分类分割子模型和池化模块，所述第二分类分割子模型中包括记忆单元和注意力模块；其中，所述记忆单元被训练为用于存储所述第一目标病灶类型下包含的不同病灶类型在所述目标身体部位中对应的位置和视觉特征，所述记忆单元被配置为以目标数量的记忆向量来存储所述位置和视觉特征。基于此，所述第二检测模块14用于：通过所述第二特征提取子模型提取所述目标身体部位图像对应的第三特征图组，所述第三特征图组由多个尺度的特征图构成；依次针对所述多个尺度的特征图中的目标特征图：通过所述池化模块对所述目标特征图进行池化处理，以将所述目标特征图压缩为所述目标数量的特征向量；以及通过所述注意力模块对所述目标数量的参考向量与所述目标数量的特征向量进行交叉注意力处理，对所述目标数量的参考向量进行自注意力处理，加和交叉注意力处理结果和自注意力处理结果；其中，当所述目标特征图是所述多个尺度的特征图中的第一个时，所述参考向量为所述记忆向量，当所述目标特征图不是所述多个尺度的特征图中的第一个时，所述参考向量为前一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和结果；所述目标特征图是所述多个尺度的特征图中的任一个；根据最后一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和结果，确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域。
151.可选地，所述第二图像检测模型中包括位置嵌入模块，基于此，所述第二检测模块14还用于：分别对所述目标数量的特征向量叠加上对应的位置嵌入向量，其中，任一特征向量上叠加的位置嵌入向量用于表征所述任一特征向量在所述目标数量的特征向量中对应的位置信息；通过所述注意力模块对所述目标数量的参考向量与所述目标数量的叠加上各自对应的位置嵌入向量的特征向量进行交叉注意力处理。
152.可选地，所述第二特征提取子模型包括第二编码模块、第二解码模块以及所述第
二编码模块和所述第二解码模块之间的跳接层，基于此，所述第二检测模块14用于：通过所述第二编码模块提取所述目标身体部位图像对应的第四特征图组；通过所述跳接层将所述第四特征图组输入到所述第二解码模块；通过所述第二解码模块获取所述目标身体部位图像对应的第五特征图组；确定所述第四特征图组中包含的部分特征图和所述第五特征图组中包含的部分特征图构成所述第三特征图组。
153.可选地，分别以所述第一图像检测模型和所述第二图像检测模型作为目标图像检测模型，所述装置还包括：训练模块，用于获取用于训练所述目标图像检测模型的训练样本集；构建与所述训练样本集对应的多个训练样本子集；分别通过所述多个训练样本子集训练多个目标图像检测模型。
154.基于此，第一检测模块13具体用于：分别通过多个第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处理，以得到所述多个第一图像检测模型各自的输出结果；根据所述多个第一图像检测模型各自的输出结果，确定所述目标身体部位图像中是否存在第一目标病灶类型及对应于第一目标病灶类型的病灶区域。所述第二分类模块检测具体用于：分别通过多个第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处理，以得到所述多个第二图像检测模型各自的输出结果；根据所述多个第二图像检测模型各自的输出结果，确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域。
155.图6所示装置可以执行前述实施例中的步骤，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
156.在一个可能的设计中，上述图6所示图像检测装置的结构可实现为一电子设备。如图7所示，该电子设备可以包括：处理器21、存储器22、通信接口23。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使处理器21至少可以实现如前述实施例中提供的图像检测方法。
157.另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的图像检测方法。
158.在一可选实施例中，用于执行本发明实施例提供的图像检测方法的电子设备可以是扩展现实(extended reality，简称xr)设备。xr，是虚拟现实、增强现实等多种形式的统称。此时，通过平扫ct得到的检测图像可以输入到该扩展现实设备中，扩展现实设备中设置有上述第一图像检测模型和第二图像检测模型，其通过这两个模型对从检测图像中提取出的目标身体部位图像进行上文所说的图像分类分割处理，最终确定目标身体部位图像中存在的第二目标病灶类型及病灶区域，并显示标记有第二目标病灶类型及病灶区域的检测图像，这样，医生、用户都可以通过扩展现实设备看到这些标记信息。
159.在实际应用中，为便于观看，可选地，扩展现实设备在接收到初始采集的检测图像，或者，具有上述标记信息的检测图像后，可以生成一个便于更加清晰的观看该检测图像的虚拟环境，将检测图像在该虚拟环境中进行渲染显示。另外，医生、用户也可以在观看时对扩展现实设备输入交互操作，比如旋转检测图像、放大检测图像等。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本
领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
160.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
161.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。