一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像识别模型的训练方法、装置、设备、介质及程序产品与流程

2022-06-22 19:23:27 来源:中国专利 TAG:


1.本技术实施例涉及机器学习领域,特别涉及一种图像识别模型的训练方法、装置、设备、介质及程序产品。


背景技术:

2.图像识别是指针对图像中的指定图像内容进行识别的技术,如:识别图像中是否包括动物,以及,若图像中包括动物,则识别动物在图像中所处的位置。通常采用图像识别模型对指定图像内容进行识别。
3.相关技术中,图像识别还可以应用于医疗辅助诊断过程中,将医学病理图像输入至图像识别模型,输出医学病理图像中的病变部分相关信息,由于医学病理图像通常单张图像的像素数据量大,需要进行切片并对各个切片分别进行识别,从而综合得到识别结果。
4.然而,在识别病变阳性/阴性时,当满足所有切片均为阴性时,则医学病理图像为病变阴性,而当识别存在任一切片为阳性时,医学病理图像为病变阳性。故,通过相关技术中的图像识别模型进行图像识别时受到图像识别模型准确率的影响,存在排阴率低,识别准确率较差的问题。


技术实现要素:

5.本技术实施例提供了一种图像识别模型的训练方法、装置、设备、介质及程序产品,能够提高图像识别的准确率,以及提高针对医学病理图像的排阴率。所述技术方案如下。
6.一方面,提供了一种图像识别模型的训练方法,所述方法包括:获取样本图像集合,所述样本图像集合中包括标注有样本标签的样本图像,所述样本标签用于指示所述样本图像中目标图像内容的包含情况;获取所述样本图像对应的样本图像切片,并基于所述样本图像切片获取样本切片包,所述样本切片包标注有与所述样本标签对应的包标签,所述样本图像切片是对所述样本图像进行图像区域分割得到的切片;通过图像识别模型对所述样本切片包进行特征分析,基于所述包标签和包分析结果之间的差异确定所述样本切片包对应的相对熵损失和第一交叉熵损失;通过所述图像识别模型对所述样本图像切片进行特征分析,基于所述样本标签和切片分析结果之间的差异确定所述样本图像切片对应的第二交叉熵损失;基于所述相对熵损失、所述第一交叉熵损失和所述第二交叉熵损失对所述图像识别模型进行训练,训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
7.另一方面,提供了一种图像识别模型的训练装置,所述装置包括:获取模块,用于获取样本图像集合,所述样本图像集合中包括标注有样本标签的样本图像,所述样本标签用于指示所述样本图像中目标图像内容的包含情况;所述获取模块,还用于获取所述样本图像对应的样本图像切片,并基于所述样本
图像切片获取样本切片包,所述样本切片包标注有与所述样本标签对应的包标签,所述样本图像切片是对所述样本图像进行图像区域分割得到的切片;分析模块,用于通过图像识别模型对所述样本切片包进行特征分析,基于所述包标签和包分析结果之间的差异确定所述样本切片包对应的相对熵损失和第一交叉熵损失;所述分析模块,还用于通过所述图像识别模型对所述样本图像切片进行特征分析,基于所述样本标签和切片分析结果之间的差异确定所述样本图像切片对应的第二交叉熵损失;训练模块,用于基于所述相对熵损失、所述第一交叉熵损失和所述第二交叉熵损失对所述图像识别模型进行训练,训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
8.另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例中任一所述图像识别模型的训练方法。
9.另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一所述的图像识别模型的训练方法。
10.另一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的图像识别模型的训练方法。
11.本技术实施例提供的技术方案带来的有益效果至少包括:在图像识别模型的训练过程中,针对需要切片识别的图像,分别利用样本图像切片和切片包对图像识别模型进行训练,在提高识别样本图像整体精度的同时,提高了对样本图像切片中目标图像内容的识别精度,避免由于单张图像切片识别有误而导致整个图像的识别结果产生错误的问题,以及对应的提高了针对病理图像通过图像识别模型进行病变识别时的排阴率,提高了病变识别效率和准确率。
附图说明
12.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
13.图1示出了本技术一个示例性实施例提供的图像识别模型的训练过程的示意图;图2是本技术一个示例性实施例提供的实施环境示意图;图3是本技术一个示例性实施例提供的图像识别模型的训练方法的流程图;图4是基于图3示出的实施例提供的图像切片过程的示意图;图5是本技术另一个示例性实施例提供的图像识别模型的训练方法的流程图;
图6是基于图5示出的实施例提供的一个特征提取过程示意图;图7是基于图5示出的实施例提供的另一个特征提取过程示意图;图8是基于图5示出的实施例提供的再一个特征提取过程示意图;图9是本技术一个示例性实施例提供的训练整体过程示意图;图10是本技术再一个示例性实施例提供的图像识别模型的训练方法的流程图;图11是本技术一个示例性实施例提供的图像识别方法的流程图;图12是本技术一个示例性实施例提供的模型训练效果的示意图;图13是本技术一个示例性实施例提供的图像识别模型的训练装置的结构框图;图14是本技术另一个示例性实施例提供的图像识别模型的训练装置的结构框图;图15是本技术一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
14.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
15.首先,针对本技术实施例中涉及的名词进行简单介绍。
16.人工智能(artificial intelligence,ai):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
17.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大图像识别模型的训练技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
18.机器学习(machine learning,ml):是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
19.图像识别技术可以应用于多个领域,如:交通图像识别领域、医疗辅助诊断领域、家居视频识别领域等。
20.首先,本实施例中以医疗辅助诊断领域为例进行说明。
21.组织病理学是现代医学的重要组成部分,在癌症诊断、病因分析、存活率预测、个性化治疗方案的制定上都起着重要的作用。其中,组织病理学是通过获取活体组织切片,使用石蜡包埋获取已固定的组织片,将组织块进行切片、染色等过程,最后使用高精度扫描仪对组织块进行扫描,获取高分辨率的数字病理全片图像。数字病理全片图像中包含了大量的表型信息,医生能够通过对数字病理全片图像(简称为病理图像)的查看进行诊断。但同
时,由于病理图像尺寸大、细节多,存在易遗漏细节、诊断效率低下等问题。
22.随着计算机硬件和深度学习算法的发展,人工智能(artificial intelligence,ai)为很多领域带来了革命性的改变。在医疗行业,ai辅助诊断成为了新的趋势。通过ai辅助,病理图像可以自动进行分析,并自动生成诊断报告,并由医生进一步确认。这种ai辅助医生的新型诊断方式不仅提高了医生的效率,同时也能提高诊断的准确性。
23.在通过图像识别模型对病理图像进行病变识别时,若将整张病理图像作为输入,则会由于病理图像数据庞大、监督信号弱而导致预测耗费时间长、收敛难度大等问题。因此,相关技术中,将病理图像进行切片,对局部切片(patch)作为输入,由图像识别模型对局部切片进行识别预测,从而综合所有局部切片的识别结果,得到最终病理图像的病变识别结果,即,多实例学习(multiple instance learning,mil)。
24.然而,由于多实例学习自身的特性,由于只需要判断一个实例为病变,则整张病理图像会被识别为病变,而需要判断所有实例皆为非病变才能判断整张病理图像非病变,故在病理图像识别时会更倾向于判别样本为病变。因此存在排阴率低的问题。
25.针对上述问题,本技术实施例中提供了一种利用局部标注对图像识别模型进行训练的弱监督方法。本技术实施例中,在弱监督的基础上,使用少量patch级/像素级的标签对图像识别模型进行训练,提高了图像识别模型的识别精度。降低了排阴率低的情况。
26.值得注意的是,上述病理图像数据等图像数据为用户主动上传的数据;或者,为经过用户单独授权后获取的数据。上述实施例中以病理图像识别为例进行说明,本技术实施例提供的图像识别模型的训练方法还可以应用于其他场景中,对此不加以限定。
27.需要说明的是,本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户单独授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本技术中涉及到的病理图像数据是在充分授权的情况下获取的。
28.本技术实施例中提供了一种利用局部标注对图像识别模型进行训练的弱监督方法。图1示出了本技术一个示例性实施例提供的图像识别模型的训练过程的示意图,如图1所示,在获取病理图像100后,对病理图像100进行切片,得到图像切片110,由图像切片110组成切片包120。
29.其中,针对切片包120,主要包括如下两部分损失获取。
30.1、相对熵损失将切片包120输入图像识别模型的第一全连接层131,输出得到切片包120的包特征,以及切片包120中切片的切片特征;并根据包特征和切片特征通过注意力层123分类预测得到切片包120的注意力分布121;根据切片包120本身标注的包标签对应的期望分布122,以及上述预测得到的注意力分布121之间的差异,确定相对熵损失。
31.2、交叉熵损失将切片包120输入上述第一全连接层131后,将第一全连接层131的输出与上述注意力分布121的融合特征作为输入,输入第二全连接层132,通过第二全连接层132对融合特征进行特征处理,得到包预测结果141。根据包预测结果141和包标签142确定切片包120的交叉熵损失。
32.针对图像切片110,主要包括如下损失获取。
33.交叉熵损失:将图像切片110输入上述第一全连接层131后,将第一全连接层131的输出作为输入,通过第二全连接层132进行特征处理,得到切片预测结果143。根据切片预测结果143和切片标签144确定图像切片110的交叉熵损失。
34.综合上述切片包120的相对熵损失、交叉熵损失,以及上述图像切片110的交叉熵损失,对图像识别模型进行训练。
35.其次,对本技术实施例中涉及的实施环境进行说明,示意性的,请参考图2,该实施环境中涉及终端210、服务器220,终端210和服务器220之间通过通信网络230连接。
36.在一些实施例中,终端210用于向服务器220发送图像数据。在一些实施例中,终端210中安装有具有图像识别功能的应用程序,示意性的,终端210中安装有诊断辅助功能的应用程序。如:终端210中安装有搜索引擎程序、生活辅助应用程序、即时通讯应用程序、视频类程序、游戏类程序等,本技术实施例对此不加以限定。
37.服务器220中安装有图像识别模型221,其中,该图像识别模型221能够针对大数据量的病理图像数据进行识别,且在对病理图像进行识别时,首先将病理图像进行切片处理,得到多个图像切片,并针对多个图像切片进行识别,得到识别结果,再将多个图像切片的识别结果结合,得到病理图像对应的识别结果。
38.而图像识别模型221在训练过程中,是通过对样本图像进行切片,并组成切片包后,通过切片包计算得到相对熵损失和交叉熵损失,以及通过图像切片计算得到交叉熵损失后,对图像识别模型221进行训练得到的。
39.上述终端可以是手机、平板电脑、台式电脑、便携式笔记本电脑、智能电视、车载终端、智能家居设备等多种形式的终端设备,本技术实施例对此不加以限定。
40.值得注意的是,上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
41.其中,云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
42.在一些实施例中,上述服务器还可以实现为区块链系统中的节点。
43.结合上述名词简介和应用场景,对本技术提供的图像识别模型的训练方法进行说明,该方法可以由服务器或者终端执行,也可以由服务器和终端共同执行,本技术实施例中,以该方法由服务器执行为例进行说明,如图3所示,该方法包括如下步骤。
44.步骤301,获取样本图像集合,样本图像集合中包括标注有样本标签的样本图像。
45.其中,样本标签用于指示样本图像中目标图像内容的包含情况。
46.示意性的,当样本图像实现为病理图像时,样本标签用于指示病理图像中病变部分的包含情况,以及,当病理图像中包括病变部分时,样本标签还用于指示病理图像中病变部分所在的图像区域。
47.当样本图像实现为交通采集图像时,样本标签用于指示交通采集图像中交通工具的包含情况,以及,当交通采集图像中包括交通工具时,样本标签还用于指示交通采集图像中交通工具的标识,如:交通采集图像中车辆的车牌号。其中,交通采集图像是指交通摄像设备采集得到的图像。
48.当样本图像实现为家居视频图像时,样本标签用于指示家居视频图像中生物体的包含情况,以及,当家居视频图像中包括生物体时,样本标签还用于指示家居视频图像中生物体的类型,如:家居视频图像中包括宠物(猫)。
49.在一些实施例中,样本图像集合中的图像类型相同,如:都属于病理图像,或者,样本图像集合中的图像类型存在不同,如:存在部分病理图像,以及部分交通采集图像。
50.在一些实施例中,样本图像集合为从公开数据集中获取的图像集合,或者,样本图像集合为经过用户授权并上传的图像数据组成的图像集合,本实施例对此不加以限定。
51.其中,样本图像所标注的样本标签可以通过如下方式标注:样本采集人员对样本图像进行采集后,对样本图像中的目标图像内容进行分辨,并对样本图像进行标签标注;或者,当样本图像实现为病理图像时,获取经过医生诊断并标注的图像,根据医生的诊断结果对病理图像进行标签标注,以及当病理图像为阳性,也即病理图像中存在病变区域时,根据医生的诊断对病变区域进行标注;或者,将样本图像输入预先训练得到的识别模型中,输出预测结果作为样本标签,其中,在该情况下,样本标签实现为伪标签。
52.也即,以病理图像为例进行说明,则当病理图像为阴性,即病理图像中不存在病变区域时,对该病理图像进行整体标签标注为“阴性”;当病理图像为阳性,即病理图像中存在病变区域时,对该病理图像进行整体标签标注为“阳性”,并对该病理图像中存在病变区域的图像区域进行标注。
53.步骤302,获取样本图像对应的样本图像切片,并基于样本图像切片获取样本切片包。
54.其中,样本切片包标注有与样本标签对应的包标签,样本图像切片是对样本图像进行图像区域分割得到的切片。
55.以病理图像为例,将病理图像切片并对局部切片(patch)进行推理,综合所有局部切片的推理结果给出最终整张病理图像推理结果。多实例学习将patch视为实例(instance),病理图像视为包(bag),即一个bag包含多个instance。若存在一个instance被判断为阳性,则整个包为阳性;反之,若所有的instance都被判断为阴性则包为阴性。本技术实施例中,包中所包括的实例来的同一病理图像,或者来自不同病理图像。
56.在一些实施例中,对样本图像进行图像区域分割包括如下方式中的至少一种。
57.第一、对整个样本图像进行等尺寸分割,得到图像尺寸一致的样本图像切片,其中,针对边缘位置的样本图像切片,以空白形式补足尺寸不足的边,从而得到与其他样本切片尺寸一致的边缘样本切片。
58.示意性的,请参考图4,其示出了本技术一个示例性实施例提供的图像切片过程的
示意图,如图4所示,针对样本图像400进行等尺寸划分,并在边缘位置进行空白补足,从而得到样本图像400对应的样本图像切片410。
59.第二、对样本图像的中间区域进行等尺寸分割,得到图像尺寸一致的样本图像切片,其中,从样本图像的边缘位置开始,裁取处于样本图像范围内的符合图像尺寸的样本图像切片,并将未被采集到的图像部分进行丢弃。
60.第三、确定包含该样本图像的最小矩形范围作为样本扩展图像,对样本扩展图像进行等尺寸分割,得到候选样本切片,将候选样本切片中不存在图像内容的候选样本切片进行丢弃,则保留的候选样本切片即为样本图像切片。
61.值得注意的是,上述样本切片的分割方式仅为示意性的举例,本技术实施例对样本切片的获取方式不加以限定。
62.在一些实施例中,在将样本图像分割成样本图像切片后,组成样本切片包时包括如下情况中的至少一种。
63.)将属于同一样本图像的样本图像切片归纳至同一样本切片包,得到与各个样本图像对应的样本切片包。
64.则,样本图像所标注的样本标签即为该样本切片包对应的包标签,如:样本图像标注为“阴性”,则样本切片包也对应标注为“阴性”;样本图像标注为“阳性”,则样本切片包对应标注为“阳性”,且根据样本图像中所标注的目标图像内容所处的区域,对应确定样本图像所分割得到的各样本图像切片中目标图像内容的包含情况,并针对样本图像切片标注切片标签。如:样本图像标注有目标图像所处的区域为样本图像中的区域1,则当样本图像切片a中包括区域1中的全部或者部分时,则认为样本图像切片a中包含目标图像内容。
65.在一些实施例中,当样本图像的样本标签指示样本图像中不包括目标图像内容时,则样本切片包仅需要包标签,即用于指示样本切片包中不包括目标图像内容的包标签,而无需再针对样本图像切片标注切片标签。
66.其中,当样本图像切片中包括目标图像内容时,对样本图像切片的切片标签标注可以是类别级的,也可以是像素级的,当切片标签实现为类别级的,也即切片标签表征在样本图像切片中是否包含目标图像内容,如:针对病理图像的样本图像切片标注“阳性”或者“阴性”,可选地,若样本图像切片中包括目标图像内容,则切片标签为“p”即positive,若样本图像切片中不包括目标图像内容,则切片标签为“n”即negative;当切片标签实现为像素级的,则切片标签表征在样本图像切片中目标图像内容所处的位置,如:目标图像内容充满样本图像切片,或者,目标图像内容位于样本图像切片中的区域2,在一些实施例中,像素级标签还能够表征目标图像内容在样本图像切片中的像素占比,如:区域2的像素点数量占样本图像切片中总像素的比例。
67.)在将各样本图像分割成样本图像切片后,获取样本图像切片的切片集合,并从切片集合中随机获取n个样本图像切片组成样本切片包,其中,n为预设的正整数。
68.也即,处于同一样本切片包中的样本图像切片来自相同或者不同的样本图像。
69.则根据样本图像切片对应的切片标签确定样本切片包的包标签;或者,根据样本图像切片的来源样本图像的样本标签确定样本切片包的包标签,如:样本图像切片所来自的样本图像的样本标签皆表示不存在目标图像内容,则样本图像切片自然不包括目标图像内容,则样本切片包的包标签用于指示不包括目标图像内容。
70.而当样本图像切片所来自的样本图像中存在样本图像中包括目标图像内容,则需要根据切片标签确定样本切片包的包标签。以病理图像为例,即,当所有样本图像切片的切片标签皆为“阴性”时,切片包的包标签为“阴性”;当切片包中存在样本图像切片的切片标签为“阳性”时,则切片包的包标签为“阳性”。
71.其中,由于本身针对样本图像存在标签标注,用于指示样本图像中目标图像内容的包含情况,故在对样本图像进行区域分割后,根据样本图像的样本标签确定样本图像切片的切片标签,如:以病理图像为例,当样本图像的样本标签为“阴性”时,则所有样本图像切片的切片标签自然皆为“阴性”;当样本图像的样本标签为“阳性”时,则根据样本图像所标注的目标图像区域所处的位置确定样本图像切片属于“阴性”还是“阳性”。
72.)将属于同一样本图像的样本图像切片归纳至同一样本切片包,以及,从切片集合中随机获取n个样本图像切片组成样本切片包,也即,样本切片包中既包括从同一样本图像分割得到的样本切片包,也包括从不同样本图像分割得到的样本图像切片组成的样本切片包。
73.步骤303,通过图像识别模型对样本切片包进行特征分析,基于包标签和包分析结果之间的差异确定样本切片包对应的相对熵损失和第一交叉熵损失。
74.在一些实施例中,相对熵损失是基于对样本切片包中目标图像内容进行预测得到的注意力分布,以及样本切片包的包标签对应的期望分布之间的差异确定的损失。也即,通过图像识别模型对样本切片包进行特征提取后,对提取得到的特征进行分布情况分析,从而得到样本切片包中目标图像内容的注意力分布,而样本切片包本身标注有包标签,该包标签指示了该样本切片包对应的期望分布,则根据注意力分布和期望分布之间的差异,确定样本切片包的相对熵损失。也即,通过凸显个识别模型对样本切片包进行特征提取,得到包特征,基于包特征对应的注意力分布和包标签对应的期望分布,确定样本切片包对应的相对熵损失。
75.在一些实施例中,第一交叉熵损失是基于对样本切片包中目标图像内容进行分析得到的预测结果,以及样本切片包的包标签之间的差异确定的损失。也即,通过图像识别模型对样本切片包进行特征提取后,对提取得到的特征进行目标图像内容的分析,从而得到目标切片包中目标图像内容的预测包含情况,根据预测包含情况和包标签所表示的包含情况之间的差异,确定样本切片包的第一交叉熵损失。也即,基于对包特征进行目标图像内容识别的识别结果和包标签之间的差异,确定样本切片包对应的第一交叉熵损失。
76.步骤304,通过图像识别模型对样本图像切片进行特征分析,基于样本标签和切片分析结果之间的差异确定样本图像切片对应的第二交叉熵损失。
77.在一些实施例中,第二交叉熵损失是基于对样本图像切片中的目标图像内容进行分析得到的预测结果,以及样本图像切片的切片标签之间的差异确定的损失。其中,切片标签可以实现为样本图像本身的样本标签,也可以实现为基于样本标签推断得到的切片标签。
78.也即,通过图像识别模型对样本图像切片进行特征提取后,对提取得到的特征进行目标图像内容的分析,从而得到目标图像切片中目标图像内容的包含情况,根据预测得到的包含情况和切片标签所表示的包含情况之间的差异,确定样本图像切片的第二交叉熵损失。
79.值得注意的是,上述步骤303和步骤304是两个并列的步骤,可以先执行步骤303再执行步骤304,也可以先执行步骤304再执行步骤303,还可以同时执行步骤303和步骤304,本实施例对此不加以限定。
80.步骤305,基于相对熵损失、第一交叉熵损失和第二交叉熵损失对图像识别模型进行训练。
81.在一些实施例中,对相对熵损失、第一交叉熵损失和第二交叉熵损失进行融合得到总损失,从而基于总损失对图像识别模型进行训练。
82.可选地,在对相对熵损失、第一交叉熵损失和第二交叉熵损失进行融合时,采用各自对应的权重对相对熵损失、第一交叉熵损失和第二交叉熵损失进行加权融合,如:对相对熵损失、第一交叉熵损失和第二交叉熵损失求加权和,得到总损失。
83.可选地,在基于总损失对图像识别模型进行训练时,基于梯度下降法对图像识别模型的模型参数进行调整。
84.可选地,本实施例中采用1e-3的初始学习率,并通过余弦退火策略控制学习率的变化。另外,使用adam优化器,以梯度下降的方法调整模型参数,使图像识别模型的模型参数训练效果收敛。
85.可选地,在对对图像识别模型的模型参数进行调整时,根据总损失值对图像识别模型中第一全连接层和第二全连接层中的参数进行调整,可选地,还可以根据总损失值对图像识别模型中其他网络层的参数进行调整。
86.综上所述,本实施例提供的方法,在图像识别模型的训练过程中,针对需要切片识别的图像,分别利用样本图像切片和切片包对图像识别模型进行训练,在提高识别样本图像整体精度的同时,提高了对样本图像切片中目标图像内容的识别精度,避免由于单张图像切片识别有误而导致整个图像的识别结果产生错误的问题,以及对应的提高了针对病理图像通过图像识别模型进行病变识别时的排阴率,提高了病变识别效率和准确率。
87.在一个可选的实施例中,图像识别模型中包括第一全连接层和第二全连接层。上述相对熵损失和交叉熵损失是基于全连接层确定的。图5是本技术另一个示例性实施例提供的图像识别模型的训练方法的流程图,该方法可以由服务器或者终端执行,也可以由服务器和终端共同执行,本技术实施例中,以该方法由服务器执行为例进行说明,如图5所示,上述步骤303和步骤304可以实现为如下步骤。
88.步骤3031,通过图像识别模型对样本切片包进行特征提取,得到包特征。
89.在一些实施例中,通过图像识别模型中的特征提取层对样本切片包进行特征提取,得到包特征。可选地,通过特征提取层对样本切片包中的样本图像切片进行特征提取,得到切片特征,从而确定由切片特征构成的包特征,其中,包特征为切片特征的集合。
90.其中,本实施例中,以特征提取层实现为图像识别模型中的组成部分为例进行说明,在一些实施例中,该特征提取层还可以实现为一个独立的特征提取网络,本实施例对此不加以限定。
91.在一些实施例中,特征提取层通过卷积操作对样本切片包中的样本图像切片进行上采样/下采样,从而得到切片特征,并基于切片特征整合构成包特征。
92.步骤3032,通过图像识别模型中的第一全连接层对包特征进行第一特征处理,得到第一全连接特征。
93.图像识别模型中包括第一全连接层,其中,全连接层中的每一个结点都与上一层的所有结点相连,用来把前序提取到的特征综合起来。全连接层(fully connected layers,fc)在卷积神经网络中起到“分类器”的作用。
94.将包特征输入至第一全连接层,通过第一全连接层对包特征进行一次分类处理,输出得到第一全连接特征,其中,第一全连接特征用于表征在第一全连接层识别后,包特征与各个分类项之间的关系。示意性的,若分类项包括阳性和阴性两个项,则第一全连接特征用于表征在第一全连接层处理后,包特征对应阳性分类和对应阴性分类的初步识别结果。在一些实施例中,全连接层用于从包特征中初步筛查属于阳性分类的特征,以及属于阴性分类的特征。
95.步骤3033,通过注意力层对第一全连接特征进行注意力分析,得到样本切片包对应的注意力分布。
96.注意力机制(attention mechanism)源于对人类视觉的研究。在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息的一部分,同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力,即敏锐度(acuity),只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源,人类需要选择视觉区域中的特定部分,然后集中关注它。
97.上述注意力层即应用注意力机制,选择性的关注第一全连接特征中属于阳性分类或者属于阴性特征的分类,从而得到样本切片包对应的注意力分布。
98.在一些实施例中,对注意力层的输出进行分类预测,从而得到分类项对应第一全连接特征的注意力分布。
99.示意性的,如图6所示,获取样本切片包对应的包特征600后,将包特征600输入第一全连接层610,并将第一全连接层610的输出作为输入,通过注意力层620进行注意力分析,并对注意力层620的输出进行分类预测,得到样本切片包对应的注意力分布630。
100.步骤3034,基于包标签确定样本切片包对应的期望分布。
101.包标签的获取方式在上述步骤302中已进行了说明,此处不再赘述。
102.在一些实施例中,基于包标签确定样本切片包的期望分布时,包括如下情况中的至少一种。
103.响应于包标签用于表示样本切片包中的样本图像切片中不存在目标图像内容,确定该样本切片包的期望分布为均匀分布。
104.包标签指示样本切片包中的样本图像切片不存在目标图像内容,以样本图像是病理图像为例,则包标签指示样本切片包为阴性。则样本切片包对应的期望分布是均匀分布。
105.其中,由于包标签指示样本切片包不存在目标图像内容,自然能够得到样本切片包中的任意样本图像切片中不包括目标图像内容,故,在该情况下无需patch级的切片标签,即可确定样本切片包对应的期望分布。
106.响应于包标签用于表示样本切片包中的样本图像切片中存在目标图像内容,获取包标签中与样本图像切片对应的切片标签,基于切片标签确定样本切片包的期望分布。
107.样本切片包具有patch级标签,也即样本切片包中的样本图像切片包括切片标签,切片标签用于指示样本图像切片中对目标图像内容的包含情况,其中,切片标签是根据样本图像的样本标签确定的,具体确定方式在上述步骤302中进行了说明,此处不再赘述。
108.其中,样本切片包的patch级标签还包括如下情况中的至少一种。
109.响应于切片标签包括分类标签,根据样本图像切片对应的分类标签确定样本切片包的期望分布,其中,每种分类标签具有对应的实例期望分布。
110.patch级标签为分类标签,也即样本图像切片的切片标签用于指示样本图像切片中是否包含目标图像内容,而并不具体指示目标图像内容的具体位置。则样本切片包对应的期望分布中:具有目标图像内容的样本图像切片对应的期望分布为1/p,其中,p表示样本切片包中具有目标图像内容的样本图像切片的总数,而不具有目标图像内容的样本图像切片对应的期望分布为0。
111.以病理图像为例进行说明,则切片标签为阳性的样本图像切片对应的期望分布为1/p,切片标签为阴性的样本图像切片对应的期望为0,从而得到整个样本切片包对应的期望分布。
112.响应于切片标签包括像素分布标签,基于像素分布标签所标注的分布情况确定样本切片包的期望分布,其中,像素分布标签用于对样本图像切片中的目标像素内容进行区域标注。
113.patch级标签为像素级标签,也即样本图像切片的切片标签用于指示样本图像切片中是否包含目标图像内容,以及,若包含目标图像内容,则目标图像内容在样本图像切片中所处的像素位置。则样本切片包对应的期望分布中:所有样本图像切片对应的期望分布为目标图像内容对应的像素点占总像素点的比例,且对所有样本图像切片的期望分布进行归一化处理,得到样本切片包的期望分布。其中,目标图像内容对应的像素点占总像素点的比例是指,在样本图像切片中目标图像内容对应的像素点占该样本图像切片总像素点的比例。其中,针对不同的样本图像切片比例结果不同,如:存在部分样本图像切片的比例为100%,存在部分样本图像切片的比例为0%(切片标签为阴性)。对所有样本图像切片的比例进行归一化时,可以对所有图像切片的比例求平均值,将样本切片包中所有样本图像切片的比例平均值作为样本切片包的期望分布。
114.值得注意的是,本实施例中,同一个样本切片包中的样本图像切片对应的切片标签标注层级相同。也即,同一个样本切片包中样本图像切片对应的切片标签皆为分类标签;或者,同一个样本切片包中样本图像切片对应的切片标签皆为像素级标签。
115.步骤3035,基于注意力分布与期望分布之间的差异,确定样本切片包对应的相对熵损失。
116.可选地,在确定注意力分布和期望分布后,确定注意力分布与期望分布之间的差异,从而得到样本切片包对应的相对熵损失。其中,相对熵损失的计算方式如下公式一所示。
117.公式一:其中,表示网络输出的注意力经过分类层转换后的权重分布,而表示给定的标准分布。i表示样本切片包中的第i个样本图像切片,j表示样本切片包中样本图像切片总数。
118.步骤3036,通过图像识别模型中的第二全连接层对第一全连接特征和样本切片包
对应的注意力分布进行第二特征处理,得到第二全连接特征作为识别结果。
119.上述过程中是针对样本切片包的注意力分布情况确定损失值。此外,本技术实施例中,还针对样本切片包中目标图像内容的识别结果确定交叉熵损失值。
120.在一些实施例中,对上述第一全连接特征和样本切片包对应的注意力分布进行特征融合,从而将融合得到的特征输入至第二全连接层。在一些实施例中,将第一全连接特征和注意力分布进行加权求和,并将加权求和结果输入第二全连接层进行概率预测。可选地,根据第二全连接层的输出通过分类函数计算得到的数值作为样本切片包对应类别的预测概率。
121.示意性的,以病理图像为例进行说明,将第一全连接特征和注意力分布的融合特征输入第二全连接层后,输出得到样本切片包对应阳性的概率和对应阴性的概率作为第二全连接特征,从而将概率高的分类作为样本切片包对应的识别结果。
122.示意性的,如图7所示,获取样本切片包对应的包特征600后,将包特征600输入第一全连接层610,并将第一全连接层610的输出和上述注意力分布特征630作为输入,通过第二全连接层730进行特征分析,从而输出得到包预测概率740。
123.步骤3037,基于第二全连接特征和包标签之间的差异,确定样本切片包对应的第一交叉熵损失。
124.可选地,确定样本切片包对应的第一交叉熵损失时,通过如下公式二。
125.公式二:其中,p表示预测得到的概率,表示预先标注的包标签,i表示第i个样本切片包。
126.步骤3041,通过图像识别模型对样本图像切片进行特征提取,得到切片特征。
127.在一些实施例中,通过图像识别模型中的特征提取层对样本图像切片进行特征提取,得到切片特征。
128.其中,本实施例中,以特征提取层实现为图像识别模型中的组成部分为例进行说明,在一些实施例中,该特征提取层还可以实现为一个独立的特征提取网络,本实施例对此不加以限定。
129.在一些实施例中,特征提取层通过卷积操作对样本图像切片进行上采样/下采样,从而得到切片特征。
130.步骤3042,通过图像识别模型中的第一全连接层对切片特征进行第一特征处理,得到第三全连接特征。
131.图像识别模型中包括第一全连接层,将切片特征输入至第一全连接层,通过第一全连接层对切片特征进行一次分类处理,输出得到第三全连接特征,其中,第三全连接特征用于表征在第一全连接层识别后,切片特征与各个分类项之间的关系。示意性的,若分类项包括阳性和阴性两个项,则第三全连接特征用于表征在第一全连接层处理后,切片特征对应阳性分类和对应阴性分类的初步识别结果。在一些实施例中,全连接层用于从切片特征中初步筛查属于阳性分类的特征,以及属于阴性分类的特征。
132.步骤3043,通过图像识别模型中的第二全连接层对第三全连接特征进行第二特征
处理,得到第四全连接特征作为切片分析结果。
133.在一些实施例中,将第三全连接特征输入第二全连接层,根据第二全连接层的输出通过分类函数计算得到的数值作为样本图像切片对应类别的预测概率。
134.示意性的,以病理图像为例进行说明,将第三全连接特征输入第二全连接层后,输出得到样本图像切片对应阳性的概率和对应阴性的概率作为第四全连接特征,从而将概率高的分类作为样本图像切片对应的识别结果。
135.示意性的,如图8所示,获取样本图像切片对应的切片特征800后,将切片特征800输入第一全连接层610,并将第一全连接层610的输出作为输入,通过第二全连接层730进行特征分析,从而输出得到切片预测概率830。
136.步骤3044,基于第四全连接特征和切片标签之间的差异,确定该样本图像切片对应的第二交叉熵损失。
137.可选地,第二交叉熵损失的计算方式可以参考上述公式二。
138.推理单个patch与推理包共用相同的全连接层。其推理结果与包级预测类似,接受单个patch的标签约束,根据交叉熵损失的反向传播指出网络参数梯度下降的方向。
139.可选地,patch的标签由以下渠道获得:(1)根据patch级标签直接获得。(2)当patch的标签为像素级标签,则若patch的阳性像素面积高于某个阈值,则认为该patch为阳性;若patch全部像素为阴性,则认为该patch为阴性;其余情况则认为patch的阳性信号不够强,将此类patch丢弃,不用于patch分类的监督。(3)若patch来源于阴性样本图像,则认为该patch为阴性;(4)对于阳性样本图像,若模型的预测结果正确,且具有较高的置信度,则提取其输出的注意力层的对应值最大的k个patch作为阳性patch;对应值最小的k个实例作为阴性patch。
140.步骤305,基于相对熵损失、第一交叉熵损失和第二交叉熵损失对图像识别模型进行训练。
141.可选地,对相对熵损失、第一交叉熵损失和第二交叉熵损失进行加权融合,得到总损失值,基于总损失值对图像识别模型进行训练。
142.示意性的,总损失值的计算方式如下公式三所示。
143.公式三:其中,是第一交叉熵损失对应的权重值,是第二交叉熵损失对应的权重值,是相对熵损失对应的权重值,是样本图像切片对应标注的切片标签。
144.本技术实施例中,训练集由样本图像和patch两部分组成,样本图像和patch都包含各自分类的标签。
145.示意性的,如图9所示,训练时,模型的输入由三部分组成:样本图像分割得到的切片包901,patch902和pseudo bag903(伪包,即由patch随机组合的包)。本实施例中损失值的计算过程主要包括如下阶段。
146.(1)相对熵损失计算阶段针对样本图像分割得到的样本切片包910,如上述与样本图像对应的切片包901或者上述伪包903,将训练数据输入网络中,通过第一全连接层920进行特征分析后,根据注意
力层930输出权重聚合特征,得到注意力分布931,根据样本图像标注的标签得到期望分布932,基于注意力分布931和期望分布932得到相对熵损失933。
147.(2)包的交叉熵损失计算阶段针对样本图像分割得到的样本切片包910,如上述与样本图像对应的切片包901或者上述伪包903,将训练数据输入网络中,通过第一全连接层920进行特征分析后,再通过第二全连接层940进行特征分析,输出得到样本切片包910对应分类类别的概率预测结果941,从而根据包标签942和概率预测结果941之间的差异得到包的交叉熵损失943。
148.(3)切片的交叉熵损失计算阶段针对样本图像分割得到的样本图像切片902,将训练数据输入网络中,通过第一全连接层920进行特征分析后,再通过第二全连接层940进行特征分析,输出得到样本图像切片902对应分类类别的概率预测结果951,从而根据切片标签952和概率预测结果951之间的差异得到样本图像切片的交叉熵损失953。
149.综上所述,本实施例提供的方法,在图像识别模型的训练过程中,针对需要切片识别的图像,分别利用样本图像切片和切片包对图像识别模型进行训练,在提高识别样本图像整体精度的同时,提高了对样本图像切片中目标图像内容的识别精度,避免由于单张图像切片识别有误而导致整个图像的识别结果产生错误的问题,以及对应的提高了针对病理图像通过图像识别模型进行病变识别时的排阴率,提高了病变识别效率和准确率。
150.本实施例提供的方法,通过当样本切片包中的样本图像切片皆对应阴性时,直接将样本切片包确定为均匀分布;当样本切片包中存在样本图像切片为阳性时,根据样本图像切片的切片标签确认期望分布,从而提高了期望分布的确定效率,提高了模型的训练效率。
151.本实施例提供的方法,针对包分别确定了相对熵损失和交叉熵损失,针对切片确定了交叉熵损失,从而通过弱监督的方式增加了模型训练维度,提高了模型训练的准确率,以及提高了模型的适应能力。
152.在一个可选的实施例中,样本切片包的划分可以是按图像划分的,也可以是随机划分的,图10是本技术另一个示例性实施例提供的图像识别模型的训练方法的流程图,如图10所示,上述步骤302还可以实现为如下步骤。
153.步骤3021,对样本图像进行图像区域分割,得到样本图像切片。
154.可选地,对样本图像进行图像区域分割的方式在上述步骤302中已进行了介绍,此处不再赘述。
155.步骤3022,将属于同一样本图像的样本图像切片分配至相同包,得到样本切片包。
156.在一些实施例中,将属于同一样本图像的所有样本图像切片分配至相同包,得到样本切片包;或者,将属于同一样本图像的部分样本图像切片分配至相同包。
157.其中,当将部分样本图像切片分配至相同包时,包括如下情况中的至少一种。
158.1、从样本图像的样本图像切片中随机挑选n个样本图像切片分配至相同包。
159.值得注意的是,当采用该分配方式时,样本图像对应的标签指示样本图像中不包括目标图像内容。
160.2、从样本图像的指定位置区域中挑选n个样本图像切片分配至相同包。
161.示意性的,从样本图像的中间位置开始挑选n个依次相邻的样本图像切片分配至
相同包;或者,从样本图像中不同分类分别对应的区域中分别挑选部分样本图像切片分配至相同包,其中,不同分类分别对应的区域是根据样本图像标注的区域标签确定的。
162.3、从样本图像的样本图像切片中,跳跃式选取n个样本图像切片分配至相同包。
163.也即,每相邻两个样本图像切片中选择一个分配至相同包。
164.值得注意的是,上述样本切片包的分配方式仅为示意性的举例,本实施例对此不加以限定。
165.可选地,响应于样本切片包中的样本图像切片来自同一样本图像,将样本图像对应的样本标签作为样本切片包对应的包标签。
166.步骤3023,将属于不同样本图像的样本图像切片混合分配至相同包,得到样本切片包。
167.可选地,在混合分配时,包括如下分配方式中的至少一种。
168.第一种,从每个样本图像的样本图像切片中选择至少一个样本图像切片,分配至同一包中得到样本切片包。
169.其中,从每个样本图像中获取的样本图像切片的数量相同或者不相同。
170.第二种,将不同样本图像的样本图像切片进行混合,得到切片集合,从切片集合中随机获取n个样本图像切片,构成样本切片包。
171.第三种,从不同标签分类的样本图像中各获取部分样本图像切片,构成样本切片包。
172.值得注意的是,上述样本切片包的分配方式仅为示意性的举例,本实施例对此不加以限定。
173.可选地,响应于样本切片包中的样本图像切片来自不同样本图像,基于样本图像切片对应的切片标签确定样本切片包对应的包标签。
174.综上所述,本实施例提供的方法,在图像识别模型的训练过程中,针对需要切片识别的图像,分别利用样本图像切片和切片包对图像识别模型进行训练,在提高识别样本图像整体精度的同时,提高了对样本图像切片中目标图像内容的识别精度,避免由于单张图像切片识别有误而导致整个图像的识别结果产生错误的问题,以及对应的提高了针对病理图像通过图像识别模型进行病变识别时的排阴率,提高了病变识别效率和准确率。
175.本实施例提供的方法,将同一样本图像分割得到的样本图像切片分配至同一样本切片包中,从而直接采用样本图像切片对应的标签作为包标签,提高了样本数据的获取效率。
176.本实施例提供的方法,通过从不同的样本图像分割得到的样本图像切片中获取样本图像切片,构成样本切片包,提高了样本数据的多样性,从而提高了图像识别模型的适应能力。
177.图11是本技术一个示例性实施例提供的图像识别方法的流程图,该方法可以应用于终端中,也可以应用于服务器中,本实施例以该方法应用于服务器中为例进行说明,如图11所示,该方法包括如下步骤。
178.步骤1101,获取目标图像。
179.该目标图像是图像内容待识别的图像。可选地,目标图像是目标图像内容待识别的图像,也即,目标图像待输入图像识别模型中,以识别该目标图像中是否包括目标图像内
容,以及当目标图像中包括目标图像内容时,该目标图像内容所处的区域。
180.示意性的,当该图像识别方法应用于病理图像识别场景中时,目标图像为病变区域待识别的图像;当该图像识别方法应用于交通图像识别场景中时,目标图像为交通工具待识别的图像;当该图像识别方法应用于家居视频识别场景中时,目标图像为生物体(如:宠物或者人)待识别的图像。
181.步骤1102,对目标图像进行图像区域分割,得到图像切片。
182.可选地,将目标图像分割成等尺寸的多个图像区域,作为图像切片。其中,图像切片用于单独进行识别,并将所有图像切片的图像识别结果结合,得到目标图像对应的图像识别结果。
183.也即,在图像识别的过程中,针对每个图像切片进行目标图像内容的识别,得到每个图像切片中目标图像内容的包含情况,从而结合所有图像切片对应的识别结果,作为目标图像对应的识别结果。
184.其中,当存在任意一个图像切片中包括目标图像内容时,则认为目标图像中包括目标图像内容,反之,当所有图像切片中皆不包括目标图像内容时,则认为目标图像中不包括目标图像内容。
185.步骤1103,将目标图像的图像切片输入图像识别模型,输出得到图像切片对应的切片识别结果。
186.可选地,将图像切片输入图像识别模型后,通过图像识别模型对每个图像切片进行识别,得到每个图像切片对应的切片识别结果,其中,切片识别结果用于指示图像切片中目标图像内容的包含情况。
187.示意性的,当该图像识别方法应用于病理图像识别场景中时,切片识别结果用于指示图像切片中病变区域的包含情况,以及当图像切片中包括病变区域时,切片识别结果还用于指示图像切片中病变区域所处的位置;当该图像识别方法应用于交通图像识别场景中时,切片识别结果用于指示图像切片中交通工具的包含情况,以及当图像切片中包括交通工具时,切片识别结果还用于指示图像切片中交通工具对应的标识,如:车牌号;当该图像识别方法应用于家居视频识别场景中时,切片识别结果用于指示图像切片中生物体的包含情况,以及当图像切片中包括生物体时,切片识别结果还用于指示图像切片中生物体的类型,如:宠物猫、宠物狗、人。
188.可选地,将图像切片输入图像识别模型后,通过上述训练后的第一全连接层和第二全连接层进行识别分析,得到每个图像切片对应预设类别的概率,从而得到图像切片的切片识别结果。
189.步骤1104,根据切片识别结果得到图像识别结果。
190.可选地,当存在任意一个切片识别结果用于指示图像切片中包括目标图像内容时,则认为目标图像中包括目标图像内容,反之,当所有图像切片的切片识别结果皆指示不包括目标图像内容时,则认为目标图像中不包括目标图像内容。
191.在一些实施例中,为了确保排阴率,避免目标图像内容的误识别,针对图像切片中包括目标图像内容的切片识别结果,对该图像切片进行复核识别,如:再次将图像切片输入图像识别模型进行识别。
192.综上所述,本实施例提供的方法,在图像识别模型的训练过程中,针对需要切片识
别的图像,分别利用样本图像切片和切片包对图像识别模型进行训练,在提高识别样本图像整体精度的同时,提高了对样本图像切片中目标图像内容的识别精度,避免由于单张图像切片识别有误而导致整个图像的识别结果产生错误的问题,以及对应的提高了针对病理图像通过图像识别模型进行病变识别时的排阴率,提高了病变识别效率和准确率。
193.本技术实施例训练得到的图像识别模型具有更强的鲁棒性和特异性,且模型的注意力更加集中。以病理图像识别为例,如图12所示,对原图1210进行图像识别时,分别采用相关技术中的模型和本技术实施例提供的图像识别模型。由图12可知,通过相关技术中的图像识别模型识别得到结果1220,通过本技术实施例提供的图像识别模型识别得到结果1230,其中,结果1220和结果1230都基于相应的癌症区域较大的注意力权重,并对其余可疑的地方给予了较高的注意力。本技术实施例提供的技术方案相比相关技术中提供的技术方案注意力更加集中:区域1211表示的patch为正常组织,而相关技术中给予了较高的注意力,本技术实施例则给予了较低的注意力,直接导致了相关技术中对于该张图像的预测结果为阳性而我们的网络正确预测其为阴性。
194.对于同一个测试集,不同的模型输出预测的概率分布不同。相关技术的技术方案对于阳性样本的预测概率主要集中在0.9以上,基本能预测正确;而对于阴性样本的预测则趋于均匀分布,没有一个较大的分类间距。本技术实施例提供的方案同样能将大部分阳性样本预测正确,并给予很高的置信度,并且对于阴性样本,能够使得阳性样本和阴性样本的预测结果有一个较大的分类间距,也即,本技术实施例提供的图像识别模型具有更强的鲁棒性。
195.图13是本技术一个示例性实施例提供的图像识别模型的训练装置的结构框图,如图13所示,该装置包括如下部分:获取模块1310,用于获取样本图像集合,所述样本图像集合中包括标注有样本标签的样本图像,所述样本标签用于指示所述样本图像中目标图像内容的包含情况;所述获取模块1310,还用于获取所述样本图像对应的样本图像切片,并基于所述样本图像切片获取样本切片包,所述样本切片包标注有与所述样本标签对应的包标签,所述样本图像切片是对所述样本图像进行图像区域分割得到的切片;分析模块1320,用于通过图像识别模型对所述样本切片包进行特征分析,基于所述包标签和包分析结果之间的差异确定所述样本切片包对应的相对熵损失和第一交叉熵损失;所述分析模块1320,还用于通过所述图像识别模型对所述样本图像切片进行特征分析,基于所述样本标签和切片分析结果之间的差异确定所述样本图像切片对应的第二交叉熵损失;训练模块1330,用于基于所述相对熵损失、所述第一交叉熵损失和所述第二交叉熵损失对所述图像识别模型进行训练,训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
196.在一个可选的实施例中,如图14所示,该分析模块1320,包括:提取单元1321,用于通过所述图像识别模型对所述样本切片包进行特征提取,得到包特征;确定单元1322,用于基于所述包特征对应的注意力分布和所述包标签对应的期望
分布,确定所述样本切片包对应的相对熵损失;所述确定单元1322,还用于基于对所述包特征进行目标图像内容识别的识别结果和所述包标签之间的差异,确定所述样本切片包对应的第一交叉熵损失。
197.在一个可选的实施例中,所述确定单元1322,还用于通过所述图像识别模型中的第一全连接层对所述包特征进行第一特征处理,得到第一全连接特征;通过注意力层对所述第一全连接特征进行注意力分析,得到所述样本切片包对应的注意力分布;所述确定单元1322,还用于基于所述包标签确定所述样本切片包对应的期望分布;基于所述注意力分布与所述期望分布之间的差异,确定所述样本切片包对应的相对熵损失。
198.在一个可选的实施例中,所述确定单元1322,还用于响应于所述包标签用于表示所述样本切片包中的样本图像切片中不存在所述目标图像内容,确定所述样本切片包的期望分布为均匀分布;所述确定单元1322,还用于响应于所述包标签用于表示所述样本切片包中的样本图像切片中存在所述目标图像内容,获取所述包标签中与样本图像切片对应的切片标签;基于所述切片标签确定所述样本切片包的期望分布。
199.在一个可选的实施例中,所述确定单元1322,还用于响应于所述切片标签包括分类标签,根据样本图像切片对应的分类标签确定所述样本切片包的期望分布,其中,每种分类标签具有对应的实例期望分布;所述确定单元1322,还用于响应于所述切片标签包括像素分布标签,基于所述像素分布标签所标注的分布情况确定所述样本切片包的期望分布,其中,所述像素分布标签用于对所述样本图像切片中的目标像素内容进行区域标注。
200.在一个可选的实施例中,所述确定单元1322,还用于通过所述图像识别模型中的第一全连接层对所述包特征进行第一特征处理,得到第一全连接特征;所述确定单元1322,还用于通过所述图像识别模型中的第二全连接层对所述第一全连接特征和所述样本切片包对应的注意力分布进行第二特征处理,得到第二全连接特征作为所述识别结果;基于所述第二全连接特征和所述包标签之间的差异,确定所述样本切片包对应的第一交叉熵损失。
201.在一个可选的实施例中,所述分析模块1320,包括:提取单元1321,用于通过所述图像识别模型对所述样本图像切片进行特征提取,得到切片特征;确定单元1322,用于通过所述图像识别模型中的第一全连接层对所述切片特征进行第一特征处理,得到第三全连接特征;通过所述图像识别模型中的第二全连接层对所述第三全连接特征进行第二特征处理,得到第四全连接特征作为所述切片分析结果;基于所述第四全连接特征和切片标签之间的差异,确定所述样本图像切片对应的第二交叉熵损失,所述切片标签为基于所述样本标签确定的与所述样本图像切片对应的标签。
202.在一个可选的实施例中,所述获取模块1310,包括:分割单元1311,用于对所述样本图像进行图像区域分割,得到所述样本图像切片;分配单元1312,用于将属于同一样本图像的样本图像切片分配至相同包,得到所述样本切片包;或者,将属于不同样本图像的样本图像切片混合分配至相同包,得到所述样
本切片包。
203.在一个可选的实施例中,所述分析模块1320,还用于响应于样本切片包中的样本图像切片来自同一样本图像,将所述样本图像对应的样本标签作为所述样本切片包对应的包标签;所述分析模块1320,还用于响应于样本切片包中的样本图像切片来自不同样本图像,基于所述样本图像切片对应的切片标签确定所述样本切片包对应的包标签。
204.在一个可选的实施例中,所述训练模块1330,还用于对所述相对熵损失、所述第一交叉熵损失和所述第二交叉熵损失进行加权融合,得到总损失值;基于所述总损失值对所述图像识别模型进行训练。
205.综上所述,本实施例提供的装置,在图像识别模型的训练过程中,针对需要切片识别的图像,分别利用样本图像切片和切片包对图像识别模型进行训练,在提高识别样本图像整体精度的同时,提高了对样本图像切片中目标图像内容的识别精度,避免由于单张图像切片识别有误而导致整个图像的识别结果产生错误的问题,以及对应的提高了针对病理图像通过图像识别模型进行病变识别时的排阴率,提高了病变识别效率和准确率。
206.需要说明的是:上述实施例提供的图像识别模型的训练装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像识别模型的训练装置与图像识别模型的训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
207.图15示出了本技术一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以是如图2所示的服务器。
208.具体来讲:计算机设备1500包括中央处理单元(central processing unit,cpu)1501、包括随机存取存储器(random access memory,ram)1502和只读存储器(read only memory,rom)1503的系统存储器1504,以及连接系统存储器1504和中央处理单元1501的系统总线1505。计算机设备1500还包括用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1506。
209.大容量存储设备1506通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。大容量存储设备1506及其相关联的计算机可读介质为计算机设备1500提供非易失性存储。也就是说,大容量存储设备1506可以包括诸如硬盘或者紧凑型光盘只读存储器(compact disc read only memory,cd-rom)驱动器之类的计算机可读介质(未示出)。
210.不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器(erasable programmable read only memory,eprom)、带电可擦可编程只读存储器(electrically erasable programmable read only memory,eeprom)、闪存或其他固态存储技术,cd-rom、数字通用光盘(digital versatile disc,dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1506可
以统称为存储器。
211.根据本技术的各种实施例,计算机设备1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1500可以通过连接在系统总线1505上的网络接口单元1511连接到网络1512,或者说,也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机系统(未示出)。
212.上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由cpu执行。
213.本技术的实施例还提供了一种计算机设备,该计算机设备可以实现为如图2所示的终端或者服务器。该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像识别模型的训练方法。
214.本技术的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的图像识别模型的训练方法。
215.本技术的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的图像识别模型的训练方法。
216.可选地,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、固态硬盘(ssd,solid state drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistance random access memory)和动态随机存取存储器(dram,dynamic random access memory)。上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
217.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
218.以上所述仅为本技术的可选实施例,并不用以限制本技术,凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献