病灶图像生成方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能技术领域，具体涉及一种病灶图像生成方法、装置、电子设备及存储介质。


背景技术：

2.随着影像设备逐渐数字化和计算机通讯技术的发展，数字化影像传输和电子胶片应运而生，众多传统医院已纷纷向数字化医院转型，在加快门诊就诊效率的同时也加大了医生对医学影像数据的审核量。因此，利用深度学习技术实现对医学影像的智能诊辅来减轻医生工作量已成为当前研究热点。通常而言，深度学习技术是通过网络自主学习数据特征的方式实现对模型的训练，其模型性能的优劣与训练所使用的样本量成正比，标注样本量越大且样本越具有多样性，则训练所得的模型的性能就越好。
3.但是，并非所有的疾病都能在短期内累积出足以训练高精度模型的样本数据。以脑ct数据为例，虽然脑ct数据每年都以一定的速度增长，但由于脑出血疾病并非常发疾病，而且其病灶类型较多，因此带有病灶的脑ct数据很难收集，绝大多数数据均是正常ct数据。即使最终能收集到一定量带有病灶的样本，但由于病灶的多样性，各类型病灶数据量也是严重失衡，同时医学数据只能由专业医生进行标注，需花费较大的时间、人力和物力成本，极大影响了模型的研发周期。
4.针对上述训练样本采集困难、标注量不足、成本较高的问题，现有技术的解决方案主要有以下几种：第一种是采用常用的旋转、平移、裁剪等图像扩增技术来增加样本量，但此方式仅是在现有数据基础上进行样本扩展，缺乏多样性，对于模型的增益较小；第二种是图像剪贴技术，通过将病变区域裁剪粘贴加到另一张图像上，虽然此方法能够弥补方法一在多样性上的不足，但由于粘贴的病灶在纹理过度上比较生硬，此类样本生成过多容易误导网络学习，而影响性能；第三是使用对抗生成网络(generative adversarial networks，gan)进行样本扩充，此方法不仅可以产生大量的样本，而且也能一定程度上解决生成样本的多样性和样本是否逼真的问题。但是，现有的gan技术想要生成大量的逼真样本同样需要大量的训练样本，同时其生成图像的病灶位置是不可控制的，容易产生与现实中大脑发病部位机理不符的数据。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本技术实施方式提供了一种病灶图像生成方法、装置、电子设备及存储介质，可以根据少量的标注样本生成符合实际病灶部位分布的阳性数据，且病灶的位置、大小、形态分布均可控。
6.第一方面，本技术的实施方式提供了一种病灶图像生成方法，包括：
7.对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到至少一个掩膜图像，其中，至少一个掩膜图像与至少一个历史病灶图像一一对应；
8.将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到至少一个叠加图像，
其中，至少一个叠加图像与至少一个掩膜图像一一对应；
9.根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络；
10.获取待生成病灶的原始图像；
11.在至少一个掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，得到待处理图像；
12.将待处理图像输入病灶图像生成网络，生成病灶图像。
13.第二方面，本技术的实施方式提供了一种病灶图像生成装置，包括：
14.提取模块，用于对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到至少一个掩膜图像，其中，述至少一个掩膜图像与至少一个历史病灶图像一一对应；
15.叠加模块，用于将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到至少一个叠加图像，其中，至少一个叠加图像与至少一个掩膜图像一一对应；
16.训练模块，用于根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络；
17.处理模块，用于获取待生成病灶的原始图像，在至少一个掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，得到待处理图像；
18.生成模块，用于将待处理图像输入病灶图像生成网络，生成病灶图像。
19.第三方面，本技术实施方式提供一种电子设备，包括：处理器，处理器与存储器相连，存储器用于存储计算机程序，处理器用于执行存储器中存储的计算机程序，以使得电子设备执行如第一方面的方法。
20.第四方面，本技术实施方式提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序使得计算机执行如第一方面的方法。
21.第五方面，本技术实施方式提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机可操作来使计算机执行如第一方面的方法。
22.实施本技术实施方式，具有如下有益效果：
23.在本技术实施方式中，通过对历史病灶图像进行图像识别处理，得到对应的掩膜图像，并将掩膜图像与历史病灶图像进行叠加，得到消去了病灶部分的叠加图像。继而根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络。然后，获取待生成病灶的原始图像，在提取的掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，将叠加完的图像输入上述病灶图像生成网络，生成病灶图像。由此，由于历史病灶图像和叠加图像之间的数据差异不大，即两者整体的差异仅仅在病灶部分的区域，因此，在模型学习时，只需要学习病灶部分的区域的小范围区域差异即可，且由于学习区域的减小，也仅需要少量的标注数据即可完成模型的高精度训练。同时，本实施方式中，对gan进行的改进，将其由传统的双输入网络修改为三输入，即添加了掩膜图像的输入。由此，通过掩膜图像的指导，使模型训练过程更加注重对病灶特征的学习。因此，相对于传统的gan训练，本实施方式的训练收敛快且更具鲁棒性。同时，在图像生成时，通过掩膜的叠加限定病灶生成的区域、大小和形态，使生成的图像更加
合理。
附图说明
24.为了更清楚地说明本技术实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1为本技术实施方式提供的一种病灶图像生成装置的硬件结构示意图；
26.图2为本技术实施方式提供的一种病灶图像生成方法的流程示意图；
27.图3为本技术实施方式提供的一种对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域的方法的流程示意图；
28.图4为本技术实施方式提供的一种根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络的方法的流程示意图；
29.图5为本技术实施方式提供的一种病灶图像生成装置的功能模块组成框图；
30.图6为本技术实施方式提供的一种电子设备的结构示意图。
具体实施方式
31.下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本技术一部分实施方式，而不是全部的实施方式。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。
32.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.在本文中提及“实施方式”意味着，结合实施方式描述的特定特征、结果或特性可以包含在本技术的至少一个实施方式中。在说明书中的各个位置出现该短语并不一定均是指相同的实施方式，也不是与其它实施方式互斥的独立的或备选的实施方式。本领域技术人员显式地和隐式地理解的是，本文所描述的实施方式可以与其它实施方式相结合。
34.首先，参阅图1，图1为本技术实施方式提供的一种病灶图像生成装置的硬件结构示意图。该病灶图像生成装置100包括至少一个处理器101，通信线路102，存储器103以及至少一个通信接口104。
35.在本实施方式中，处理器101，可以是一个通用中央处理器(central processing unit，cpu)，微处理器，特定应用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控制本技术方案程序执行的集成电路。
36.通信线路102，可以包括一通路，在上述组件之间传送信息。
37.通信接口104，可以是任何收发器一类的装置(如天线等)，用于与其他设备或通信
网络通信，例如以太网，ran，无线局域网(wireless local area networks，wlan)等。
38.存储器103，可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
39.在本实施方式中，存储器103可以独立存在，通过通信线路102与处理器101相连接。存储器103也可以和处理器101集成在一起。本技术实施方式提供的存储器103通常可以具有非易失性。其中，存储器103用于存储执行本技术方案的计算机执行指令，并由处理器101来控制执行。处理器101用于执行存储器103中存储的计算机执行指令，从而实现本技术下述实施方式中提供的方法。
40.在可选的实施方式中，计算机执行指令也可以称之为应用程序代码，本技术对此不作具体限定。
41.在可选的实施方式中，处理器101可以包括一个或多个cpu，例如图1中的cpu0和cpu1。
42.在可选的实施方式中，该病灶图像生成装置100可以包括多个处理器，例如图1中的处理器101和处理器107。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
43.在可选的实施方式中，若病灶图像生成装置100为服务器，例如，可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。则病灶图像生成装置100还可以包括输出设备105和输入设备106。输出设备105和处理器101通信，可以以多种方式来显示信息。例如，输出设备105可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emitting diode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector)等。输入设备106和处理器101通信，可以以多种方式接收用户的输入。例如，输入设备106可以是鼠标、键盘、触摸屏设备或传感设备等。
44.上述的病灶图像生成装置100可以是一个通用设备或者是一个专用设备。本技术实施方式不限定病灶图像生成装置100的类型。
45.其次，需要说明的是，本技术所公开的实施方式可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
46.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机
视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
47.以下，将对本技术所公开的病灶图像生成方法进行说明：
48.参阅图2，图2为本技术实施方式提供的一种病灶图像生成方法的流程示意图。该病灶图像生成方法包括以下步骤：
49.201：对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到与至少一个历史病灶图像一一对应的至少一个掩膜图像。
50.在本实施方式中，可以对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域。继而将病灶区域内的像素点置1，病灶区域外的像素点置0，得到候选掩膜图像。最后，对候选掩膜图像进行归一化处理，将其归一化到预设的大小，得到掩膜图像。
51.具体而言，掩膜图像即为一种对病灶区域进行标记的矩阵。该矩阵中元素的数量与历史病灶图像中像素点的数量及位置分布是一致的。简单而言，即历史病灶图像中的每个像素点均对应一个掩膜图像的矩阵中的元素，且二者的相对位置相同。由此，通过对每个历史病灶图像中病灶区域的识别，即可将每个历史病灶图像中病灶区域映射至掩膜图像中，继而将病灶区域内的像素点置1，病灶区域外的像素点置0，得到对应的掩膜图像。由此，对病灶区域的识别越精确，得到的掩膜图像也就越精细，继而提升后续生成的病灶图像的合理性。
52.基于此，本实施方式提供了一种对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域的方法，如图3所示，该方法包括：
53.301：对每个历史病灶图像进行灰度化处理，生成灰度图像。
54.302：根据每个历史病灶图像的标注数据对灰度图像进行标注处理，得到标注图像。
55.在本实施方式中，标注数据用于标注对应的每个历史病灶图像中病灶症状的位置、大小和灰度值范围。具体而言，该标注数据可以是对应的历史病灶图像在历史的治疗过程中，由治疗医生进行分析后添加的，并和对应的历史病灶图像一起存储于历史病灶数据库中。
56.在本实施方式中，可以根据标注数据对病灶所在的区域进行初步判断，获取一个较大的粗糙区域，并对该粗糙区域内的像素点赋予标注，声明粗糙区域内的像素点可能是病灶区域内的像素点。
57.303：根据每个历史病灶图像的病灶类型确定灰度过滤阈值，根据灰度过滤阈值对标注图像进行过滤处理，得到过滤图像。
58.在本实施方式中，针对不同的病灶可以通过对历史数据的分析确定其在灰度化后的灰度值范围，继而将该灰度值范围作为该病灶类型的灰度过滤阈值。基于此，在进行过滤处理时，将处于该灰度值范围内，且处于粗糙区域的像素点进行保留，同时过滤掉其他像素点，得到过滤图像。
59.304：根据每个历史病灶图像的病灶类型确定生长阈值范围，根据生长阈值范围对过滤图像进行区域生长处理，得到生长图像。
60.在本实施方式中，可以获取过滤图像中所有边界像素点中的任意一个像素点作为第一像素点，继而确定第一像素点邻接的多个像素点中是否存在灰度值处于生长阈值范围
内的第二像素点。当存在第二像素点时，将第二像素点并入过滤图像中，并将第二像素点作为新的第一像素点，确定新的第一像素点邻接的多个像素点中是否存在灰度值处于生长阈值范围内的新的第二像素点；当不存在第二像素点时，将当前图像作为生长图像。
61.具体而言，从过滤图像的边界开始向外寻找灰度值处于生长阈值范围内的像素点，将满足条件的像素点并入过滤图像中，并将满足条件的像素点作为新的边界继续向外寻找，直至找不到满足条件的像素点为止，得到生长图像。
62.305：对生长图像进行边界提取，根据提取所得的区域边界确定每个历史病灶图像中的病灶区域。
63.在本实施方式中，可以将生长图像的边界像素点连接起来，即可得到该生长图像的边界，而生长图像在每个历史病灶图像中对应的区域，即边界所围出的区域，即为所需要的病灶区域。
64.202：将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到与至少一个掩膜图像一一对应的至少一个叠加图像。
65.在本实施方式中，可以根据每个掩膜图像，在每个掩膜图像对应的历史病灶图像中确定第一区域。具体而言，第一区域可以由每个掩膜图像中的第二区域决定，而第二区域为掩膜图像中值为1的像素点组成的区域。示例性的，第一区域可以为历史病灶图像中与每个掩膜图像中的第二区域对应的区域。然后，将每个掩膜图像对应的历史病灶图像中第一区域内的像素点置0，得到叠加图像。
66.203：根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络。
67.在本实施方式中，改进型循环对抗神经网络(cyclegenerative adversarial networks，cyclegan)在原有的cyclegan中添加了一个输入，即由双输入变为三输入。基于此，本实施方式提供了一种根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络的方法，如图4所示，该方法包括：
68.401：将每个掩膜图像，与每个掩膜图像对应的叠加图像和历史病灶图像进行组合，得到与至少一个掩膜图像一一对应的至少一组图像组。
69.402：将至少一组图像组中的每个图像组输入改进型循环对抗神经网络，得到第一网络输出数据、第二网络输出数据、第一循环输出数据和第二循环输出数据。
70.403：获取每个图像组中的历史病灶图像与第一网络输出数据之间的第一差异，每个图像组中的历史病灶图像与第一循环输出数据之间的第二差异，每个图像组中的叠加图像与第二网络输出数据之间的第三差异，以及每个图像组中的叠加图像与第二循环输出数据之间的第四差异。
71.404：将第一差异、第二差异、第三差异、第四差异和每个图像组中的掩膜图像带入损失函数，得到每个图像组对应的损失值。
72.405：根据每个图像组对应的损失值对改进型循环对抗神经网络进行参数调整，得到病灶图像生成网络。
73.通常而言，原本的cyclegan的双输入分别为图像组中的历史病灶图像和叠加图像。而在本实施方式中，改进型cyclegan在每组训练时添加了第三输入：图像组中掩码图
像，并对损失函数进行了修改。使第三输入作用于损失函数，从而对训练的注重点进行约束，使改进型cyclegan更注重对病灶特征的学习，最终生成出的病灶图像更为逼真。
74.在本实施方式中，改进的损失函数在cyclegan通用的损失函数的基础上增加了掩膜损失函数部分，具体而言，改进的损失函数可以通过公式
①
进行表示：
75.loss＝gloss mloss.........
①
76.其中，gloss表示cyclegan通用的损失函数，mloss表示基于掩膜图像的掩膜损失函数。
77.进一步的，掩膜损失函数可以通过公式
②
进行表示：
[0078][0079]
其中，σ表示自定义权重，a(x，y)表示每个图像组中的历史病灶图像，b(x，y)表示每个图像组中的叠加图像，m(x，y)表示每个图像组中的掩膜图像，f
a(x，y)
表示第一网络输出数据，f
b(x，y)
表示第二网络输出数据，cyc
a(x，y)
表示第一循环输出数据，cyc
b(x，y)
表示第二循环输出数据。
[0080]
204：获取待生成病灶的原始图像。
[0081]
在本实施方式中，以脑ct领域为例，原始图像可以是脑ct过程中获得的正常情况的脑ct图片。
[0082]
205：在至少一个掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，得到待处理图像。
[0083]
在本实施方式中，该叠加方式与步骤202中的叠加方式相似，在此不再赘述。
[0084]
206：将待处理图像输入病灶图像生成网络，生成病灶图像。
[0085]
综上所述，本发明所提供的病灶图像生成方法中，通过对历史病灶图像进行图像识别处理，得到对应的掩膜图像，并将掩膜图像与历史病灶图像进行叠加，得到消去了病灶部分的叠加图像。继而根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络。然后，获取待生成病灶的原始图像，在提取的掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，将叠加完的图像输入上述病灶图像生成网络，生成病灶图像。由此，由于历史病灶图像和叠加图像之间的数据差异不大，即两者整体的差异仅仅在病灶部分的区域，因此，在模型学习时，只需要学习病灶部分的区域的小范围区域差异即可，且由于学习区域的减小，也仅需要少量的标注数据即可完成模型的高精度训练。同时，本实施方式中，对gan进行的改进，将其由传统的双输入网络修改为三输入，即添加了掩膜图像的输入。由此，通过掩膜图像的指导，使模型训练过程更加注重对病灶特征的学习。因此，相对于传统的gan训练，本实施方式的训练收敛快且更具鲁棒性。同时，在图像生成时，通过掩膜的叠加限定病灶生成的区域、大小和形态，使生成的图像更加合理。
[0086]
参阅图5，图5为本技术实施方式提供的一种病灶图像生成装置的功能模块组成框图。如图5所示，该病灶图像生成装置500包括：
[0087]
提取模块501，用于对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到至少一个掩膜图像，其中，述至少一个掩膜图像与至少一个历史病灶图像一一
对应；
[0088]
叠加模块502，用于将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到至少一个叠加图像，其中，至少一个叠加图像与至少一个掩膜图像一一对应；
[0089]
训练模块503，用于根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络；
[0090]
处理模块504，用于获取待生成病灶的原始图像，在至少一个掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，得到待处理图像；
[0091]
生成模块505，用于将待处理图像输入病灶图像生成网络，生成病灶图像。
[0092]
在本发明的实施方式中，在根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络方面，训练模块503，具体用于：
[0093]
将每个掩膜图像，与每个掩膜图像对应的叠加图像和历史病灶图像进行组合，得到至少一组图像组，其中，至少一组图像组与至少一个掩膜图像一一对应；
[0094]
将至少一组图像组中的每个图像组输入改进型循环对抗神经网络，得到第一网络输出数据、第二网络输出数据、第一循环输出数据和第二循环输出数据；
[0095]
获取每个图像组中的历史病灶图像与第一网络输出数据之间的第一差异，每个图像组中的历史病灶图像与第一循环输出数据之间的第二差异，每个图像组中的叠加图像与第二网络输出数据之间的第三差异，以及每个图像组中的叠加图像与第二循环输出数据之间的第四差异；
[0096]
将第一差异、第二差异、第三差异、第四差异和每个图像组中的掩膜图像带入损失函数，得到每个图像组对应的损失值；
[0097]
根据每个图像组对应的损失值对改进型循环对抗神经网络进行参数调整，得到病灶图像生成网络。
[0098]
在本发明的实施方式中，损失函数可以通过公式
③
进行表示：
[0099]
loss＝gloss mloss.........
③
[0100]
其中，gloss表示循环对抗神经网络通用的损失函数，mloss表示基于掩膜图像的掩膜损失函数；
[0101]
掩膜损失可以通过公式
④
进行表示：
[0102][0103]
其中，σ表示自定义权重，a(x，y)表示每个图像组中的历史病灶图像，b(x，y)表示每个图像组中的叠加图像，m(x，y)表示每个图像组中的掩膜图像，f
a(x，y)
表示第一网络输出数据，f
b(x，y)
表示第二网络输出数据，cyc
a(x，y)
表示第一循环输出数据，cyc
b(x，y)
表示第二循环输出数据。
[0104]
在本发明的实施方式中，在对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到至少一个掩膜图像方面，提取模块501，具体用于：
[0105]
对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域；
[0106]
将病灶区域内的像素点置1，病灶区域外的像素点置0，得到候选掩膜图像；
[0107]
对候选掩膜图像进行归一化处理，得到掩膜图像。
[0108]
在本发明的实施方式中，在对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域方面，提取模块501，具体用于：
[0109]
对每个历史病灶图像进行灰度化处理，生成灰度图像；
[0110]
根据每个历史病灶图像的标注数据对灰度图像进行标注处理，得到标注图像，其中，标注数据用于标注对应的每个历史病灶图像中病灶症状的位置、大小和灰度值范围；
[0111]
根据每个历史病灶图像的病灶类型确定灰度过滤阈值，根据灰度过滤阈值对标注图像进行过滤处理，得到过滤图像；
[0112]
根据每个历史病灶图像的病灶类型确定生长阈值范围，根据生长阈值范围对过滤图像进行区域生长处理，得到生长图像；
[0113]
对生长图像进行边界提取，根据提取所得的区域边界确定每个历史病灶图像中的病灶区域。
[0114]
在本发明的实施方式中，在根据生长阈值范围对过滤图像进行区域生长处理，得到生长图像方面，提取模块501，具体用于：
[0115]
获取过滤图像的第一像素点，其中，第一像素点为过滤图像中所有边界像素点中的任意一个像素点；
[0116]
确定第一像素点邻接的多个像素点中是否存在灰度值处于生长阈值范围内的第二像素点；
[0117]
当存在第二像素点时，将第二像素点并入过滤图像中，并将第二像素点作为新的第一像素点，确定新的第一像素点邻接的多个像素点中是否存在灰度值处于生长阈值范围内的新的第二像素点；
[0118]
当不存在第二像素点时，将当前图像作为生长图像。
[0119]
在本发明的实施方式中，在将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到至少一个叠加图像方面，叠加模块503，具体用于：
[0120]
根据每个掩膜图像，在每个掩膜图像对应的历史病灶图像中确定第一区域，其中，第一区域由每个掩膜图像中的第二区域决定，第二区域为掩膜图像中值为1的像素点组成的区域；
[0121]
将每个掩膜图像对应的历史病灶图像中第一区域内的像素点置0，得到叠加图像。
[0122]
参阅图6，图6为本技术实施方式提供的一种电子设备的结构示意图。如图6所示，电子设备600包括收发器601、处理器602和存储器603。它们之间通过总线604连接。存储器603用于存储计算机程序和数据，并可以将存储器603存储的数据传输给处理器602。
[0123]
处理器602用于读取存储器603中的计算机程序执行以下操作：
[0124]
对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到至少一个掩膜图像，其中，至少一个掩膜图像与至少一个历史病灶图像一一对应；
[0125]
将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到至少一个叠加图像，其中，至少一个叠加图像与至少一个掩膜图像一一对应；
[0126]
根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络；
[0127]
获取待生成病灶的原始图像；
[0128]
在至少一个掩膜图像中随机选择一个或多个图像与原始图像进行叠加处理，得到待处理图像；
[0129]
将待处理图像输入病灶图像生成网络，生成病灶图像。
[0130]
在本发明的实施方式中，在根据至少一个叠加图像、至少一个掩膜图像和至少一个历史病灶图像对改进型循环对抗神经网络进行训练，得到病灶图像生成网络方面，处理器602，具体用于执行以下操作：
[0131]
将每个掩膜图像，与每个掩膜图像对应的叠加图像和历史病灶图像进行组合，得到至少一组图像组，其中，至少一组图像组与至少一个掩膜图像一一对应；
[0132]
将至少一组图像组中的每个图像组输入改进型循环对抗神经网络，得到第一网络输出数据、第二网络输出数据、第一循环输出数据和第二循环输出数据；
[0133]
获取每个图像组中的历史病灶图像与第一网络输出数据之间的第一差异，每个图像组中的历史病灶图像与第一循环输出数据之间的第二差异，每个图像组中的叠加图像与第二网络输出数据之间的第三差异，以及每个图像组中的叠加图像与第二循环输出数据之间的第四差异；
[0134]
将第一差异、第二差异、第三差异、第四差异和每个图像组中的掩膜图像带入损失函数，得到每个图像组对应的损失值；
[0135]
根据每个图像组对应的损失值对改进型循环对抗神经网络进行参数调整，得到病灶图像生成网络。
[0136]
在本发明的实施方式中，损失函数可以通过公式
⑤
进行表示：
[0137]
loss＝gloss mloss.........
⑤
[0138]
其中，gloss表示循环对抗神经网络通用的损失函数，mloss表示基于掩膜图像的掩膜损失函数；
[0139]
掩膜损失可以通过公式
⑥
进行表示：
[0140][0141]
其中，σ表示自定义权重，a(x，y)表示每个图像组中的历史病灶图像，b(x，y)表示每个图像组中的叠加图像，m(x，y)表示每个图像组中的掩膜图像，f
a(x，y)
表示第一网络输出数据，f
b(x，y)
表示第二网络输出数据，cyc
a(x，y)
表示第一循环输出数据，cyc
b(x，y)
表示第二循环输出数据。
[0142]
在本发明的实施方式中，在对至少一个历史病灶图像中的每个历史病灶图像进行图像识别处理，得到至少一个掩膜图像方面，处理器602，具体用于执行以下操作：
[0143]
对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域；
[0144]
将病灶区域内的像素点置1，病灶区域外的像素点置0，得到候选掩膜图像；
[0145]
对候选掩膜图像进行归一化处理，得到掩膜图像。
[0146]
在本发明的实施方式中，在对每个历史病灶图像进行图像识别，确定每个历史病灶图像中的病灶区域方面，处理器602，具体用于执行以下操作：
[0147]
对每个历史病灶图像进行灰度化处理，生成灰度图像；
[0148]
根据每个历史病灶图像的标注数据对灰度图像进行标注处理，得到标注图像，其
中，标注数据用于标注对应的每个历史病灶图像中病灶症状的位置、大小和灰度值范围；
[0149]
根据每个历史病灶图像的病灶类型确定灰度过滤阈值，根据灰度过滤阈值对标注图像进行过滤处理，得到过滤图像；
[0150]
根据每个历史病灶图像的病灶类型确定生长阈值范围，根据生长阈值范围对过滤图像进行区域生长处理，得到生长图像；
[0151]
对生长图像进行边界提取，根据提取所得的区域边界确定每个历史病灶图像中的病灶区域。
[0152]
在本发明的实施方式中，在根据生长阈值范围对过滤图像进行区域生长处理，得到生长图像方面，处理器602，具体用于执行以下操作：
[0153]
获取过滤图像的第一像素点，其中，第一像素点为过滤图像中所有边界像素点中的任意一个像素点；
[0154]
确定第一像素点邻接的多个像素点中是否存在灰度值处于生长阈值范围内的第二像素点；
[0155]
当存在第二像素点时，将第二像素点并入过滤图像中，并将第二像素点作为新的第一像素点，确定新的第一像素点邻接的多个像素点中是否存在灰度值处于生长阈值范围内的新的第二像素点；
[0156]
当不存在第二像素点时，将当前图像作为生长图像。
[0157]
在本发明的实施方式中，在将每个掩膜图像与对应的历史病灶图像进行叠加处理，得到至少一个叠加图像方面，处理器602，具体用于执行以下操作：
[0158]
根据每个掩膜图像，在每个掩膜图像对应的历史病灶图像中确定第一区域，其中，第一区域由每个掩膜图像中的第二区域决定，第二区域为掩膜图像中值为1的像素点组成的区域；
[0159]
将每个掩膜图像对应的历史病灶图像中第一区域内的像素点置0，得到叠加图像。
[0160]
应理解，本技术中的病灶图像生成装置可以包括智能手机(如android手机、ios手机、windows phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备mid(mobile internet devices，简称：mid)、机器人或穿戴式设备等。上述病灶图像生成装置仅是举例，而非穷举，包含但不限于上述病灶图像生成装置。在实际应用中，上述病灶图像生成装置还可以包括：智能车载终端、计算机设备等等。
[0161]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
[0162]
因此，本技术实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施方式中记载的任何一种病灶图像生成方法的部分或全部步骤。例如，所述存储介质可以包括硬盘、软盘、光盘、磁带、磁盘、优盘、闪存等。
[0163]
本技术实施方式还提供一种计算机程序产品，所述计算机程序产品包括存储了计
算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施方式中记载的任何一种病灶图像生成方法的部分或全部步骤。
[0164]
需要说明的是，对于前述的各方法实施方式，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施方式均属于可选的实施方式，所涉及的动作和模块并不一定是本技术所必须的。
[0165]
在上述实施方式中，对各个实施方式的描述都各有侧重，某个实施方式中没有详述的部分，可以参见其他实施方式的相关描述。
[0166]
在本技术所提供的几个实施方式中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0167]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0168]
另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0169]
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0170]
本领域普通技术人员可以理解上述实施方式的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
[0171]
以上对本技术实施方式进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施方式的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。