用于训练生成式对抗网络和使用经训练的生成式对抗网络的系统和方法与流程

本公开总体上涉及神经网络领域以及涉及这种网络用于图像分析和对象检测的用途。更具体地但不是限制性地，本公开涉及用于训练生成式对抗网络的系统和方法以及使用该生成式对抗网络的计算机实现的系统和方法。本文公开的系统、方法和经训练的神经网络可用于各种应用和视觉系统，例如得益于精确的目标检测能力的医学图像分析和系统。

背景技术：

1、在许多对象检测系统中，对象是在图像中检测到的。感兴趣对象可以是人、地点或事物。在诸如医学图像分析和诊断的应用中，对对象的定位也很重要。然而，利用图像分类器的计算机实现的系统通常不能识别或提供检测到的对象的位置。因此，仅使用图像分类器的现有系统并不是非常有用。

2、此外，用于对象检测的训练技术将依赖于手动注释的训练集。当被训练的检测网络是基于边界框(例如yolo(you only look once)架构、单镜头检测器(single shotdetector，ssd)架构等)的网络时，这种注释是耗时的。因此，大数据集很难为训练进行注释，这通常产生针对较小数据集进行训练的神经网络，这降低了精确度。对于计算机实现的系统，现有的医学成像通常建立在单一的探测器网络上。因此，一旦进行了检测，网络就简单地将检测结果例如输出给医生或其他专业护理人员。然而，这种检测结果可能是假阳性，例如内窥镜检查等中的非息肉。这种系统并不提供用于区分假阳性和真阳性的单独网络。

3、此外，基于神经网络的对象检测器通常将由神经网络识别的特征馈送到检测器中，该检测器可以包括第二神经网络。然而，这种网络通常是不精确的，因为特征检测是由通用网络来执行的，而只有检测器部分是专用的。

4、最后，许多现有的对象探测器在延时下工作。例如，医学图像将在分析之前被捕获和存储。然而，一些医学过程，如内窥镜检查，是基于实时诊断的。因此，这些系统通常难以以需求的实时方式进行应用。

技术实现思路

1、鉴于前面所述，本公开的实施例提供了用于训练生成式对抗网络并将其用于诸如医学图像分析的应用的计算机实现的系统和方法。本公开的系统和方法提供了优于现有系统和技术的益处，包括改进的对象检测和位置信息。

2、根据一些实施例，提供了计算机实现的系统，该系统包括识别感兴趣特征(即，异常或感兴趣对象)及其位置的对象检测器网络，以及区分真阳性和假阳性的对抗网络。此外，本公开的实施例提供用于训练对象检测器网络的两循环(two-loop)技术。该训练过程基于检查检测来使用注释，使得手动注释可以发生得更快，并因此具有更大的数据集。此外，该过程可用于训练生成式对抗网络，以区分假阳性和真阳性。

3、此外，提供了将对象检测器网络与生成式对抗网络组合的公开系统。通过将这些网络组合，可以区分假阳性和真阳性，从而提供更精确的输出。通过减少假阳性，由于提高的精确性，医生或其他专业医护人员将会更加关注来自网络的输出。

4、此外，本公开的实施例包括这样的神经网络：其不使用通过与专用检测器组合的一个神经网络进行的通用特征识别。相反，针对对象检测器部分训练单个无缝式神经网络，这产生更好的专门化以及更高的精确度和效率。

5、最后，本公开的实施例被配置成在单个显示器上显示实时视频(例如内窥镜视频或其他医学图像)以及对象检测。因此，本公开的实施例提供了视频旁路，以使来自对象检测器的错误和其他潜在缺点的潜在问题最小化。此外，可以以特别设计的方式显示对象检测，以更好地引起医生或其他专业护理人员的注意。

6、在一个实施例中，一种用于利用包括感兴趣特征的表示的图像来训练生成式对抗网络的系统可以包括：至少一个存储器和至少一个处理器，所述存储器被配置成存储指令，所述处理器被配置成执行所述指令以进行操作。所述操作可以包括：提供第一多个图像，所述第一多个图像包括所述感兴趣特征的表示以及所述第一多个图像的图像中的所述感兴趣特征的位置的指示符；并且利用所述第一多个图像和所述感兴趣特征的指示符来训练对象检测网络，以检测所述感兴趣特征。所述操作还可以包括：提供包括所述感兴趣特征的表示的第二多个图像，以及将经训练的对象检测网络应用于所述第二多个图像，以产生所述感兴趣特征的第一多个检测。所述第二多个图像可以包括比第一多个图像中包括的图像的数量更多的图像。所述操作还可以包括：提供关于第一多个检测对真阳性和假阳性的手动设置的验证；利用关于第一多个检测对真阳性和假阳性的验证来训练生成式对抗网络；以及利用至少另一组图像和所述感兴趣特征的检测以及关于所述感兴趣特征的进一步检测对真阳性和假阳性的进一步手动设置的验证来重新训练生成式对抗网络。

7、在一些实施例中，所述至少一个处理器还可以被配置成：通过提供针对两个或更多个图像中的感兴趣特征的遗漏的检测(missed detection)的假阴性的验证来重新训练所述生成式对抗网络。

8、在任何实施例中，对象检测网络可以是卷积神经网络。

9、在任何实施例中，所述第二多个图像中的图像的数量可以比所述第一多个图像中所包括的图像的数量多至少100倍。

10、在任何实施例中，所述第一多个图像和所述第二多个图像可以包括医学图像。例如，所述医学图像可以包括胃肠器官的图像。

11、在任何实施例中，所述第一多个图像和所述第二多个图像中的至少一者包括来自内窥镜设备的图像。额外地或可替代地，所述第一多个图像和所述第二多个图像中的至少一者包括来自成像设备的图像，所述成像设备是在胃镜检查、结肠镜检查、肠镜检查、或上消化道内窥镜检查(例如食道内窥镜检查)中的至少一者期间使用的成像设备。

12、在任何实施例中，所述感兴趣特征可以是异常。例如，所述异常可以包括人体组织从一种类型的细胞到另一种类型的细胞的变化。额外地或可替代地，所述异常可以包括人体组织从预期人体组织的位置处的缺失。额外地或可替代地，所述异常可以包括人体组织上的形成或人体组织的形成。

13、在任何实施例中，所述异常可包括病变。例如，所述病变可以包括息肉状病变或非息肉状病变。

14、在一个实施例中，一种用于训练神经网络系统以检测人体器官的图像中的异常的方法，该方法可以包括：将包括异常的表示的多个视频存储在数据库中；选择所述多个视频的第一子集；以及将对象检测网络的感知分支应用于多个视频的第一子集的帧，以产生对异常的第一多个检测。所述方法还可以包括：选择所述多个视频的第二子集；以及利用第一多个检测和来自所述多个视频的所述第二子集的帧来训练生成器网络，以生成异常的多个伪表示(artificial representation)。所述多个伪表示可以是通过残差学习(residuallearning)来生成的。该方法还可以包括：训练鉴别器网络的对抗分支，以区分异常的伪表示和异常的真表示；将鉴别器网络的对抗分支应用于多个伪表示，以产生被包括在所述多个视频的所述第二子集的帧中的所述异常的伪表示与所述异常的真表示之间的差异指示符；将所述鉴别器网络的感知分支应用于所述伪表示，以产生所述异常的第二多个检测；以及基于所述差异指示符和所述第二多个检测来重新训练所述感知分支。这些步骤可以由至少一个处理器执行。

15、在一些实施例中，所述异常可以包括人体组织从一种类型的细胞到另一种类型的细胞的变化。额外地或可替代地，所述异常可以包括人体组织从预期人体组织的位置处的缺失。额外地或可替代地，所述异常可以包括人体组织上的形成或人体组织的形成。

16、在任何实施例中，异常可包括病变。例如，病变可以包括息肉状病变或非息肉状病变。

17、在任何实施例中，每个所述伪表示可以提供与所述异常的真表示高度相似的异常的假表示。

18、在任何实施例中，所述生成器网络可以包括生成式对抗网络。

19、在任何实施例中，所述鉴别器网络可以包括卷积神经网络。

20、在一个实施例中，一种用于检测人体器官的图像中的感兴趣特征的系统可以包括：存储指令的至少一个存储器以及被配置成执行所述指令以进行操作的至少一个处理器。所述操作可以包括：从人体器官的视频中选择帧；对帧应用经训练的神经网络系统，以产生感兴趣特征的至少一个检测；在其中一个帧上生成所述至少一个检测的位置的指示符；将帧重新编码成视频；以及输出带有指示符的重新编码的视频。可以根据上述任何实施例来训练该神经网络系统。

21、本公开的额外目的和优点将在下面的详细描述中部分地阐述，并且部分地将从描述中变得明了，或者可以通过本公开的实践来学习。本公开的目的和优点将通过在所附权利要求中特别指出的元素和组合来实现和获得。

22、应当理解，前面总体上的描述和以下详细描述仅是示例性和解释性的，而不是对所公开的实施例进行限制。