医学影像诊疗产品的跨设备泛化性的检测方法及相关设备

1.本技术涉及医学影像处理技术领域，尤其涉及一种医学影像诊疗产品的跨设备泛化性的检测方法。


背景技术：

2.现代医学越来越依赖医学影像数据进行诊断，随着智能图像诊断算法趋于成熟，出现了很多基于人工智能方法处理医学影像的方法，然而由于设备型号的不同、设备所设参数的不同，以及设备拍摄光线的不同等问题，不同设备所产生的图像数据存在一定的差别，一旦使用其它设备产生的数据集测试这些智能影像诊断算法，算法的诊断性能会明显下降，泛化性能非常差，这样的智能影像诊断算法在实际使用和部署中存在着非常大的问题与隐患。除此之外，因为一些参数的不同，不同设备产生的数据之间很难被共享使用，使得医学影像数据短缺。
3.基于上述情况，现有技术中，通过风格迁移模型来对这些智能影像诊断算法的诊断效果进行检测，但是很多风格迁移的模型都需要成对的数据集进行训练，目前在医学影像领域里很难找到成对的不同设备风格产生的图片，比如，不同设备对同一个人的同一个部位进行成像，因此在实际情况中，想要获取这样成对的数据集很显然是十分困难的。


技术实现要素：

4.有鉴于此，本技术的目的在于提出一种医学影像诊疗产品的跨设备泛化性的检测方法及相关设备，用以解决上述技术问题。
5.基于上述目的，本技术的第一方面提供了医学影像诊疗产品的跨设备泛化性的检测方法，包括：获取医学影像设备输出的初始数据集；将所述初始数据集分别输入至少两个经过训练的数据风格迁移模型中，经由每个所述数据风格迁移模型输出相应风格的生成数据集；将全部所述生成数据集中的每一个所述生成数据集分别输入医学影像诊疗产品中，得到每个所述生成数据集对应的诊断结果；对全部所述诊断结果进行对比分析，得到所述医学影像诊疗产品跨设备诊断泛化性的检测结果。
6.本技术的第二方面提供了一种医学影像诊疗产品的跨设备泛化性的检测装置，包括：初始数据获取模块，被配置为获取医学影像设备输出的初始数据集；数据风格迁移模块，被配置为将所述初始数据集分别输入至少两个经过训练的数据风格迁移模型中，经由每个所述数据风格迁移模型输出相应风格的生成数据集；诊断结果获取模块，被配置为将全部所述生成数据集中的每一个所述生成数据集分别输入医学影像诊疗产品中，得到每个所述生成数据集对应的诊断结果；
检测结果获取模块，被配置为对全部所述诊断结果进行对比分析，得到所述医学影像诊疗产品跨设备诊断泛化性的检测结果。
7.本技术的第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
8.本技术的第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行第一方面所述方法。
9.从上面所述可以看出，本技术提供的医学影像诊疗产品的跨设备泛化性的检测方法及相关设备，通过数据风格迁移模型，能够在保证输出生成数据集的风格在尽可能接近新风格的前提下，尽可能扩大输出的生成数据集的风格与初始数据集风格的不同，使得即使风格差异很小的医学影像设备之间也能做到风格转换，同时解决了医学影像领域中数据短缺的问题。再之后通过多个风格的生成数据集输入医学影像诊疗产品，对全部诊断结果进行对比分析，得到医学影像诊疗产品跨设备的诊断泛化性的检测结果，可以很好地检测医学影像诊疗产品的诊断泛化性。
附图说明
10.为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本技术实施例的医学影像诊疗产品的跨设备泛化性的检测方法的流程图；图2为本技术实施例的数据风格迁移模型的训练方法的流程图；图3为本技术实施例的医学影像诊疗产品的跨设备泛化性的检测装置的结构示意图；图4为本技术实施例的电子设备的示意图。
具体实施方式
12.为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
13.需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
14.相关技术中出现了越来越多的医学影像诊疗产品，其中一些医学影像诊疗产品在同一医学影像设备下生成的初始数据集上有着非常高的诊断准确率，但它们存在着泛化性
能不足的问题，一旦将这些医学影像诊疗产品部署到其他医学影像设备产生的初始数据集上，它们的诊断准确率会大幅下降，这样的医学影像诊疗产品在应用中有着非常大的问题和隐患。
15.另外，相关技术中医学影像数据十分有限，然而不同医学影像设备，因为采样率、感光期间、颜色空间等原因，产生的初始数据集不同，无法在医学影像方面共用。
16.本技术的实施例提供一种医学影像诊疗产品的跨设备泛化性的检测方法，通过数据风格迁移模型，能够在保证输出生成数据集的风格在尽可能接近新风格的前提下，尽可能扩大输出的生成数据集风格与初始数据集风格的不同，使得即使风格差异很小的医学影像设备之间也能做到风格转换，同时解决了医学影像领域中数据短缺的问题，可以很好地检测医学影像诊疗产品的诊断泛化性。
17.如图1所示，本实施例的方法包括：步骤101，获取医学影像设备输出的初始数据集。
18.在该步骤中，初始数据集为由医学影像设备输出的影像数据组成的影像数据集。
19.步骤102，将所述初始数据集分别输入至少两个经过训练的数据风格迁移模型中，经由每个所述数据风格迁移模型输出相应风格的生成数据集。
20.在该步骤中，将初始数据集分别输入两个或两个以上经过训练的数据风格迁移模型中，经过不同的数据风格迁移模型输出相应风格的生成数据集。
21.其中，通过数据风格迁移模型可以将不同的医学影像设备输出的初始数据集进行风格转换，得到需要的对应医学影像设备风格的生成数据集，还尽可能扩大输出的生成数据集的风格与初始数据集风格的不同，同时还能再得到与初始数据集相同风格的生成数据集，解决了医学影像领域中数据短缺的问题。
22.步骤103，将全部所述生成数据集中的每一个所述生成数据集分别输入医学影像诊疗产品中，得到每个所述生成数据集对应的诊断结果。
23.在该步骤中，通过将不同数据风格迁移模型输出的相应风格的生成数据集分别输入需要进行检测的同一医学影像诊疗产品中，保证每个诊断结果在同样的条件下获得。
24.步骤104，对全部所述诊断结果进行对比分析，得到所述医学影像诊疗产品跨设备诊断泛化性的检测结果。
25.在该步骤中，将全部在相同条件下获得的诊断结果进行对比分析，从相同的条件以及诊断结果的数量上进一步保障需要检测的医学影像诊疗产品的诊断泛化性的检测结果的准确性。
26.通过上述方案，将医学影像设备输出的初始数据集分别输入不同的数据风格迁移模型，输出相应风格的生成数据集，能够在保证输出生成数据集的风格在尽可能接近新风格的前提下，尽可能扩大输出的生成数据集的风格与初始数据集风格的不同，使得即使风格差异很小的医学影像设备之间也能做到风格转换，同时解决了医学影像领域中数据短缺的问题，另外，将全部生成数据集输入需要进行检测的同一医学影像诊疗产品中，得到每个生成数据集对应的诊断结果，再将全部诊断结果进行对比分析，得到需要检测的医学影像诊疗产品的诊断泛化性的检测结果，从相同的条件以及诊断结果的数量上进一步保障需要检测的医学影像诊疗产品的诊断泛化性的检测结果的准确性，可以很好地检测医学影像诊疗产品的诊断泛化性。
27.在一些实施例中，如图2所示，步骤102中的数据风格迁移模型通过以下方法进行训练：步骤201，构建训练模型。
28.在该步骤中，训练模型基于深度学习架构进行构建，能够快速进行训练模型的构建。
29.步骤202，获取第一医学影像设备输出的第一初始数据集，获取第二医学影像设备输出的第二初始数据集，所述第一初始数据集和所述第二初始数据集的风格不同。
30.在该步骤中，获取两种不同医学影像设备输出的对应的初始数据集，可以从相应的医学影像数据库获取初始数据集，这里不对第一初始数据集和第二初始数据集的获取方式作具体限定。
31.步骤203，将所述第一初始数据集输入训练模型，经由第一生成器生成第一生成数据集，基于所述第一生成数据集通过第二生成器生成与所述第一初始数据集的风格相同的第二生成数据集，所述第一生成数据集经由第一判别器判定与所述第二初始数据集的风格相同。
32.在该步骤中，通过将第一初始数据集输入训练模型中，经第一生成器生成一个数据集，经训练模型进行输出，通过第一生成器将第一医学影像设备生成的第一初始数据集转化成第一生成数据集，然后再通过第一判别器判断第一生成数据集是否符合第二医学影像设备的风格类型，通过不断遍历和循环优化第一生成器、第二生成器和第一判别器，使生成器和判别器能达到纳什均衡，最终使数据风格迁移能得到良好的性能效果，使得第一生成数据集符合第二医学影像设备的风格类型，同时使得第一生成数据集通过第二生成器生成与第一初始数据集的风格相同的第二生成数据集，第二生成数据集可以用来作为训练集进行训练，解决了医学影像领域中数据短缺的问题，同时也解决了训练模型在进行训练的过程中因为数据短缺造成的模型过拟合问题。
33.其中，第一生成器、第二生成器和第一判别器通常由包含卷积和（或）全连接层的多层网络构成。
34.步骤204，将所述第二初始数据集输入所述训练模型，经由所述第二生成器生成第三生成数据集，基于所述第二生成数据集通过所述第一生成器生成与所述第二初始数据集的风格相同的第四生成数据集，所述第三生成数据集经由第二判别器判定与所述第一初始数据集的风格相同。
35.在该步骤中，通过将第二初始数据集输入训练模型，经第二生成器生成一个数据集，经训练模型进行输出，通过第二生成器将第二医学影像设备生成的第二初始数据集转化成第三生成数据集，然后再通过第二判别器判断第三生成数据集是否符合第一医学影像设备的风格类型，通过不断遍历和循环优化第一生成器、第二生成器和第二判别器，使生成器和判别器能达到纳什均衡，最终使数据风格迁移能得到良好的性能效果，使得第二生成数据集符合第一医学影像设备的风格类型，同时使得第三生成数据集通过第一生成器生成与第二初始数据集的风格相同的第四生成数据集，第四生成数据集可以用来作为训练集进行训练，解决了医学影像领域中数据短缺的问题，同时也解决了训练模型在进行训练的过程中因为数据短缺造成的模型过拟合问题。
36.其中，第一生成器、第二生成器和第二判别器通常由包含卷积和（或）全连接层的
多层网络构成。
37.步骤205，基于所述第一初始数据集、所述第二初始数据集、所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器确定损失函数。
38.在该步骤中，根据第一初始数据集、第二初始数据集、第一生成器、第二生成器、第一判别器和第二判别器确定风格和内容损失函数，再根据风格损失函数和内容损失函数确定最终的损失函数，从风格和内容两方面同时进行调整优化。
39.步骤206，对所述损失函数进行最小化计算，得到所述数据风格迁移模型。
40.在该步骤中，通过损失函数修正模型参数，使新生成的数据集的风格与另一种医学影像设备输出的初始数据集的风格越来越接近，同时使新生成数据集的风格与原医学影像设备输出的初始数据集的风格越来越远，提升转化成功率。之后再将此数据集再转化生成原医学影像设备风格的，再通过优化损失函数使得再转化生成的数据集风格和原医学影像设备输出的初始数据集的风格尽可能相似。
41.通过上述方案，通过对构建的训练模型进行训练，不断遍历和循环优化第一生成器、第二生成器、第一判别器和第二判别器，使生成器和判别器能达到纳什均衡，最终使数据风格迁移能得到良好的性能效果，通过优化损失函数修正模型参数，使新生成的数据集的风格与另一种医学影像设备输出的初始数据集的风格越来越接近，同时使新生成数据集的风格与原医学影像设备输出的初始数据集的风格越来越远，提升转化成功率。之后再将此数据集再转化生成原医学影像设备风格的，再通过优化损失函数使得再转化生成的数据集风格和原医学影像设备输出的初始数据集的风格尽可能相似。
42.在一些实施例中，所述训练模型为循环生成对抗网络模型。
43.在该步骤中，训练模型为循环生成对抗网络模型，循环生成对抗网络模型不需要成对的数据集进行训练，降低了用于循环生成对抗网络模型训练的数据收集的难度。
44.在一些实施例中，所述医学影像设备输出的所述初始数据集的风格至少包括采样率、感光期间、颜色空间。
45.在该步骤中，医学影像设备输出初始数据集的风格至少包括采样率、感光期间、颜色空间，从多个方面保证数据风格迁移的效果。
46.在一些实施例中，所述医学影像诊疗产品至少包括b型超声检查仪、计算机x线断层摄影机、核磁共振仪器。
47.在该步骤中，可以对多种类型的医学影像诊疗产品的诊断泛化性进行检测。
48.在一些实施例中，所述诊断结果的指标至少包括召回率指标、查准率指标、f1分数指标。
49.在该步骤中，通过召回率指标、查准率指标、f1分数指标等数据，使得每个诊断结果更加精准。
50.在一些事实例中，基于全部所述诊断结果对应的所述召回率指标的变化、所述查准率指标的变化和所述f1分数指标的变化，得到所述医学影像诊疗产品跨设备的诊断泛化性的检测结果。
51.在该步骤中，根据每个诊断结果的召回率指标、查准率指标和f1分数指标的变化差距得到医学影像诊疗产品的诊断泛化性的检测结果，进一步使得医学影像诊疗产品的诊断泛化性的检测结果更加精准。
52.需要说明的是，本技术实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
53.需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
54.基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种医学影像诊断设备的诊断泛化性的检测装置。
55.参考图3，所述医学影像诊疗产品的跨设备泛化性的检测装置，包括：初始数据获取模块301，被配置为获取医学影像设备输出的初始数据集；数据风格迁移模块302，被配置为将所述初始数据集分别输入至少两个经过训练的数据风格迁移模型中，经由每个所述数据风格迁移模型输出相应风格的生成数据集；诊断结果获取模块303，被配置将全部所述生成数据集中的每一个所述生成数据集分别输入医学影像诊疗产品中，得到每个所述生成数据集对应的诊断结果；检测结果获取模块304，被配置为对全部所述诊断结果进行对比分析，得到所述医学影像诊疗产品跨设备诊断泛化性的检测结果。
56.在一些实施例中，数据风格迁移模块302具体被配置为：构建训练模型；获取第一医学影像设备输出的第一初始数据集，获取第二医学影像设备输出的第二初始数据集，所述第一初始数据集和所述第二初始数据集的风格不同；将所述第一初始数据集输入训练模型，经由第一生成器生成第一生成数据集，基于所述第一生成数据集通过第二生成器生成与所述第一初始数据集的风格相同的第二生成数据集，所述第一生成数据集经由第一判别器判定与所述第二初始数据集的风格相同；将所述第二初始数据集输入所述训练模型，经由所述第二生成器生成第三生成数据集，基于所述第二生成数据集通过所述第一生成器生成与所述第二初始数据集的风格相同的第四生成数据集，所述第三生成数据集经由第二判别器判定与所述第一初始数据集的风格相同；基于所述第一初始数据集、所述第二初始数据集、所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器确定损失函数；对所述损失函数进行最小化计算，得到所述数据风格迁移模型。
57.在一些实施例中，所述训练模型为循环生成对抗网络模型。
58.在一些实施例中，所述医学影像设备输出的所述初始数据集的风格至少包括采样率、感光期间、颜色空间。
59.在一些实施例中，所述医学影像诊疗产品至少包括b型超声检查仪、计算机x线断层摄影机、核磁共振仪器。
60.在一些实施例中，所述诊断结果的指标至少包括召回率指标、查准率指标、f1分数
指标。
61.在一些实施例中，基于全部所述诊断结果对应的所述召回率指标的变化、所述查准率指标的变化和所述f1分数指标的变化，得到所述医学影像诊疗产品跨设备的诊断泛化性的检测结果。
62.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
63.上述实施例的装置用于实现前述任一实施例中相应的医学影像诊断设备的诊断泛化性的检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
64.基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的医学影像诊断设备的诊断泛化性的检测方法。
65.图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
66.处理器1010可以采用通用的cpu（central processing unit，中央处理器）、微处理器、应用专用集成电路（application specific integrated circuit，asic）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
67.存储器1020可以采用rom（read only memory，只读存储器）、ram（random access memory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
68.输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/ 模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
69.通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如usb、网线等）实现通信，也可以通过无线方式（例如移动网络、wifi、蓝牙等）实现通信。
70.总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
71.需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
72.上述实施例的电子设备用于实现前述任一实施例中相应的医学影像诊断设备的诊断泛化性的检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
73.基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的医学影像诊断设备的诊断泛化性的检测方法。
74.本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（pram）、静态随机存取存储器（sram）、动态随机存取存储器（dram）、其他类型的随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、快闪记忆体或其他内存技术、只读光盘只读存储器（cd-rom）、数字多功能光盘（dvd）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
75.上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的医学影像诊断设备的诊断泛化性的检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
76.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围（包括权利要求）被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
77.另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（ic）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
78.尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态ram（dram））可以使用所讨论的实施例。
79.本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。