一种虚拟皮肤镜图像生成方法及系统

本发明属于临床皮肤图像生成领域，尤其涉及一种皮肤镜图像生成方法及系统。

背景技术：

1、在皮肤疾病的诊断中，临床图像和皮肤镜图像都是重要的诊断依据，是进行皮肤疾病诊断的基础。然而，在远程医疗场景中，基层医院或者患者自身常常难以获得皮肤镜的图像，临床医生不得不仅仅依靠临床图像来进行疾病的初步筛查，导致初筛的准确率下降、效率降低，对患者就医有着很大的影响。在有限的条件下，提升远程医疗的筛查准确度对于偏远地区患者具有重要的意义。

2、目前已有一些研究通过生成网络实现不同模态间的图像生成，如有研究提出使用超声图像来生成虚拟的弹性超声图像帮助诊断，提升诊断精度。然而，在虚拟皮肤镜图像的生成中，由于临床图像和对应的皮肤镜图像存在偏移、变形等问题，采用超声图像虚拟生成仍然无法解决，难以实现准确的图像生成。另外，针对皮损面积比较大的情况，对于皮肤镜图像和临床图像中对应区域的配准问题，现有技术中也未能提出很好的解决方案。

技术实现思路

1、本发明所要解决的技术问题是现有技术无法进行皮肤镜图像和临床图像的准确匹配和生成，克服以上背景技术中提到的不足和缺陷，提供一种虚拟皮肤镜图像生成方法及系统。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种虚拟皮肤镜图像生成方法，所述方法包括：

4、s1、预处理临床皮肤图像和皮肤镜图像；

5、s2、对临床皮肤图像和皮肤镜图像中的皮肤皮损部位所对应的分割掩码进行标注，构成临床皮肤图像数据集和皮肤镜图像数据集；将临床皮肤图像和皮肤镜图像配对，得到配对数据集和非配对数据集；

6、将配对数据集和非配对数据集划分为配对训练集和非配对训练集，以及配对测试集和非配对测试集；

7、s3、根据临床皮肤图像数据集，构建临床皮肤图像病变部位的第一分割模型，所述第一分割模型以临床皮肤图像作为输入，以皮肤皮损部位所对应的临床皮肤图像分割掩码作为输出；

8、s4、根据皮肤镜图像数据集，构建皮肤镜图像病变部位的第二分割模型，所述第二分割模型以皮肤镜图像作为输入，以皮肤皮损部位所对应的皮肤镜图像分割掩码作为输出；

9、s5、将s3、s4中得到的临床皮肤图像分割掩码和皮肤镜图像分割掩码进行配对，得到配对分割掩码，再将配对分割掩码相对应的临床皮肤图像和皮肤镜图像进行配对，得到配对图像；

10、s6、根据非配对数据集，训练并测试非配对皮肤镜生成模型，再根据s5中得到的配对图像对非配对皮肤镜生成模型进行再训练，得到虚拟皮肤镜图像生成模型；

11、所述虚拟皮肤镜图像生成模型以临床皮肤图像为输入，以虚拟皮肤镜图像为输出；

12、s7、对虚拟皮肤镜图像生成模型进行测试；

13、s8、将实时获取的临床皮肤图像输入虚拟皮肤镜图像生成模型中，得到当前临床皮肤图像所对应的虚拟皮肤镜图像。

14、优选的，步骤s1中所述预处理包括：将包含皮肤皮损部位的临床皮肤图像和皮肤镜图像保留，其余图像筛除。

15、优选的，步骤s2中所述对临床皮肤图像和皮肤镜图像中的皮肤皮损部位所对应的分割掩码进行标注，标注所述分割掩码的长轴和短轴。

16、优选的，步骤s5中所述将s3、s4中得到的临床皮肤图像分割掩码和皮肤镜图像分割掩码进行配对具体包括：将s2中得到的临床皮肤图像和皮肤镜图像的长轴和短轴进行区分，根据两者长轴短轴之间的对应关系，通过旋转、平移或放缩中的一种或多种方法，将临床皮肤图像分割掩码和皮肤镜图像分割掩码进行调整配对。

17、优选的，步骤s4中所述将配对分割掩码相对应的临床皮肤图像进行配对具体包括：将配对分割掩码相对应临床皮肤图像通过旋转、平移或放缩中的一种或多种方法进行调整配对。

18、优选的，步骤s6中所述训练非配对皮肤镜生成模型具体包括：

19、第一步，针对非配对的临床皮肤图像和皮肤镜图像分别构建两对生成器和判别器；

20、将非配对的临床皮肤图像或皮肤镜图像分别输入生成器生成虚拟图像，将所述虚拟图像分别和真实的临床皮肤图像或皮肤镜图像一起输入判别器进行判别监督；从而训练生成器生成的虚拟皮肤镜图像难以被判别器判别出来。

21、第二步，将临床图像输入皮肤镜图像生成器获得虚拟皮肤镜图像，将虚拟皮肤镜图像输入临床图像生成器获得再虚拟的临床图像，虚拟的临床图像和原始的临床皮肤图像一起输入判别器进行判别监督；训练得到非配对皮肤镜生成模型。

22、在第二步中，将上一步骤获得的两对生成器进行嵌套；嵌套训练是为了达成在不匹配的情况下尽量生成匹配的图像。

23、优选的，步骤s6中所述根据配对图像对非配对皮肤镜生成模型进行再训练具体包括：

24、将步骤s5的配对图像中的临床皮肤图像输入非配对皮肤镜生成模型进行模型的再训练，获得虚拟皮肤镜图像，再通过所述配对图像中的皮肤镜图像对虚拟皮肤镜图像进行监督。

25、在同一个技术构思下，本发明还提供一种虚拟皮肤镜图像生成系统，所述生成系统包含处理器，所述处理器包括以下模块：

26、图像收集预处理模块：用于收集临床皮肤图像和皮肤镜图像，进行数据清洗筛查和预处理；

27、标注模块：用于对临床皮肤图像和皮肤镜图像中的皮肤皮损部位所对应的分割掩码进行标注，构成临床皮肤图像数据集和皮肤镜图像数据集；将临床皮肤图像和皮肤镜图像配对，得到配对数据集和非配对数据集；

28、临床皮肤图像病变部位分割模型训练模块：用于根据临床皮肤图像数据集，构建临床皮肤图像病变部位的第一分割模型；所述第一分割模型以临床皮肤图像作为输入，以皮肤皮损部位所对应的临床皮肤图像分割掩码作为输出；

29、皮肤镜图像病变部位分割模型训练模块：用于根据皮肤镜图像数据集，构建皮肤镜图像病变部位的第二分割模型，所述第二分割模型以皮肤镜图像作为输入，以皮肤皮损部位所对应的皮肤镜图像分割掩码作为输出；

30、配对模块：用于临床皮肤图像分割掩码和皮肤镜图像分割掩码进行配对，得到配对分割掩码，再将配对分割掩码相对应的临床皮肤图像和皮肤镜图像进行配对，得到配对图像；

31、虚拟皮肤镜图像生成模型训练模块：用于根据非配对数据集，训练非配对皮肤镜生成模型，再根据配对图像对非配对皮肤镜生成模型进行再训练，得到虚拟皮肤镜图像生成模型；

32、所述虚拟皮肤镜图像生成模型以临床皮肤图像为输入，以虚拟皮肤镜图像为输出；

33、根据配对测试集和非配对测试集，分别对非配对皮肤镜生成模型和虚拟皮肤镜图像生成模型进行测试；

34、虚拟皮肤镜图像生成模块：用于将实时获取的临床皮肤图像输入虚拟皮肤镜图像生成模型中，得到当前临床皮肤图像所对应的虚拟皮肤镜图像。

35、与现有技术相比，本发明的有益效果为：

36、(1)提出了一种虚拟皮肤镜图像生成方法，该方法可以利用历史的临床皮肤图像和皮肤镜图像，训练临床皮肤图像分割模型、皮肤镜图像分割模型、以及虚拟皮肤镜图像生成模型，对于实践中难以采集皮肤镜图像，仅能提供临床皮肤图像的情况，可以通过本发明中的模型生成虚拟皮肤镜图像，从而为远程诊疗当中的临床医生提供更多的视角，提高远程诊疗疾病筛查的多元性、准确性和效率；

37、(2)本发明设计的虚拟皮肤镜生成模型，在非配对模型的基础上，增加了配对数据的监督训练，提升了模型生成虚拟皮肤镜图像的真实性。