一种临床皮肤图像自动采集方法及系统

本发明属于皮肤图像检测、设备自动控制领域，尤其涉及一种临床皮肤图像采集方法及系统。

背景技术：

1、在皮肤疾病的诊疗的实践中，临床图像是重要的信息来源，特别是在远程诊疗的过程中，其往往是进行皮肤疾病筛查的重要依据。然而，在远程医疗场景中，基层医院或者患者自身常常难以获得高质量的临床图像，这并非是由于目前手机、平板等拍照设备的拍摄性能不足，而是因为现有的采集方案往往通过人工拍摄或者设备简单地自动拍摄，在图像采集设备的选区和对焦时，未能设计标准化的采集方法或采集系统，导致在图像采集的过程中焦点常常聚焦在其他的身体部位或无效背景上，使得病变区域拍摄模糊。

2、目前的临床皮肤图像并没有一套标准化的采集方案，在一些专用的设备，比如皮肤镜设备上，也没有专门针对皮肤病变图像的采集设计自动对焦系统，导致现有的图像采集设备不能够发挥出其高质量的拍摄性能，采集到的图像废片率高、诊疗价值低，同时重复进行人工拍摄和采集增加了人工成本和医疗负担。因此，对于提升远程医疗的筛查准确度而言，设计一套自动对焦的皮肤破损、病变图像采集方法尤为重要。

技术实现思路

1、本发明所要解决的技术问题是现有采集方案废片率高、诊疗价值低、人工成本高，克服以上背景技术中提到的不足和缺陷，提供一种临床皮肤图像自动采集方法及系统。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种临床皮肤图像自动采集方法，包括以下步骤：

4、s1、预处理临床皮肤图像；

5、s2、生成临床皮肤图像中皮肤皮损处对应的检测框；

6、所述皮肤皮损包括皮肤破损、病变或残缺中的一种或多种。

7、确定检测框面积，计算检测框面积在临床皮肤图像整体面积中所占的比例并标注；

8、对检测框内皮肤皮损部位对应的图像质量进行评分，获得临床皮肤图像质量评分结果并标注；

9、s3、构建临床皮肤图像数据集；临床皮肤图像数据集包含临床图像、检测框面积在临床皮肤图像整体面积中所占的比例标注和临床皮肤图像质量评分结果的标注；

10、s4、基于所述临床皮肤图像数据集，构建并训练病变部位检测和质量评估模型；所述病变部位检测和质量评估模型以临床皮肤图像作为输入，以皮肤皮损部位对应的检测框、检测框面积在临床皮肤图像整体面积中所占的比例和临床皮肤图像质量评分结果作为输出；

11、s5、将实时获取的临床皮肤图像输入病变部位检测和质量评估模型，获得皮肤皮损部位对应的检测框、检测框面积在临床皮肤图像整体面积中所占的比例和临床皮肤图像质量评分结果；

12、s6、设置检测框面积在临床皮肤图像整体面积中所占的比例的最大、最小阈值，将实时获取的检测框面积在临床皮肤图像整体面积中所占的比例与所述最大、最小阈值进行比较；当该比例小于最小阈值或大于最大阈值，判定为不合格，调整临床皮肤图像采集设备，回到s5进行图像的重采集，当检测框尺寸不小于最小阈值且不大于最大阈值，判定为合格，进入s7；

13、s7、设置临床皮肤图像质量评分结果的最小阈值，将实时的临床皮肤图像质量评分结果与最小阈值进行比较，当质量评分结果低于最小阈值，判定为不合格，调整临床皮肤图像采集设备，回到s5进行图像的重采集；当质量评分结果不低于最小阈值，判定为合格，进入s8；

14、s8、保留皮肤皮损部位对应的检测框、临床皮肤图像质量评分结果和对应的临床皮肤图像作为采集结果。

15、优选的，所述预处理具体包括：将包含皮肤皮损部位的图像保留，其余图像筛除。

16、优选的，所述图像质量的评分标准包括图像的清晰度和/或曝光度。

17、优选的，所述基于所述临床皮肤图像数据集，构建并训练病变部位检测和质量评估模型具体包括：

18、按照一定比例，将临床皮肤图像数据集划分成训练数据集、测试数据集；

19、基于临床皮肤图像训练数据集，构建并训练病变部位检测和质量评估模型，基于临床皮肤图像测试数据集，进行病变部位检测和质量评估模型的测试；

20、更优选的，采集测试用的临床皮肤图像，对病变部位检测和质量评估模型进行真实世界验证，验证成功后得到病变部位检测和质量评估模型。

21、优选的，所述病变部位检测和质量评估模型，包括编码器、解码器和由池化层和线性层构成的回归解码器和分类解码器；

22、所述编码器对临床皮肤图像进行编码，所述解码器对编码器编码的特征进行解码从而得到皮肤皮损部位对应的检测框，所述池化层对编码进行池化，所述线性层输出检测框面积在临床皮肤图像整体面积中所占的比例和临床皮肤图像质量评分结果。

23、优选的，步骤s6中，所述调整临床皮肤图像采集设备具体包括：记录拍摄焦距，对临床皮肤图像采集设备输入指令，调整采集设备采集到的图像中检测框面积在临床皮肤图像整体面积中所占的比例；

24、步骤s7中，所述调整临床皮肤图像采集设备具体包括：基于步骤s6所记录的拍摄焦距，对临床皮肤图像采集设备输入指令，调整采集设备的焦点调整焦点至检测框中央，进行重新对焦。

25、本方案中需要先确定拍摄焦距，调整采集到的图像中检测框面积在临床皮肤图像整体面积中所占的比例，再在确定的焦距下进一步对焦调整图像的清晰度、曝光度等。

26、优选的，所述输入指令的方式包括手势缩放和/或手动对焦。

27、优选的，所述调整焦距和/或缩放尺寸具体包括：通过手动对焦，调整病变部位至病变检测框的中心。

28、优选的，在所述步骤s5-步骤s8中，将实时获取的临床皮肤图像输入病变部位检测和质量评估模型后，所述皮肤皮损部位对应的检测框同步显示在临床皮肤图像采集设备的拍摄界面上。

29、在同一个技术构思下，本发明还提供一种临床皮肤图像自动对焦采集系统，所述采集系统包含处理器，所述处理器包括以下模块：

30、图像收集预处理模块：预处理临床皮肤图像；

31、标注模块：用于确定检测框面积，计算检测框面积在临床皮肤图像整体面积中所占的比例并标注；对检测框内皮肤皮损部位对应的图像质量进行评分，获得床皮肤图像质量评分结果并标注；

32、病变部位检测和质量评估模型训练模块：用于基于所述临床皮肤图像数据集，构建并训练病变部位检测和质量评估模型；

33、病变部位检测和质量评估模型测试模块：用于将实时获取的临床皮肤图像输入病变部位检测和质量评估模型，获得皮肤皮损部位对应的检测框、检测框面积在临床皮肤图像整体面积中所占的比例和临床皮肤图像质量评分结果；

34、病变部位大小监督模块：用于设置检测框面积在临床皮肤图像整体面积中所占的比例的最大、最小阈值，将实时获取的检测框面积在临床皮肤图像整体面积中所占的比例与所述最大、最小阈值进行比较；当该比例小于最小阈值或大于最大阈值，判定为不合格，调整临床皮肤图像采集设备，进行图像的重采集，当检测框尺寸不小于最小阈值且不大于最大阈值，判定为合格，进入后续步骤；

35、质量评分监督模块：设置临床皮肤图像质量评分结果的最小阈值，将实时的临床皮肤图像质量评分结果与最小阈值进行比较，当质量评分结果低于最小阈值，判定为不合格，调整临床皮肤图像采集设备，进行图像的重采集；当质量评分结果不低于最小阈值，判定为合格，判定为合格，将皮肤皮损部位对应的检测框、临床皮肤图像质量评分结果以及其对应临床皮肤图像作为采集结果保留；

36、拍摄模块：用于调整临床皮肤图像采集设备拍摄，获取临床皮肤图像。

37、与现有技术相比，本发明的有益效果为：

38、(1)本发明设计了一套临床皮肤图像自动采集方法及系统，通过基于深度学习的病变检测网络、病变图像质量评估网络和后续自动控制方法相结合，实现自动的病变对焦和高质量的病变图像采集；通过该方法可以避免图像采集设备对焦到人脸、或其他部位以及无效背景导致的采集图像病变失焦或过度曝光，大幅度提升临床皮肤图像的采集质量以及采集效率；

39、(2)该方法设置了临床皮肤图像的采集标准和质量监督方案，同时采用病变检测框和病变图像质量两部分进行监督，先通过病变部位大小监督保证检测框截取的临床皮肤整体面积比例合理，再通过质量评分监督模块保证检测框内临床皮肤图像的清晰度等，并且全程采用自动化监督和调整；确保了病变图像的大小、清晰度、曝光程度等各方面因素符合高质量临床诊断需求，能够更好的满足医疗实际的标准，特别是能够提高远程医疗场景下的病变筛查精度。