一种图像处理的方法、装置、存储介质及电子设备与流程

本说明书涉及图像处理领域，尤其涉及一种图像处理的方法、装置、存储介质及电子设备。

背景技术：

1、随着医学技术的发展，医生可以通过各种医学影像设备对人体进行扫描，获得用户的医学影像，并对医学影像中的病灶进行观察，以预测用户可能患有的疾病。为了减少医学影像中其他区域对医生预测结果的影响，可将医学影像输入该医学影像输入图像分割模型，得到仅包含感兴趣区域(病灶)的图像。该图像分割模型需要预先通过大量的样本图像及样本图像的标签进行训练，以得到分割结果精度高的图像分割模型。

2、当前的标签通常通过人工标注得到的，人工标注效率较低。为了提高图像分割模型训练效率，在对图像分割模型进行训练时，可减少标签的数量，但会导致图像分割模型的精度不高，输出的感兴趣区域的图像不准确，还需要人工进行二次分割，且人工进行二次分割仍相对耗时。

3、因此，如何提高获得高精度的标签的效率是亟待解决的问题。

4、基于此，本说明书提供一种图像处理的方法。

技术实现思路

1、本说明书提供一种图像处理的方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供一种图像处理的方法，包括：

4、获取待分割医学图像；

5、响应于对所述待分割医学图像的指定操作，确定所述待分割医学图像的提示信息；

6、将所述待分割医学图像及所述提示信息输入图像细分割模型，得到所述图像细分割模型输出的所述待分割医学图像的分割结果；

7、基于所述分割结果，并继续响应于对所述待分割医学图像的指定操作，重新确定所述提示信息，直至将所述分割结果确定为目标图像。

8、可选地，响应于对所述待分割医学图像的指定操作，确定所述待分割医学图像的提示信息，具体包括：

9、首次确定所述待分割医学图像的提示信息时，将用户在所述待分割医学图像中标注的区域确定为提示信息，或

10、确定所述待分割医学图像的最大连通域，将所述最大连通域作为所述待分割医学图像的提示信息；

11、非首次确定所述待分割医学图像的提示信息时，根据所述分割结果及所述指定操作，确定所述待分割医学图像的提示信息。

12、可选地，根据所述分割结果及所述指定操作，确定所述待分割医学图像的提示信息，具体包括：

13、展示所述分割结果及所述待分割医学图像；

14、根据所述指定操作，确定用户基于展示的所述分割结果在所述待分割医学图像中标注的区域，得到提示区域；

15、融合所述提示区域及所述分割结果，得到所述待分割医学图像的提示信息。

16、可选地，所述指定操作包括点提示、笔刷提示、输入文本信息、轮廓线提示中的至少一个；

17、响应于对所述待分割医学图像的指定操作，确定所述待分割医学图像的提示信息，具体包括：

18、当所述指定操作为输入文本信息时，根据所述文本信息，在所述待分割医学图像中，确定所述文本信息对应的区域，作为所述待分割医学图像的提示信息；

19、当所述指定操作为笔刷提示时，响应于用户对笔刷大小的调整，确定所述点提示及轮廓线提示的调整幅度；

20、根据所述指定操作及所述调整幅度，确定所述待分割医学图像的提示信息。

21、可选地，根据所述指定操作及所述调整幅度，确定所述待分割医学图像的提示信息，具体包括：

22、当所述指定操作为点提示时，根据所述指定操作及所述调整幅度，确定所述用户的提示点；根据所述用户的提示点及所述待分割医学图像，确定所述待分割医学图像的提示信息，其中，所述提示信息包括所述提示点；

23、当所述指定操作为轮廓线提示时，根据所述指定操作及所述调整幅度，确定所述用户的提示轮廓线；根据所述用户的提示轮廓线及所述待分割医学图像，确定所述待分割医学图像的提示信息，其中，所述提示信息包括所述提示轮廓线。

24、可选地，所述图像细分割模型包括图像编码器、提示编码器及解码器；

25、将所述待分割医学图像及所述提示信息输入图像细分割模型，得到所述图像细分割模型输出的所述待分割医学图像的分割结果，具体包括：

26、将所述待分割医学图像输入图像细分割模型中的图像编码器，得到所述图像编码器输出的所述待分割医学图像的特征向量；并，

27、将所述提示信息输入图像细分割模型中的提示编码器，得到所述提示编码器输出的所述提示信息的提示向量；

28、将所述待分割医学图像的特征向量及所述提示向量输入所述图像细分割模型中的解码器，所述解码器根据所述提示信息的提示向量，对所述待分割医学图像的特征向量进行处理，输出所述待分割医学图像的分割结果。

29、可选地，训练初始图像分割模型，具体包括：

30、获取样本待分割医学图像及所述样本待分割医学图像的标签；并确定所述样本待分割医学图像的样本提示信息；

31、将所述样本待分割医学图像及所述样本提示信息输入初始图像分割模型，得到所述初始图像分割模型输出的样本分割结果；

32、根据所述标签，继续确定样本提示信息，以对所述样本待分割医学图像进行分割，直至达到预设条件时，根据所述样本分割结果及所述标签，调整所述初始图像分割模型的参数，得到图像细分割模型。

33、可选地，确定所述样本待分割医学图像的样本提示信息，具体包括：

34、首次确定所述样本待分割医学图像的样本提示信息时，将所述标签中任一区域确定为样本提示区域，得到所述样本待分割医学图像的样本提示信息；

35、非首次确定所述样本待分割医学图像的样本提示信息时，确定所述标签与所述样本分割结果的差异区域，根据所述差异区域，生成用于执行指定操作的指令，根据所述指令，执行指定操作，得到所述样本待分割影像的样本提示信息，其中，所述差异区域包括所述标签中的背景区域和/或所述标签中的前景区域。

36、本说明书提供了一种图像处理的装置，所述装置包括：

37、待分割图像获取模块，用于获取待分割医学图像；

38、提示信息确定模块，用于响应于对所述待分割医学图像的指定操作，确定所述待分割医学图像的提示信息；

39、分割结果确定模块，用于将所述待分割医学图像及所述提示信息输入图像细分割模型，得到所述图像细分割模型输出的所述待分割医学图像的分割结果；

40、重新分割模块，用于基于所述分割结果，并继续响应于对所述待分割医学图像的指定操作，重新确定所述提示信息，直至将所述分割结果确定为目标图像。

41、可选地，所述提示信息确定模块具体用于，首次确定所述待分割医学图像的提示信息时，将用户在所述待分割医学图像中标注的区域确定为提示信息，或确定所述待分割医学图像的最大连通域，将所述最大连通域作为所述待分割医学图像的提示信息；非首次确定所述待分割医学图像的提示信息时，根据所述分割结果及所述指定操作，确定所述待分割医学图像的提示信息。

42、可选地，所述提示信息确定模块具体用于，展示所述分割结果及所述待分割医学图像；根据所述指定操作，确定用户基于展示的所述分割结果在所述待分割医学图像中标注的区域，得到提示区域；融合所述提示区域及所述分割结果，得到所述待分割医学图像的提示信息。

43、可选地，所述指定操作包括点提示、笔刷提示、输入文本信息、轮廓线提示中的至少一个；

44、所述提示信息确定模块具体用于，当所述指定操作为输入文本信息时，根据所述文本信息，在所述待分割医学图像中，确定所述文本信息对应的区域，作为所述待分割医学图像的提示信息；当所述指定操作为笔刷提示时，响应于用户对笔刷大小的调整，确定所述点提示及轮廓线提示的调整幅度；根据所述指定操作及所述调整幅度，确定所述待分割医学图像的提示信息。

45、可选地，所述提示信息确定模块具体用于，当所述指定操作为点提示时，根据所述指定操作及所述调整幅度，确定所述用户的提示点；根据所述用户的提示点及所述待分割医学图像，确定所述待分割医学图像的提示信息，其中，所述提示信息包括所述提示点；当所述指定操作为轮廓线提示时，根据所述指定操作及所述调整幅度，确定所述用户的提示轮廓线；根据所述用户的提示轮廓线及所述待分割医学图像，确定所述待分割医学图像的提示信息，其中，所述提示信息包括所述提示轮廓线。

46、可选地，所述图像细分割模型包括图像编码器、提示编码器及解码器；

47、所述分割结果确定模块具体用于，将所述待分割医学图像输入图像细分割模型中的图像编码器，得到所述图像编码器输出的所述待分割医学图像的特征向量；并，将所述提示信息输入图像细分割模型中的提示编码器，得到所述提示编码器输出的所述提示信息的提示向量；将所述待分割医学图像的特征向量及所述提示向量输入所述图像细分割模型中的解码器，所述解码器根据所述提示信息的提示向量，对所述待分割医学图像的特征向量进行处理，输出所述待分割医学图像的分割结果。

48、可选地，所述装置还包括：

49、训练模块，用于获取样本待分割医学图像及所述样本待分割医学图像的标签；并确定所述样本待分割医学图像的样本提示信息；将所述样本待分割医学图像及所述样本提示信息输入初始图像分割模型，得到所述初始图像分割模型输出的样本分割结果；根据所述标签，继续确定样本提示信息，以对所述样本待分割医学图像进行分割，直至达到预设条件时，根据所述样本分割结果及所述标签，调整所述初始图像分割模型的参数，得到图像细分割模型。

50、可选地，所述训练模块具体用于，首次确定所述样本待分割医学图像的样本提示信息时，将所述标签中任一区域确定为样本提示区域，得到所述样本待分割医学图像的样本提示信息；非首次确定所述样本待分割医学图像的样本提示信息时，确定所述标签与所述样本分割结果的差异区域，根据所述差异区域，生成用于执行指定操作的指令，根据所述指令，执行指定操作，得到所述样本待分割影像的样本提示信息，其中，所述差异区域包括所述标签中的背景区域和/或所述标签中的前景区域。

51、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理的方法。

52、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理的方法。

53、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

54、在本说明书提供的图像处理的方法可以看出，先获取待分割医学图像，通过人机交互的方式，获取具有提示作用的提示信息，将该提示信息及待分割医学图像输入图像细分割模型中，以该提示信息可提示图像细分割模型对该待分割医学图像进行分割，得到分割结果后，再进行人机交互，基于分割结果，得到重新确定的具有提示作用的提示信息，并对待分割医学图像进行分割，直至得到目标图像。也就是说，本方法通过人机交互的方式，得到具有提示作用的提示信息，根据该提示信息，提示图像细分割模型进行图像分割及图像修改，提高了图像修改的效率及图像修改的准确率，进而提高了获得高精度的标签的效率。