联合自监督噪声去除的图像分割方法及模型训练方法与流程

本技术涉及图像处理，具体提供一种联合自监督噪声去除的图像分割方法及模型训练方法。

背景技术：

1、ct影像是一种显示人体内部解剖结构及病变器官的非侵入性的高精度成像技术，已广泛应用于医学医学影像。但是由于辐射剂量、电压电流以及外界环境等条件的变化，ct医学影像在采集过程中会引入噪声、伪影以及相关的重建噪声，导致ct医学影像的成像质量参差不齐，进而影响医师的诊断结果。因此，为了实现危及器官的准确分割，对ct医学影像内伪影、噪声的去除是关键步骤。

2、目前，ct医学影像的去噪和分割通常是两个相互独立的过程。在去噪应用中，传统去噪方法主要包括空间域算法和变换域算法，但其存在去噪类型单一、高频信息丢失等问题；而基于深度学习算法的全监督医学影像去噪网络(例如dncnn、cbdnet等)存在难以获取无噪声医学影像数据的不足。在分割应用中，基于深度学习的医学影像语义分割方法已成为医学医学影像分割领域的主流算法。因此，如何基于医学影像语义分割方法，将去噪过程和分割过程相结合，使分割过程能够共享去噪过程的成果，进一步提高对于含噪ct医学影像的分割准确率以及泛化性能，同时在去噪学习过程，不需要引入专用训练样本，已成为亟待解决的问题。

3、相应地，本领域需要一种新的方案来解决上述问题。

技术实现思路

1、本技术旨在解决或部分解决上述技术问题，即，解决如何基于医学影像语义分割方法，将分割网络和去噪网络相结合，并结合自监督对去噪网络和分割网络进行联合训练的问题。

2、在第一方面，本技术提出了一种联合自监督噪声去除的图像分割方法，所述方法包括：

3、获取待处理图像；

4、基于训练好的联合自监督噪声去除的图像分割模型，获取所述待处理图像对应的分割图像和去噪图像；

5、所述联合自监督噪声去除的图像分割模型包括编码器、第一解码器、第二解码器、第一跳跃连接、第二跳跃连接和第三跳跃连接；

6、所述编码器的输出端分别与所述第一解码器的输入端和所述第二解码器的输入端相连接，所述第一解码器用于获取所述去噪图像，所述第二解码器用于获取所述分割图像；

7、所述第一跳跃连接为所述编码器到所述第一解码器的跳跃连接，用于将所述编码器中的底层信息特征数据传送至所述第一解码器；

8、所述第二跳跃连接为所述编码器到所述第二解码器的跳跃连接，用于将所述底层信息特征数据传送至所述第二解码器；

9、所述第三跳跃连接为所述第一解码器到所述第二解码器的跳跃连接，用于将所述第一解码器中的去噪信息特征数据传送至所述第二解码器。

10、在上述联合自监督噪声去除的图像分割方法的一个实施方式中，所述编码器包括第三数量的编码层，所述第一解码器包括第一数量的第一解码层和至少一个第一特征融合层，所述第二解码器包括第二数量的第二解码层和至少一个第二特征融合层，所述方法还包括：

11、基于所述第一特征融合层，将所述去噪信息特征数据和所述底层信息特征数据进行融合；

12、基于所述第二特征融合层，将所述第二解码器中的分割信息特征数据、所述去噪信息特征数据和所述底层信息特征数据进行融合。

13、在上述联合自监督噪声去除的图像分割方法的一个实施方式中，“基于所述第二特征融合层，将所述第二解码器中的分割信息特征数据、所述去噪信息特征数据和所述底层信息特征数据进行融合”至少包括下列一种融合方法：

14、直接融合所述分割信息特征数据、所述去噪信息特征数据和所述底层信息特征数据；

15、先融合所述分割信息特征数据和所述去噪信息特征数据，得到第一融合特征数据，所述第一融合特征数据经过所述第二解码层解码后得到新分割信息特征数据，该新分割信息特征数据再与所述底层信息特征数据进行融合；

16、先融合所述分割信息特征数据和所述底层信息特征数据，得到第二融合特征数据，所述第二融合特征数据经过所述第二解码层解码后得到新分割信息特征数据，该新分割信息特征数据再与所述去噪信息特征数据进行融合。

17、在上述联合自监督噪声去除的图像分割方法的一个实施方式中，所述方法还包括：

18、所述第一跳跃连接将所述底层信息特征数据直接传送至所述第一解码器，或者，将所述底层信息特征数据通过第一特征增强方法进行特征增强后，传送至所述第一解码器；

19、所述第二跳跃连接将所述底层信息特征数据直接传送至所述第二解码器，或者，将所述底层信息特征数据通过第二特征增强方法进行特征增强后，传送至所述第二解码器；

20、所述第三跳跃连接将所述去噪信息特征数据直接传送至所述第二解码器，或者，将所述去噪信息特征数据通过第三特征增强方法进行特征增强后，传送至所述第二解码器。

21、在上述联合自监督噪声去除的图像分割方法的一个实施方式中，所述方法还包括：

22、基于卷积构建所述编码层；

23、基于反卷积、插值法、反池化法中的至少一种，构建所述第一解码层；

24、基于反卷积、插值法、反池化法中的至少一种，构建所述第二解码层。

25、在第二方面，本技术提出了一种模型训练方法，应用于获取训练好的上述实施例中任一项所述的联合自监督噪声去除的图像分割模型，所述训练方法包括：

26、获取训练图像；

27、基于自监督模块，获取所述训练图像对应的第一监督图像和第二监督图像；

28、将所述训练图像和所述第一监督图像输入所述联合自监督噪声去除的图像分割模型，获取所述训练图像对应的训练分割图像，以及所述第一监督图像对应的第一监督去噪图像；

29、基于所述第一监督去噪图像、所述第二监督图像和所述训练分割图像构建模型损失函数；

30、基于所述模型损失函数，训练所述联合自监督噪声去除的图像分割模型。

31、在上述模型训练方法的一个实施方式中，所述方法还包括：

32、基于所述编码器获取所述第一监督图像的监督图像底层信息特征数据，所述第一跳跃连接仅将所述监督图像底层信息特征数据传送至所述第一解码器；

33、基于所述编码器获取所述训练图像的训练图像底层信息特征数据，所述第二跳跃连接仅将所述训练图像底层信息特征数据传送至所述第二解码器；

34、仅所述训练图形对应的所述编码器的输出特征数据输出至所述第二解码器；

35、所述训练图形对应的所述编码器的输出特征数据和所述第一监督图像对应的所述编码器的输出特征数据均输出至所述第一解码器；

36、基于所述第一解码器获取所述训练图像的训练图像去噪信息特征数据，所述第三跳跃连接将所述训练图像去噪信息特征数据传送至所述第二解码器。

37、在上述模型训练方法的一个实施方式中，所述模型损失函数包括去噪损失函数、分割损失函数和联合损失函数，所述模型损失函数的构建方法包括：

38、基于所述第一监督去噪图像和所述第二监督图像，构建所述去噪损失函数；

39、基于所述训练分割图像和所述训练图像对应的分割标签，构建所述分割损失函数；

40、基于所述去噪损失函数和所述分割损失函数，构建所述联合损失函数。

41、在上述模型训练方法的一个实施方式中，所述训练方法还包括：

42、基于所述联合损失函数训练所述编码器、所述第一解码器和所述第二解码器；或者，

43、基于所述联合损失函数训练所述编码器和所述第二解码器，基于所述去噪损失函数训练所述第一解码器；或者，

44、基于所述联合损失函数训练所述第二解码器，基于所述去噪损失函数训练所述编码器和所述第一解码器。

45、在上述模型训练方法的一个实施方式中，所述训练方法还包括：

46、基于neighbor策略、noise2noise策略或noise2self策略中的一种，构建自监督模块。

47、在采用上述技术方案的情况下，本技术能够将编码器中的底层信息特征数据、去噪网络解码器中的去噪信息特征数据与分割网络解码器中的分割信息特征数据进行融合，融合后的特征数据包含更丰富的语义信息，能够优化分割效果，进一步提升了分割模型的分割准确率以及泛化性能。通过自监督去噪网络与分割网络的联合训练，可以使得去噪网络中的特征学习更加契合分割网络的需要，进一步提高对噪声数据的分割精度。