图像处理模型的训练方法和病灶图像分割方法与流程

本发明涉及图像处理，更具体地，涉及一种图像处理模型的训练方法、病灶图像分割方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着深度学习技术的发展，医学图像的自动识别和定量分析在医疗辅助诊断领域也是愈加重要。准确的图像识别分割可以帮助医师快速准确的识别病灶部位，而量化定性分析更是让医师在不同程度上加深对病灶病理的理解，促进诊疗效率和对疾病研究，提高病灶是别的准确性，也为临床医生提供更好的辅助诊断工具。

2、肝脏疾病在世界上发病和致死率均排名前列，传统医学对肝脏肿瘤的大小、位置、形态等判断高度依赖于医生对患者的放射扫描图进行分析，因此自动肝脏肿瘤分割技术具备较高的临床价值，但是肝脏与相邻器官对比度较低，所以在计算机图像自动识别方向上面临巨大挑战，在一些病灶的边缘不够清晰，造成卷积神经网络在特征提取效果上表现比较差。

3、在实现本发明构思的过程中，发明人发现相关技术中提供的病灶分割图像与实际真实的图像之间的准确性较低。

技术实现思路

1、有鉴于此，本发明提供了一种图像处理模型的训练方法、病灶图像分割方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、本发明的一个方面提供了一种图像处理模型的训练方法，包括：

3、获取图像与文本训练集，其中，上述图像与文本训练集包括对应不同目标对象的器官的多个训练图像、与每个上述训练图像对应的文本描述信息以及多个图像标签，每个上述图像标签表征上述器官的病灶标记区域；

4、针对每个上述训练图像，利用第一图像编码模型处理上述训练图像，得到多个图像特征矢量数据，其中，上述第一图像编码模型是根据聚合注意力网络和门控时间卷积网络构建的；

5、利用第一图像解码模型处理上述文本描述信息和多个上述图像特征矢量数据，得到多个文本特征数据，其中，上述第一图像解码模型是根据注意力网络和长短期记忆网络构建的；

6、利用第二图像编码模型处理多个上述文本特征数据，生成多个文本特征矢量数据，其中，初始图像分割模型包括上述第一图像编码模型、上述第一图像解码模型和上述第二图像编码模型；

7、根据多个上述图像特征矢量数据、多个上述文本特征数据、多个上述文本特征矢量数据和器官掩模数据和标记信息，生成多个输出分割图像，其中，上述输出分割图像包括预测标记区域；

8、根据多个上述输出分割图像和多个上述图像标签，迭代地调整上述初始图像分割模型的网络参数，得到经训练的图像处理模型。

9、本发明的另一方面提供了一种图像处理模型的训练装置，包括：

10、第一获取模块，用于获取图像与文本训练集，其中，上述图像与文本训练集包括对应不同目标对象的器官的多个训练图像、与每个上述训练图像对应的文本描述信息以及多个图像标签，每个上述图像标签表征上述器官的病灶标记区域；

11、第一编码模块，用于针对每个上述训练图像，利用第一图像编码模型处理上述训练图像，得到多个图像特征矢量数据，其中，上述第一图像编码模型是根据聚合注意力网络和门控时间卷积网络构建的；

12、解码模块，用于利用第一图像解码模型处理上述文本描述信息和多个上述图像特征矢量数据，得到多个文本特征数据，其中，上述第一图像解码模型是根据注意力网络和长短期记忆网络构建的；

13、第二编码模块，用于利用第二图像编码模型处理多个上述文本特征数据，生成多个文本特征矢量数据，其中，初始图像分割模型包括上述第一图像编码模型、上述第一图像解码模型和上述第二图像编码模型；

14、生成模块，用于根据多个上述图像特征矢量数据、多个上述文本特征数据、多个上述文本特征矢量数据和器官掩模数据和标记信息，生成多个输出分割图像，其中，上述输出分割图像包括预测标记区域；

15、调整模块，用于根据多个上述输出分割图像和多个上述图像标签，迭代地调整上述初始图像分割模型的网络参数，得到经训练的图像处理模型。

16、本发明的另一方面提供了一种病灶图像分割装置，包括：

17、第二获取模块，用于获取与待识别人群的待识别图像和待识别病例信息；

18、处理模块，用于将上述待识别图像和上述待识别病例信息输入至图像处理模型，输出多个病灶分割图像。

19、本发明的另一个方面提供了一种电子设备，包括：

20、一个或多个处理器；

21、存储器，用于存储一个或多个程序，

22、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

23、本发明的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

24、本发明的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

25、根据本发明的实施例，通过第一图像编码模型处理训练图像，得到多个图像特征矢量数据，利用第一图像解码模型对文本描述信息和多个图像特征矢量数据，得到多个文本特征数据，再利用第二图像编码模型处理多个文本特征数据，生成多个文本特征矢量数据，由此根据多个图像特征矢量数据、多个文本特征数据、多个文本特征矢量数据和器官掩模数据和标记信息，生成多个输出分割图像，最后根据多个输出分割图像和多个图像标签进行训练，从而得到图像处理模型。由于本发明在训练的过程中进一步结合由文本描述信息所得到的文本特征数据，由此使得最后得到的输出分割图像更加贴合实际诊断，从而能够提高图像处理模型输出的输出分割图像的准确性。

技术特征：

1.一种图像处理模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，利用第一图像解码模型处理所述文本描述信息和多个所述图像特征矢量数据，得到多个文本特征数据，包括：

3.根据权利要求1或2所述的方法，其特征在于，在利用第一图像解码模型处理所述文本描述信息和所述图像特征矢量数据之前，还包括：

4.根据权利要求1所述的方法，其特征在于，所述第一图像编码模型包括i个初始图像编码模块和目标图像编码模块；

5.根据权利要求4所述的方法，其特征在于，针对任意一个初始图像编码模块，所述第i初始分割图像是通过如下方式生成的：

6.根据权利要求4或5所述的方法，其特征在于，利用所述目标图像编码模块处理第i个初始图像编码模块输出的第i初始分割图像，生成目标输出图像，包括：

7.根据权利要求5所述的方法，其特征在于，利用第一门控时间卷积网络处理所述第二归一化图像，生成第一卷积图像，包括：

8.根据权利要求1所述的方法，其特征在于，根据多个所述图像特征矢量数据、多个所述文本特征数据、多个所述文本特征矢量数据和器官掩模数据和标记信息，生成多个输出分割图像，包括：

9.根据权利要求1所述的方法，其特征在于，根据多个所述输出分割图像和多个所述图像标签，迭代地调整所述初始图像分割模型的网络参数，得到经训练的图像处理模型，包括：

10.一种病灶图像分割方法，其特征在于，包括：

技术总结本发明提供了一种图像处理模型的训练方法和病灶图像分割方法，该训练方法包括获取图像与文本训练集；针对每个训练图像，利用第一图像编码模型处理训练图像，得到多个图像特征矢量数据；利用第一图像解码模型处理文本描述信息和多个图像特征矢量数据，得到多个文本特征数据；利用第二图像编码模型处理多个文本特征数据，生成多个文本特征矢量数据；根据多个图像特征矢量数据、多个文本特征数据、多个文本特征矢量数据和器官掩模数据和标记信息，生成多个输出分割图像，其中，输出分割图像包括预测标记区域；根据多个输出分割图像和多个图像标签，迭代地调整初始图像分割模型的网络参数，得到经训练的图像处理模型。技术研发人员：于波,王浪,廖曦文,张帅受保护的技术使用者：北京华科微数科技有限公司技术研发日：技术公布日：2024/9/9