图像语义分割方法及系统、设备、介质、产品与流程

本公开涉及医学图像处理，尤其涉及一种图像语义分割方法及系统、设备、介质、产品。

背景技术：

1、现有的深度学习相关技术中，图像分割方法多数基于监督学习，严重依赖于数据的收集和标注，一旦遇到完全没见过的长尾问题，其识别的准确度将大幅下降，即ood难题(out-of-distribution，分布外泛化问题)。另外，监督方法需要大量的真值数据标注，对人工要求大，对标注的精度要求高，数据的准备较为繁琐。

2、半监督方法中，引入先验信息的方法智能在特定任务上提高分割精度，但应用范围有限，且当分割区域的位置和形状差异较大时，先验解剖信息可能会起到反作用；对抗损失和一致性损失、让网络对有无真值标签的数据输出保持一致，是泛化的方法，对所有下游任务都有效，但缺乏对空间信息的挖掘、对边缘处理较差。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中无法对图像进行准确分割的缺陷，提供一种图像语义分割方法及系统、设备、介质、产品。

2、本公开是通过下述技术方案来解决上述技术问题：

3、第一方面，提供一种图像语义分割方法，图像语义分割方法包括：

4、分别获取目标图像的图像视觉特征和像素特征；

5、根据所述图像视觉特征，确定所述目标图像的多个聚类中心；

6、根据所述像素特征与所述多个聚类中心的相似度，确定每个所述像素特征分别对应的一个聚类中心；

7、根据对应同一聚类中心的多个像素特征生成对应的掩码区域；

8、根据所述掩码区域对所述目标图像进行语义分割，得到语义分割结果。

9、可选地，所述根据所述像素特征与所述多个聚类中心的相似度，确定每个所述像素特征分别对应的一个聚类中心，包括：

10、根据所述像素特征查询与每个像素特征分别对应的多个聚类中心，得到每个像素特征与所述多个聚类中心之间的多个第一相似度，以及每个聚类中心与多个像素特征之间的多个第二相似度；

11、根据所述多个第二相似度确定所述每个聚类中心的得分阈值；

12、根据所述多个第一相似度和所述得分阈值，生成与每个像素特征对应的异常得分信息；所述异常得分信息表征第一相似度小于所述得分阈值的像素特征；

13、根据所述异常得分信息得到每个所述像素特征分别对应的一个聚类中心。

14、可选地，所述根据所述掩码区域对所述目标图像进行语义分割，得到语义分割结果，包括：

15、通过多层感知器基于所述掩码区域对所述多个聚类中心分类，得到所述多个聚类中心的分类结果；

16、根据所述多个聚类中心的分类结果对所述目标图像的像素进行语义分割，得到所述像素对应的语义类别；

17、和/或，所述目标图像包括颈椎医学图像；

18、所述语义分割结果包括所述颈椎医学图像中颈椎的病灶。

19、可选地，所述根据所述掩码区域对所述目标图像进行语义分割，得到语义分割结果，包括：

20、通过语义分割模型进行语义分割，得到语义分割结果；

21、所述语义分割模型通过训练数据训练得到，所述训练数据包括带有标注信息的第一图像和无标注信息的第二图像。

22、可选地，所述语义分割模型在训练过程中，根据损失误差调节模型参数；

23、所述损失误差通过对第一损失误差、第二损失误差和第三损失误差进行加权计算得到；

24、所述第一损失误差通过采用分割损失函数对所述第一图像的标注信息和第一分割预测信息进行计算得到；

25、所述第二损失误差通过采用查询分布损失函数对所述第一分割预测信息、所述第一图像的标注信息和第二分割预测信息进行计算得到；

26、所述第三损失误差通过采用对抗损失函数对所述第二分割预测信息进行计算得到。

27、可选地，所述训练数据通过剔除初始训练数据中与目标边界的距离小于预设距离的像素得到；其中，每个像素与目标边界的距离根据二值预测结果确定；

28、所述二值预测结果通过对所述初始训练数据进行二值预测得到；

29、所述初始训练数据带有标注信息；

30、和/或，

31、所述训练数据为二维图像或三维图像。

32、第二方面，提供一种图像语义分割系统，所述图像语义分割系统包括：

33、获取模块，用于分别获取目标图像的图像视觉特征和像素特征；

34、第一确定模块，用于根据所述图像视觉特征，确定所述目标图像的多个聚类中心；

35、第二确定模块，用于根据所述像素特征与所述多个聚类中心的相似度，确定每个所述像素特征分别对应的一个聚类中心；

36、掩码生成模块，用于根据对应同一聚类中心的多个像素特征生成对应的掩码区域；

37、语义分割模块，用于根据所述掩码区域对所述目标图像进行语义分割，得到语义分割结果。

38、第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的图像语义分割方法。

39、第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的图像语义分割方法。

40、第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像语义分割方法。

41、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实例。

42、本公开的积极进步效果在于：用掩码驱动的网络模型解决图像分割中像素分类的问题，提升了模型收敛速度，且提高了分割的准确度，自带聚类机制，且采用形状感知半监督方法，在使用的网络模型中加入更灵活的几何表示，对分割输出执行全局形状约束，以保证有标注信息的图像或无标注信息的图像的预测结果在几何空间上的一致性，提升了无标注信息的图像用于训练的可靠性，提升模型对不同类型数据，尤其是边缘的分割精度，提升预测准确性。

技术特征：

1.一种图像语义分割方法，其特征在于，所述图像语义分割方法包括：

2.如权利要求1所述的图像语义分割方法，其特征在于，所述根据所述像素特征与所述多个聚类中心的相似度，确定每个所述像素特征分别对应的一个聚类中心，包括：

3.如权利要求1所述的图像语义分割方法，其特征在于，所述根据所述掩码区域对所述目标图像进行语义分割，得到语义分割结果，包括：

4.如权利要求1所述的图像语义分割方法，其特征在于，所述根据所述掩码区域对所述目标图像进行语义分割，得到语义分割结果，包括：

5.如权利要求4所述的图像语义分割方法，其特征在于，所述语义分割模型在训练过程中，根据损失误差调节模型参数；

6.如权利要求4所述的图像语义分割方法，其特征在于，所述训练数据通过剔除初始训练数据中与目标边界的距离小于预设距离的像素得到；其中，每个像素与目标边界的距离根据二值预测结果确定；

7.一种图像语义分割系统，其特征在于，所述图像语义分割系统包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的图像语义分割方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像语义分割方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的图像语义分割方法。

技术总结本公开提供了一种图像语义分割方法及系统、设备、介质、产品，图像语义分割方法包括分别获取目标图像的图像视觉特征和像素特征；根据图像视觉特征，确定目标图像的多个聚类中心；根据像素特征与多个聚类中心的相似度，确定每个像素特征分别对应的一个聚类中心；根据对应同一聚类中心的多个像素特征生成对应的掩码区域；根据掩码区域对目标图像进行语义分割，得到语义分割结果。本公开用掩码驱动的网络模型解决图像分割中像素分类的问题，提升了模型收敛速度，且提高了分割的准确度，自带聚类机制，且采用形状感知半监督方法，在使用的网络模型中加入更灵活的几何表示，提升模型对不同类型数据的分割精度，提升预测准确性。技术研发人员：吕燕,孙紫盎,侯植南受保护的技术使用者：上海电气集团股份有限公司技术研发日：技术公布日：2024/7/29