一种肝结节诊断模型训练方法及图像处理方法

本公开涉及计算机，尤其涉及一种肝结节诊断模型训练方法及图像处理方法。

背景技术：

1、肝细胞癌(hcc)的发病率在肝脏原发性恶性肿瘤中排名第一。目前对于hcc的治疗方式主要包括手术切除、消融治疗、肝移植、全身治疗等，然而现有的治疗方式并不能真正的治愈hcc。因此，早期高低危肝结节诊断和治疗对于hcc治疗至关重要。

2、超声图像因鲁棒性较差的缺陷在影像组学上的研究略少于磁共振成像(mri)、计算机断层扫描成像(ct)等影像模式。近年来深度学习算法因其可提升图像鲁棒性的优势在超声影像上得到了广泛应用，并在诸多肿瘤相关研究中取得的较好的结果，对于临床疑难病例的诊断意义重大，其与医师协同可以提高肝结节病理诊断的效率和质量，减少诊断性手术比例，大大节约时间和人力成本。

3、但是，对于hcc的判断标准仍然为病理结果，当在超声图像上所示的肝结节表现为再生性增生、结节状增生等良性结节时，一般不会进行手术获得病理结果，后续看似良性的结节可能存在恶化风险，所以对于高低危肝结节的早期诊断需要多时间点对病人进行信息采集，导致相关数据的标签便存在获取难度，具有不完整的特点，因此有监督的学习方式具有极大局限性。

技术实现思路

1、针对上述技术问题，本公开提供了一种肝结节诊断模型训练方法及图像处理方法，以至少部分地解决上述技术问题中的至少之一。

2、根据本公开的一个方面，提供了一种肝结节诊断模型训练方法，包括：

3、获取训练样本数据集，其中，上述训练样本数据集包括n个训练样本，每个上述训练样本包括样本标签和具有肝结节病灶的样本视频帧，n≥1；

4、将上述n个训练样本的样本标签和样本视频帧输入初始模型中，输出与上述n个训练样本各自对应的输出数据，其中，上述输出数据包括上述样本视频帧的图片特征；

5、在确定上述图片特征为上述样本视频帧的关键特征的情况下，对上述图片特征进行聚类处理，得到聚类结果，其中，上述聚类结果包括至少一个聚类中心；

6、根据上述图片特征和上述至少一个聚类中心，确定聚类软标签，其中，上述聚类软标签包括上述图片特征到上述至少一个聚类中心的距离倒数；

7、根据上述聚类软标签和上述样本标签确定第一损失值；

8、根据上述第一损失值调整上述初始模型的网络参数，直至上述第一损失值满足迭代条件；以及

9、确定上述第一损失值满足上述迭代条件时得到的模型作为肝结节诊断模型。

10、根据本公开的实施例，上述输出数据还包括与上述样本视频帧对应的还原图片；

11、其中，确定上述关键特征的方法包括：

12、针对上述n个训练样本中的每个训练样本，根据上述训练样本的上述样本视频帧和与上述样本视频帧对应的还原图片，确定上述还原图片和上述样本视频帧的相似度；

13、在确定上述相似度满足第一预设条件的情况下，确定上述图片特征为上述样本视频帧的关键特征。

14、根据本公开的实施例，上述初始模型包括编码器和解码器；

15、上述将上述n个训练样本的样本标签和样本视频帧输入初始模型中，输出与上述n个训练样本各自对应的输出数据包括：

16、将上述n个训练样本的样本视频帧输入上述编码器中进行特征提取，输出与上述n个训练样本各自对应的图片特征；

17、将上述图片特征输入上述解码器中进行特征还原，输出与上述n个训练样本各自对应的还原图片。

18、根据本公开的实施例，上述方法还包括：

19、根据上述n个训练样本的样本视频帧和与上述样本视频帧对应的上述还原图片，确定第二损失值；

20、其中，上述根据上述第一损失值调整初始模型的网络参数，直至上述第一损失值满足迭代条件包括：

21、上述根据上述第一损失值和上述第二损失值调整上述初始模型的网络参数，直至上述第一损失值和上述第二损失值均满足迭代条件；

22、其中，确定上述第一损失值满足上述迭代条件时得到的模型作为肝结节诊断模型包括：

23、确定上述第一损失值和上述第二损失值均满足上述迭代条件时得到的模型作为肝结节诊断模型。

24、根据本公开的实施例，上述根据上述聚类软标签和上述样本标签确定第一损失值包括：

25、根据上述聚类软标签、上述样本标签和预设的第一损失函数确定上述第一损失值，其中，上述第一损失函数lcross包括如下公式：

26、

27、其中，n表示训练样本总数，yi表示第i个训练样本的样本标签，pi表示第i个训练样本的聚类软标签；

28、上述根据上述n个训练样本的样本视频帧和与上述样本视频帧对应的上述还原图片，确定第二损失值包括：

29、根据上述n个训练样本的样本视频帧、与上述样本视频帧对应的上述还原图片、预设的第二损失函数确定上述第二损失值，其中，上述第二损失函数lmse包括如下公式：

30、

31、其中，xi表示第i个训练样本的样本视频帧，f(xi)表示第i个训练样本的还原图片。

32、根据本公开的实施例，上述聚类结果包括两个聚类中心，上述两个聚类中心分别对应高危特征集和低危特征集。

33、根据本公开的实施例，上述方法还包括：

34、获取具有肝结节病灶的超声造影数据集，其中，上述超声造影数据包括造影信息和造影视频；

35、根据上述造影信息，从上述超声造影数据集中选取满足第二预设条件的造影视频，得到样本视频集；

36、对上述样本视频集进行预处理，得到样本视频帧集合；

37、根据上述样本视频帧集合和样本标签得到上述训练样本数据集。

38、根据本公开的实施例，上述对上述样本视频集进行预处理，得到样本视频帧集合包括：

39、针对上述样本视频集中的每个造影视频，对上述造影视频的目标区域进行自动勾画，得到掩码数据；

40、对上述掩码数据进行裁剪，得到裁剪后的视频帧集合；

41、根据上述裁剪后的视频帧集合中视频帧的亮度随时间的变化，绘制线性曲线；

42、根据上述线性曲线按照预设抽取规则从上述裁剪后的视频帧集合中抽取预设帧数的视频帧，得到上述样本视频帧集合。

43、根据本公开的实施例，上述造影信息包括肝结节尺寸信息和肝结节数量信息；

44、上述根据上述造影信息，从上述超声造影数据集中选取满足第二预设条件的造影视频，得到样本视频集包括：

45、根据上述肝结节尺寸信息从上述超声造影数据集中选取肝结节尺寸满足预设尺寸的造影视频，得到第一视频集合；

46、根据上述肝结节数量信息从上述第一视频集合中选取肝结节数量满足预设数量的造影视频，得到上述样本视频集。

47、本公开的第二方面提供了一种图像处理方法，上述方法包括：

48、获取目标超声造影视频，其中，上述目标超声造影视频包含肝结节病灶；

49、对上述目标超声造影视频进行预处理，得到目标视频帧；

50、将上述目标视频帧输入肝结节诊断模型中，输出目标特征；其中，上述肝结节诊断模型是由上述的训练方法训练得到的；以及

51、根据上述目标特征和预设聚类中心生成用于表征肝结节特征的处理结果。

52、根据本公开的实施例，利用获取包含样本标签和具有肝结节病灶的样本视频帧的训练样本数据集；然后将样本标签和样本视频帧输入初始模型中，输出与每个训练样本各自对应的输出数据，其中，输出数据包括样本视频帧的图片特征；之后对图片特征进行聚类处理，得到包括至少一个聚类中心的聚类结果；之后根据图片特征和至少一个聚类中心，确定聚类软标签并根据聚类软标签和样本标签确定第一损失值；利用第一损失值调整初始模型的网络参数，直至满足迭代条件，从而得到肝结节诊断模型的技术方案。由于对初始模型输出的图片特征进行聚类分析，得到聚类软标签，并结合聚类软标签训练初始模型，从而得到肝结节诊断模块。该模型可以在数据有限的前提下，精准预测早期高低危肝结节概率，至少部分解决了相关技术中因相关数据标签难以获取导致监督的学习方式具有极大局限性的技术问题。