医学图像质量评价方法、系统及计算机可读介质与流程

本发明主要涉及图像处理，具体地涉及一种医学图像质量评价方法、系统及计算机可读介质。

背景技术：

1、新型冠状病毒感染(covid-19)对全球人民的健康和生活造成了巨大的影响。在covid-19的诊断治疗中，肺部ct图像起到了关键的作用，官方出台的多个诊疗方案中都把肺部ct影像学检查作为诊断标准之一，covid-19的治疗计划制订与疗效评估也高度依赖于肺部ct图像。然而过量的x射线照射可能增加癌症、遗传病以及白血病的发病率，且辐射剂量会在病人体内累积，因此控制辐射剂量以获得低剂量ct(low-dose ct，简称ldct)图像显得尤为重要。

2、为了降低病人在ct扫描时受到的辐射剂量，可以采用低剂量ct扫描方法，但此方法可能使ct图像质量下降。ldct图像容易出现斑点噪声、条形伪影和环状伪影等情况，这些情况会显著影响医生对covid-19的诊断结果，并可能导致诊疗失误，如果因图像质量问题导致漏诊，将可能延误病人的治疗，进而危及病人的生命；而误诊，如将无病的病人诊断为有病或对病灶类型做出错误的判断，则可能增加病人的经济和心理负担，甚至延误治疗。因此，从临床诊断和治疗的需求出发，对covid-19的ldct图像质量进行评价显得尤为重要。通过评价可以筛选出质量不合格的ldct图像，并在保证ct图像质量的前提下合理地降低扫描剂量，从而保障covid-19的临床诊疗质量。此外，ct图像质量评价(image qualityassessment，简称iqa)还可以指导优化扫描序列和参数、图像重建、传输、压缩、获取、增强以及硬件设计等方面，进一步提高图像质量。

3、目前对covid-19的ldct图像质量评价主要依赖于医生的目测，这种方式对医生的水平和经验依赖性较强，主观性强、重复性差且工作量大，因此需要研究ldct质量的客观评价方法以避免主观性判断的影响。但医学图像存在复杂多样和缺少参考图像等问题，这为客观评价方法的研究带来了巨大的挑战。

4、在iqa方法中，主要分为主观质量评价和客观质量评价两大类。主观质量评价方法因其耗时长、成本高、影响因素多、重复性差而无法大规模推广。因此，利用数学模型和计算机理论模拟人类视觉系统(human visual system，简称hvs)主观评价的客观iqa方法应运而生。客观质量评价方法通过计算机技术建立合理的数学模型，可以对图像的逼真度、失真程度或可懂度进行自动且准确的评价，有利于提高iqa的客观性、重复性与一致性。

5、在客观iqa中，根据参考图像信息的可利用率，可将其分为全参考(full-reference，简称fr)、半参考(reduced-reference，简称rr)和无参考(no-reference，简称nr)图像质量评价方法。对于无参考iqa，可以将其分为针对特定失真类型的模型和通用型的模型。由于在临床实际应用中，ct图像通常没有参考图像，且往往面临非特定类型的多重失真，因此研究通用型的无参考iqa模型并根据该模型进行客观图像质量评价具有理论和实用价值。然而，现有的通用型无参考iqa模型所获得的图像质量评价结果与预期目标还有一定距离，存在图像质量评价准确率不高的问题。

技术实现思路

1、本技术所要解决的技术问题是提供一种医学图像质量评价方法、系统及计算机可读介质，可以提高图像质量评价的准确率。

2、本技术为解决上述技术问题而采用的技术方案是一种医学图像质量评价方法，包括：构建基于深度学习模型的特征提取模块，特征提取模块用于根据输入图像生成图像特征；根据特征提取模块构建图像分割子模型，图像分割子模型用于将图像特征转换为图像分割模板；根据特征提取模块构建图像质量评价子模型，图像质量评价子模型用于根据图像特征生成图像质量分数；联合训练图像分割子模型和图像质量评价子模型，获得多任务网络模型；以及根据多任务网络模型获得输入图像的质量评价分值。

3、在本技术的一实施例中，深度学习模型包括卷积神经网络u-net，u-net包括对称设置的编码器和解码器，特征提取模块根据输入图像生成图像特征的步骤包括：根据编码器对输入图像进行卷积操作和池化操作从而捕获上下文信息；根据解码器对上下文信息进行卷积操作、上采样操作和特征融合操作从而生成图像特征。

4、在本技术的一实施例中，在特征提取模块根据输入图像生成图像特征的步骤之后，还包括：将输入图像裁剪为多个区域图像块；采用下面的公式学习多个区域图像块和图像特征之间的映射关系：

5、zi＝ffe(rii)

6、其中，f表示图像特征和第i个区域图像块之间的映射关系符号，fe表示图像特征提取，rii表示第i个区域图像块，i为正整数，zi表示图像特征。

7、在本技术的一实施例中，在根据特征提取模块构建图像质量评价子模型的步骤之后，还包括：采用下面的损失函数lqa来训练图像质量评价子模型：

8、

9、其中，m表示输入图像的数量；α表示样本权重，0≤α≤1，α用于平衡正样本和负样本的重要性；yi表示第i个输入图像的图像质量真值，i为正整数；表示对图像质量评价子模型输出的第i个输入图像的预测值取sigmoid函数所得的对其正确预测的概率值；λ表示聚焦参数，λ为大于0的常数。

10、在本技术的一实施例中，采用下面的目标函数lts来联合训练图像分割子模型和图像质量评价子模型：

11、

12、其中，β表示任务权重，0≤β≤1，β用于平衡图像分割子模型和图像质量评价子模型的重要性；γ是常数，γ∈{0,1}；mi表示第i个输入图像的标签值，mi＝1或者mi＝0；fts.ls(zi)表示图像分割子模型输出的第i个图像分割模板；rsi表示真实的第i个图像分割模板。

13、在本技术的一实施例中，根据特征提取模块构建图像分割子模型的步骤包括：在特征提取模块的解码器输出端拼接a个卷积层，其中a为大于等于1的整数；根据a个卷积层学习图像特征和图像分割模板之间的映射关系。

14、在本技术的一实施例中，根据特征提取模块构建图像质量评价子模型的步骤包括：在特征提取模块的解码器输出端拼接b个全连接层，其中b为大于等于1的整数；使每个全连接层与上一层中的所有激活神经元都完全连接，从而融合图像特征的全局信息。

15、在本技术的一实施例中，在构建基于深度学习模型的特征提取模块的步骤之前，还包括：根据旋转和平移方法对输入图像进行数据增强，和/或根据强度转换方法对输入图像进行数据增强从而模拟强度不均匀性伪影。

16、在本技术的一实施例中，深度学习模型包括可变形卷积核，可变形卷积核在标准卷积核的采样位置上增加了偏移量，可变形卷积核用于模拟输入图像中不同物体的多尺度感受野和多形态感受野。

17、本技术为解决上述技术问题还提出一种医学图像质量评价系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如上的医学图像质量评价方法。

18、本技术为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现如上的医学图像质量评价方法。

19、本技术的技术方案通过特征提取模块来提取输入图像(例如肺部低剂量ct图像)的图像特征，使图像分割子模型和图像质量评价子模型能够共享该图像特征；同时使图像分割子模型执行肺部区域分割任务以及使图像质量评价子模型执行图像质量评价任务，并联合训练这两个子模型得到多任务网络模型，多任务网络模型通过共享肺部有效区域的特征提取，能够将一个任务学到的知识传递到其他任务上，从而能够更好地适应不同任务，提高了多任务的性能和图像质量评价的准确率。

20、本技术针对低剂量ct图像易出现斑点噪声、条状伪影和环状伪影的特点，基于多任务学习理论，深入探究其对图像质量的感知特性，提供了通用型无参考iqa模型(即多任务网络模型)，使图像客观质量评价结果与人类主观评价结果更一致。本技术具有重要的理论意义及实用价值，将为通用型无参考医学iqa提供新思路和新方案，可减轻医生工作量，保障新冠感染临床诊疗质量。本技术的方案亦便于扩展至其他组织器官(如肝脏、乳腺)和其他模态医学图像(如超声、mri)等，也可推广至更多应用领域，如优化扫描序列和参数、图像重建、传输、压缩、增强、硬件设计等，具有可延伸价值。