一种基于影像组学注意力网络的HER2状态改变预测方法

本发明属于医学信息处理领域，具体涉及一种基于超声影像组学注意力网络的乳腺癌her2状态改变预测方法。

背景技术：

1、乳腺癌是全世界女性最常见的疾病，预计到2040年，仅由于人口增长和老龄化的问题，世界乳腺癌的发病率将增加到每年300多万新病例和100万死亡病例。her2是大部分乳腺癌患者的既定治疗靶点，靶向治疗对her2过表达和或扩增的乳腺癌患者有效。据美国临床肿瘤学会和美国病理学会发布的检测实践指南，her2阳性即过表达定义为：免疫组化评分3+(ihc3+)或ihc2+原位杂交阳性，除阳性之外的状态都简单归类为阴性。her2的表达状态可分为三种，分别为her2阳性、her2零表达和her2低表达。不同her2状态的乳腺癌患者，使用相同抗her2治疗的乳腺癌患者的治疗效果存在很大差异。因此，通过研究her2状态，能够更好的发挥治疗药物的效果，减少治疗的盲目性，会为一定比例的患者带来新的治疗机会。

2、早期对her2状态的研究主要集中在通过磁共振图像识别其状态上的研究。有研究者将磁共振图像使用影像组学知识来评估her2过表达患者的接受新辅助化疗的乳腺癌患者的her2表达水平，发现了肿瘤内放射异质性不等于病理肿瘤内异质性。还有的研究者使用三维可视化软件提取放射组学特征，并使用最小绝对收缩和回归模型进行特征选择，实现了临床影像组学特征提取，显示出的良好的分类功能，识别出了乳腺癌患者的her2表达状态。

3、最近，研究者对her2状态作为乳腺癌预后指标和临床指导治疗的价值进行回顾。认为检测乳腺癌her2表达情况的最实际应用是它可以预测肿瘤对治疗的反应情况从而指导治疗，这有力地支持应该将此项检查作为医学常规检查。但是，目前的研究只关注her2状态的判断，不能预测出患者接受新辅助治疗后发生改变的情况。

4、近年来，深度学习作为人工智能领域的研究热点发展迅速，尤其是在图像数据处理方面。同时，也有一些基于深度学习的方法被提出用于诊断her2状态。但是这些方法通过深度学习方法学习其他影像数据的特征表示，然后再根据学习到的特征进行her2状态识别，没有利用超声图像和影像组学技术预测新辅助治疗后her2状态是否发生改变。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于超声影像组学特征注意力网络的乳腺癌人表皮生长因子受体-2(her2)状态改变预测方法，能够获取超声图像数据的大量影像组学特征，并实现了影像组学技术与深度学习模型相结合进行her2状态改变相关特征的选择和学习，并通过全连接神经网络对乳腺癌超声图像进行分类，进而实现her2状态在新辅助治疗后是否改变的预测。。

2、本发明的一种基于超声影像组学特征注意力网络的乳腺癌her2状态改变预测方法，具体为：

3、步骤1，勾画乳腺癌超声图像中的肿瘤区域，进而分割出肿瘤区域并转成神经影像信息学技术倡议格式的肿瘤区域图像；

4、步骤2，提取所述肿瘤区域图像的影像组学特征，得到影像组学特征矩阵x；

5、步骤3，对所述影像组学特征矩阵x进行特征选择，得到关键特征矩阵

6、步骤4，将关键特征矩阵输入带有注意力机制的网络模块，对不同关键特征的注意力加权，输出与her2状态改变相关的带有注意力权重的关键特征矩阵；

7、步骤5，利用全连接神经网络对所述带有注意力权重的关键特征矩阵进行训练，得到分类结果，进而实现乳腺癌her2状态是否改变的预测。

8、进一步的，步骤1中具体内容为：在n个原始乳腺癌肿瘤超声图像上勾画肿瘤区域，进而分割出肿瘤区域并转成神经影像信息学技术倡议格式的肿瘤区域图像。

9、进一步的，步骤2中具体为，采用pyradiomics工具包提取所述肿瘤区域图像的影像组学特征，所述影像组学特征包括超声图像形状特征、一阶特征和纹理及高级特征。

10、进一步的，所述形状特征包括表面积、周长和最大二维直径；所述表面积是指超声图像肿瘤区域表面积；所述周长是指肿瘤区域边缘一周的长度；所述最大二维直径为肿瘤表面之间的最大成对欧几里得距离。

11、进一步的，一阶特征包括一阶能量特征、熵特征和均方根特征；所述一阶能量特征是对图像中体素值大小的度量；所述熵特征表示图像值的随机性；所述均方根特征是所有强度值平方均值的平方根。

12、进一步的，所述纹理及高阶特征包括灰度共生矩阵特征、灰度大小区域矩阵特征、灰度运行长度矩阵特征、邻近灰度差分矩阵特征、灰度相关矩阵特征；所述灰度共生矩阵特征用于度量纹理的细度和粗度大小；所述灰度大小区域矩阵特征用于衡量小尺寸区域分布的指标，值越大表明小面积区域越多，纹理越细；所述灰度运行长度矩阵特征是衡量运行长度分布的指标，用于描述纹理的粗细；所述邻近灰度差分矩阵特征是用来衡量中心体素与其邻近体素之间的平均差值，是空间变化率的指示；所述灰度相关矩阵特征用于表示依赖强度的大小。

13、进一步的，步骤3中采用lassonet模块对所述影像组学特征矩阵x进行特征选择，保留与her2状态改变相关的关键特征，组成关键特征矩阵具体为：

14、所述lassonet模块共有l层，其学习方式由以下子步骤来实现：

15、设lassonet模块的权值矩阵为w，第l层的网络输出为权值矩阵为w(l)；lassonet模块的最终网络输出标签fθ,w(x)通过影像组学特征矩阵x学习得到，其目标函数为：

16、

17、其中，是第1个隐藏层网络中第j个特征的权重，θ为稀疏参数向量，θj为第j个特征的稀疏参数，y为真实数据标签，e(fθ,w(x),y)表示对网络预测标签和真实结果标签进行损失计算，e为交叉熵损失函数；表示lassonet通过调整来调节网络特征的稀疏性和非线性表示，其中m为稀疏性和非线性控制参数，为的无穷范数；m的取值范围为[0,+∞)：在m＝0的情况下，所有其他隐藏层的节点都不活动，只保留这时网络是普通的线性lasso正则化；在m趋于正无穷时，即m→+∞，此时网络成为标准的非线性前馈神经网络；因此，lassonet模型通过选择合适的θ和m值，以分别调整网络特征的稀疏性和非线性表示程度；

18、在lassonet训练结束后，与her2状态改变不相关或弱相关特征的稀疏参数被约束为0，随后将这部分特征从矩阵x中剔除，保留与her2状态改变相关关键特征，即得到关键特征矩阵其中，d为特征选择后数据的维度且有d<p。

19、进一步的，步骤4中将关键特征矩阵输入带有注意力机制的网络模块，对不同关键特征的注意力加权，输出与her2状态改变相关的带有注意力权重的关键特征矩阵，由以下子步骤来实现：

20、步骤4.1，将关键特征矩阵输入到带有注意力机制的网络模块，经过全局平均池化操作和全局最大池化操作的并列过程，得到中间特征矩阵

21、

22、其中，fgp()表示上面提到的全局平均池化和最大池化操作；

23、步骤4.2，中间特征矩阵x'经过两个全连接层的加权学习，得到网络输出f(x',w)

24、

25、其中，表示relu激活函数，w1和w2分别代表了两个全连接层的权重矩阵；f(x',w)经过sigmoid激活后得到带注意力的权重向量wa，用如下公式表示：

26、wa＝fw(x',w)＝g(f(x',w)) (4)

27、其中，g()表示sigmoid激活函数，fw表示整个注意力加权过程；

28、步骤4.3，将注意力权重向量wa与关键特征矩阵经过一次向量之间的点乘后，得到带有注意力加权的特征矩阵xa，其步骤如下所示：

29、

30、其中，⊙表示向量之间点乘操作；

31、最终，得到带有注意力权重的关键特征矩阵

32、进一步的，所述乳腺癌her2状态改变预测方法的交叉熵损失函数为：

33、

34、其中，yp(xn)为第n个病人样本her2状态发生改变的概率，yq(xn)为影像组学注意力网络预测得到的第n个病人样本her2状态发生改变的概率。

35、有益效果：本发明采用影像组学技术与深度学习模型相结合，对乳腺癌超声图像进行影像组学特征提取、关键特征选择、关键特征加权和分类任务，进而实现her2状态在新辅助治疗后是否改变的预测，具有如下优点：

36、(1)利用影像组学技术实现乳腺癌超声图像形状、一阶特征和纹理特征等大量影像组学特征的计算提取，并将影像组学特征用于后续深度学习模型的训练，实现将超声图像数据的表示信息融入到深度学习模型；

37、(2)利用lassonet完成影像组学特征选择，通过对每个特征进行稀疏约束，去除了无关特征和冗余特征，保留了与her2状态改变相关的关键特征；

38、(3)将关键特征矩阵输入到注意力加权网络模块，实现对不同关键特征的自适应加权，以衡量不同关键特征对her2状态改变预测任务的贡献度；

39、(4)利用全连接神经网络对带有注意力权重的关键特征数据进行学习，得到病人样本her2状态发生改变的预测概率，进而实现her2状态改变预测任务。