一种基于知识蒸馏网络的ADHD分类诊断方法

本发明涉及一种基于知识蒸馏网络的adhd(注意缺陷多动障碍)分类诊断方法，属于精神疾病智能辅助分类诊断领域。

背景技术：

1、精神疾病智能诊断分类作为一种基于人工智能的辅助诊断方法，正向高准确率、可解释性和实用化方向发展。尤其是基于脑影像数据(由核磁共振成像产生的多种生物数据)的智能辅助诊断方法，在快速诊断方面具有着重要的意义，满足早诊断、早治疗的需求。在adhd的智能辅助诊断分类方面，基于adhd-200的公开脑影像数据库，近十年来提出了众多adhd智能辅助诊断分类方法。其中，基于二分假设框架的辅助诊断分类方法(tang，y，etal，adhdclassification using auto-encoding neural network and binaryhypothesis testing，2022)，以较高的分类准确率(>95％)，受到了较多关注。然而，在实际临床应用中，同样关注诊断分类方法是否具有疾病生物标识分析能力。现有基于二分假设框架的辅助诊断分类方法，在进行疾病生物标识检测和分析时，常用自注意力机制实现(chen，y.，et al，adhd classification combining biomarker detection withattention auto-encoding neural network，2023)。此时，每个个体样本经过特定网络都生成各自的注意力，即与个体样本相关的注意力。而adhd疾病生物标识则建立在这些个体样本注意力的统计结果之上，选择统计意义上注意力最大的前k个脑影像数据作为adhd疾病生物标识。可见，此时的生物标识不可避免的受到个体样本的影响，降低了adhd疾病生物标识的可信度。本发明针对上述问题，利用知识蒸馏网络，在保持高准确率adhd分类诊断的基础上，构建了不受个体样本影响的、经网络训练后固定的注意力，避免单个个体样本对生物标识的干扰，为adhd患病原理提供更为可靠的生物信息支持。

技术实现思路

1、本发明的目的是基于已有二分假设框架，利用知识蒸馏手段，在保证对adhd高分类诊断准确率的同时，实现不受个体样本影响的、具有高可信度的adhd生物标识的辨识。

2、本发明的技术方案如下：

3、一种基于知识蒸馏网络的adhd(注意缺陷多动障碍)分类诊断方法，包括如下步骤：

4、步骤1：对测试样本做不同类别的标签假设(即adhd疾病标签假设h0和健康标签假设h1)标注；将已进行标签假设的测试样本的脑影像数据与训练样本集(已进行诊断标签标注的多个训练样本)的脑影像数据一同输入特征选择模块，获得测试样本不同标签假设下对应训练样本的典型特征(典型脑影像数据)，记为和

5、步骤2：在测试样本不同标签假设下，分别将训练样本的典型特征，和通过各自对应的知识蒸馏网络，记为蒸馏网络和蒸馏网络实现特征提取；每个蒸馏网络包含一个教师网络、一个学生网络和一个比较器，且由学生网络输出训练样本的高层特征，分别对应于测试样本的不同标签假设，记为x0和x1；同时，由学生网络输出adhd的候选生物标识，分别对应于测试样本的不同假设，记为b0和b1；

6、步骤3：将测试样本不同假设下学生网络输出的训练样本高层特征，x0和x1，输入adhd标签预测模块，分别对高层特征，x0和x1，进行聚类测度评分计算，获得对应聚类测度值，记为d0和d1；通过比较判决模块，比较d0和d1的数值大小，识别聚类效果最佳的训练样本高层特征，取该训练样本高层特征所对应的测试样本标签假设作为测试样本标签的正确假设估计，记为htrue，同时将该假设标签作为测试样本的估计标签并进行输出，完成对测试样本的分类过程；

7、步骤4：将测试样本的不同标签假设下adhd的候选生物标识，b0和b1，以及测试样本标签的正确假设估计，htrue，一同输入生物标识检测模块；经生物标识判决，选择与正确假设估计htrue相同的测试样本的标签假设，将该假设下对应的adhd的候选生物标识作为最终的adhd生物标识并输出，完成adhd生物标识检测过程。

8、上述步骤2中，比较器用于比较测试样本不同假设下学生网络输出的训练样本高层特征，x0和x1，与对应假设下教师网络输出的训练样本高层特征的差异程度；在学生网络训练时，要求教师网络(已预训练)和学生网络之间对应高层特征的差异最小化，完成教师网络对学生网络的高层特征监督。

9、上述步骤2中，学生网络包含三个子网络，即编码子网络、解码子网络和分类子网络。

10、上述步骤2中，学生网络所包含的编码子网络，输入数据为训练样本的典型特征，和并进行如下编码子网络步骤的处理：

11、编码子网络步骤1：训练样本的典型特征，和输入编码子网络；编码子网络利用一注意力生成模块，经网络训练，产生对训练样本典型特征的注意力；按注意力数值大小，取注意力最大的前k个典型特征，作为在测试样本不同标签假设下候选的adhd生物标识，b0和b1，并进行输出；同时，训练样本典型特征与其对应注意力相乘，获得测试样本不同标签假设下加权后的训练样本典型特征，记为和

12、编码子网络步骤2：加权后的训练样本典型特征和通过对应深度网络，获得测试样本不同标签假设下训练样本高层特征，x0和x1，输出至比较器、解码子网络和分类子网络。

13、上述步骤2中，学生网络所包含的解码子网络，对测试样本不同标签假设下训练样本高层特征，x0和x1，进行处理。这些训练样本高层特征，经对应深度网络，重构训练样本典型特征，并在网络训练过程中，实现重构的典型特征与输入训练样本典型特征，和差异最小化。

14、上述步骤2中，学生网络所包含的分类子网络，对测试样本不同标签假设下训练样本高层特征，x0和x1，进行处理。这些训练样本高层特征，经对应深度网络，对训练样本的标签进行预测并在网络训练过程中，实现训练样本的预测标签与已进行诊断标签一致。

15、上述步骤2中，学生网络的编码子网络所涉注意力生成模块，用于产生训练样本典型特征对应的注意力，包括如下注意力生成模块步骤：

16、注意力生成模块步骤1：该模块内部设置一初始化矢量，经一深度网络后，经网络训练，输出一个与训练样本典型特征维度相同的自适应矢量；

17、注意力生成模块步骤2：对该自适应矢量，通过一非负操作，使该矢量中元素都为非负值，产生一个非负自适应矢量；

18、注意力生成模块步骤3：对该非负自适应矢量进行归一化操作，使非负自适应矢量的各元素之和为训练样本典型特征个数之和，最终产生对训练样本典型特征的注意力。

19、上述步骤2中，教师网络为一已经经过预训练的网络，所用网络模型可参考已有基于二分假设框架的深度学习方法。输入为训练样本的典型特征，和输出为教师网络下的训练样本的典型特征，用于在比较器中与学生网络的训练样本高层特征，x0和x1，进行对应比较。

技术特征：

1.一种基于知识蒸馏网络的adhd(注意缺陷多动障碍)分类诊断方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于知识蒸馏网络的adhd分类诊断方法，所述步骤2中，比较器特征在于，用于比较测试样本不同假设下学生网络输出的训练样本高层特征，x0和x1，与对应假设下教师网络输出的训练样本高层特征的差异程度；在学生网络训练时，要求教师网络(已预训练)和学生网络之间对应高层特征的差异最小化，完成教师网络对学生网络的高层特征监督。

3.根据权利要求1所述的基于知识蒸馏网络的adhd分类诊断方法，所述步骤2中，学生网络特征在于，包含三个子网络，即编码子网络、解码子网络和分类子网络。

4.根据权利要求2所述的学生网络，所涉编码子网络，其特征在于，对输入训练样本的典型特征，和包括如下处理步骤：

5.根据权利要求2所述学生网络中的解码子网络，其特征在于，对测试样本不同标签假设下训练样本高层特征，x0和x1，经对应深度网络，重构训练样本典型特征；经网络训练，实现重构的典型特征与输入训练样本典型特征，和差异最小化。

6.根据权利要求2所述学生网络中的分类子网络，其特征在于，对测试样本不同标签假设下训练样本高层特征，x0和x1，经对应深度网络，对训练样本的标签进行预测；经网络训练，实现训练样本的预测标签与已进行诊断标签一致。

7.根据权利要求4所述的编码子网络，所涉注意力生成模块，特征在于，对注意力的产生包括如下步骤：

技术总结本发明公开了一种基于知识蒸馏网络的ADHD(注意缺陷多动障碍)分类诊断方法，涉及精神疾病智能辅助诊断技术领域。本发明在个体诊断的同时，能获取与个体样本无关的ADHD疾病生物标识，避免单个个体样本对生物标识的干扰，为ADHD患病原理提供更为可靠的生物信息支持。发明所涉方法在二分假设诊断分类框架下进行实现。在二分假设的特征提取过程中，学生网络所学的训练样本高层特征受教师网络监督，输出并用于测试样本标签的判断。同时，在不同测试样本标签假设下，学生网络利用注意力模块，生成并输出ADHD的候选生物标识，并结合测试样本标签判断，最终获得与单个个样本无关的ADHD生物标识。技术研发人员：汤一彬,杨梓杰,高远,李敏,崔琳祥受保护的技术使用者：河海大学技术研发日：技术公布日：2024/9/12