一种基于功能和结构先验的可解释的动态脑网络分析方法

本发明属于深度学习，具体涉及脑影像学图像处理技术，尤其涉及一种基于功能和结构先验的可解释的动态脑网络分析方法。

背景技术：

1、近年来，随着科学技术的不断发展，脑功能成像技术已成为当前脑科学领域最受关注的研究热点和前沿方向之一。其中，功能磁共振成像技术(functionalmagneticresonance imaging，fmri)由于结合了功能、解剖和影像三方面的信息，不仅能显示脑功能激活区的部位、大小和范围，而且可直接显示激活区所在的确切解剖位置，具有无侵入、无创伤、无辐射、可重复、可精确定位以及较高的时间和空间分辨率等诸多优越特性，因而被广泛的应用于各领域的脑科学研究。

2、基于fmri脑功能网络连接分析是利用该技术进行脑科学研究的一项重要内容。由于大脑是一个始终处于动态变化之中的高度复杂系统，定量描述脑功能连接模式随时间的动态变化更符合大脑神经活动的本质，可以为探索脑网络的基本属性提供更加丰富的信息。因此，完善和发展动态脑功能网络连接分析方法，通过fmri脑网络之间的动态功能连接模式来探究大脑的动态特性具有重要意义，不仅能够有效地挖掘出隐含在fmri信号中的内在信息，而且还可以更好地揭示大脑神经活动规律，促进fmri技术发挥重要作用。然而，当前的动态脑功能网络连接分析方法在脑网络构建和动态脑功能模式提取等方面还存在若干关键问题需要进一步的开展研究。

3、例如在现有技术公开的一种基于最优传输的动态脑网络分析方法及系统中就提供了一种动态脑功能网络连接分析的方法，采用pagerank计算每个子网络中各个脑区的枢纽度,然后将相邻脑网络中脑区的枢纽度分别作为源域和目标域，以来自dti的结构脑网络作为传输代价，利用最优传输构建枢纽度传播模型来学习相邻脑网络之间的拓扑演化等操作。

技术实现思路

1、发明目的：本发明旨在提供一种基于功能和结构先验的可解释的动态脑网络分析方法，该方法在于实现脑疾病对大脑时空拓扑属性的影响分析，提高疾病诊断的可解释性。

2、技术方案：一种基于功能和结构先验的可解释的动态脑网络分析方法，该方法包括构建用于动态功能脑网络分析的可解释时空张量图卷积网络，步骤包括：

3、s1、使用dparsf工具包对fmri信号进行数据预处理；

4、s2、使用非重叠滑动窗口划分fmri信号构建动态功能脑网络；

5、s3、将功能和结构的先验知识嵌入到动态功能脑网络中，得到基于脑区聚类的分层动态功能脑网络表示，用于捕捉功能子网之间的时空拓扑关系；

6、对于每个窗口下的分层动态功能脑网络，根据功能和结构先验将具有相似功能的脑区和连接划分为不同的子网络，包括默认模式网、额顶叶网络、显著性网络、注意力网络、体感运动网络、视觉网络、听觉网络；

7、构建c个动态功能子网其中ac表示第c个动态功能子网的邻接矩阵，fc表示第c个动态功能子网的节点特征,t表示非重叠滑动窗口的个数，nc表示第c个动态功能子网中含有的节点数，gc表示第c个动态功能子网，r表示全体实数；

8、为捕捉脑连接的演化模式，将每个动态功能子网络存储为张量的形式；

9、s4、构造具有图内传播和图间传播的张量图卷积网络，从分层动态功能脑网络中协同提取时空拓扑特征；

10、以张量图卷积的第l层为例，首先执行图内传播再执行图间传播：

11、

12、其中代表第l层st2gcn隐藏特征张量，dl是隐藏特征张量的维度，fc(0)是初始的节点特征，表示执行图内传播后的输出特征张量，fintra和finter分别表示图内传播和图间传播操作；

13、图内传播：利用图内传播聚合动态功能子网中每个脑区相邻节点的特征信息，给定邻接张量和特征张量经过图内传播fintra更新第l层第t个图的输出特征为：

14、

15、其中σ表示relu激活函数，是ac经过对称归一化后的图，表示第l层第t个图特征提取过程中的权重矩阵；

16、图间传播：为了聚合不同窗口下动态功能子网gc的时序特性，通过连接动态功能子网gc中的相同节点来构造一系列虚拟图；由于虚拟图中所有的节点和边都同等重要，因此将虚拟图中节点对之间的连接权重设置为1；

17、考虑gc含有nc个脑区，因此对应有nc个虚拟图，形成一个新的图邻接张量在虚拟图上的图间信息传播finter通过以下公式实现:

18、

19、其中表示图间信息传播的输出特征，同时也表示l+1层st2gcn的输入特征，σ表示relu激活函数，表示图间传播过程中的可学习参数；

20、s5、引入功能子网约束来增强子网内的特征表示一致性和子网间特征表示的差异性，从而指导学习到的特征更好地反映脑网络的拓扑先验特征；

21、该步骤包括设计脑功能子网络约束，将其嵌入到时空张量图卷积网络中，鼓励聚合子网内脑区的特征表示，同时促进不同子网间脑区的判别性特征表示，其中包括采用余弦相似度来测量子网内脑区的时空特征表示的相似度，并促使这种相似度随着训练的进行而增加；

22、s6、将提取的不同动态功能子网的时空特征通过注意力机制进行融合，得到全脑级别的特征表示；

23、s7、使用多层感知机进行分类，将提取的时空特征映射到受试者标签，将得到的全局大脑时空嵌送入多层感知机来预测每个受试者的类别，并且分析脑疾病对大脑时空拓扑属性的影响，提高疾病诊断的可解释性。

24、进一步地，步骤s1所述的预处理包括对原始dicom数据的删减去除、去噪、头动矫正、去除头皮结构、图像分割后去噪和标记感兴趣的区域。

25、步骤s2首先采用长度为s的非重叠滑动窗口划分原始fmri信号得到t个子片段，然后使用皮尔逊相关系数计算每个子片段中脑区之间的相关性，得到动态功能脑网络，进而对动态功能脑网络稀疏化，将连接强度小于阈值α的置为0。

26、进一步地，上述方案的步骤s5采用余弦相似度来测量子网内脑区的时空特征表示的相似度，并促使这种相似度随着训练的进行而增加，数学表达式如下：

27、

28、其中和分别表示第c个动态功能子网位于第t个窗口下的第i个和第j个脑区的特征嵌入，·表示内积运算，||||为frobenius范数；

29、为了鼓励动态功能子网之间特征的多样性，采用欧氏距离来衡量不同子网之间特征表示的差异，并引导这种差异随着训练的进行不断增大；

30、由于不同的动态功能子网包含不同数量的节点，因此提取的时空特征维度也有所不同，进而使用全连接层对齐多个子网的特征维度:hc＝fc(fc)，hc∈rd表示对齐特征嵌入，d为嵌入维度。

31、上述方案中，步骤s6通过引入自注意力机制，对不同功能子网的特征进行加权组合，形成全脑级别的特征表示，具体包括：

32、首先将不同子网的特征打包成特征矩阵然后通过线性映射对矩阵hc执行不同的变换：

33、q＝hcwq,k＝hcwk,v＝hcwv

34、其中，wq,wk,wv的参数矩阵分别用于生成查询、键和值，这些值在模型训练期间通过网络的反向传播进行更新；

35、然后，通过计算q和k的点积相关性来捕获功能子网络之间的自注意力系数，并采用均值池化得到综合脑网络嵌入向量h：

36、

37、其中，softmax用来对注意权值进行归一化。

38、更进一步地，基于功能和结构先验的可解释的动态脑网络分析方法，该方法可实现动态脑网络可解释性时空分析模型：

39、构建模块：用于实现融合功能和结构先验的分层动态功能脑网络；

40、特征提取模块：时空张量图卷积将图内传播和图间传播集成到统一的卷积框架中，用于协同提取的动态功能子网中的时空拓扑特征；

41、功能子网络约束模块：用于模拟大脑中子网络内强耦合和子网络间松耦合的特点，增强子网络内特征表示的一致性，并强调子网络间特征表示的差异性；

42、特征融合模块：引入自注意力机制，通过加权组合来自不同子网络的特征来形成全脑水平的特征表示；

43、分类模块：用于将提取的全脑水平的特征表示映射到标签中，并采用交叉熵损失函数训练分类器，通过拉近预测标签和真实标签之间的距离来提升模型的脑疾病诊断性能。

44、有益效果：本发明所述的一种基于功能和结构先验的可解释的动态脑网络分析方法，其通过将功能和结构的先验知识嵌入到动态功能脑网络中，得到基于脑区聚类的分层动态功能脑网络表示，有效捕捉功能子网之间的时空拓扑关系，且设计了具有图内传播和图间传播的张量图卷积网络，从分层动态功能脑网络中协同提取时空拓扑特征，其中还包括引入功能子网约束来增强子网内的特征表示一致性和子网间特征表示的差异性，从而指导学习到的特征更好地反映脑网络的拓扑先验特征，据此通过拉近预测标签和真实标签之间的距离来提升模型的脑疾病诊断性能，实现脑疾病对大脑时空拓扑属性的影响分析，提高疾病诊断的可解释性。