用于大脑默认模式网络个性化建模的多尺度注意力方法

本发明属于模式网络建模，尤其涉及用于大脑默认模式网络个性化建模的多尺度注意力方法。

背景技术：

1、目前默认模式网络的建模方法大致分为两类，一类是传统的建模方法，通过将4d时空模式数据转化为空间×时间的2d模式，进而从二维的矩阵中分解或稀疏出时间与空间模式。这些方法虽可以做到建模空间重叠的大脑网络或模型参数的优化，但没有充分利用fmri数据的时空特性，对个体脑的注重程度也略有不足，会丢失掉一些个体被试的细节特征，以至于结果的准确性没有保证。另一类是深度学习方法，该类方法虽然在结果的准确性方面有所提升，但该类方法仍是分阶段对时空模式进行建模，未能实现时空模式表征过程的协同优化与整体建模。更重要的是，现有方法在设计过程中更多的是将关注点放在模型的深层特征提取中，此时特征的个性化程度较低，往往具有过拟合等问题。

2、通过上述分析，现有技术存在的问题及缺陷为：

3、(1)传统建模方法没有充分利用fmri数据的时空特性，对个体脑的注重程度略有不足，会丢失个体被试的细节特征，导致结果准确性无法保证。

4、(2)现有深度学习方法是分阶段对时空模式进行建模，未能实现时空模式表征过程的协同优化与整体建模。

5、(3)现有深度学习方法在设计过程中将关注点放在模型的深层特征提取中，特征的个性化程度较低，具有过拟合等问题。

技术实现思路

1、为克服相关技术中存在的问题，本发明公开实施例提供了一种用于大脑默认模式网络个性化建模的多尺度注意力方法，所述技术方案如下：

2、本发明是这样实现的，一种用于大脑默认模式网络个性化建模的多尺度注意力方法，该方法包括：

3、s1，构建多尺度注意力模型，该模型由空间部分和时间部分组成；

4、该模型遵循注意力机制的基本表达，公示如下所示：

5、

6、其中，m代表特征数量，t是转置操作，q为空间模式指导下的时间特征信息矩阵，k，v分别代表从rs-fmri数据中所提取的特征矩阵；在空间部分实现模型浅层阶段的特征富集与细节特征提取，在时间阶段完成时间模式建模并最终完成时空模式建模；

7、s2，在多尺度注意力模型的空间阶段，引入4种不同尺寸的池化核构建多尺度金字塔卷积，扩大浅层阶段特征感受野，提取不同层级的粗细粒度特征；

8、s3，在多尺度注意力模型的时间阶段，设计多头注意力块，融合空间模式信息和fmri的原始信息用于大脑默认模式网络时空模式的构建；

9、遵循模型遵循注意力机制公式，在获取时间阶段的q，k，v之前，对输入进行下采样操作，调整空间信息和时序信息权重，比以避免时间注意力的错误关注问题，同时去除多余的空间特征冗余以加快训练的速度。

10、该方法还包括：在多尺度注意力模型的空间阶段，利用多尺度金字塔卷积区分4d时空模式数据的静息态重叠脑网络特征；

11、多尺度金字塔卷积块融合了4种不同金字塔尺度的特征，每一层尺度都与后续下采样后的尺度相对应；设计4中不同尺度聚合不同维度的信息，强化要关注的信息，方便后续卷积快速找到dmn特征；多尺度的金字塔的设计减小下采样过程的特征丢失，提高建模的精度；卷积核大小设定为1×1×1，输出尺寸大小分别设定为6×7×6，12×14×12，24×28×24，48×56×48，分别提取不同层级的粗细粒度特征，每个级别的金字塔之后都使用1×1×1的卷积将不同级别的卷积通道数变为96，通过三线性插值获得未池化前的图像尺寸，经过批正则化后传递到下一层进行拼接融合。

12、还包括：在多尺度注意力模型的浅层阶段利用多尺度金字塔卷积进行多层级的个性化特征提取；

13、首先执行空间阶段的训练，在获得较高可信度的空间模式后再对时间模式的构建进行指导，利用3d卷积操作在原始信息中挖掘细节特征关系，最终输出个体脑dmn整体时空模式。

14、还包括：计算默认模式网络时空模式与训练标签模式间的时空相似度；重叠率具体公式如下所示：

15、

16、式中，overlaprate为重叠率，sum()为取和操作，min()为取最小值，netm和netl表示模型网络的输出空间模式和所用的空间模式标签。

17、该方法还包括：计算默认模式网络时空模式与标准空间模板间的空间相似度。

18、本发明的另一目的在于提供一种用于大脑默认模式网络个性化建模的多尺度注意力系统，该系统执行所述用于大脑默认模式网络个性化建模的多尺度注意力方法的步骤，该系统包括：

19、模型构建模块，用于构建多尺度注意力模型；

20、特征提取模块，用于在多尺度注意力模型的空间阶段，引入多尺度金字塔卷积扩大浅层阶段特征感受野，并提取不同层级的粗细粒度特征；

21、默认模式网络构建模块，用于在多尺度注意力模型的时间阶段，设计多头注意力块用于大脑默认模式网络时空模式的构建。

22、本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述用于大脑默认模式网络个性化建模的多尺度注意力方法的步骤。

23、本发明的另一目的在于提供一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述用于大脑默认模式网络个性化建模的多尺度注意力方法的步骤。

24、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器实施所述用于大脑默认模式网络个性化建模的多尺度注意力系统。

25、本发明的另一目的在于提供一种信息数据处理终端，其特征在于，所述信息数据处理终端安装再电子装置上提供用户输入接口以实施所述用于大脑默认模式网络个性化建模的多尺度注意力系统。

26、结合上述的所有技术方案，本发明所具备的优点及积极效果为：

27、本发明设计了一种多尺度注意力模型，该算法在模型浅层部分实现特征提取以指导脑功能网络空间模式的精确化表征，同时实现了默认模式网络时空模式建模的协同优化与整体建模。本发明在模型的浅层阶段实现多层级的个性化特征提取，在原始信息中挖掘出细节特征关系；设计的多尺度注意力模型能够用于默认模式网络时空模式构建过程的相互指导与整体建模。

28、本发明所设计的多尺度注意力算法分为时间和空间两个阶段，在空间上，为了更好地学习到全局特征，区分静息态重叠脑网络特征，引入多尺度金字塔卷积来扩大浅层阶段特征感受野；提取不同层级的粗细粒度特征来弥补在下采样过程中的特征丢失，实现个性化默认模式网络的高效构建。在时间阶段，本发明设计了多头注意力块以用来在不影响时空信息整体性的基础上，实现空间模式信息的并行指导，进而表征出个性化默认模式网络的时间模式。

29、与以往技术相比，为了更好保留4drs-fmri的时空特征整体性，本发明所设计的浅层多尺度特征丰富模块提高了对4d时空模式数据的特征提取能力，更加注重细节特征信息的学习和保留，并可为后续的时序特征信息提取做出指导，建模出最真实默认模式网络的时空模式。

30、为了评估多尺度注意力模型的效果与性能，本发明计算了所建模的默认模式网络时空模式与训练标签模式间的时空相似度。同时，本发明还计算了所构建模式与标准空间模板间的空间相似度，以一步说明模型的高效性。最终结果表明，本发明所设计方法相较于传统方法稀疏表示重叠率提高了8.4％，相较于最先进的multi-head gagnn方法重叠率提高了1.4％；时间皮尔逊相关系数高达76.2％，说明所建模的时序信息高度相关。

31、为了说明所设计模块的有效性，本发明将提出的模型架构与其他四种不同的模型设计进行了比较，首先将多尺度金字塔块丢弃，此时空间重叠率下降了1.7％，时间皮尔逊相关系数下降31.6％；其次将u-net结构解码阶段的减层部分还原，此时所构建的时空模式结果无明显变化，说明所设计模型可以实现在保证性能的前提下，进行轻量化的减层处理；最后将多尺度金字塔块转移到编码阶段的深层，此时空间重叠率下降了1.8％，时间皮尔逊相关系数下降26.9％。这进一步说明了本发明所设计的架构实现了最佳的默认模式网络的建模能力。

32、本发明所提出的大脑默认模式网络个性化建模的多尺度注意力方法具有较强的泛化能力，预计成果转化完成后可在临床进行测试应用，实现对一些脑部疾病的辅助筛查，特别是一些退行性疾病的早期诊断，辅助甚至摆脱当前临床上，多数退行性疾病只能依靠量表检查的诊断方法。

33、本发明所提出的大脑默认模式网络个性化建模的多尺度注意力方法填补了国内外对于大脑默认模式网络个性化时空建模方面的空白，利用多尺度金字塔卷积和多头注意力机制，通过合理的实验设计，取得了有效的实验结果，为推广至临床实现对退行性疾病的影像学早期筛查提供了潜在的工具。

34、本发明所提出的大脑默认模式网络个性化建模的多尺度注意力方法解决了如何利用4dfmri数据的时空特性问题，同时也解决了对于大脑默认模式网络个性化建模精度不高的问题，为临床的推广提供了可能。本发明克服了对于时间模式建模过程中，容易过拟合的技术偏见问题，有效地实现了大脑默认模式网络个性化时空建模。