基于时空注意力模型的多相期CT图像分类系统及构建方法与流程

技术特征：
1.一种基于时空注意力模型的多相期ct图像分类系统，其特征在于，包括：数据获取单元，用于获取待分类患者的s个相期的ct图像；第一嵌入层网络单元，包括s个第一嵌入层网络，第一嵌入层网络分别用于将每个相期ct图像分割成多个图像块并分别将每个图像块展平为图像块向量，再将所有图像块向量与类别标记向量合并后与同维度位置向量相加获得对应相期的ct图像的嵌入向量；空间注意力单元，包括s个空间注意力网络，每个空间注意力网络包括l1层第一多头注意力网络msa、l1层第一多层感知机和一层第一归一化层，其中l1层第一多头注意力网络msa和l1层第一多层感知机依次交错连接，所述第一多头注意力网络msa用于生成最终空间注意力函数，将最终空间注意力函数与输入向量相加作为对应下一层第一多层感知机的输入向量；所述第一多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第一多头注意力网络msa的输入；其中，第一层第一多头注意力网络msa的输入向量为嵌入向量；第一归一化层用于对最后一层第一多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化并作为对应相期的ct图像的空间特征；第二嵌入层网络单元，包括1个第二嵌入层网络，用于将s个空间注意力网络输出的s个对应相期的ct图像的空间特征合并后与类别标记向量结合获得嵌入层向量；时间注意力单元，包括1个时间注意力网络，时间注意力网络包括l2层第二多头注意力网络msa、l2层第二多层感知机和一层第二归一化层，其中l2层第二多头注意力网络msa和l2层第二多层感知机依次交错连接，所述第二多头注意力网络msa用于生成最终时间注意力函数，将最终时间注意力函数与输入向量相加作为对应下一层第二多层感知机的输入向量；所述第二多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层第二多头注意力网络msa的输入；其中，第一层第二多头注意力网络msa的输入向量为第二嵌入层网络单元输出的嵌入层向量；第二归一化层用于对最后一层第二多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化获得具有空间特征和时间特征的向量；分类层单元，包括分类层，用于依据具有空间特征和时间特征的向量获得分类结果。2.根据权利要求1所述的系统，其特征在于，s大于等于2，s个相期的ct图像具体包括：平扫期ct图像、动脉期ct图像、门静脉期ct图像和延迟期ct图像中的至少两种。3.根据权利要求1所述的系统，其特征在于，所述嵌入向量具体为：x
0 = [x
class
; x
1p
; x
2p
…
x
np
] x
pos
其中，x
class
表示类别标记向量，x
pos
表示位置向量，x
p
表示线性化后的图像块向量，n表示分割后的图像块数量。4.根据权利要求1所述的系统，其特征在于，所述多头注意力网络msa包括多个自注意力模块sa、一个拼接层，其中，自注意力模块sa用于将归一化的输入向量转换为三个不同的查询矩阵q，关键字矩阵k和值矩阵v，并依据三个不同的查询矩阵q，关键字矩阵k和值矩阵v生成输入向量中每个向量之间的注意力函数：
其中，d
k
表示关键字矩阵k中每个关键字向量k的维度；softmax（）是softmax函数；拼接层用于拼接每个自注意力模块sa输出的注意力函数获得最终空间或时间注意力函数。5.根据权利要求1所述的系统，其特征在于，所述第一多头注意力网络msa、第二多头注意力网络msa的输入向量为：ln表示归一化方法，x
l
表示第一多头注意力网络msa或第二多头注意力网络msa的输入向量，mlp（）表示对应的第一多层感知机或第二多层感知机的输出，x’l-1
表示第l-1层第一多层感知机或第二多层感知机的输入向量。6.根据权利要求1所述的系统，其特征在于，所述第一多层感知机、第二多层感知机的输入向量为：ln表示归一化方法，x’l
表示第一多层感知机或第二多层感知机的输入向量，msa（）表示对应的第一多头注意力网络msa或第二多头注意力网络msa的输出，x
l
表示第l层第一多头注意力网络msa或第二多头注意力网络msa的输入向量。7.一种基于时空注意力模型的多相期ct图像分类系统的构建方法，其特征在于，包括：收集样本构建数据集，所述数据集的每个样本包括一个患者的s个相期的ct图像；构建权利要求1-6任一项所述基于时空注意力模型的多相期ct图像分类系统，并将数据集中每个样本作为系统的输入，以系统输出的分类结果与分类标签的误差最小化为目标进行训练，获得所述基于时空注意力模型的多相期ct图像分类系统。

技术总结
本发明公开了一种基于时空注意力模型的多相期CT图像分类系统及构建方法，本发明系统包括数据获取单元、第一嵌入层网络单元、空间注意力单元、第二嵌入层网络单元、时间注意力单元和分类层单元。其中通过嵌入层单元将多相期CT图像向量化，随后使用空间注意力单元提取空间特征，并把多相期CT图像的空间特征合并后输入到时间注意力单元，得到具有空间特征和时间特征的向量，通过分类层单元完成分类。本发明采用了注意力机制，并分离了空间和时间特征，更关注CT图像中的重点部分，同时能将各个相期的CT图像全局联系起来，减少了计算冗余，提升了分类效率和精度，对于通过多相期CT图像进行分类的医学诊断更具有适应性，且具有更高的实用性。的实用性。的实用性。


技术研发人员：吴元锋 朱闻韬 薛梦凡 江浩东
受保护的技术使用者：之江实验室
技术研发日：2022.06.15
技术公布日：2022/7/15