基于局部-全局图神经网络的类器官ATP预测方法

本发明涉及基于局部-全局图神经网络的类器官atp预测方法，属于计算机视觉、深度学习。

背景技术：

1、类似于组织器官的类器官是一种体外三维培养物，它能近似地模拟源器官或组织，并能建立一个模拟体内环境的模型。类器官能在最大程度上模拟真实器官的结构和功能，而且比动物模型更容易操作。它们还可用于研究疾病发生和发展的机制，是将癌症基础研究成果转化为新的治疗策略并为患者实现个性化精准药物筛选的重要临床研究模型。其中，在类器官明场图像中测量出类器官atp活性是药敏检测中相当重要的一步。现有检测类器官活性的通用方法为ctg(cell titer-glo)发光法，该方法需要加入对应试剂，使类器官发光，通过检测发光信号反映类器官的atp指标，但该检测过程会导致类器官裂解，检测完毕后的类器官无法继续进行培养，并且检测程序相对复杂、耗时。

2、最近，深度学习算法在医学图像处理中取得了巨大的成功，大量的研究致力于标志物预测、疾病分类和细胞类型预测等任务中。然而，面向明场图像的类器官atp活性算法亟需开发。同时，由于类器官明场图像的对比度低，且类器官的粘附性强、背景噪声大、边界模糊，现存的深度学习算法缺乏提取全局和局部空间关系的能力，故限制了类器官atp活性预测的精度。

技术实现思路

1、为了提升类器官atp活性预测的精度，本发明提供了基于局部-全局图神经网络的类器官atp预测方法，所述技术方案如下：

2、本发明的第一个目的在于提供一种类器官atp预测方法，包括：

3、步骤1：获取待检测类器官的明场图像和非成像信息；

4、步骤2：对所述明场图像进行阈值分割，获取若干个候选类器官；

5、步骤3：利用局部关注图卷积神经网络对所述候选类器官进行特征提取，得到节点信息局部关注特征；

6、所述局部关注图卷积神经网络包括：区域图构建模块和局部关注模块，所述区域图构建模块用于构建区域图表征类器官的拓扑信息，所述局部关注模块用于学习局部类器官图嵌入；

7、步骤4：利用自注意力池化融合机制对所述非成像信息和所述局部类器官图嵌入进行融合，得到局部图文共表达特征；

8、步骤5：利用全局主题图卷积神经网络对所述局部图文共表达特征和局部类器官图嵌入进行处理，得到所述待检测类器官明场图像的全局主题特征；

9、所述全局主题图卷积神经网络包括：全局图构建模块和主题图感知模块，所述全局图构建模块用于将非成像信息和空间信息纳入框架，所述主题图感知模块通过多尺度架构对图的层次结构和上下文信息进行建模，从而得到所述类器官明场图像的全局主题特征；

10、步骤6：利用多层感知机mlp层对所述待检测类器官明场图像的全局主题特征进行处理，得到atp预测结果。

11、可选的，所述非成像信息包括：染色药剂名称、温度、湿度。

12、可选的，所述步骤3包括：

13、步骤31：基于所述步骤2得到的若干个候选类器官构建类器官区域图glocal，其中每个节点对应于一个候选类器官，即v＝{v1,...,vn}，glocal中的节点特征表示为矩阵其中xi是与节点vi关联的特征表示，a是v的邻接矩阵，其中的元素定义为：

14、

15、其中cov(vi,vj)是vi和vj对应的候选类器官之间的互协方差，aij是两个相邻节点vi和vj之间的pearson相关系数；

16、步骤32：利用所述局部关注模块学习局部类器官图嵌入，所述局部关注模块包括三个图卷积层，三个relu激活函数、两个跳跃操作，具有relu激活的第t∈{1,2}图卷积层定义为：

17、

18、其中是a的度矩阵，w(t)表示第t层的可训练的权重矩阵，表示第t层图卷积的节点表示；

19、将第t层图卷积层的输入与输出进行跳跃连接操作：l(t)＝conv(cat(x(t-1),x(t)))，得到所述节点信息局部关注特征

20、可选的，所述步骤4包括：

21、步骤41：利用图卷积层估计所述节点信息局部关注特征l(t)的自注意力分数z：

22、z＝gc(l(t),a)

23、步骤42：将tanh函数应用于z的k个最大元素来获得所选节点的自注意力分数

24、

25、步骤43：采用top-k节点选择策略来保留区域图的一部分节点，其中k是选择建立新图的节点数；

26、在k个节点的选择中，节点排序的运算输出基于z的k个最大值的索引idx：

27、

28、步骤44：根据索引idx筛选出索引特征并将和的逐元素乘法来捕获池化节点特征a(idx,idx)进行行列提取，形成新的邻接矩阵

29、

30、步骤45：将步骤44的输出和步骤1中类器官的非成像信息进行融合，得到自注意力池化融合机制输出的所述局部图文共表达特征y；

31、所述非成像信息经过相似度计算和多层感知机mlp操作进行特征降维和高纬度信息提取得到高层次非成像信息t，具体过程如下：

32、

33、其中sim表示两个输入向量之间的余弦相似度，ni和nj代表不同的非成像信息。

34、可选的，所述步骤5包括：

35、步骤51：提取每张类器官明场图像的特征并构造相似度矩阵s1：

36、

37、其中，z1,z2,...,zm分别表示类器官的明场图像，m是类器官的数量，ρ是相关距离，σ是[ρ(zi,zj)]2的平均值；

38、基于所述局部图文共表达特征y构建节点相似性度量s2以获得临床辅助信息：

39、s2＝conv(meanpool(y),maxpool(y))

40、其中，meanpool和maxpool表示全局平均池化和全局最大池化；

41、通过hadamard乘积融合这两个矩阵：g′＝s1*s2，将g′权重大于0.4的连通性设为1，其他设为0，得到全局图特征gglobal；

42、步骤52：基于所述全局图特征gglobal和所述局部图文共表达特征y构建全局主题特征b：

43、β＝awab(concat(y,deepblock(gglobal)))

44、其中，awab表示自适应权重聚合块，deepblock表示深度模块。

45、可选的，所述深度模块deepblock包括依次连接的deepconv层、批量归一化层、relu激活层和dropout层。

46、可选的，所述步骤2中采用python中的opencv包对对所述明场图像进行阈值分割。

47、本发明的第二个目的在于提供一种类器官atp预测系统，应用于如上述任一项所述的类器官atp预测方法，所述系统包括：

48、图像获取模块，被配置为获取待检测类器官的明场图像和非成像信息；

49、阈值分割模块，被配置为对所述明场图像进行阈值分割，获取若干个候选类器官；

50、局部关注图卷积神经网络模块，被配置为包括：区域图构建模块和局部关注模块，所述区域图构建模块用于构建区域图表征类器官的拓扑信息，所述局部关注模块用于学习局部类器官图嵌入；

51、自注意力池化融合机制，被配置为对所述非成像信息和所述局部类器官图嵌入进行融合，得到局部图文共表达特征；

52、全局主题图卷积神经网络模块，被配置为包括：全局图构建模块和主题图感知模块，所述全局图构建模块用于将非成像信息和空间信息纳入框架，所述主题图感知模块通过多尺度架构对图的层次结构和上下文信息进行建模，从而得到所述类器官明场图像的全局主题特征；

53、mlp层，被配置为对所述待检测类器官明场图像的全局主题特征进行处理，得到atp预测结果。

54、本发明的第三个目的在于提供一种电子设备，包括存储器和处理器；

55、所述存储器，用于存储计算机程序；

56、所述处理器，用于当执行所述计算机程序时，实现如上述任一项所述的类器官atp预测方法。

57、本发明的第四个目的在于提供一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述任一项所述的类器官atp预测方法。

58、本发明有益效果是：

59、本发明可以对类器官明场图像进行处理，高效地预测显微图像中的类器官atp活性；本发明利用局部关注图卷积神经网络、全局主题图卷积神经网络和自注意力池化融合机制构造atp预测模型，有效地挖掘了类器官显微图像中至关重要的拓扑信息的局部和全局空间信息，解决了类器官atp活性预测精度低的问题；实验结果证明，本发明提供的智能预测方法可实现快速、精准、无损、高通量的预测类器官atp活性。