眼底图像分析方法、系统、终端及计算机可读存储介质

本发明涉及图像处理，尤其涉及一种眼底图像分析方法、系统、终端及计算机可读存储介质。

背景技术：

1、随着眼科领域多模态临床数据的迅速积累，对整合影像数据(例如眼底图像和光学相干断层扫描图像)与非影像数据(例如年龄、性别)的学习模型的需求日益增长，开发能够融合成像和非成像数据的深度学习模型显得尤为重要，这样的模型能够利用日益丰富的多模态医学数据，对眼底图像实现更全面的特征表示和更准确的分析。

2、然而，目前的这些模型都是将从图像中提取的特征与非影像学数据通过拼接或相加等手段进行融合，虽能够从眼底图像中自动提取视觉特征，从实现对眼底图像的分析，但是无法有效地建模不同用户之间的交互和关联，导致分析结果不够理想；图卷积网络模型为这一问题提供了新的解决途径；在这类模型中，个体被视作图中的节点，它们之间的关系则通过边来表示。例如，可以将个体的眼底图像作为节点，并利用非影像学信息来构建这些节点之间的边；虽然图卷积网络虽然可以建立两个对象之间的成对关系，但是传统图卷积网络在处理用户间复杂高阶关系时存在的局限性。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种眼底图像分析方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对眼底图像进行分析时，无法有效地建模不同用户之间的交互和关联，在处理用户间复杂高阶关系时存在的局限性，导致眼底图像的分析结果不够准确的问题。

2、为实现上述目的，本发明提供一种眼底图像分析方法，所述一种眼底图像分析方法包括如下步骤：

3、获取多个待分析用户的目标眼底图像和目标非影像学数据，将所述眼底图像输入到预训练好的编码器，输出视觉特征；

4、将所述视觉特征作为特征超图的结点的特征，通过预设算法根据所述结点构建所述特征超图的超边组，根据所述特征超图的超边组得到所述特征超图的第一关联矩阵；

5、对所述非影像学数据进行分类得到多个分组，根据每个所述分组得到一条属性超图的超边，根据多条所述超边构建所述属性超图的超边组，根据所述属性超图的超边组得到所述属性超图的第二关联矩阵；

6、将所述第一关联矩阵和所述第二关联矩阵进行矩阵拼接，得到目标超图的目标关联矩阵；

7、将所述视觉特征和所述目标关联矩阵输入到带权超图卷积模块中进行特征提取，得到目标结点特征，根据所述目标结点特征得到每个类别的概率，根据所述概率生成眼底图像分析报告。

8、可选地，所述的眼底图像分析方法，其中，所述特征超图、所述属性超图和所述目标超图均包括结点集v和超边集e；

9、所述超边集e中一条任意超边e∈e，都存在一个权重w(e)∈w，w为超边权重矩阵，定义为：

10、w＝diag(w(e1),w(e2),…,w(e|e|))；

11、其中，diag表示对角矩阵，|e|表示超边的总数；

12、所述特征超图、所述属性超图和所述目标超图的结构均由一个大小为|v|×|e|的关联矩阵h表示，所述关联矩阵h中的每个元素定义为：

13、

14、其中，h(v,e)＝1表示所述结点集v上的一个任意结点v∈v在超边e上，h(v,e)＝0表示所述结点集v上的一个任意结点v∈v不在超边e上；

15、对于任意结点v∈v，结点的度表示为：

16、d(v)＝∑e∈e w(e)h(v,e)；

17、对于任意超边e∈e，超边的度表示为：

18、

19、可选地，所述的眼底图像分析方法，其中，所述预设算法包括最近邻方法和聚类方法；

20、所述通过预设算法根据所述结点构建所述特征超图的超边组，具体包括：

21、计算特征空间中所有所述结点之间的距离，将所述任意结点v和所述任意结点v的邻居结点集合nk(v)聚合在一起生成多条第一超边e(v)：

22、e(v)＝nk(v)∪v；

23、其中，nk(v)表示与所述任意结点v距离最近的k个邻居结点的集合；

24、将生成的多条所述第一超边组合在一起得到所述特征超图的超边组eknn：

25、eknn＝{e(v)|v∈v}；

26、获取与所述任意结点v的距离大小小于预设阈值∈的多个结点集合n∈(v)，将所述任意结点v与多个所述结点集合n∈(v)分别聚合在一起生成多条第二超边，将生成的多条所述第二超边组合在一起得到所述特征超图的超边组e∈：

27、e∈＝{n∈(v)∪v|v∈v}；

28、通过聚类算法，根据所述任意结点v的特征对所述任意结点v进行分组，为每一组分别生成一条第二超边，将同一组的结点通过一条所述第二超边进行连接；

29、将生成的所有所述第二超边组合在一起得到所述特征超图的超边组ek-means：

30、ek-means＝{vk|1≤k≤k}；

31、其中，k表示分组数，k表示组的序数，vk表示第k组结点所在的超边；

32、分别为所述超边组eknn、所述超边组e∈和所述超边组ek-means中的每条超边赋予权重：

33、

34、其中，u和v分别表示两个结点，x(u)和x(v)分别表示u和v的特征，σ2表示高斯核的方差，exp()表示指数函数，d(x(u),x(v))表示结点u和v的特征之间的距离。

35、可选地，所述的眼底图像分析方法，其中，所述根据所述特征超图的超边组得到所述特征超图的第一关联矩阵，具体包括：

36、根据所述超边组eknn、所述超边组e∈和所述超边组ek-means表示出所述特征超图的第一关联矩阵hf：

37、

38、可选地，所述的眼底图像分析方法，其中，所述对所述非影像学数据进行分类得到多个分组，根据每个所述分组得到一条属性超图的超边，根据多条所述超边构建所述属性超图的超边组，根据所述属性超图的超边组得到所述属性超图的第二关联矩阵，具体包括：

39、将多个待分析用户的所述非影像学数据按照属性进行分组，所述非影像学数据包括离散属性数据和连续属性数据；

40、将具有相同所述离散属性数据的待分析用户聚合在同一条超边上，采用分段划分的方式划分属性区间，将所述连续属性数据落在相同属性区间内的待分析用户聚合在同一条超边上，构建所述属性超图的超边组eattribute：

41、eattribute＝{nattribute(a)|a∈a}；

42、其中，nattribute(a)是具有相同属性a的结点的集合，a表示所有属性的集合；

43、通过所述超边组eattribute得到属性超图的第二关联矩阵hattribute，并为所述超边组eattribute中的每条超边赋予权重：

44、

45、其中，δ(e)表示超边e的度，|| ||2表示欧几里得距离。

46、可选地，所述的眼底图像分析方法，其中，所述将所述第一关联矩阵和所述第二关联矩阵进行矩阵拼接，得到目标超图的目标关联矩阵，具体包括：

47、采用矩阵拼接方法将所述特征超图的第一关联矩阵和所述属性超图的第二关联矩阵进行矩阵合并，得到初始超图的关联矩阵h：

48、h＝hf||hattribute；

49、当网络深度增加时，通过动态构图技术对所述初始超图的关联矩阵进行动态调整，得到所述目标超图的目标关联矩阵。

50、可选地，所述的眼底图像分析方法，其中，所述将所述视觉特征和所述目标关联矩阵输入到带权超图卷积模块中进行特征提取，得到目标结点特征，根据所述目标结点特征得到每个类别的概率，具体包括：

51、将所述视觉特征在第l层的特征x(l)与所述目标关联矩阵的转置矩阵输入到带权超图卷积模块中进行矩阵乘法运算，将所述目标关联矩阵中每条超边上相互连接的结点的特征聚合到所述超边上，得到超边特征矩阵h(l)；

52、设置一个可学习结点权重的矩阵将所述矩阵与所述目标关联矩阵进行哈达玛积运算，为所述超边上的每个结点分配权重，得到目标超边特征矩阵e(l)：

53、

54、其中，⊙表示哈达玛积运算，t表示矩阵转置；

55、设置一个可学习结点权重的矩阵将所述矩阵与所述目标关联矩阵进行哈达玛积运算，为结点所在的每个超边分配权重，得到加权的结点特征矩阵，将所述加权的结点特征矩阵通过可学习参数θ(l)进行特征空间的转换，并引入残差操作，得到所述目标结点特征x(l+1)：

56、

57、其中，ρ表示激活函数，ehgcn()表示带权超图卷积模块的输出；

58、将所述目标结点特征x(l+1)通过softmax层输出得到每个待分析用户在每个类别下的概率。

59、此外，为实现上述目的，本发明还提供一种眼底图像分析系统，其中，所述眼底图像分析系统包括：

60、用户数据获取模块，用于获取多个待分析用户的目标眼底图像和目标非影像学数据，将所述眼底图像输入到预训练好的编码器，输出视觉特征；

61、第一关联矩阵构建模块，用于将所述视觉特征作为特征超图的结点的特征，通过预设算法根据所述结点构建所述特征超图的超边组，根据所述特征超图的超边组得到所述特征超图的第一关联矩阵；

62、第二关联矩阵构建模块，用于对所述非影像学数据进行分类得到多个分组，根据每个所述分组得到一条属性超图的超边，根据多条所述超边构建所述属性超图的超边组，根据所述属性超图的超边组得到所述属性超图的第二关联矩阵；

63、目标关联矩阵生成模块，用于将所述第一关联矩阵和所述第二关联矩阵进行矩阵拼接，得到目标超图的目标关联矩阵；

64、特征提取模块，用于将所述视觉特征和所述目标关联矩阵输入到带权超图卷积模块中进行特征提取，得到目标结点特征，根据所述目标结点特征得到每个类别的概率，根据所述概率生成眼底图像分析报告。

65、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的眼底图像分析程序，所述眼底图像分析程序被所述处理器执行时实现如上所述的眼底图像分析方法的步骤。

66、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有眼底图像分析程序，所述眼底图像分析程序被处理器执行时实现如上所述的眼底图像分析方法的步骤。

67、本发明中，获取目标眼底图像和目标非影像学数据，将眼底图像输入到编码器输出视觉特征；将视觉特征作为特征超图的结点的特征构建特征超图的超边组，得到特征超图的第一关联矩阵；对非影像学数据进行分类得到多个分组得到属性超图的超边，根据多条超边构建属性超图的超边组，得到属性超图的第二关联矩阵；将第一关联矩阵和第二关联矩阵进行拼接，得到目标超图的目标关联矩阵；将特征超图的结点和目标关联矩阵输入到带权超图卷积模块中得到目标结点特征，根据目标结点特征得到每个类别的概率，根据概率生成眼底图像分析报告。本发明在处理眼底图像分析任务时显示出卓越的性能，为高阶关系建模提供了一个新的视角和强有力的工具。