一种基于卷积神经网络的屈光度计算方法及系统与流程

本发明涉及人工智能领域，具体为一种基于卷积神经网络的屈光度计算方法及系统。

背景技术：

1、近视不仅造成视力的持续下降和可能导致的眼部并发症，而且长期的近视会使眼球持续拉长，从而增加患视网膜病变、黄斑变性等严重眼病的风险；特别是高度近视，更可能导致视网膜脱落、白内障等，这些条件不仅会严重影响视力，甚至可能导致完全失明。此外，近视还会影响个人的学习、工作和生活质量，需要长期依赖眼镜或隐形眼镜来矫正视力。

2、判断是否近视通常通过几种方法：视力检查、屈光检查等。视力检查是最基本的方法，通过阅读视力表来评估视力水平，简便快捷，但不能提供近视的详细程度。屈光检查则可以通过仪器测定眼睛的屈光状态，更准确地诊断近视度数和其他屈光异常，但需要专业设备和操作人员。屈光检查是利用红外led灯照射人眼，会在眼瞳上形成明暗不同的图案，也即新月图，新月图的面积大小、黑白比例、灰度分布代表了人眼近视、远视、散光、轴位等视力信息。

3、目前对于屈光度的检测大多是采用传统的图像处理方法，这些算法不仅会要求工业级别的成像设备，还会要求性能很高的中央处理器。利用红外偏心摄影验光原理，采集大量不同屈光度状态下的双眼特征图谱，再通过基于多层卷积神经网络的深度学习算法可以计算得到屈光度，然而，不同于常规的图像分类或者目标检测，屈光度检查中会拍摄多张图像，这些图像中都含有屈光度相关的信息，如何对这些图像进行处理得到屈光度信息是亟待解决的问题。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于卷积神经网络的双目屈光度计算方法，所述方法包括以下步骤：

2、获取一个周期内不同灯组点亮时拍摄的眼部图像，对每个所述眼部图像进行语义分割得到眼瞳图，按照灯组序列中灯组亮灯顺序构建和灯组序列对应的眼瞳图序列，进而得到多个序列；按照眼瞳图在所述序列中的顺序将眼瞳图输入到对应的基于卷积的主干网络中进行特征提取得到一个一维向量，将一个眼瞳图序列对应的多个一维向量拼接为一个特征序列，将所有特征序列拼接为特征矩阵；

3、将所述特征矩阵增加一列学习向量和一行学习向量，将维度扩展后的所述特征矩阵输入到vit模型中，所述vit模型中有偶数个编码器依次连接，对每个编码器的输出进行转置，将转置后的向量作为下一个编码器的输入，获取所述vit模型输出的特征矩阵的第一行和第一列；

4、将所述第一行和第一列分别输入到两个检测头中并进一步通过两个检测头的输出获得屈光度的值。

5、优选地，所述方法还包括训练过程，所述训练过程具体为：

6、将训练样本输入到模型中得到vit模型输出的第一行和第一列，将第一行输入到第一检测头中，计算第一损失值；将第一列输入到第二检测头，计算第二损失值；获取第一损失值和第二损失值的最大值，利用所述最大值进行反向传播更新模型参数；

7、对于每个批次的训练样本执行上述操作多次，直到第一损失值和第二损失值变化小于预设值。

8、优选地，所述利用所述最大值进行反向传播更新模型参数，具体为：

9、保持非所述最大值的检测头的参数不变，从所述最大值对应的检测头进行反向传播更新模型参数。

10、优选地，所述对每个所述眼部图像进行语义分割得到眼瞳图，具体为：

11、对所述眼部图像进行二值化，获取二值化区域中面积最大且值最大的区域；

12、获取所述区域中边界曲率在预设范围内的边界，对所述边界进行圆形拟合，得到圆形的中心点和半径；

13、判断以所述中心点为圆心、以半径的四分之一为半径的圆形区域是否存在亮斑，如果存在，则根据所述中心点和所述半径从所述眼部图像中提取眼瞳图。

14、优选地，所述通过两个检测头的输出获得屈光度的值，具体为：

15、获取两个检测头输出的屈光度的误差，若误差大于阈值，则提示重新拍摄图像；否则，输出将两个检测头的输出的平均值作为屈光度的值。

16、优选地，所述按照眼瞳图在所述序列中的顺序将眼瞳图输入到对应的基于卷积的主干网络中进行特征提取得到一个一维向量，具体为：

17、预先设置三个主干网络并对三个主干网络进行编号，其中，所述三个主干网络的深度随着编号的增大而增大，且所述三个主干网络输出的一维向量尺寸随着编号的增大而增大；

18、获取眼瞳图在所述序列中的顺序号，将眼瞳图输入到编号为所述顺序号的主干网络中，得到一个一维向量。

19、此外，本发明还提供了一种基于卷积神经网络的双目屈光度计算系统，所述系统包括以下模块：

20、特征提取模块，用于获取一个周期内不同灯组点亮时拍摄的眼部图像，对每个所述眼部图像进行语义分割得到眼瞳图，按照灯组序列中灯组亮灯顺序构建和灯组序列对应的眼瞳图序列，进而得到多个序列；按照眼瞳图在所述序列中的顺序将眼瞳图输入到对应的基于卷积的主干网络中进行特征提取得到一个一维向量，将一个眼瞳图序列对应的多个一维向量拼接为一个特征序列，将所有特征序列拼接为特征矩阵；

21、编码模块，用于将所述特征矩阵增加一列学习向量和一行学习向量，将维度扩展后的所述特征矩阵输入到vit模型中，所述vit模型中有偶数个编码器依次连接，对每个编码器的输出进行转置，将转置后的向量作为下一个编码器的输入，获取所述vit模型输出的特征矩阵的第一行和第一列；

22、解码模块，用于将所述第一行和第一列分别输入到两个检测头中并进一步通过两个检测头的输出获得屈光度的值。

23、优选地，所述系统还包括训练模块，所述训练模块具体为：

24、将训练样本输入到模型中得到vit模型输出的第一行和第一列，将第一行输入到第一检测头中，计算第一损失值；将第一列输入到第二检测头，计算第二损失值；获取第一损失值和第二损失值的最大值，利用所述最大值进行反向传播更新模型参数；

25、对于每个批次的训练样本执行上述操作多次，直到第一损失值和第二损失值变化小于预设值。

26、优选地，所述利用所述最大值进行反向传播更新模型参数，具体为：

27、保持非所述最大值的检测头的参数不变，从所述最大值对应的检测头进行反向传播更新模型参数。

28、优选地，所述对每个所述眼部图像进行语义分割得到眼瞳图，具体为：

29、对所述眼部图像进行二值化，获取二值化区域中面积最大且值最大的区域；

30、获取所述区域中边界曲率在预设范围内的边界，对所述边界进行圆形拟合，得到圆形的中心点和半径；

31、判断以所述中心点为圆心、以半径的四分之一为半径的圆形区域是否存在亮斑，如果存在，则根据所述中心点和所述半径从所述眼部图像中提取眼瞳图。

32、优选地，所述通过两个检测头的输出获得屈光度的值，具体为：

33、获取两个检测头输出的屈光度的误差，若误差大于阈值，则提示重新拍摄图像；否则，输出将两个检测头的输出的平均值作为屈光度的值。

34、优选地，所述按照眼瞳图在所述序列中的顺序将眼瞳图输入到对应的基于卷积的主干网络中进行特征提取得到一个一维向量，具体为：

35、预先设置三个主干网络并对三个主干网络进行编号，其中，所述三个主干网络的深度随着编号的增大而增大，且所述三个主干网络输出的一维向量尺寸随着编号的增大而增大；

36、获取眼瞳图在所述序列中的顺序号，将眼瞳图输入到编号为所述顺序号的主干网络中，得到一个一维向量。

37、最后，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，实现如上所述的方法。

38、针对在进行屈光度计算时，输入图像多的问题，本发明采用人工智能的方式，对多个眼瞳图像进行特征提取，然后根据灯组中亮灯顺序对眼瞳图的影响，采用不同的主干网络，对于灯组中靠近中心点的灯亮时拍摄的图像采用浅层主干网络提取特征，对于灯组中远离中心点的灯亮时拍摄的图像采用深层主干网络提取特征，而且不同主干网络提取的特征的长度不同，对于远离中心的灯亮时提取更多的特征，进而在保证计算速度的同时能够提取到尽可能多的特征。

39、此外，对于提取的特征在注意力计算时，让注意力不仅关注到不同灯组亮时各个眼瞳图特征，而且通过不断转置特征矩阵，在下一个注意力计算时让注意力集中到对距离中心不同距离的灯亮时采集的图像的特征，提高了特征融合的效果。