基于多个机器学习模型的人工晶状体选择的制作方法

基于多个机器学习模型的人工晶状体选择


背景技术：

1.本披露内容总体上涉及一种用于使用多个机器学习模型来选择要植入到眼睛中的人工晶状体的系统和方法。人类晶状体通常是透明的，因此光线可以很容易地穿过它。然而，许多因素可能导致晶状体中的区域变得浑浊和致密，从而对视觉质量产生负面影响。这种情况可以经由白内障手术(即选择人造晶状体以植入患者的眼睛)得到纠正。事实上，白内障手术是世界各地进行的常见手术。白内障手术临床结果的一个重要驱动因素是选择合适的人工晶状体。目前，有几种计算器使用关于患者眼睛的各种术前信息来预测要植入的晶状体屈光力。然而，现有的计算器不使用眼睛的完整术前图像作为输入数据。


技术实现要素：

2.本文披露了一种用于选择要植入到眼睛中的人工晶状体的系统和方法，所述系统具有控制器，所述控制器具有处理器和有形的非暂态存储器。所述系统采用综合的、多管齐下的方法，并且包括控制器，所述控制器具有处理器和有形的非暂态存储器，所述存储器上记录有指令。所述控制器被配置成选择性地执行多个机器学习模型，包括第一输入机器学习模型、第二输入机器学习模型和输出机器学习模型。所述多个机器学习模型中的每一个可以是相应的回归模型。在一个示例中，输出机器学习模型包括多层感知器网络。
3.所述处理器对所述指令的执行使得所述控制器接收所述眼睛的至少一个术前图像。所述控制器被配置成经由所述第一输入机器学习模型，部分地基于所述至少一个术前图像提取第一数据集。在一个示例中，所述眼睛的至少一个术前图像是超声生物显微镜图像。所述第一数据集可以包括所述眼睛的多个术前尺寸。所述多个术前尺寸可以包括前房深度、晶状体厚度、晶状体直径、沟到沟直径、第一赤道面位置、第二赤道面位置、第三赤道面位置、虹膜直径、从角膜的第一表面到术前晶状体的后表面的轴向长度以及睫状突直径中的一个或多个。可替代地，所述多个术前尺寸可以包括前房深度、晶状体厚度、晶状体直径、沟到沟直径、虹膜直径、从角膜第一表面到术前晶状体的后表面的轴向长度以及睫状突直径中的每一个。
4.所述控制器进一步被配置成接收所述眼睛的多个生物特征参数，并经由所述第二输入机器学习模型，部分地基于所述多个生物特征参数提取第二数据集。所述多个生物特征参数可以包括k平坦因子和k陡峭因子。所述第一数据集和所述第二数据集被组合以获得混合数据集。在一个示例中，所述术前图像是从第一成像设备获得的，并且所述多个生物特征参数是从第二成像设备获得的，所述第二成像设备不同于所述第一成像设备。例如，所述第一成像设备可以是超声设备，并且所述第二成像设备可以是光学相干断层扫描设备。
5.所述控制器被配置成经由所述输出机器学习模型基于所述混合数据集生成至少一个输出因子。部分地基于所述输出因子来选择人工晶状体。所述输出因子可以是显性等效球镜度数(mrse)。所述多个机器学习模型可以包括第三输入机器学习模型。在生成所述输出因子之前，所述控制器可以被配置成访问相应的术前和术后图像的历史对，并经由所述第三输入机器学习模型，部分地基于所述历史对来提取第三数据集。在生成所述输出因
子之前，将所述第三数据集添加到所述混合数据集。
6.所述人工晶状体可以包括与一个或多个支撑结构邻接的光学区。所述人工晶状体可以包括至少部分地填充有流体的内腔。所述流体被配置成在内腔中移动，以改变所述人工晶状体的屈光力。应当理解，可以采用本领域技术人员可获得的任何类型的人工晶状体。
7.通过以下结合附图对实施本披露内容的最佳模式的详细描述，本披露内容的上述特征和优点以及其他特征和优点将显而易见。
附图说明
8.图1是用于选择要植入到眼睛中的人工晶状体的系统的示意性图示，该系统具有控制器；
9.图2是示例人工晶状体的示意性立体图；
10.图3是可由图1的控制器执行的方法的示意性流程图；
11.图4是眼睛的示例术前图像的示意性局部截面图；
12.图5是眼睛的示例术后图像的示意性局部截面图；
13.图6是可由图1的控制器执行的多层感知器算法的示意性示例；以及
14.图7是图1的控制器的支持向量回归(svr)技术的示意性示例。
具体实施方式
15.参考附图，其中相同的附图标记指代相同的部件，图1示意性地展示了用于选择要植入的人工晶状体的系统10。图2示出了人工晶状体12的示例。然而，可以采用本领域技术人员可获得的任何类型的人工晶状体。系统10采用了利用多个机器学习模型的稳健的、多管齐下的方法。如下所述，系统10利用丰富的图像数据和数值数据两者来优化人工晶状体12的选择。
16.参考图2，人工晶状体12包括光学区14，该光学区限定了第一表面16和第二表面18。光学区14可以与一个或多个支撑结构(比如第一支撑结构20和第二支撑结构22)邻接，这些支撑结构被配置成支持人工晶状体12的定位和保持。人工晶状体12可以限定至少部分地填充有流体f的内腔24。该流体f被配置成可以在内腔24内移动，以改变人工晶状体12的厚度(和屈光力)。应当理解，人工晶状体12可以采取许多不同的形式，并且包括多个部件和/或替代的部件。
17.参考图1，系统10包括控制器c，该控制器具有至少一个处理器p和至少一个存储器m(或者非暂态、有形计算机可读存储介质)，该存储器上记录有用于执行选择人工晶状体12的方法100的指令。下面参考图3示出并描述方法100。图4示出了眼睛e的示例术前图像200。图5示出了眼睛e的示例术后图像300。
18.现在参考图1，控制器c可以被配置成经由短程网络28与比如第一成像设备30等各种实体通信。第一成像设备30可以是超声机、磁共振成像机或本领域技术人员可获得的其他成像设备。短程网络28可以是无线的或者可以包括物理部件。短程网络28可以是以各种方式实施的总线，比如局域网形式的串行通信总线。局域网可以包括但不限于控制器局域网(can)、具有灵活数据速率的控制器局域网(can-fd)、以太网、蓝牙、wifi和其他形式的数据连接。短程网络28可以是bluetooth
tm
连接，其被定义为短程无线电技术(或无线技术)，旨
在简化互联网设备之间以及设备与互联网之间的通信。bluetooth
tm
是用于短距离传输固定和移动电子设备数据的开放式无线技术标准，并且创建在2.4ghz频带内运行的个人网络。可以采用其他类型的连接。
19.参考图1，控制器c可以与第二成像设备32、显示模块和/或用户界面34以及数据库36通信。另外，控制器c可以被配置成经由长程网络44与远程服务器40和/或云单元42通信。远程服务器40可以是由比如研究所、公司、大学和/或医院等组织维护的私有或公共信息源。云单元42可以包括托管在互联网上的一个或多个服务器，以存储、管理和处理数据。长程网络44可以是使用无线分布方法链接多个设备的无线局域网(lan)、连接几个无线lan的无线城域网(man)或覆盖比如相邻城镇和城市等大区域的无线广域网(wan)。可以采用其他类型的连接。
20.如图1所示，控制器c可以被配置成通过移动应用46从远程服务器40接收无线通信和向该远程服务器发射无线通信。移动应用46可以经由短程网络28与控制器c通信，从而可以访问控制器c中的数据。在一个示例中，移动应用46物理连接(例如，有线连接)到控制器c。在另一个示例中，移动应用46嵌入到控制器c中。可以采用本领域技术人员可用的远程服务器40和移动应用46(“app”)的电路系统和部件。
21.控制器c被专门编程以选择性地执行多个机器学习模型48。控制器c可以经由短程网络28、长程网络44和/或移动应用46访问多个机器学习模型48。可替代地，多个机器学习模型48可以嵌入到控制器c中。多个机器学习模型48可以被配置成找到使相应成本函数最小化的参数、权重或结构。多个机器学习模型48中的每一个可以是相应的回归模型。在一个示例中，参考图1，多个机器学习模型48包括第一输入机器学习模型50、第二输入机器学习模型52、第三输入机器学习模型54和输出机器学习模型56。
22.多个机器学习模型48可以包括神经网络算法。如本领域技术人员所理解的，神经网络被设计成识别模式，并大体上模仿人脑。这些模式由神经网络从被变换或转换为数值形式并嵌入到向量或矩阵中的现实世界数据(例如，图像、声音、文本、时间序列等)中识别出来。神经网络可以使用深度学习映射来将输入向量x与输出向量y匹配。换句话说，多个机器学习模型48中的每一个都学习使得f(x)映射到y的激活函数f。训练过程使神经网络能够关联适当的激活函数f(x)，以将输入向量x变换为输出向量y。在简单线性回归模型的情况下，学习了两个参数：偏差和斜率。偏差是输入向量x为0时输出向量y的水平，并且斜率是输入向量x每增加一个单位时输出向量y的预测增加速率或减少速率。一旦分别训练了多个机器学习模型48，就可以用输入向量x的给定新值来计算输出向量y的估计值。
23.多个机器学习模型48可以包括多层感知器网络。参考图6，示出了多层感知器网络400的示例。多层感知器网络400是具有至少三层节点n的前馈人工神经网络，包括输入层402、一个或多个隐藏层408(比如第一隐藏层404和第二隐藏层406)和输出层410。每个层由被配置成执行输入的线性和的仿射变换的节点n构成。节点n是以相应的偏差和相应的加权链接为特征的神经元。输入层402中的节点n接收输入，对它们进行归一化，并将它们转发给第一隐藏层404中的节点n。后续层中的每个节点n计算前一层的输出的线性组合。具有三个层的网络将形成激活函数f(x)＝f(3)(f(2)(f(1)(x)))。对于输出层410中的相应的节点n，激活函数f可以是线性的。对于第一隐藏层404和第二隐藏层406，激活函数f可以是s形函数。使用s形函数的线性组合来逼近表征输出向量y的连续函数。可以采用其他类型的神经
网络。
24.多个机器学习模型48可以包括支持向量回归(svr)模型。图7示出了数据点502的支持向量回归模型500的示例。支持向量回归模型500被配置成找到函数(图7中的超平面504)，该函数使得数据点502在该函数的条带506内，即，在第一边界线508和第二边界线510内。参考图7，超平面504可以被定义为将输入向量x与输出向量y进行匹配(即，预测目标值)的线。超平面504是个性化的，以使条带506最大化并使预定义的误差最小化。如果存在位于条带506之外的点(比如外部点512)，则可以向支持向量回归模型500中引入惩罚。在确定超平面504之前，支持向量回归模型500可以使用核函数来将较低维度的数据集映射成较高维度的数据集。可以采用本领域技术人员可获得的其他机器学习模型。
25.现在参考图3，示出了可由图1的控制器c执行的方法100的流程图。方法100不需要以本文列举的特定顺序应用，并且可以省略一些框。存储器m可以存储控制器可执行指令集，并且处理器p可以执行存储在存储器m中的控制器可执行指令集。
26.根据图3的框102，控制器c被配置成接收眼睛的至少一个术前图像。图4中示出了眼睛e的示例术前图像200。图4没有按比例绘制。图4展示了角膜203的上表面202、角膜203的下表面204、术前晶状体206、虹膜208和睫状肌210。术前图像200可以经由超声生物显微镜技术获得。超声生物显微镜技术可以采用约35mhz与100mhz之间的相对高频的换能器，其组织穿透深度在约4mm与5mm之间。可以采用其他成像方式，包括但不限于光学相干断层扫描和磁共振成像。可以使用单个图像或一系列图像来训练多个机器学习模型48。
27.根据图3的框104，方法100包括经由第一输入机器学习模型50部分地基于至少一个术前图像(比如图4所示的示例术前图像200)提取第一数据集。第一数据集可以以三维矩阵的形式呈现。这提供了利用丰富图像数据的技术优势。参考图4，第一数据集可以包括多个术前尺寸，比如前房深度212、晶状体厚度214、晶状体直径216和沟到沟直径218。该多个术前尺寸可以包括第一赤道面位置220(从晶状体前极进行测量)、第二赤道面位置222(相对于前房深度212进行测量)和第三赤道面位置224(相对于晶状体后极进行测量)。参考图4，该多个术前尺寸可以进一步包括虹膜直径226、从角膜203到术前晶状体206的后表面的轴向长度228和睫状突直径230。
28.根据图3的框106，控制器c被配置成接收多个生物特征参数，其可以包括眼睛e的术前尺寸，比如k平坦因子、k陡峭因子和平均k因子。该多个生物特征参数可以进一步包括前房深度212、晶状体厚度214、晶状体直径216、睫状突直径230和沟到沟直径218。该多个生物特征参数可以进一步包括与人工晶状体12相关的参数，比如晶状体屈光力和厚度。在一个示例中，术前图像200是从第一成像设备30获得的，并且该多个生物特征参数是从第二成像设备32获得的，其中，第二成像设备32不同于第一成像设备30。例如，第一成像设备30可以是超声设备，并且第二成像设备32可以是光学相干断层扫描设备。应当理解，可以采用其他成像方式。在另一个示例中，术前图像200和该多个生物特征参数是通过相同的成像方式获得的。
29.根据图3的框108，方法100包括经由第二输入机器学习模型52部分地基于多个生物特征参数提取第二数据集。第二数据集可以以三维向量的形式呈现。根据图3的框110，控制器c被配置成组合第一数据集和第二数据集以获得混合数据集。
30.可选地，根据框112，方法100可以包括访问相应的术前图像和术后图像(比如分别
在图4和图5中示出的术前图像200和术后图像300)的历史对。图5展示了角膜303的上表面302、角膜303的下表面304、虹膜308和睫状肌310。图5中还示出了植入的人工晶状体12、第一表面16、第二表面18、第一支撑结构20和第二支撑结构22。图5没有按比例绘制。术后图像300可以经由超声生物显微镜技术或本领域技术人员可用的其他成像方式获得。参考图1，控制器c可以被配置成经由短程网络28从数据库36获得历史对。控制器c可以被配置成经由长程网络44从远程服务器40获得历史对。
31.根据框114，控制器c被配置成经由第三输入机器学习模型54，部分地基于历史对的比较来提取第三数据集。第三数据集被添加到混合数据集中。在一个示例中，第三输入机器学习模型54是深度学习神经网络，其被配置成对术前图像200中的术前测量值(x)进行分类，以确定建议的晶状体屈光力(f(x))，并随后确定可能因使用建议的人工晶状体屈光力而导致的估计误差。第三输入机器学习模型54可以被配置成使成本函数最小化，该成本函数被定义为预测显性等效球镜度数(基于术前图像200)与术后显性等效球镜度数(基于术后图像300)之间的均方误差。
32.历史对的比较可能需要跟踪术前图像200与术后图像300之间特定参数的变化。例如，比较可以包括评估图4所示的第一距离d1和图5所示的第二距离d2之间的差异。第一距离d1是术前图像200中的术前晶状体206的中心240与角膜203的上表面202上的参考点242之间的距离。第二距离d2是术后图像300中的植入的人工晶状体12的中心340与角膜303的上表面302上的参考点342之间的距离。也可以采用其他参数。
33.根据图3的框116，方法100包括经由输出机器学习模型56基于混合数据集生成至少一个输出因子。参考图6，输出机器学习模型56可以是全连接感知器模型，该全连接感知器模型使得每个节点n的参数独立于其他节点，即，每个节点n以唯一的一组权重为特征。参考图6，输出机器学习模型56可以生成多个输出，比如第一输出因子412和第二输出因子414。第一输出因子412可以是显性等效球镜度数(mrse)。第二输出因子414可以是未矫正远距离视力(ucdva)。
34.可选地，在根据框116生成输出因子之前，控制器c可以被配置成部分地基于多个术前尺寸获得一个或多个估算的术后变量。估算的术后变量可以包括术后晶状体厚度和术后晶状体位置。将估算的术后变量添加到混合数据集，并将其视为输出机器学习模型56的附加输入，以在框116中生成输出因子。估算的术后变量可以从几何模型或本领域技术人员可获得的人工晶状体屈光力计算公式(比如srk/t公式、holladay公式、hoffer q公式、olsen公式和haigis公式)中获得。估算的术后变量可以从本领域技术人员可用的其他估计方法中获得。
35.根据图3的框118，方法100包括部分地基于在框116中生成的至少一个输出因子来选择人工晶状体12。在多个输出因子的情况下，控制器c可以被配置成使用多个输出因子的加权平均值或其他统计方法(例如，神经网络)来确定要植入的人工晶状体12的正确屈光力。
36.总之，系统10和方法100优化了人工晶状体12的选择过程，并且能够实现更大的预测成功率，尤其是对于具有不规则生物特征的眼睛。在模型训练和模型执行过程期间，系统10和方法100可以应用于广泛的成像方式。
37.图1的控制器c包括计算机可读介质(也称为处理器可读介质)，该计算机可读介质
包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的非暂态(例如，有形)介质。这种介质可以采取多种形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如动态随机存取存储器(dram)，其可以构成主存储器。这样的指令可以通过一个或多个传输介质来传输，包括同轴电缆、铜线和光纤，包括包含耦合到计算机的处理器的系统总线的线。一些形式的计算机可读介质包括，例如，软盘、软磁盘、硬盘、磁带、其他磁介质、cd-rom、dvd、其他光学介质、穿孔卡、纸带、其他具有孔图案的物理介质、ram、prom、eprom、flash-eeprom、其他存储芯片或盒、或计算机可以读取的其他介质。
38.本文描述的查找表、数据库、数据储存库或其他数据存储可以包括用于存储、访问和检索各种数据的各种机制，包括分层数据库、文件系统中的文件集、专有格式的应用程序数据库、关系数据库管理系统(rdbms)等。每个这样的数据存储可以被包括在采用诸如上述那些之一的计算机操作系统的计算设备中，并且可以经由网络以各种方式中的一种或多种来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。rdbms可以采用结构化查询语言(sql)，以及用于创建、存储、编辑和执行所存储的过程的语言，比如上面提到的pl/sql语言。
39.具体实施方式和附图或图对于本披露内容是支持性的和描述性的，但是本披露内容的范围仅由权利要求限定。虽然已经详细描述了用于实施所要求保护的披露内容的一些最佳模式和其他实施例，但是存在各种替代设计和实施例来实践所附权利要求中限定的披露内容。此外，附图中所示的实施例或本说明书中提到的各种实施例的特性不一定要被理解为彼此独立的实施例。而是，在实施例的一个示例中描述的每个特性可以与来自其他实施例的一个或多个其他期望的特性相结合，从而产生没有用文字描述或参考附图描述的其他实施例。因此，这样的其他实施例落入所附权利要求的范围框架内。