信息处理装置和信息处理方法与流程

1.本发明涉及信息处理装置和信息处理方法。


背景技术：

2.迄今已知包括眼底相机和光学相干断层成像仪(oct)的眼科成像设备，其被配置成使得它们的两个光学系统部分地共享光路(专利文献1)。
3.引文列表
4.专利文献
5.ptl 1：日本专利特开no.2011
‑
4978


技术实现要素：

6.技术问题
7.传统上，包括用于执行不同类型的成像的多个光学系统的成像设备可通信地连接的信息处理装置或者这种成像设备内部的信息处理装置可以进行与不同类型的成像相关的设置、与成像数据相关的设置等等。用于执行不同类型的成像的多个成像设备(诸如眼底相机和光学相干断层成像仪(oct))中的至少一个成像设备可通信地连接的信息处理装置也可以进行前述各种类型的设置等等。一些这样的信息处理装置只能总体地进行与多个不同类型的成像数据相关的设置，并且期望改进的检查者便利性。
8.所公开的技术的目的之一是实现与不同类型的成像数据相关的单独设置。前述目的不是限制性的，并且以下目的可以被视为本技术的另一个目的：提供从以下描述的用于实现本发明的模式中所讨论的配置导出的并且不能通过传统技术实现的操作和效果。
9.技术问题的解决方案
10.根据本公开的一方面，一种信息处理装置包括：存储单元，被配置成存储对于多个不同类型的成像中的每个类型的成像单独地设置的信息，作为用于通过所述多个不同类型的成像而取得的多条成像数据的传输设置；和传输单元，被配置成基于所存储的信息来传输关于测试被检体的成像数据，该成像数据是通过所述多个不同类型的成像中的任一类型的成像而取得的。
11.本发明的有益效果
12.根据所公开的技术中的一种技术，可以单独地设置与不同类型的成像数据相关的设置。
附图说明
13.[图1]图1是示意性地示出根据第一示例性实施例的眼科成像系统的配置的图。
[0014]
[图2]图2是示出根据第一示例性实施例的眼科成像系统的自动传送设置画面的示例的图。
[0015]
[图3]图3是示出根据第一示例性实施例的眼科成像系统的成像画面的示例的图。
[0016]
[图4]图4是示出根据第一示例性实施例的眼科成像系统的成像画面的示例的图。
[0017]
[图5]图5是示出根据第一示例性实施例的眼科成像系统的操作的流程图的示例的图。
[0018]
[图6a]图6a是示出根据第二示例性实施例在显示单元上显示的报告画面的示例的图。
[0019]
[图6b]图6b是示出根据第二示例性实施例在显示单元上显示的报告画面的示例的图。
[0020]
[图7]图7是示出根据第二示例性实施例的图像质量增强处理的示例的图。
[0021]
[图8]图8是示出根据第二示例性实施例的用户界面的示例的图。
[0022]
[图9a]图9a是示出根据第六变形例的被用作机器学习引擎的神经网络的配置的示例的图。
[0023]
[图9b]图9b是示出根据第六变形例的被用作机器学习引擎的神经网络的配置的示例的图。
[0024]
[图10a]图10a是示出根据第六变形例的被用作机器学习引擎的神经网络的配置的示例的图。
[0025]
[图10b]图10b是示出根据第六变形例的被用作机器学习引擎的神经网络的配置的示例的图。
具体实施方式
[0026]
下面将参照附图详细描述用于实现本发明的示例性实施例。注意，在以下示例性实施例中描述的组件的尺寸、材料、形状、相对位置等是可自由选择的，并且可以基于应用本发明的装置的配置或各种条件来修改。在附图中，在不同附图中使用相同的附图标记来表示相同或功能相似的元件。在附图中，可以省略一些在描述方面不重要的组件、构件和处理。
[0027]
(第一示例性实施例)
[0028]
将参照图1至图5描述作为信息处理装置的示例的根据本示例性实施例的眼科成像系统100。根据本示例性实施例的眼科成像系统100可以取决于捕获图像的眼科成像设备将成像数据的数据格式转换为预先设置的数据格式，并自动传送数据。以下描述将通过使用眼底相机和光学相干断层成像仪(oct)作为要处理的眼科设备的示例来给出。
[0029]
(系统配置)
[0030]
将参照图1描述系统配置。图1示意性地示出眼科成像系统100的配置。眼科成像系统100包括成像数据取得单元101、成像数据存储单元102、显示控制单元103、操作单元104、自动传送信息存储单元105和自动传送执行单元106。例如，如在本示例性实施例等中所采用的，“传送”可以指来自成像设备的成像信号(例如，oct干涉信号)简单地作为成像数据进行传输的情况。如在本示例性实施例等中所采用的，“传送”也可以指传输被处理为从成像信号生成的图像的成像数据的情况。如在本示例性实施例等中所采用的，“传送”还可以指被处理为与包括从成像信号生成的图像的报告画面相对应的报告图像的数据作为成像数据进行传输的情况。从成像信号生成的图像的示例可以包括：通过使用在不同位置取得的多条断层成像图像数据(三维断层成像图像数据、体数据)的深度范围的至少一部分而取得
的正面图像(en
‑
face图像)和至少一个断层成像图像(b
‑
扫描图像)。信息处理装置可以被配置成能够基于检查者的指令来设置深度范围。这里，信息处理装置可以被配置成通过基于检查者的指令改变层边界的位置来设置深度范围，层边界是通过在断层成像图像上对断层成像图像的分割处理而取得的。如在本示例性实施例等中所采用的，“自动传送”并不意味着检查者的指令完全不会被用作开始传输成像数据的触发器。例如，如果成像的传输设置被自动设置，则希望的是由检查者给出的、原本不意在开始传输成像数据的另一指令(例如，检查结束指令)也用作开始传输成像数据的指令。换言之，在本示例性实施例等中采用的“自动传送”可以指不直接意在开始传输成像数据的另一指令被配置成也用作开始传输成像数据的指令的任何情况。
[0031]
成像数据取得单元101可以从至少两个或更多个眼科成像设备110接收所捕获的成像数据。在本示例性实施例中，成像数据取得单元101可以分别从眼底相机和光学相干断层成像设备接收眼底图像和视网膜断层成像数据。这里，虽然用于执行不同类型的成像的多个成像设备可以同时可通信地连接到信息处理装置，但是如果连接了至少一个，则本示例性实施例等也是适用的。更具体地，信息处理装置被配置成在任一个成像设备可通信地连接到信息处理装置的情况下，可以单独地做出对于来自多个成像设备的多条成像数据的传输设置。根据本示例性实施例的信息处理装置可以是成像设备可通信地连接到的信息处理装置，该成像设备包括用于执行不同类型的成像的多个光学系统，或者可以是这种成像设备内部的信息处理装置。根据本示例性实施例的信息处理装置可以是例如个人计算机。可以使用台式个人计算机(pc)、膝上型pc或平板pc(便携式信息终端)。
[0032]
成像数据存储单元102接收并记录由成像数据取得单元101取得的成像数据。这里，附加地登记关于成像数据的附加信息，包括：诸如患者(受检者)的姓名、出生日期、性别、患者标识符(id)和种族数据之类的患者信息，诸如检查日期和时间、接待编号和检查标识id之类的检查信息，以及诸如成像时间、成像模式名称、成像参数、设备名称和成像确定之类的成像信息。
[0033]
显示控制单元103在作为显示单元的示例的未示出的监视器上、在取得成像数据时显示眼科成像设备110的成像操作画面，并且显示用于显示由成像数据取得单元101取得并记录在成像数据存储单元102中的成像数据的确认画面。
[0034]
操作单元104可以在成像操作画面上运行眼科成像设备110的成像，并经由鼠标和键盘对成像结果确认画面上显示的成像数据选择成像成功/失败确定。对于成像数据的成像成功/失败确定，例如，可以通过操作者确认成像结果确认画面上显示的成像数据并按下画面上显示的成功或失败按钮来输入成像确定信息。此外，可以经由操作单元104开始自动传送(自动传输)。例如，从成像操作画面到其他画面的转变可以用作自动传送开始触发器。按下成像操作画面上显示的检查完成按钮可以用作自动传送开始触发器。显示单元可以是触摸面板显示器，在这种情况下，显示单元也用作操作单元104。
[0035]
自动传送信息存储单元105存储预先准备的设置以自动传送成像数据。所存储的设置包括作为自动传送目标的眼科设备、自动传送目的地和要传送的成像数据的数据格式。
[0036]
自动传送执行单元106经由显示控制单元103接收从操作单元104指示的自动传送开始触发器，并且基于从自动传送信息存储单元105取得的自动传送信息将成像数据传送
到用作自动传送目的地的传送数据存储系统120。这里，自动传送执行单元106确认自动传送信息针对哪个成像设备的成像数据，将相应成像数据的数据格式转换为由自动传送信息指定的数据格式，并将转换后的数据传送到传送数据存储系统120。
[0037]
(根据本示例性实施例的自动传送信息)
[0038]
接下来，将参照图2描述存储在自动传送信息存储单元105中的自动传送信息。图2示出了根据本示例性实施例的用于设置自动传送(自动传输)内容的画面的示例。该画面是用于做出自动传送设置的画面。在诸如当设置从一个成像设备到另一个成像设备不同并且意在自动传送到多个传送目的地(传输目的地)之类的情况下，可以通过分别做出相应设置来将多个自动传送设置登记在自动传送存储信息存储单元105中。
[0039]
传送设置画面200包括共用设置区域210、oct检查设置区域220和眼底检查区域230。oct检查设置区域220和眼底检查区域230是单独设置区域的示例。
[0040]
共用设置区域210是用于设置oct检查和眼底检查共用的传送设置(传输设置)项目的区域，并且包括传送内容设置211、传送类型设置212、传送目的地设置213和匿名化设置214。
[0041]
传送内容设置211(传输内容设置)可以选择“图像”或“报告”作为要传输到传送目的地(传输目的地)的数据内容。如果选择“图像”作为传送内容设置，则将由眼科成像设备110对要检查的受检者的眼睛进行成像而取得的成像数据的图像设置为要被传送。例如，在通过眼底相机捕获要检查的眼睛的图像而取得成像数据的情况下，传送眼底相机图像。在通过oct捕获要检查的眼睛的图像而取得成像数据的情况下，传送(传输)至少一个断层成像图像(b
‑
扫描图像)。由于oct成像可以通过一次成像操作取得多个断层成像图像，因此可以将所有多个断层成像图像设置为要被传送。在某些情况下，oct成像还可以同时捕获扫描激光检眼镜(slo)或其他视网膜正面图像。然后，可以将视网膜正面图像设置为可一起传送。如果oct捕获视网膜的三维图像，则可以将作为从oct成像数据重建的正面图像的视网膜正面图像设置为可一起传送。此外，可以将其中断层成像图像和视网膜正面图像并置并且在视网膜正面图像上指示断层成像图像的成像位置的图像设置为要被像传送。如果选择“报告”作为传送内容设置，则将其中成像数据和相关数据以特定布局排列的报告图像(像并排显示多条成像数据的报告图像或并排显示关于成像数据的多条分析信息的报告图像)设置为要被传送。例如，在眼底相机的情况下，传送其中以矩阵排列多个捕获图像的报告图像。在oct的情况下，除了断层成像图像和视网膜正面图像之外，还可以传送显示地图图像的报告图像，该地图图像在视网膜正面图像上以色阶指示出各个位置处的视网膜厚度。报告图像可以包括登记在成像数据存储单元102中的、作为关于成像数据的附加信息的患者信息、检查信息和成像信息。传送内容(传输内容)的选项不限于像各种二维医用图像和报告图像那样的二维图像。例如，oct三维结构数据可以能被传送。
[0042]
传送类型设置212(传输类型设置)可以选择由传送内容设置211设置的内容的数据传送方法和图像格式。例如，如果传送目的地(传输目的地)是医用数字成像和通信(dicom)存储服务器，则选择dicom通信。如果传送目的地(传输目的地)是诸如硬盘或网络附加存储器(nas)之类的存储器，则选择文件存储器。在文件存储器的情况下，从位图、联合图像专家组(jpeg)和dicom当中选择用于存储的图像格式。换言之，要传输的成像数据的内容(附件信息等)根据传输类型和存储格式的不同而不同。
[0043]
传送目的地设置213(传输目的地设置)可以设置成像数据的传送目的地。用于设置传送目的地的方法根据传送类型设置212中的数据传送方法是dicom通信还是文件存储器而不同，并且画面中的输入项目基于选择而改变。如果选择了dicom通信，则可以输入与传送目的地dicom存储服务器通信所需的主机名、端口号和服务器应用实体(ae)标题。在这种情况下，本画面可以包括确认是否能够与输入的传送目的地进行通信的功能。如果选择了文件存储器，则可以输入存储位置的路径。
[0044]
匿名化设置214可以选择是否匿名化包括在所传送的数据中的个人信息。如果设置了匿名化，则将包括在报告图像、dicom或jpeg标签信息和/或文件名中的诸如患者姓名之类的个人信息设置为匿名并进行传送。匿名化设置可以指用于匿名化的预定方法。可以提供匿名化设置画面以对匿名化方法做出精细设置，或者可以在传送设置画面上直接提供匿名化设置。
[0045]
oct检查设置区域220是用于设置要应用于传送由oct捕获的成像数据的项目的区域，并且包括oct检查图像大小设置221和oct检查自动传送设置222。
[0046]
oct检查图像大小设置221是在传送内容设置211是图像的情况下要使能的项目，并且可以设置要传送的断层成像图像的图像大小。选择原始大小以便以与oct捕获的成像数据相同的大小传送断层成像图像。选择重新调整大小到显示大小以便以眼科成像系统100在监视器上显示断层成像图像的大小来传送断层成像图像。
[0047]
oct检查自动传送设置222可以选择用于oct检查的自动传送。例如，如果选中自动传输，则自动传输被设置为启用。在执行自动传送时，当自动传送执行单元106接收到自动传送开始触发器时，如果捕获成像数据的眼科成像设备是oct，则自动传送执行单元106自动传送在此传送设置画面200上设置的内容。
[0048]
眼底检查设置区域230是用于设置要应用于传送由眼底相机捕获的成像数据的项目的区域，并且包括眼底检查成像大小设置231和眼底检查自动传送232。
[0049]
如果传送内容设置211是图像，则眼底检查成像大小设置231是要使能的项目，并且可以设置要传送的眼底相机图像的图像大小。选择原始大小以便以与捕获时相同的大小传送眼底相机图像。要传送不同大小的眼底相机图像，则选择特定宽度的项目。在传送宽度小于或等于所选大小的图像时，将图像设置为以其原始大小传送。
[0050]
眼底检查自动传送设置232可以选择用于眼底检查的自动传送(自动传输)。例如，如果选中自动传输，则自动传输被设置为启用。在自动传送的情况下，当自动传送执行单元106接收到自动传送开始触发器时，如果捕获成像数据的眼科成像设备是眼底相机，则自动传送执行单元106自动传送在此传送设置画面200上设置的内容。
[0051]
(根据本示例性实施例的成像画面)
[0052]
图3和图4示出由显示控制单元103显示的、用于使用眼科成像设备执行检查的画面的示例。本示例性实施例涉及其中从用于使用眼科成像设备110捕获图像的画面到其他画面的转变被用作自动传送开始触发器的画面示例。
[0053]
眼科成像系统画面300可以显示多个画面，并且可以以选项卡方式切换画面。图3示出了当选择oct成像选项卡301时显示的用于执行oct成像的画面的示例。图4示出了当选择眼底成像选项卡302时显示的用于执行眼底相机成像的画面的示例。如果选择oct成像选项卡301，则在选项卡中显示oct成像画面310，其中可以执行oct成像并且可以显示成像结
果。这里，图3示出了预览画面，其中在左上显示区域中显示前眼部分的运动图像，在左下显示区域中显示眼底的slo运动图像，并且在右显示区域中显示oct断层成像运动图像。这里，如果做出对准、焦点、相干门等的各种光学调整并且在预览画面上执行oct成像，则信息处理装置可以被配置成切换到未示出的成像确认画面的显示。如果成像确认画面上的oct成像为ok，则信息处理装置可以被配置成切换到预览画面的显示。如果选择眼底成像选项卡302，则在选项卡中显示眼底相机成像画面320，其中可以显示由眼底相机捕获的图像。
[0054]
除了用于成像画面之外的选项卡包括显示报告画面的报告选项卡303以及患者选项卡304，在报告选项卡中显示关于成像患者的成像数据，患者选项卡显示用于创建和选择患者以开始对另一患者的检查或显示关于另一患者的成像数据的患者画面。这里，报告画面可以被配置成可在各种显示画面之间切换，包括用于随访的显示画面和三维体呈现显示画面。报告画面可以被配置成使得可以将前述各种显示画面之一设置为其初始显示画面。报告画面可以被配置成使得不仅可以将初始显示画面设置为其初始显示，而且可以将图像质量增强处理的有无、分析结果显示的有无、用于生成正面图像的深度范围等设置为其初始显示。如果选择“报告”作为前述传输内容，则可以传输基于被设置为报告画面的初始显示的内容来生成的报告图像。报告画面可以是在诸如在眼底成像之后执行oct成像之类的用例中使用的、并且一起显示眼底图像、oct图像等的显示画面。例如，假设作为传输设置存储了其中报告图像的传输被设置为启用的信息，并且作为关于报告图像的初始显示的设置，图像质量增强处理为启用。在这种情况下，传输单元可以传输与显示通过图像质量增强处理取得的医用图像的报告画面相对应的报告图像作为成像数据。
[0055]
此外，存在登出按钮305，用于登出以结束使用眼科成像系统并显示登录画面。如果选择除用于成像画面或登出按钮305之外的选项卡，则开始自动传送。由于在从oct成像选项卡301转变到眼底成像选项卡302或者从眼底成像选项卡302转变到oct成像选项卡301时不执行自动传送，所以这里的操作是在执行眼底成像和oct成像二者之后以一体的方式自动传送眼底成像的成像数据和oct成像的成像数据两者。在成像选项卡之间不执行自动传送可以防止操作者的成像操作被自动传送处理阻碍。例如，在自动传送处理与画面操作并行执行的情况下，可以防止成像操作由于自动传送处理的负荷而导致处理失败。在自动传送处理不是与画面操作并行执行而是在显示下一个成像画面之前完成的情况下，可以防止在对患者进行一系列成像操作期间因自动传送处理而让患者等待。注意，如果自动传送处理与画面操作并行执行并且系统具有足够的性能，则从oct成像选项卡301到眼底成像选项卡302的转变以及从眼底成像选项卡302到oct成像选项卡301的转变也可以作为自动传送开始触发器来处理。在这种情况下，总是自动传输单个眼科成像设备的成像数据。可以仅将患者选项卡304和登出按钮305作为自动传送开始触发器来处理，而不将转换到报告画面作为自动传送开始触发器来处理，因此以从一个患者到另一个患者的转变为单位来执行自动传送。在这种情况下，在报告画面中添加和编辑的信息也可以作为要在自动传送时添加的信息来处理。
[0056]
(根据本示例性实施例的自动传送处理流程)
[0057]
接下来，将参照图5描述根据本示例性实施例的自动传送处理的流程。图5是根据本示例性实施例的自动传送处理的操作流程图。
[0058]
作为自动传送目标的眼科成像设备可以取决于传送设置而变化。因此，在执行自
动传送时，自动传送执行单元106确认自动传送信息存储单元105中的自动传送设置、以及存储在成像数据存储单元102中的作为自动传送目标的眼科成像设备110，并且仅在眼科成像设备110作为自动传送目标的情况下才执行到传送数据存储系统120的自动传送。
[0059]
具体地，在步骤s500中，操作者使用眼科成像设备110执行成像，并且成像数据取得单元101从成像设备110取得成像数据。这里，成像数据取得单元经由显示控制单元103显示成像数据，并且操作者输入成像是成功还是失败。
[0060]
在步骤s501中，成像数据取得单元101将在步骤s500中取得的成像数据和操作者输入的关于成像是成功还是失败的结果与附加信息一起存储到成像数据存储单元102中。如果输入成像失败，则成像数据可以被存储或不被存储在除成像数据存储单元102之外的位置中。
[0061]
在步骤s502中，如果操作者继续检查，则执行成像并且处理返回到步骤s500。如果操作者在眼科成像系统画面300上选择(按下)除成像选项卡(诸如oct成像选项卡301和眼科成像选项卡302)之外的选项卡，则成像画面被切换到其他显示画面。这里，检查被确定为已经结束，并且自动传送开始触发器被传输到自动传送执行单元106。例如，假设眼底成像已经结束并且oct成像选项卡被按下。oct预览期间的处理(例如，意在前眼部分的运动图像、眼底的slo运动图像、oct断层成像运动图像以及各种光学调整的处理)负荷高。如果在oct预览期间传输眼底成像数据，则oct预览期间的处理可能因此失败。因此，信息处理装置可以被配置成不仅在选择当前成像选项卡时而且在选择其他成像选项卡时不执行自动传送。然而，在本示例性实施例等中，信息处理装置可以被配置成在选择除了当前选择的成像选项卡之外的成像选项卡时执行自动传送。信息处理装置还可以被配置成将显示画面切换到登录画面，并且如果在显示成像画面的同时选择登出按钮305，则确定检查已经结束。在这种情况下，可以将登出按钮305的选择用作自动传送开始触发器。
[0062]
在步骤s503中，自动传送执行单元106从自动传送信息存储单元105逐个读取传送设置，并确定是否存在自动传送设置。如果存在自动传送设置，则处理进行到步骤s504。如果没有自动传送设置，则自动传送执行单元106结束自动传送处理。如果信息处理装置被配置成仅能够登记一个传送设置，则步骤s503和后续步骤不是必不可少的。如上所述，可以使传送设置的多个模式是可登记的。在这种情况下，如果登记了传送设置的多个模式，则在步骤s503中，可以按顺序传输与传送设置的多个模式的设置相对应的信息(数据)。例如，即使第一传送设置和第二传送设置相互矛盾，也可以按顺序传输关于这些设置的数据。
[0063]
在步骤s504中，自动传送存储单元106确认在步骤s503中确认的自动传送设置中作为自动传送目标的眼科成像设备和已经捕获在步骤s501中存储的成像数据的眼科成像设备，并确定在成像数据中是否包括作为自动传送目标的眼科成像设备。自动传送执行单元106确认针对作为自动传送目标的眼科成像设备的传送设置画面200中的oct检查自动传送设置222和眼底检查自动传送设置232的设置。如果成像数据中包括自动传送目标，则处理进行到步骤s505以进入自动传送处理。如果没有由作为自动传送目标的眼科成像设备捕获的成像数据，则处理返回到步骤s503，以检查有无下一个自动传送设置。
[0064]
在步骤s505中，自动传送执行单元106从存储在成像数据存储单元102中的成像数据顺序读取作为自动传送目标的眼科成像设备的成像数据。
[0065]
在步骤s506中，自动传送执行单元106基于传送设置对在步骤s505中读取的成像
数据执行数据转换。例如，如果成像数据是眼底相机的成像数据，并且在传送内容设置211中选择了图像，并且在图像大小设置231中选择了1600个像素(宽度)，则自动传送执行单元106将由眼底相机捕获的图像转换为具有1600个像素的宽度的图像信息。如果传送类型设置212是jpeg文件存储，则自动传送执行单元106还执行到jpeg格式的数据转换，并且将患者信息、检查信息和成像信息添加到jpeg标签中。这里，如果设置了匿名化设置214，则自动传送执行单元106将jpeg标签中包括的信息中的个人信息匿名化并添加结果。
[0066]
在步骤s507中，自动传送执行单元106将在步骤s506中转换的数据传送到在传送目的地设置213中设置的传送目的地。如果在传送类型设置212中选择了文件存储，则自动传送执行单元106将文件存储到指定的路径中。如果选择了dicom通信，则自动传送执行单元106将数据传送到作为传送目的地的传送数据存储系统。
[0067]
在步骤s508中，自动传送执行单元106确认在步骤s507中执行的数据传送的结果。如果传送正常完成，则处理进行到步骤s510。如果传送失败，则处理进行到步骤s509以执行重新传送处理。
[0068]
在步骤s509中，自动传送执行单元106将传送失败的数据记录作为重新传送目标。例如，如果存储位置没有足够的容量，或者如果存储位置或通信目的地由于网络故障而无法访问，则自动传送执行单元106登记用于在下次登录时或经过一定时间之后自动执行重新传送的设置。重新传送可以不是自动执行的，而是由操作者手动执行的。
[0069]
在步骤s510中，自动传送执行单元106确认是否没有其他成像数据作为在步骤s503中确认的自动传送设置的候选。如果有这样的成像数据，则处理进行到步骤s505以自动传送下一成像数据。如果没有这样的成像数据，则处理进行到步骤s503以确认是否存在其他自动传送设置。这里，如果在步骤s503中已经完成了所有自动传送，则自动传送结束。这里，自动传送执行单元106可以通知自动传送的结果。作为通知内容，通知作为所有自动传送设置目标的所有成像数据是否已经成功地自动传送。自动传送执行单元106可以向操作者通知关于在步骤s509中登记的用于重新传送的成像数据的信息。
[0070]
在此自动传送处理流程中的步骤s503以及后续步骤的处理中，自动传送处理可以从头到尾与显示控制单元103的画面显示分开并与之并行地执行，并且操作者可以操作画面层。可替代地，可以在画面上显示和呈现传送进行中消息，以使得在自动传送处理完成之前不做出画面操作。如果与画面显示并行地执行自动传送处理，则可以通过在画面上准备结果显示区域并在自动传送结束时显示结果来在自动传送处理完成之后做出自动传送结果的通知。可以通过用户然后选择结果显示区域来显示自动传送结果的细节。
[0071]
根据上述本示例性实施例，在自动传送所捕获的成像数据时，眼科成像系统100可以在基于捕获成像数据的眼科成像设备的类型修改传送内容的同时执行自动传送。这是非常有利的，因为只有眼科成像设备所需的成像数据被适当地传送到自动传送目的地。
[0072]
在本示例性实施例中，当眼科成像设备的成像完成并且画面转变到不同的画面时，开始自动传送。然而，可以在每次成像操作时开始自动传送。在这种情况下，在步骤s501中存储成像数据之后，处理进行到步骤s503以执行自动传送。在自动传送其中需要多条成像数据的报告图像等的情况下，这里的操作是当确定已经取得了所有需要的成像数据时执行自动传送。在本示例性实施例中，自动传送从两个设备(眼底相机和oct)中的每个取得的成像数据。然而，这并不是限制性的。如果单个设备具有诸如眼底相机和oct的多个眼科成
像设备的功能，则可以通过确认每条成像数据是由哪个眼科成像设备取得的成像数据并自动传送作为自动传送目标的眼科成像设备的成像数据，在每个眼科成像设备上类似地适当执行自动传送。此外，在本示例性实施例中，响应于在执行成像之后的自动传送开始触发器而开始自动传送。然而，这并不是限制性的。可以在除成像画面之外的画面上准备用于一体化传送的按钮，并且可以在由操作者选择的任意定时开始传送，并且取决于作为自动传送目标的眼科成像设备来执行传送。在这种情况下，可以向操作者呈现关于自动传送设置和要自动传送的成像数据的信息。可以允许操作者改变目标自动传送设置和成像数据的范围，并开始自动传送。
[0073]
(第二示例性实施例)
[0074]
根据本示例性实施例的信息处理装置包括图像质量增强单元(未示出)，其用于应用作为用于增强运动对比度数据的图像质量的图像质量增强手段的、基于机器学习的图像质量增强处理。这里，信息处理装置的图像质量增强单元通过将从少量断层成像图像生成的低图像质量运动对比度图像输入到机器学习模型中，来生成具有与从大量断层成像图像生成的运动对比度图像的图像质量相等同的高图像质量(低噪声和高对比度)的运动对比度图像。如本文所采用的，机器学习模型是指通过利用训练数据执行机器学习而生成的函数，训练数据包括成对的输入数据和输出数据(真值数据)，输入数据是假设为处理目标并且在预定成像条件下取得的低图像质量图像，输出数据是与输入数据相对应的高图像质量图像。预定成像条件包括成像区域、成像方法、成像视角和图像大小。
[0075]
例如，通过以下方式取得低图像质量运动对比度图像。操作者首先操作操作单元104以按下成像画面(预览画面)中的成像开始(捕获)按钮，从而响应于操作者的指令在设置的成像条件下开始光学相干断层成像血管造影(octa)成像。这里，信息处理装置的控制单元(未示出)指示光学相干断层成像仪(oct)基于由操作者指定的设置执行octa成像，并取得由oct支持的oct断层成像图像。oct还通过在使用作为波长分离构件的示例的二色镜分离的光路上使用slo光学系统来取得slo图像，并且基于slo运动图像执行追踪处理。这里，例如通过以下方式来设置成像条件：1)登记黄斑疾病检查集合，2)选择octa扫描模式，以及3)设置以下成像参数等。设置的成像参数的示例包括：3
‑
1)扫描模式：300a
‑
扫描
×
300b
‑
扫描，3
‑
2)扫描区域大小：3
×
3mm，以及3
‑
3)主扫描方向：水平方向。设置的成像参数的示例还包括3
‑
4)扫描间隔：0.01mm，3
‑
5)固视灯位置：黄斑(中心凹)，3
‑
6)每个集群的b
‑
扫描数量：4，3
‑
7)相干门位置：玻璃体一侧，以及3
‑
8)预定显示报告类型：单眼检查报告。成像数据取得单元101基于所取得的oct断层成像图像生成运动对比度图像(运动对比度数据)。这里，在生成运动对比度图像之后，未示出的校正单元可以执行用于减少运动对比度图像上出现的投影伪影的处理。然后，显示控制单元103在显示单元(未示出)上显示所生成的断层成像图像、三维运动对比度图像、运动对比度正面图像、关于成像条件的信息等。这里，在本示例性实施例中，图像质量增强单元通过用户按下在图6a中的报告画面的右上部显示的按钮911(图像质量增强按钮的示例)来对运动对比度图像执行图像质量增强处理。换言之，图像质量增强按钮是用于给出执行图像质量增强处理的指令的按钮。将理解，图像质量增强按钮可以是用于给出显示(在按下图像质量增强按钮之前生成的)高图像质量图像的指令的按钮。
[0076]
在本示例性实施例中，用作训练数据的输入数据是从具有少量断层成像图像的单
个集群生成的低图像质量运动对比度图像。用作训练数据的输出数据(真值数据)是通过对多条对准的运动对比度数据取加法平均而取得的高图像质量运动对比度图像。注意，要用作训练数据的输出数据不限于此。例如，可以使用从包括大量断层成像图像的单个集群生成的高图像质量运动对比度图像。要用作训练数据的输出数据可以是通过将具有比输入图像分辨率高(放大倍率高)的运动对比度图像降低到与输入图像相同的分辨率(相同放大倍率)而取得的高图像质量运动对比度图像。用于训练机器学习模型的成对的输入和输出图像对不限于前述内容，并且可以使用传统图像的任意组合。例如，在训练机器学习模型时，通过将第一噪声分量添加到由断层成像图像捕获设备100或其他设备取得的运动对比度图像而取得的图像可以用作输入图像，并且通过将第二噪声分量(与第一噪声分量不同)添加到(由断层成像图像捕获设备100或其他设备取得的)运动对比度图像而取得的图像可以被用作输出图像。换言之，可以使用通过利用包括眼底的运动对比度数据的训练数据进行训练而取得的、用于图像质量增强的训练模型来增强作为输入图像输入的运动对比度数据的图像质量的任何图像质量增强单元。
[0077]
图7示出了根据本示例性实施例的图像质量增强单元中的机器学习模型的配置。机器学习模型是卷积神经网络(cnn)，并且包括负责处理一组输入值并输出结果的处理的多个层组。前述配置中包括的多个类型的层包括卷积层、下采样层、上采样层和合并层。卷积层是用于基于诸如设置的滤波器的核大小、滤波器的数量、步幅值和膨胀值之类的参数对一组输入值执行卷积处理的层。滤波器的核大小的维度数量可以基于输入图像的维度数量来改变。下采样层是用于通过抽取或组合该组输入值来使输出值组的数量小于输入值组的数量的处理。具体示例是最大池化处理。上采样层是用于通过复制该组输入值或添加从该组输入值内插得到的值来使输出值组的数量大于输入值组的数量的处理。具体示例包括线性内插处理。合并层是用于执行以下处理的层，该处理用于从多个源输入诸如层的一组输出值和构成图像的一组像素值之类的多组值，并且通过连接或相加这多组值来合并这多组值。利用这样的配置，通过使构成输入图像1301的一组像素值通过卷积处理块而输出的一组值在合并层中与构成输入图像1301的一组像素值合并。然后，在最终卷积层中将合并后的一组像素值形成到高图像质量图像1302中。尽管在图中未示出，但是作为cnn配置的变形，使用修正线性函数(修正线性单元)的批量归一化层和/或激活层可以内置在卷积层中或以其他方式并入卷积层之后。在图7中，为了便于描述，将处理目标图像描述为二维图像。然而，本发明不限于此。本发明还涵盖将三维低图像质量运动对比度图像输入到图像质量增强单元中以输出三维高图像质量运动对比度图像的情况。
[0078]
现在，图形处理单元(gpu)可以通过并行处理更多条数据来高效地执行计算。因此，使用gpu执行处理在像深度学习那样多次训练学习模型中是有效的。在本示例性实施例中，作为学习单元(未示出)的示例的信息处理装置的处理因此除了使用cpu之外还使用gpu。具体地，在执行包括学习模型的训练程序中，cpu和gpu通过以协作方式执行计算来执行训练。训练单元的处理中的计算可以由或cpu或gpu单独执行。与训练单元一样，图像质量增强单元也可以使用gpu。此外，训练单元可以包括未示出的误差检测单元和更新单元。误差检测单元取得响应于输入到输入层的输入数据而从神经网络的输出层输出的输出数据与真值数据之间的误差。误差检测单元可以通过使用损失函数来计算来自神经网络的输出数据与真值数据之间的误差。基于由误差检测单元取得的误差，更新单元更新神经网络的
节点之间的耦合权重系数等以减小误差。更新单元例如通过反向传播来更新耦合权重系数等。反向传播是用于调整神经网络的节点之间的耦合权重系数等以使得前述误差减小的技术。
[0079]
操作者可以通过使用操作单元104给出开始octa分析处理的指令。在本示例性实施例中，双击作为报告画面的图6b的运动对比度图像以转变(画面转变)到作为报告画面的示例的图6a。运动对比度图像被放大显示，并且可以使用信息处理装置执行分析处理。可以执行任何类型的分析处理。在本示例性实施例中，可以通过选择由密度分析903指示的分析类型或通过选择图6a中的工具按钮904而显示的项目905，以及如果需要，选择与分析维度的数量相关的项目912来指定期望的分析类型。因此，例如可以基于操作者的指令，使用运动对比度图像来执行根据前述示例性实施例的分析处理，该运动对比度图像的图像质量通过用于图像质量增强的训练模型来增强。例如，这可以提高根据前述示例性实施例的分析处理的精度。
[0080]
现在，将参照图6a和图6b描述画面转变时的图像质量增强处理的执行。图6a示出了放大显示图6b的octa图像的报告画面的示例。在图6a中，按钮911也类似于图6b那样显示。例如，通过双击octa图像来实现从图6b到图6a的画面转变。通过使用关闭按钮(未示出)来实现从图6a到图6b的转换。注意，画面转变不限于这里描述的方法，并且可以使用未示出的用户界面。
[0081]
如果指定在图像转变时执行图像质量增强处理(按钮911激活)，则即使在画面转变期间也保持该状态。更具体地，如果当图6b的画面转变到图6a的画面时，图6b的画面显示高图像质量图像，则图6a的画面也显示高图像质量图像。然后，按钮911保持激活。这同样适用于从图6a到图6b的转变。在图6a中，可以通过指定按钮911将显示切换到低图像质量图像。
[0082]
画面转变不限于这里描述的画面转变，并且只要发生到显示相同成像数据的画面(诸如用于随访的显示画面和全景显示画面)的转变，就保持显示高图像质量图像的状态。换言之，在转变之后的显示画面上显示与转变之前的显示画面上的图像质量增强按钮的状态相对应的图像。例如，如果在转变之前显示画面上的图像质量增强按钮是激活的，则在转变之后在显示画面上显示高图像质量图像。例如，如果在转变之前显示画面上的图像质量增强按钮是去激活的，则在转变之后在显示画面上显示低图像质量图像。如果用于随访的显示画面上的图像质量增强按钮(例如，下面将描述的图8中的按钮3420)是激活的，则在不同日期和时间(在不同的检查日期)取得的、布置和显示在用于随访的显示画面上的多个图像可以被切换到高图像质量图像。换言之，信息处理装置可以被配置成使得如果用于随访的显示画面上的图像质量增强按钮是激活的，则激活以一体化方式反映在不同日期和时间取得的多个图像上。
[0083]
图8示出了用于随访的显示画面的示例。如果基于检查者的指令选择选项卡3801，则如图8所示显示用于随访的显示画面。这里，检查者可以通过从列表框中显示的预定深度范围集合(3802和3803)中进行选择来改变分析目标区域的深度范围。例如，在列表框3802中选择视网膜表层，并且在列表框3803中选择视网膜深层。视网膜表层的运动对比图像的分析结果显示在上部显示区域中。视网膜深层运动对比图像的分析结果显示在下部显示区域中。换言之，如果选择了深度范围，则将不同日期和时间的多个图像一体地切换到所选择
的深度范围中的多个运动对比度图像的分析结果的并列显示。
[0084]
这里，如果取消选择分析结果的显示，则可以将分析结果的显示一体地切换到不同日期和时间的多个运动对比图像的并列显示。然后，如果基于检查者的指令指定按钮3420，则将多个运动对比度图像的显示一体地切换到多个高图像质量图像的显示。与上述图6a和图6b中的按钮911一样，按钮3420是图像质量增强按钮的示例。
[0085]
如果选择了分析结果的显示并且基于检查者的指令指定了按钮3420，则将多个运动对比度图像的分析结果的显示一体地切换到多个高图像质量图像的分析结果的显示。这里，可以通过以给定透明度将分析结果叠加在图像上来显示分析结果。这里，例如可以通过切换到以给定透明度将分析结果叠加在显示图像上的状态来实现切换到分析结果的显示。例如，切换到分析结果的显示可以通过切换到通过以给定透明度对分析结果和图像执行混合处理而取得的图像(例如，二维图)的显示来实现。
[0086]
可以从像3805和3806那样的用户界面一体地改变用于指定深度范围的层边界类型和偏移位置。不同日期和时间的多个运动对比度图像的深度范围可以通过也显示断层成像图像并且基于检查者的指令移动叠加在断层成像图像上的层边界数据来一体地改变。这里，可以并排显示不同日期和时间的多个断层成像图像，并且如果在一个断层成像图像上进行前述移动，则可以在其他断层成像图像上类似地移动层边界数据。此外，例如，可以通过从诸如上下文菜单之类的用户界面进行选择来改变图像投影方法和投影伪影抑制处理的有无。可以选择选择按钮3807来显示选择画面，并且可以显示从显示在选择画面上的图像列表中选择的图像。图8上部显示的箭头3804是指示当前选择的检查的符号，其中以在随访成像时选择的检查(图8中最左边的图像)作为基准检查(基线)。应当理解，可以在显示单元上显示指示基准检查的符号。
[0087]
如果指定了“显示差异”复选框3808，则在基准图像上显示基准图像的分析值分布(地图、扇区图)。在这种情况下，在各个区域中显示针对基准图像计算的分析值分布与针对与其他检查日期相对应的区域中显示的图像计算的分析值分布之间的差分分析值图。可以在报告画面上显示趋势图(通过时间改变分析取得的各个检查日期的图像的分析值的图)作为分析结果。换言之，可以显示关于对应于不同日期和时间的多个图像的多个分析结果的时间序列数据(例如，时间序列图)。这里，与对应于多个显示图像的多个日期和时间不同的日期和时间的分析结果也可以以与对应于多个显示图像的多个分析结果相区别的方式显示为时间序列数据(例如，时间序列图上的点取决于图像显示的有无而具有不同的颜色)。可以在报告画面上显示趋势图的回归线(曲线)和/或对应的方程。
[0088]
本示例性实施例已经处理了运动对比度图像。然而，这并不是限制性的。要经历根据本示例性实施例的处理(诸如显示、图像质量增强和图像分析)的图像可以是断层成像图像。图像也不限于断层成像图像，也可以使用其他图像，诸如slo图像、眼底照片和荧光眼底照片。在这种情况下，用于执行图像质量增强处理的用户界面可以包括：用于给出对多个不同类型的图像执行图像质量增强处理的指令的一个用户界面，以及用于给出对从多个不同类型的图像中选择的一个或多个图像执行图像质量增强处理的指令的一个用户界面。
[0089]
例如，图像质量增强处理的目标图像可以是对应于一个深度范围的octa正面图像，而不是多个octa正面图像(octa的面向血管的(en
‑
face)图像、运动对比度en
‑
face图像)(其对应于多个深度范围)。图像质量增强处理的目标图像可以是例如亮度正面图像(亮
度en
‑
face图像)、b
‑
扫描oct断层成像图像或运动对比度数据的b
‑
扫描断层成像图像(octa断层成像图像)，而不是octa正面图像。图像质量增强处理的目标图像可以不仅包括octa正面图像，还可以包括各种医用图像，包括例如亮度正面图像、b
‑
扫描oct断层成像图像和运动对比度数据的b
‑
扫描断层成像图像(octa断层成像图像)。换言之，例如，图像质量增强处理的目标图像可以是显示在显示单元的显示画面上的各种医用图像中的至少一个。这里，例如，由于图像的特征量可以根据图像类型的不同而不同，因此可以使用与图像质量增强处理的各个类型的目标图像相对应的用于图像质量增强的训练模型。例如，信息处理装置可以被配置成使得如果按下按钮911或按钮3420，则不仅使用与octa正面图像相对应的用于图像质量增强的训练模型对octa正面图像执行图像质量增强处理，而且还使用与oct断层成像图像相对应的用于图像质量增强的训练模型对oct断层成像图像执行图像质量增强处理。例如，信息处理装置可以被配置成，如果按下按钮911或按钮3420，则不仅切换到显示使用与octa正面图像相对应的图像质量增强训练模型生成的高图像质量octa正面图像，还切换到显示使用与oct断层成像图像相对应的图像质量增强训练模型生成的高图像质量oct断层成像图像。这里，信息处理装置可以被配置成使得指示oct断层成像图像的位置的线被叠加在octa正面图像上。这些线可以被配置成基于检查者的指令在octa正面图像上可移动。信息处理装置还可以被配置成：如果按钮911或按钮3420的显示被激活并且线被移动，则切换到显示通过对对应于当前线位置的oct断层成像图像执行图像质量增强处理而取得的高图像质量oct断层成像图像。信息处理装置可以被配置成显示用于图像质量增强处理的各个目标图像的与按钮3420相对应的图像质量增强按钮，以使得可以对每个图像独立地执行图像质量增强处理。
[0090]
此外，指示octa断层成像图像中的血管区域的信息(例如，高于或等于阈值的运动对比度数据)可以叠加在作为在相应位置处的b
‑
扫描的oct断层成像图像上。例如，如果这里的oct断层成像图像在图像质量方面被增强，则在相应位置处的octa断层成像图像可以在图像质量方面被增强。然后，指示通过图像质量增强取得的octa断层成像图像中的血管区域的信息可以以叠加的方式显示在通过图像质量增强取得的oct断层成像图像上。指示血管区域的信息可以是在颜色等方面可识别的任何信息。信息处理装置可以被配置成使得指示血管区域的信息可以基于检查者的指令在叠加显示和隐藏之间切换。如果在octa正面图像上移动指示oct断层成像图像的位置的线，则可以基于该线的位置来更新oct断层成像图像的显示。这里，由于相应位置处的octa断层成像图像也被更新，因此可以更新从octa断层成像图像取得的指示血管区域的信息的叠加显示。例如，这使得能够有效地观察给定位置处的血管区域的三维分布和状态，同时容易地确认血管区域和感兴趣区域之间的位置关系。可以通过对在相应位置取得的多个octa断层成像图像进行诸如加法平均处理之类的图像质量增强处理来增强octa断层成像图像的图像质量，而不是使用用于图像质量增强的训练模型。oct断层成像图像可以是重建为oct体数据在给定位置处的截面的伪oct断层成像图像。octa断层成像图像可以是重建为octa体数据在给定位置处的截面的伪octa断层成像图像。给定位置可以是至少一个任意位置，并且信息处理装置可以被配置成使得给定位置可以基于检查者的指令改变。这里，信息处理装置可以被配置成重建对应于多个位置的多个伪断层成像图像。
[0091]
可以仅显示一个或多个断层成像图像(例如，一个或多个oct断层成像图像，或一
个或多个octa断层成像图像)。如果显示多个断层成像图像，则可以显示在副扫描方向上的各个不同位置处取得的断层成像图像。例如，如果以增强的图像质量显示通过交叉扫描等取得的多个断层成像图像，则可以显示各个不同扫描方向的图像。例如，如果以增强的图像质量显示通过径向扫描等取得的多个断层成像图像，则可以显示多个断层成像图像中的所选择的一些(例如，相对于基准线在相互对称位置处的两个断层成像图像)。此外，如图8所示，可以在用于随访的显示画面上显示多个断层成像图像，并且可以通过使用类似于前述技术的技术来给出图像质量增强指令并且可以显示分析结果(诸如特定层的厚度)。可以使用类似于前述技术的技术，基于存储在数据库中的信息对断层成像图像执行图像质量增强处理。
[0092]
类似地，在以增强的图像质量显示slo眼底图像时，例如，在同一显示画面上显示的slo眼底图像可以以增强的图像质量显示。例如，在以增强的图像质量显示亮度正面图像时，在同一显示画面上显示的亮度正面图像可以以增强的图像质量显示。此外，可以在诸如图8所示的之类的用于随访的显示画面上显示多个slo眼底图像或亮度正面图像，并且可以通过使用类似于前述技术的技术来给出图像质量增强指令并且可以显示分析结果(诸如特定层的厚度)。可以使用类似于前述技术的技术，基于存储在数据库中的信息对slo眼底图像和亮度正面图像执行图像质量增强处理。注意，断层成像图像、slo眼底图像和亮度正面图像的显示是说明性的，并且可以根据期望的配置以任何模式显示这样的图像。octa正面图像、断层成像图像、slo眼底图像和亮度正面图像中的至少两个或更多个可以在图像质量方面得到增强，并且基于单个指令来显示。
[0093]
通过这样的配置，显示控制单元103可以在显示单元上显示由根据本示例性实施例的图像质量增强单元(未示出)处理的图像。如上所述，如果选择了与高图像质量图像的显示、分析结果的显示、要显示的正面图像的深度范围等相关的多个条件中的至少一个，则即使在显示画面转变之后也可以保持所选择的状态。
[0094]
如上所述，如果选择多个条件中的至少一个，则即使在选择了另一个条件之后，也可以保持选择所述至少一个条件的状态。例如，如果选择分析结果的显示，则显示控制单元103可以基于检查者的指令(例如，当指定按钮911或按钮3420时)将低图像质量图像的分析结果的显示切换为高图像质量图像的分析结果的显示。如果选择分析结果的显示，则显示控制单元103可以基于检查者的指令(例如，当未指定按钮911或按钮2420时)将高图像质量图像的分析结果的显示切换为低图像质量图像的分析结果的显示。
[0095]
如果取消选择高图像质量图像的显示，则显示控制单元103可以基于检查者的指令(例如，当未指定分析结果的显示时)将低图像质量图像的分析结果的显示切换为低图像质量图像的显示。如果取消选择高图像质量图像的显示，则显示控制单元103可以基于检查者的指令(例如，当指定分析结果的显示时)将低图像质量图像的显示切换到低图像质量图像的分析结果的显示。如果选择高图像质量图像的显示，则显示控制单元103可以基于检查者的指令(例如，当未指定分析结果的显示时)将高图像质量图像的分析结果的显示切换为高图像质量图像的显示。如果选择高图像质量图像的显示，则显示控制单元103可以基于检查者的指令(例如，当指定分析结果的显示时)将高图像质量图像的显示切换为高图像质量图像的分析结果的显示。
[0096]
假设取消选择高图像质量图像的显示并且选择第一类型分析结果的显示的情况。
在这种情况下，显示控制单元103可以基于检查者的指令(例如，当指定第二类型分析结果的显示时)将低图像质量图像的第一类型分析结果的显示切换为低图像质量图像的第二类型分析结果的显示。现在，假设选择高图像质量图像的显示并且选择第一类型分析结果的显示的情况。在这种情况下，显示控制单元103可以基于检查者的指令(例如，当指定第二类型分析结果的显示时)将高图像质量图像的第一类型分析结果的显示切换为高图像质量图像的第二类型分析结果的显示。
[0097]
用于随访的显示画面可以被配置成使得显示上的这种改变如上所述以一体的方式在不同日期和时间取得的多个图像上反映。这里，分析结果可以通过以给定透明度叠加在图像上来显示。例如，可以通过切换到以给定透明度将分析结果叠加在显示图像上的状态来实现切换到分析结果的显示。例如，切换到分析结果的显示可以通过切换到通过以给定透明度混合分析结果和图像而取得的图像(例如，二维图)的显示来实现。
[0098]
在前述示例性实施例中，显示控制单元103可以在显示单元上显示基于检查者指令从由图像质量增强单元生成的高图像质量图像和输入图像中选择的图像。显示控制单元103还可以基于检查者的指令将显示单元的显示画面上的显示从捕获图像(输入图像)切换到高图像质量图像。换言之，显示控制单元103可以基于检查者的指令将低图像质量图像的显示切换到高图像质量图像的显示。显示控制单元103还可以基于检查者的指令将高图像质量图像的显示切换到低图像质量图像的显示。
[0099]
此外，信息处理装置的图像质量增强单元可以基于检查者的指令使用图像质量增强引擎(用于图像质量增强的训练模型)(可以将图像输入到图像质量增强引擎)来开始图像质量增强处理，并且显示控制单元103可以在显示单元上显示由图像质量增强单元生成的高图像质量图像。可替代地，当由成像设备(oct)捕获输入图像时，图像质量增强引擎可以基于输入图像自动生成高图像质量图像，并且显示控制单元103可以基于检查者的指令在显示单元上显示高图像质量图像。这里，图像质量增强引擎包括执行前述图像质量改善处理(图像质量增强处理)的训练模型。
[0100]
这样的处理也可以对分析结果的输出类似地执行。更具体地，显示控制单元103可以基于检查者的指令将低图像质量图像的分析结果的显示切换为高图像质量图像的分析结果的显示。显示控制单元103可以基于检查者的指令将高图像质量图像的分析结果的显示切换为低图像质量图像的分析结果的显示。应当理解，显示控制单元103可以基于检查者的指令将低图像质量图像的分析结果的显示切换到低图像质量图像的显示。显示控制单元103可以基于检查者的指令将低图像质量图像的显示切换到低图像质量图像的分析结果的显示。显示控制单元103可以基于检查者的指令将高图像质量图像的分析结果的显示切换为高图像质量图像的显示。显示控制单元103可以基于检查者的指令将高图像质量图像的显示切换到高图像质量图像的分析结果的显示。
[0101]
显示控制单元103还可以基于检查者的指令将低图像质量图像的分析结果的显示切换为低图像质量图像的另一类型的分析结果的显示。显示控制单元103可以基于检查者的指令将高图像质量图像的分析结果的显示切换为高图像质量图像的另一类型的分析结果的显示。
[0102]
这里，可以通过以给定透明度叠加在高图像质量图像上来显示高图像质量图像的分析结果。可以通过以给定透明度叠加在低图像质量图像上来显示低图像质量图像的分析
结果。例如，切换到分析结果的显示可以通过切换到以给定透明度将分析结果叠加在显示图像上的状态来实现。例如，切换到分析结果的显示可以通过切换到通过以给定透明度混合分析结果和图像而取得的图像(例如，二维图)的显示来实现。
[0103]
(第一变形例)
[0104]
根据前述示例性实施例的信息处理装置具有自动传送由眼科成像设备捕获的成像数据或转换成指定格式的数据到预先指定的存储位置的自动传送功能。自动传送功能在实际医院操作中的可能用例包括数据被传输到记录和存档系统(所谓的图像存档和通信系统(pacs))的情况以及数据被传送到电子病历和其他诊断系统的情况。在这样的操作中，有时需要取决于眼科成像设备来传送不同的数据内容。例如，在将成像数据传送到记录和存档系统时，常常从眼底相机传送眼底图像，并从oct传送断层成像图像。在将数据传送到诊断系统时，常常从眼底相机传输眼底图像，并且从oct传输包括诸如视网膜厚度图之类的分析结果的报告图像，而不是断层成像图像。例如，根据前述示例性实施例的信息处理装置甚至可以处理这样的用例。
[0105]
在前述示例性实施例中，信息处理装置可以被配置成使得检查者可以从诸如报告画面之类的显示画面手动传输(手动传送)单条成像数据。例如，信息处理装置可以被配置成：如果基于检查者的指令在报告图像上按下手动传输按钮，则报告画面上显示的图像或与报告画面相对应的报告图像作为成像数据被传输。例如，如果基于检查者的指令在患者画面上指定检查，则可以基于检查者的指令使与指定的检查相关的成像数据可供传输。如果基于检查者的指令在患者画面上指定患者，则可以基于检查者的指令使与所指定患者的至少一个检查相关的成像数据可供传输。
[0106]
信息处理装置可以被配置成：如果在报告画面的初始显示画面上默认地将用于给出显示高图像质量图像的指令的按钮(图像质量增强按钮)设置为激活(图像质量增强处理启用)，则基于检查者的指令将与包括高图像质量图像等的报告画面相对应的报告图像传输到服务器。信息处理装置可以被配置成：如果用于给出显示高图像质量图像的指令的按钮被默认设置为激活，则在检查结束时(例如，当基于检查者的指令将成像确认画面或预览画面切换到预览画面时)，与包括高图像质量图像等的报告画面相对应的报告图像被(自动)传输到服务器。这里，信息处理装置可以被配置成使得基于包括在默认设置中的各种设置(例如，与以下至少之一相关的设置：用于在报告画面的初始显示画面上生成en
‑
face图像的深度范围、分析地图的叠加的有无、图像是否是高图像质量图像、以及显示画面是否用于随访)而生成的报告图像被传输到服务器。
[0107]
(第二变形例)
[0108]
在前述示例性实施例中，传输设置中的可传输图像的类型不仅可以包括至少一个断层成像图像(b
‑
扫描图像)，而且可以包括一个或多个正面图像((一个或多个)en
‑
face图像)。这里，包括通过使用用于图像质量增强的训练模型(图像质量增强模型、图像质量增强引擎)从与成像数据相对应的低图像质量图像(第一医用图像)取得的高图像质量图像(第二医用图像)和低图像质量图像的数据作为集合可以是可传输的。这里，数据可以是可传输到训练数据服务器以供附加训练。以前述集合的形式管理数据，即使在不意图用于此类目的的服务器上，也便于在生成用于图像质量增强的训练模型时使用该集合作为训练数据。用于图像质量增强的训练模型可以是通过利用包括作为输入数据的低图像质量图像和作
为真值数据(教示数据)的高图像质量图像的训练数据来执行机器学习而取得的训练模型(机器学习模型、机器学习引擎)。
[0109]
前述训练模型可以通过机器学习使用训练数据来取得。机器学习的示例包括利用多级神经网络的深度学习。例如，卷积神经网络(cnn)可以用作多级神经网络的至少一部分的机器学习模型。与自编码器相关的技术可以用于多级神经网络的至少一部分。可以使用与反向传播相关的技术进行训练。注意，机器学习不限于深度学习，并且可以采用使用以下模型的任何学习，该模型可以通过训练由其自身提取(表达)诸如图像之类的训练数据的特征量。训练模型是指基于给定的机器学习算法、预先利用适当的训练数据训练的机器学习模型。注意，训练模型应指能够进行附加训练的模型，而不是不再进一步训练的模型。训练数据包括成对的输入数据和输出数据(真值数据)。如本文所采用的，训练数据可以被称为教示数据，并且真值数据可以被称为教示数据。图像质量增强引擎可以是通过利用包括由图像质量增强引擎生成的至少一个高图像质量图像的训练数据进行附加训练而取得的训练模型。这里，信息处理装置可以被配置成：可以基于检查者的指令来选择是否使用高图像质量图像作为用于附加训练的训练数据。
[0110]
(第三变形例)
[0111]
前述各种示例性实施例和变形例中的显示控制单元103可以在作为显示画面的报告画面上显示诸如期望层的厚度和各种血管密度之类的分析结果。作为分析结果，显示控制单元103还可以显示与包括以下项中的至少一个的感兴趣区域相关的参数值(分布)：视盘、黄斑、血管区域、神经纤维束、玻璃体区域、黄斑区域、脉络膜区域、巩膜区域、筛板区域、视网膜层边界、视网膜层边界端、视觉细胞、血细胞、血管壁、血管内壁边界、血管外壁边界、神经节细胞、角膜区域、角区域和施莱姆氏管。这里，例如，可以通过分析应用了各种类型的伪影减少处理的医用图像来显示准确的分析结果。伪影的示例可以包括由于血管区域中的光吸收等而出现的假图像区域、投影伪影、以及由于要检查的眼睛的状态(诸如移动或眨眼)而在正面图像中的测量光的主扫描方向上出现的带状伪影。伪影可以指在每个成像操作中随机出现在受检者的预定区域的医用图像中的任何成像误差区域。还可以将与包括前述各种伪影(成像误差区域)中的至少一个的区域相关的参数值(分布)显示作为分析结果。可以将与包括诸如玻璃体、新生血管、白斑(硬性白斑)和假玻璃疣之类的异常区域中的至少一个的区域相关的参数值(分布)显示作为分析结果。可以显示通过将使用标准数据库取得的标准值或标准范围与分析结果进行比较而取得的比较结果。
[0112]
可以将分析结果显示为分析地图、指示各个区段中的相应统计值的扇区等。分析结果可以是通过使用训练模型(分析结果生成引擎、用于分析结果生成的训练模型)生成的分析结果，训练模型是通过将医用图像的分析结果作为训练数据进行训练而取得的。这里，训练模型可以是通过使用包括医用图像和医用图像的分析结果的训练数据、包括医用图像和与医用图像不同类型的医用图像的分析结果的训练数据等进行训练而取得的模型。
[0113]
训练模型可以是通过使用包括输入数据的训练数据来训练而取得的模型，该输入数据具有预定部位的多个不同类型的医用图像作为集合，像亮度正面图像(亮度断层成像图像)和运动对比度正面图像。这里，亮度正面图像对应于断层成像en
‑
face图像，并且运动对比度正面图像对应于octa en
‑
face图像。
[0114]
信息处理装置可以被配置成显示通过使用由图像质量增强引擎生成的高图像质
量图像而取得的分析结果。用于图像质量增强的训练模型可以是通过利用包括作为输入数据的第一图像和作为真值数据的、具有比第一图像高的图像质量的第二图像的训练数据来训练而取得的模型。例如，第二图像可以是通过多个第一图像的叠加处理(例如，多个对准的第一图像的平均处理)等来增强对比度并降低噪声的高图像质量图像。
[0115]
包括在训练数据中的输入数据可以包括由图像质量增强引擎生成的高图像质量图像或低和高图像质量图像的集合。
[0116]
例如，训练数据可以是包括标记(注释)的输入数据的数据，其具有包括以下项中的至少一个的信息作为真值数据(用于监督学习)：通过分析分析区域取得的分析值(诸如平均值和中值)、包含分析值的表、分析地图以及图像中的诸如扇区之类的分析区域的位置。信息处理装置可以被配置成基于检查者的指令来显示由用于分析结果生成的训练模型取得的分析结果。
[0117]
在前述示例性实施例和变形例中的显示控制单元103可以在作为显示画面的报告画面上显示各种诊断结果，诸如青光眼和年龄相关黄斑变性的诊断结果之类的诊断结果。这里，例如，通过分析应用了前述各种类型的伪影减少处理的医用图像，可以显示准确的诊断结果。识别出的异常区域的位置可以作为诊断结果显示在图像上。可以使用字符等来显示异常区域的状态等。可以将异常区域的分类结果(诸如curtin分类)等作为诊断结果显示。可以显示指示各个异常区域的可能性的信息(例如，指示比率的数值)作为分类结果。医生进行诊断所需的信息可以显示作为诊断结果。所需信息的示例包括对于附加成像的建议等。例如，如果在octa图像中的血管区域中检测到异常区域，则可以显示使用能够比octa更详细地观察血管的造影剂进行附加荧光成像的消息。诊断结果可以是关于受检者的未来诊断计划的信息。诊断结果可以是例如包括以下项中的至少一个的信息：诊断名称、病变(异常区域)的类型和状态(程度)、病变在图像中的位置、病变相对于感兴趣区域的位置、所见(射线照片解释所见等)、诊断名称的依据(诸如肯定的医用支持信息)、以及否定诊断名称的依据(否定的医用支持信息)。这里，例如，可以将比基于检查者的指令输入的诊断名称更可能的诊断结果显示为医用支持信息。如果使用多个类型的医用图像，则可以以可识别的方式显示可以作为诊断结果的依据的一种或多个类型的医用图像。
[0118]
诊断结果可以是通过使用利用医用图像的诊断结果作为训练数据进行训练的训练模型(诊断结果生成引擎、用于诊断结果生成的训练模型)来生成的诊断结果。训练模型可以是通过使用包括医用图像和医用图像的诊断结果的训练数据、包括医用图像和与医用图像不同类型的医用图像的诊断结果的训练数据等进行训练而取得的训练模型。信息处理装置可以被配置成显示通过使用由图像质量增强引擎生成的高图像质量图像而取得的诊断结果。
[0119]
包括在训练数据中的输入数据可以是由图像质量增强引擎生成的高图像质量图像，或者是低和高图像质量图像的集合。训练数据可以是包括标记(注释)的输入数据的数据，其具有包括以下项中的至少一个的信息作为真值数据(用于监督学习)：诊断名称、病变(异常区域)的类型和状态(程度)、病变在图像中的位置、病变相对于感兴趣区域的位置、所见(射线照片解释所见等)、诊断名称的依据(诸如肯定的医用支持信息)、以及否定诊断名称的依据(否定的医用支持信息)。信息处理装置可以被配置成基于检查者的指令来显示由用于诊断结果生成的训练模型取得的诊断结果。
[0120]
前述各种训练模型不仅可以通过监督学习(利用标记的训练数据进行训练)而且可以通过半监督学习来训练。半监督学习是一种技术，其例如包括通过监督学习训练多个鉴别器(分类器)中的每一个，然后鉴别(分类)未标记的训练数据，基于其可靠性自动标记(注释)鉴别结果(分类结果)(例如，标记可能性高于或等于阈值的鉴别结果)，以及利用标记的训练数据来执行训练。半监督学习的示例可以是协同训练(多视图)。例如，用于诊断结果生成的训练模型可以是通过使用用于鉴别正常测试被检体的医用图像的第一鉴别器和用于鉴别包括特定病变的医用图像的第二鉴别器来执行半监督学习(例如，协同训练)而取得的训练模型。例如，训练模型不限于诊断目的，并且可以致力于成像辅助等。在这种情况下，第二鉴别器可以是用于鉴别包括诸如感兴趣区域和伪影区域之类的部分区域的医用图像的鉴别器。
[0121]
前述各种示例性实施例和变形例中的显示控制单元103可以在作为显示画面的报告画面上显示物体识别结果(物体检测结果)或部分区域(诸如感兴趣区域、伪影区域和上述异常区域)的分割结果。这里，例如，可以在图像上的物体周围以叠加方式显示矩形框等。例如，颜色等可以以叠加的方式显示在图像中的物体上。物体识别结果或分割结果可以是使用训练模型(物体识别引擎、用于物体识别的训练模型、分割引擎或用于分割的训练模型)生成的结果，该训练模型是通过使用训练数据进行训练而取得的，该训练数据包括利用作为真值数据的、指示出物体识别或分割的信息来标记(注释)的医用图像。可以通过使用前述物体识别结果或分割结果来取得前述分析结果或诊断结果。例如，可以对通过物体识别或分割处理取得的感兴趣区域执行用于生成分析结果或诊断结果的处理。
[0122]
为了检测异常区域，信息处理装置可以使用生成对抗网络(gan)或变分自编码器(vae)。例如，包括被训练成生成断层成像图像的生成器和被训练成从实际断层成像图像中鉴别由生成器生成的新的断层成像图像的鉴别器的深度卷积gan(dcgan)可以被用作机器学习模型。
[0123]
例如，在使用dcgan的情况下，鉴别器将输入的断层成像图像编码为潜在变量，并且生成器基于潜在变量生成新的断层成像图像。然后，可以提取(检测)输入的断层成像图像和生成的新的断层成像图像之间的差异作为异常区域。例如，在使用vae的情况下，编码器将输入的断层成像图像编码为潜在变量，并且解码器对潜在变量进行解码以生成新的断层成像图像。然后，可以提取输入的断层成像图像和生成的新的断层成像图像之间的差异作为异常区域。虽然将断层成像图像描述为输入数据的示例，但也可以使用眼底图像、前眼正面图像等。
[0124]
信息处理装置还可以使用卷积自编码器(cae)来检测异常区域。在使用cae的情况下，利用与输入数据和输出数据相同的图像训练cae。因此，如果包括异常区域的图像被输入到cae用于估计，则基于训练的趋势输出不包括异常区域的图像。然后，可以提取输入到cae的图像和从cae输出的图像之间的差异作为异常区域。即使在这种情况下，作为输入数据，不仅可以使用断层成像图像，而且可以使用眼底图像、前眼正面图像等。
[0125]
在这种情况下，信息处理装置可以生成关于通过使用生成对抗网络或自编码器取得的医用图像与输入到生成对抗网络或自编码器的医用图像之间的差异的信息，作为关于异常区域的信息。因此，可以期望信息处理装置高速准确地检测异常区域。例如，即使难以收集包括异常区域的大量医用图像作为训练数据以提高异常区域的检测精度，也可以使用
在数量上相对容易收集的正常测试被检体的医用图像作为训练数据。这实现了例如用于高精度地检测异常区域的有效训练。如本文所采用的，自编码器包括vae和cae。生成对抗网络中的生成单元的至少一部分可以由vae构成。这实现了例如生成相对清晰的图像，同时减少生成相似数据的现象。例如，信息处理装置可以生成关于在通过使用生成对抗网络或自编码器而从各种医用图像生成的医用图像与输入到生成对抗网络或自编码器的医用图像之间的差异的信息，作为关于异常区域的信息。例如，显示控制单元103可以在显示单元上显示关于在通过使用生成对抗网络或自编码器而从各种医用图像生成的医用图像与输入到生成对抗网络或自编码器的医用图像之间的差异的信息，作为关于异常区域的信息。
[0126]
取决于疾病类型，患病的眼睛具有不同的图像特征。因此，可以针对每种类型的疾病或每个异常区域生成和提供在前述各种示例性实施例和变形例中使用的训练模型。在这种情况下，例如，信息处理装置可以基于操作者关于要检查的眼睛的疾病类型、异常区域等的输入(指令)来选择要用于处理的一个或多个训练模型。注意，针对每种类型的疾病或每个异常区域准备的训练模型不限于用于检测视网膜层并生成区域标记的图像的模型等。例如，可以准备用作图像评估引擎、分析引擎等的训练模型。这里，信息处理装置可以通过使用单独准备的训练模型从图像中鉴别要检查的眼睛的疾病类型和异常区域。在这种情况下，信息处理装置可以基于使用单独准备的训练模型鉴别的疾病类型和异常区域，自动选择要用于前述处理的训练模型。用于鉴别要检查的眼睛的疾病类型和异常区域的训练模型可以利用成对的训练数据来训练，其中以断层成像图像、眼底图像等作为输入数据并且以这样的图像中的疾病类型和异常区域作为输出数据。断层成像图像、眼底图像等可以自身用作训练数据中的输入数据。可以将这些图像的组合用作输入数据。
[0127]
具体而言，用于诊断结果生成的训练模型可以是通过使用训练数据进行训练而取得的训练模型，该训练数据包括以受检者的预定区域的多个不同类型的医用图像作为集合的输入数据。训练数据中包括的输入数据的示例这里可以包括以眼底的运动对比度正面图像和亮度正面图像(或亮度断层成像图像)作为集合的输入数据，以及以眼底的断层成像图像(b
‑
扫描图像)和彩色眼底图像(或荧光眼底图像)作为集合的输入数据。可以使用通过不同模式、不同光学系统、不同原理等取得的任意多个不同类型的医用图像。
[0128]
具体而言，用于诊断结果生成的训练模型可以是通过使用训练数据进行训练而取得的训练模型，该训练数据包括以受检者的不同区域的多个医用图像作为集合的输入数据。包括在训练数据中的输入数据的示例这里可以包括以眼底的断层成像图像(b
‑
扫描图像)和前眼部分的断层成像图像(b
‑
扫描图像)作为集合的输入数据，以及以眼底黄斑的三维oct图像和眼底中的视盘的圆形扫描(或光栅扫描)断层成像图像作为集合的输入数据。
[0129]
包括在训练数据中的输入数据可以是受检者的不同区域的多个不同类型的医用图像。包括在训练数据中的输入数据的示例这里可以是包括前眼部分的断层成像图像和彩色眼底图像作为集合的输入数据。此外，前述各种训练模型可以是通过使用训练数据进行训练而取得的模型，该训练数据包括以不同成像视角下的受检者的预定区域的多个医用图像作为集合的输入数据。包括在训练数据中的输入数据可以是通过像全景图像那样以时分方式将预定区域划分为多个区域而取得的连接的多个医用图像。这里，由于使用像全景图像那样的广角图像作为训练数据提供了比窄角图像大的信息量，因此可以取得准确的图像特征量。因此，可以改善各个过程的结果。包括在训练数据中的输入数据可以是包括不同日
期和时间的受检者的预定区域的多个医用图像作为集合的输入数据。
[0130]
显示前述分析结果、诊断结果、物体识别结果和分割结果中的至少一个的显示画面不限于报告画面。例如，这样的显示画面可以被显示为以下项中的至少一个：成像确认画面、用于随访的显示画面、以及用于成像前的各种调整的预览画面(显示各种类型的实况运动图像的显示画面)。例如，可以在成像确认画面上显示通过使用前述各种训练模型取得的结果中的至少一个，从而即使紧接在成像之后，检查者也可以观察到准确的结果。例如，信息处理装置可以被配置成：如果识别出特定物体，则将围绕识别出的物体的框叠加在实况运动图像上。这里，如果指示物体识别结果的可能性的信息(例如，指示比率的数值)超过阈值，则可以例如以不同的颜色等突出显示围绕物体的框。因此，检查者可以容易地识别实况运动图像上的物体。前述低图像质量图像和高图像质量图像之间的显示切换可以是在低图像质量图像的分析结果和高图像质量图像的分析结果之间的切换。
[0131]
前述各种训练模型可以通过使用训练数据的机器学习来取得。机器学习的示例是使用多级神经网络的深度学习。例如，卷积神经网络(cnn)可以用作多层神经网络的至少一部分中的机器学习模型。与自编码器相关的技术可以用于多层神经网络的至少一部分。可以使用与反向传播相关的技术进行训练。可以使用用于随机去激活单元(神经元或节点)的技术(dropout)来进行训练。可以使用用于在应用激活函数(例如，修正线性单元(relu)函数)之前对递送到多层神经网络的每一层的数据进行归一化的技术(批量归一化)来进行训练。注意，机器学习不限于深度学习，并且可以使用利用了可以通过训练来自身提取(表示)诸如图像之类的训练数据的特征量的模型的任何学习。如本文所采用的，机器学习模型是指使用诸如深度学习之类的机器学习算法的学习模型。训练模型是指使用给定的机器学习算法、例用适当的训练数据预先训练的机器学习模型。注意，训练模型是指能够进行额外训练的模型，而不是不再进一步训练的模型。训练数据包括成对的输入数据和输出数据(真值数据)。如本文所采用的，训练数据可以被称为教示数据，而真值数据可以被称为训练数据。
[0132]
gpu可以通过并行处理更多条数据来高效地执行计算。因此，像深度学习一样，使用gpu执行处理在多次训练学习模型方面是有效的。在本变形例中，作为训练单元(未示出)的示例的信息处理装置的处理除了使用cpu之外还使用gpu。具体地，在执行包括学习模型的训练程序时，cpu和gpu通过以协作方式执行计算来执行训练。训练单元的处理中的计算可以由cpu或gpu单独执行。与训练单元一样，使用前述各种训练模型执行处理的处理单元(估计单元)也可以使用gpu。此外，训练单元可以包括未示出的误差检测单元和更新单元。误差检测单元取得响应于输入到输入层的输入数据而从神经网络的输出层输出的输出数据与真值数据之间的误差。误差检测单元可以通过使用损失函数来计算来自神经网络的输出数据与真值数据之间的误差。基于由误差检测单元取得的误差，更新单元更新神经网络的节点之间的耦合权重系数等以减小误差。更新单元例如通过反向传播来更新耦合权重系数等。反向传播是用于调整神经网络的每个节点之间的耦合权重系数等以使得前述误差减小的技术。
[0133]
可以将具有编码器功能和解码器功能的u
‑
net机器学习模型应用于用于图像质量增强、分割等的机器学习模型，编码器功能具有包括多个下采样层的多级层，解码器功能具有包括多个上采样层的多级层。u
‑
net机器学习模型被配置成使得在构成为编码器的多级层中模糊的位置信息(空间信息)可以在构成为解码器的多级层中的相同次序的级别(相互
对应的级别)处使用(例如，通过使用跳过连接)。
[0134]
例如，可以使用完全卷积网络(fcn)、segnet等作为用于图像质量增强、分割等的机器学习模型。可以使用用于基于期望配置以区域为单位执行物体识别的机器学习模型。例如，可以使用区域cnn(rcnn)、快速rcnn或更快速rcnn作为用于执行物体识别的机器学习模型。此外，还可以使用只看一次(yolo)或单级检测器或单级多框检测器(ssd)作为用于以区域为单位执行物体识别的机器学习模型。
[0135]
机器学习模型的示例可以包括胶囊网络(capsnet)。在典型的神经网络中，例如，每个单元(每个神经元或每个节点)被配置成输出标量值以使得关于图像特征之间的空间位置关系(相对位置)的空间信息减少。这使得能够例如进行训练以使得图像中的局部失真、平移等的影响减少。相反，在胶囊网络中，例如，每个单元(每个胶囊)被配置成输出空间信息作为向量以使得保持空间信息。例如，这使得能够在考虑图像特征之间的空间位置关系的情况下进行训练。
[0136]
图像质量增强引擎(用于图像质量增强的训练模型)可以是通过利用包括由图像质量增强引擎生成的至少一个高图像质量图像的训练数据进行附加训练而取得的训练模型。这里，信息处理装置可以被配置成可以基于检查者的指令来选择是否使用高图像质量图像作为用于附加训练的训练数据。这样的配置不限于用于图像质量增强的训练模型，并且可以应用于前述各种训练模型。训练前述各种训练模型中使用的真值数据可以通过使用用于真值数据生成的训练模型(用于生成诸如经标记的(经注释的)数据之类的真值数据)来生成。这里，用于真值数据生成的训练模型可以是通过使用由检查者标记(注释)的真值数据进行(顺序的)附加训练而取得的模型。更具体地，用于真值数据生成的训练模型可以是通过使用以未标记数据作为输入数据且以标记数据作为输出数据的训练数据的进行附加训练而取得的模型。信息处理装置可以被配置成考虑前面帧和后续帧中的结果来校正在诸如运动图像的帧之类的多个连续帧中被确定为具有低结果精度的帧中的物体识别、分割等的结果。这里，信息处理装置可以被配置成基于检查者的指令来执行附加训练，其中将校正结果用作真值数据。
[0137]
在前述各种示例性实施例和变形例中，在通过使用用于物体识别的训练模型或用于分割的训练模型来检测要检查的眼睛的部分区域(诸如感兴趣区域、伪影区域和异常区域)时，可以对每个检测区域应用预定图像处理。例如，假设检测到包括玻璃体区域、视网膜区域和脉络膜区域的至少两个部分区域的情况。在这种情况下，在将诸如对比度调整之类的成像处理应用于至少两个检测区域时，可以通过使用各自不同的图像处理参数来进行适合于各个区域的调整。显示对各个区域进行适当调整的图像使得操作者能够对疾病等逐个区域进行更适当的诊断。注意，对于各个检测区域使用不同图像处理参数的配置也可以类似地应用于不使用训练模型而被检测的待检查眼睛的区域。
[0138]
(第四变形例)
[0139]
信息处理装置可以被配置成使得前述各种训练模型至少用于前述各种示例性实施例和变形例中的预览画面中的实况运动图像的每一帧。这里，信息处理装置可以被配置成：如果预览画面显示不同区域的多个实况运动图像或多个不同类型的实况运动图像，则将各个相应训练模型用于实况运动图像。例如，这甚至可以减少实况运动图像的处理时间，并且检查者可以在开始成像之前取得准确的信息。例如，由于可以减少再成像故障等，因此
可以提高诊断精度和效率。
[0140]
多个实况运动图像的示例可以包括用于在x、y和z方向上对准的前眼部分的运动图像以及用于对眼底观察光学系统进行焦点调整或用于oct焦点调整的眼底正面运动图像。例如，多个实况运动图像可以是用于oct相干门调整(以调整测量光路长度和基准光路长度之间的光路长度的差)的眼底断层成像运动图像等。这里，信息处理装置可以被配置成进行前述各种调整，以使得使用前述用于物体识别的训练模型或用于分割的训练模型检测到的区域满足预定条件。例如，信息处理装置可以被配置成进行各种调整，诸如oct焦点调整，以使得使用用于物体识别的训练模型或用于分割的训练模型检测到的与玻璃体区域或诸如视网膜色素上皮(rpe)之类的预定视网膜层相关的值(诸如对比度值和强度值)超过阈值(或峰值)。例如，信息处理装置可以被配置成进行oct相干门调整，以使得使用用于物体识别的训练模型或用于分割的训练模型检测到的玻璃体区域或诸如rpe之类的预定视网膜层到达深度方向上的预定位置。
[0141]
在这些情况下，信息处理装置的图像质量增强单元(未示出)可以通过使用训练模型对运动图像执行图像质量增强处理来生成高图像质量运动图像。此外，信息处理装置的控制单元(未示出)可以控制用于改变成像范围的光学构件(诸如oct基准镜(未示出))的驱动，以使得通过分割处理等识别的不同区域之一到达显示高图像质量运动图像的显示区域中的预定位置。在这种情况下，控制单元可以基于高精度信息自动执行对准处理以使得期望区域到达显示区域中的预定位置。例如，用于改变成像范围的光学构件可以是用于调整相干门位置的光学构件，更具体地，可以是基准镜等。可以通过改变测量光路长度和基准光路长度之间的光路长度差的光学构件来调整相干门位置。这种光学构件的示例可以包括用于改变测量光的光路长度的未示出的镜子。例如，用于改变成像范围的光学构件可以是成像设备的载物台单元(未示出)。控制单元可以控制前述扫描单元的驱动，以使得基于与开始成像有关的指令，在成像期间或在成像结束时再次捕获(重新扫描)通过分割处理等取得的部分区域(诸如伪影区域)。此外，例如，如果指示与感兴趣区域相关的物体识别结果的可能性的信息(例如，指示比率的数值)超过阈值，则信息处理装置可以被配置成自动进行各种调整并开始成像等。信息处理装置例如可以被配置成，如果指示与感兴趣区域相关的物体识别结果的可能性的信息(例如，指示比率的数值)超过阈值，则可以基于检查者的指令切换到可以进行各种调整并且可以开始成像的状态(取消执行禁止状态)。
[0142]
例如，可以应用前述各种训练模型的运动图像不限于实况运动图像，并且可以是存储(保存)在存储单元中的运动图像。这里，例如，通过至少针对存储单元中存储(保存)的眼底断层扫描运动图像的每一帧执行对准而取得的运动图像可以显示在显示画面上。例如，为了以合适的方式观察玻璃体，可以首先参考这样的条件来选择基准帧，即该帧尽可能地覆盖玻璃体。这里，每一帧是在x和z方向上的断层成像图像(b
‑
扫描图像)。然后，可以在显示画面上显示通过将其他帧与所选择的基准帧在x和z方向上对准而取得的运动图像。这里，例如，信息处理装置可以被配置成连续地显示由图像质量增强引擎从运动图像的至少每一帧顺序生成的高图像质量图像(高图像质量帧)。
[0143]
作为用于前述帧到帧对准的技术，可以对x方向上的对准和z方向(深度方向)上的对准应用相同的技术，或者应用各自不同的技术。可以通过使用不同的技术多次执行同一方向上的对准。例如，可以在粗略对准之后执行精确对准。对准技术的示例包括使用通过对
断层成像图像(b
‑
扫描图像)的分割处理而取得的视网膜层边界的(粗略z方向)对准、使用通过分割断层成像图像和基准图像而取得的多个区域之间的相关性信息(相似度)的(精确x方向和z方向)对准、使用针对每个断层成像图像(b
‑
扫描图像)生成的一维投影图像的(x方向)对准、以及使用二维正面图像的(x方向)对准。信息处理装置可以被配置成以像素为单位执行粗略对准，然后以子像素为单位执行精确对准。
[0144]
在各种调整期间，诸如要检查眼睛的视网膜之类的成像目标可能尚未成功成像。因此，由于输入到训练模型的医用图像与用作训练数据的医用图像之间存在较大差异，因此不能取得准确的高图像质量图像。因此，如果断层成像图像(b
‑
扫描)的图像质量评估或其他评估值超过阈值，则信息处理装置可以被配置成自动开始显示高图像质量运动图像(连续显示高图像质量帧)。信息处理装置可以被配置成如果断层成像图像(b
‑
扫描)的图像质量评估或其他评估值超过阈值，则使图像质量增强按钮可由检查者指定(激活)。图像质量增强按钮是用于指定图像质量增强处理的执行的按钮。应当理解，图像质量增强按钮可以是用于给出显示高图像质量图像的指令的按钮。
[0145]
信息处理装置可以被配置成针对具有不同扫描图案等的各个成像模式准备用于图像质量增强的不同训练模型，并且选择与所选择的成像模式相对应的用于图像质量增强的训练模型。可以使用通过利用包括在不同成像模式中取得的各种医用图像的训练数据进行训练而取得的用于图像质量增强的单个训练模型。
[0146]
(第五变形例)
[0147]
在前述各种示例性实施例和变形例中，如果训练模型正在进行附加训练，则通过使用正被附加训练的训练模型本身来进行输出(估计、预测)可能是困难的。因此，信息处理装置优选地被配置成禁止在附加训练下将训练数据以外的医用图像输入到训练模型中。此外，可以准备与在执行附加训练之前的训练模型相同的另一训练模型作为备份训练模型。这里，信息处理装置可以被配置成使得除了训练数据之外的医用图像可以在附加训练进行中的同时被输入到备份训练模型中。在附加训练完成之后，可以评估附加训练的训练模型，并且如果没有发现问题，则可以利用附加训练的训练模型来替换备份训练模型。如果发现任何问题，则可以使用备份训练模型。例如，可以通过使用用于分类的训练模型来评估附加训练的训练模型，该分类模型用于将通过用于图像质量增强的训练模型取得的高图像质量图像从其他类型的图像中分类。例如，用于分类的训练模型可以是通过利用训练数据进行训练而取得的训练模型，该训练数据包括多个图像，该多个图像包括作为输入数据的低图像质量图像和由用于图像质量增强的训练模型取得的高图像质量图像，以及作为真值数据的以图像类型标记(注释)的数据。这里，输入数据的估计(预测)图像类型可以与指示作为在训练期间被包括在真值数据中的各个图像类型的可能性的信息(诸如指示比率的数值)一起显示。除了前述图像之外，用于分类的训练模型的输入数据还可以包括通过多个低图像质量图像的叠加处理(例如，多个对准的低图像质量图像的平均处理)等来增强对比度并降低噪声的高图像质量图像。例如，可以通过将使用附加训练的训练模型和尚未被附加训练的训练模型(备份训练模型)从同一图像取得的多个高图像质量图像进行比较，或者可以通过比较多个高图像质量图像的分析结果，来评估附加训练的训练模型。这里，例如，可以确定多个高图像质量图像的比较结果(由于附加训练带来的改变的示例)或多个高图像质量图像的分析结果的比较结果(由于附加训练带来改变的示例)是否落入预定范围内，并且
可以显示确定结果。
[0148]
可以选择性地使用通过针对各个成像区域执行训练而取得的训练模型。具体地，信息处理装置可以包括用于选择多个训练模型中的一个的选择单元，这多个训练模型包括通过利用包括第一成像区域(诸如要检查的肺或眼睛)的训练数据进行训练而取得的第一训练模型和通过利用包括与第一成像区域不同的第二成像区域的训练数据进行训练而取得的第二训练模型。这里，信息处理装置可以包括用于对所选择的训练模型执行附加训练的控制单元(未示出)。控制单元可以搜索包括作为成对数据的、与所选择的训练模型相对应的成像区域和成像区域的捕获图像的数据，并且基于检查者的指令利用搜索到的数据作为训练数据来附加训练所选择的训练模型。对应于所选择的训练模型的成像区域可以从关于数据的头部信息中取得或由检查者手动输入。例如，可以经由网络在医院或诸如实验室之类的外部机构中的服务器等中搜索数据。因此，通过使用与训练的模型相对应的成像区域的捕获图像，可以有效地执行针对每个成像区域的附加训练。
[0149]
选择单元和控制单元可以由信息处理装置的处理器(诸如cpu或微处理单元(mpu))执行的软件模块构成。选择单元和控制单元可以由诸如专用集成电路(asic)、独立器件等之类的用于提供特定功能的电路构成。
[0150]
如果经由网络从医院或诸如实验室之类的外部机构中的服务器等取得用于附加训练的训练数据，则期望减少由于篡改、附加训练期间的系统故障等造成的可靠性下降。为此，可以通过使用数字签名或散列的一致性检查来检测用于附加训练的训练数据的有效性。这可以保护用于附加训练的训练数据。如果作为使用数字签名或散列的一致性检查的结果，没有成功检测到用于附加训练的训练数据的有效性，则信息处理装置给出警告，并且不利用该训练数据执行附加训练。服务器的安装位置不受限制。服务器可以具有任何配置，诸如云服务器、雾服务器或边缘服务器。
[0151]
前述通过一致性检查对数据的保护不限于用于附加训练的训练数据，并且可以应用于包括医用图像的数据。图像管理系统可以被配置成通过分布式网络来管理多个机构中的服务器之间的包括医用图像的数据的交易。图像管理系统可以被配置成使得多个块以时间序列连接，每个块记录具有前一块的散列值的交易历史。即使使用量子门或其他量子计算机也难以计算的密码术(诸如基于格子的密码术和基于量子密钥递送的量子密码术)可以用作用于执行一致性检查等的技术。这里，图像管理系统可以是用于接收和存储由成像设备捕获的图像和经图像处理的图像的装置和系统。图像管理系统还可以基于来自连接的设备的请求传输图像，对存储的图像执行图像处理，并请求来自其他设备的图像处理。图像管理系统的示例可以包括图片存档和通信系统(pacs)。具体而言，根据以下示例性实施例的图像管理系统包括数据库，该数据库可以存储接收到的图像以及包括相关联的患者信息和成像时间的各种类型的信息。图像管理系统连接到网络，并且可以基于来自其他设备的请求来发送和接收图像、转换图像以及发送和接收与存储的图像相关联的各种类型的信息。
[0152]
(第六变形例)
[0153]
在前述各种示例性实施例和变形例中，除了手动指令(例如，从用户界面等给出的指令)之外，检查者的指令还可以是通过语音等给出的指令。这里，例如，可以使用包括通过机器学习取得的语音识别引擎(语音识别模型、用于语音识别的训练模型)的机器学习引擎
(机器学习模型)。手动指令可以是使用键盘、触摸面板等通过字符输入等给出的指令。这里，例如，可以使用包括通过机器学习取得的字符识别引擎(字符识别模型、用于字符识别的训练模型)的机器学习引擎。检查者的指令也可以是使用手势的指令。这里，可以使用包括通过机器学习取得的手势识别引擎(手势识别模型、用于手势识别的训练模型)的机器学习引擎。
[0154]
检查者的指令可以作为检查者在显示单元的显示画面(监视器)上的视线的检测结果而给出。例如，视线的检测结果可以是使用从显示单元的显示画面(监视器)附近捕获的检查者的运动图像的瞳孔检测结果。这里，可以通过使用前述物体识别引擎来检测运动图像中的瞳孔。此外，检查者的指令可以是基于脑电波、流经身体的微弱电信号等的指令。
[0155]
在这种情况下，例如，训练数据可以包括字符数据、语音数据(波形数据)等，其指示作为输入数据的将前述各种训练模型的处理结果进行显示的指令以及作为真值数据的用于将由各种训练模型的处理的结果等实际显示在显示单元上的执行命令。例如，训练数据可以包括字符数据、语音数据等，其指示作为输入数据的用于显示由用于图像质量增强的训练模型取得的高图像质量图像的指令以及作为真值数据的用于显示高图像质量图像的执行命令和用于激活用以给出显示高图像质量图像的指令的按钮的执行命令。应当理解，例如，训练数据可以是由字符数据、语音数据等指示的指令内容与(一个或多个)执行命令的内容彼此对应的任何训练数据。可以通过使用声学模型、语言模型等将语音数据转换成字符数据。可以执行使用由多个麦克风取得的波形数据来降低叠加在语音数据上的噪声数据的处理。信息处理装置可以被配置成使得可以基于检查者的指令来选择字符、语音或其他指令以及使用鼠标、触摸面板等给出的指令。信息处理装置可以被配置成使得可以基于检查者的指令来选择是打开还是关闭字符、语音或其他指令。
[0156]
这里，例如，机器学习包括前述深度学习，并且递归神经网络(rnn)可以用于多级神经网络的至少一部分。现在将参照图9a和图9b描述作为用于处理时间序列信息的神经网络的rnn，作为与本变形例相关的机器学习引擎的示例。将参照图10a和图10b描述作为一种rnn的长短期记忆网络(lstm)。
[0157]
图9a示出了作为机器学习引擎的rnn的结构。rnn 3520具有环状网络结构，并且在时间t输入数据x
t 3510并输出数据h
t 3530。由于rnn 3520具有环状网络功能，并且可以将当前时间的状态传递到下一状态，因此rnn 3520可以处理时间序列信息。图9b示出了在时间t的参数向量的输入和输出的示例。数据x
t 3510包括n条数据(params1至paramsn)。从rnn 3520输出的数据h
t 3530包括与输入数据相对应的n条数据(params1至paramsn)。
[0158]
然而，由于rnn在反向传播期间无法处理长期信息，因此有时可以使用lstm。lstm包括遗忘门、输入门和输出门，因此可以学习长期信息。图10a示出了lstm的结构。网络或lstm 3540要传递到下一时间t的信息是被称为蜂窝的网络的内部状态c
t
‑1，并输出数据h
t
‑1。图中的小写字母(c、h和x)表示向量。
[0159]
接下来，图10b示出了lstm 3540的细节。在图10b中，遗忘门网络fg、输入门网络ig和输出门网络og均为sigmoid层。因此，遗忘门网络fg、输入门网络ig和输出门网络og均输出元素的值为0至1的向量。遗忘门网络fg确定要保存多少过去的信息。输入门网络ig确定要更新哪些值。蜂窝更新候选网络cu是激活功能tanh层。蜂窝更新候选网络cu生成要添加到蜂窝的新候选向量。输出门网络og选择蜂窝候选的一个或多个元素，并选择要传递到下
一时间的信息量。
[0160]
前述lstm模型是一种基本形式，这里描述的网络不是限制性的。网络之间的连接可以改变。可以使用准递归神经网络(qrnn)来代替lstm。此外，机器学习引擎不限于神经网络，并且可以使用推进、支持向量机等。如果通过使用字符、语音等输入检查者的指令，则可以应用与自然语言处理(诸如序列到序列)相关的技术。作为与自然语言处理相关的技术，例如可以应用针对每个输入语句进行输出的模型。前述各种训练模型并不限于应用于检查者的指令，并且可以应用于给检查者的输出。可以应用利用字符、语音或其他输出来响应检查者的交互引擎(交互模型、用于交互的训练模型)。
[0161]
作为与自然语言处理相关的技术，可以使用通过预先利用文档数据执行无监督学习而取得的训练模型。作为与自然语言处理相关的技术，可以使用通过取决于预期用途对通过预先学习取得的训练模型进一步执行传送学习(或微调)而取得的训练模型。例如，作为与自然语言处理相关的技术，可以应用来自转换器的双向编码器表示(bert)。作为与自然语言处理相关的技术，可以应用能够通过从前和后两者的上下文预测文本中的特定单词来自身提取(表达)上下文(特征量)的模型。作为与自然语言处理相关的技术，可以应用能够确定输入时间序列数据中的两个序列(句子)之间的关系(连续性)的模型。作为与自然语言处理相关的技术，可以应用在隐藏层中使用转换器编码器并且输入和输出向量序列的模型。
[0162]
这里，可以应用本变形例的检查者的指令可以是与以下各项相关的指令中的任何一个：各种图像和分析结果的显示的切换、用于生成en
‑
face图像的深度范围的选择、用作用于附加训练的训练数据的选择、训练模型的选择、以及通过使用前述各种示例性实施例和变形例中描述的各种训练模型而取得的结果的输出(例如显示和传输)、存储等。可以应用本变形例的检查者的指令不限于成像之后的指令，并且可以是成像之前的指令。示例包括关于各种调整的指令、关于各种成像条件的设置的指令、以及关于开始成像的指令。可以应用本变形例的检查者的指令可以是关于显示画面的切换(画面转变)的指令。
[0163]
机器学习模型可以是组合图像相关机器学习模型(诸如cnn)和时间序列数据相关机器学习模型(诸如rnn)的模型。这样的机器学习模型可以学习例如在与图像相关的特征量和与时间序列数据相关的特征量之间的关系。例如，如果机器学习模型的输入层是cnn，并且输出层是rnn，则可以使用包括医用图像的训练数据作为输入数据并且使用与医用图像相关的文本(例如，病变的有无、病变的类型、下一次检查的推荐等)作为输出数据来执行训练。这使得，例如，即使是没有太多医用经验的检查者也能够容易地找出关于医用图像的医用信息，这是因为与医用图像相关的医用信息是以文本形式自动描述的。如果机器学习模型的输入层是rnn，并且输出层是cnn，则可以使用包括关于病变、所见、诊断等的医用文本的训练数据作为输入数据并且使用与医用文本相对应的医用图像作为输出数据来执行训练。这使得检查者例如能够容易地搜索与要观察的病例相关的医用图像。
[0164]
用于将字符、语音和其他文本机器翻译成给定语言的机器翻译引擎(机器翻译模型、用于机器翻译的训练模型)可以用于来自检查者的指令并输出给检查者。信息处理装置可以被配置成使得可以基于检查者的指令来选择给定的语言。例如，与自然语言处理(例如，序列到序列)相关的前述技术可以应用于机器翻译引擎。例如，信息处理装置可以被配置成使得在输入到机器翻译引擎的文本被机器翻译之后，将机器翻译的文本输入到字符识
别引擎等。例如，信息处理装置可以被配置成使得从前述各种训练模型输出的文本被输入到机器翻译引擎，并且从机器翻译引擎输出的文本被输出。
[0165]
可以组合使用前述各种训练模型。例如，信息处理装置可以被配置成使得对应于检查者指令的字符被输入到字符识别引擎，并且从输入字符取得的语音被输入到另一类型的机器学习引擎(诸如机器翻译引擎)。例如，信息处理装置可以被配置成使得从另一类型的机器学习引擎输出的字符被输入到字符识别引擎，并且从输入字符取得的语音被输出。例如，信息处理装置可以被配置成使得对应于检查者指令的语音被输入到语音识别引擎，并且从输入语音取得的字符被输入到另一类型的机器学习引擎(诸如机器翻译引擎)。例如，信息处理装置可以被配置成使得从另一类型的机器学习引擎输出的语音被输入到语音识别引擎，并且从输入语音取得的字符被显示在显示单元上。这里，信息处理装置可以被配置成使得可以基于检查者的指令来选择向检查者输出字符输出还是语音输出。信息处理装置还可以被配置成使得可以基于检查者的指令来选择使用字符输入还是语音输入作为检查者的指令。可以基于检查者的指令所做出的选择来采用前述各种配置。
[0166]
(第七变形例)
[0167]
在前述各种示例性实施例和变形例中，可以基于检查者的指令将高图像质量图像等存储到存储单元中。在检查者指令之后登记文件名以存储高图像质量图像等时，可以基于检查者的指令，在能够编辑的状态下，在文件名的一部分(例如，在开头或在末尾)处显示包括以下信息(例如，字符)的文件名作为推荐文件名，所述信息指示出已经通过使用用于图像质量增强的训练模型的处理(图像质量增强处理)生成了图像。在显示单元上的诸如报告画面之类的各种显示画面上显示高图像质量图像时，可以将显示的图像是通过使用用于图像质量增强的训练模型的处理而生成的高图像质量图像的指示与高图像质量图像一起显示。在这种情况下，用户可以根据该指示容易地识别所显示的高图像质量图像不是通过成像取得的图像本身。这可以减少误诊，并提高诊断效率。通过使用用于图像质量增强的训练模型的处理而生成的高图像质量图像的指示可以是能够从其识别输入图像和通过处理而生成的高图像质量图像的任何模式的指示。不仅可以显示使用用于图像质量增强的训练模型的处理的结果，而且还可以显示使用前述各种训练模型的处理的结果，该结果带有已经通过使用这些类型的训练模型的处理生成了结果的指示。
[0168]
这里，可以基于检查者的指令将诸如报告画面之类的显示画面作为图像数据存储到存储单元中。例如，可以将报告画面存储到存储单元中，作为其中并排排列高图像质量图像等以及图像是通过使用用于图像质量增强的训练模型的处理而生成的高图像质量图像的指示的图像。作为通过使用用于图像质量增强的训练模型的处理而生成的高图像质量图像的指示，可以在显示单元上显示利用哪些训练数据对用于图像质量增强的训练模型进行了训练的指示。这样的指示可以包括对训练数据中的输入数据和真值数据的类型的描述，以及与真值数据相关的任何指示，比如包括在输入数据和真值数据中的成像区域。这里，不仅对于使用用于图像质量增强的训练模型的处理，而且对于使用前述各种训练模型的处理，可以在显示单元上显示利用何种训练数据对该类型的训练模型进行了训练的指示。
[0169]
信息处理装置可以被配置成使得在叠加在高图像质量图像等上的状态下显示或存储指示出通过使用用于图像质量增强的训练模型的处理而生成了图像的信息(例如，字符)。这里，图像上的叠加位置可以位于不与显示要成像的感兴趣区域等的区域重叠的任何
区域(例如，在图像的角落中)。信息处理装置可以确定这样的非重叠区域，并将信息叠加在所确定的区域上。
[0170]
信息处理装置可以被配置成：如果默认情况下在报告画面的初始显示画面上将图像质量增强按钮设置为激活(图像质量增强处理启用)，则基于检查者的指令，将与包括高图像质量图像等的报告画面相对应的报告图像传输到诸如外部存储单元之类的服务器。信息处理装置可以被配置成：如果图像质量增强按钮默认被设置为激活，则与包括高图像质量图像等的报告画面相对应的报告图像在检查结束时(例如，当基于检查者的指令将成像观察画面或预览画面切换到报告画面时)被(自动)传输到服务器。这里，信息处理装置可以被配置成使得基于各种默认设置(例如，与以下项中的至少一个相关的设置：用于在报告画面的初始显示画面上生成en
‑
face图像的深度范围、叠加分析地图的有无、图像是否是高图像质量图像、以及画面是否是用于随访的显示画面)生成的报告图像被传输到服务器。
[0171]
(第八变形例)
[0172]
在前述各种示例性实施例和变形例中，可以将由前述各种训练模型当中的第一类型训练模型取得的图像(例如，高图像质量图像、指示诸如分析地图之类的分析结果的图像、指示物体识别结果的图像、或指示分割结果的图像)输入到与第一类型不同的第二类型训练模型。这里，信息处理装置可以被配置成生成第二类型训练模型的处理的结果(诸如分析结果、诊断结果、物体识别结果或分割结果)。
[0173]
通过使用第一类型训练模型的处理的结果(诸如分析结果、诊断结果、物体识别结果或分割结果)，可以从输入到第一类型训练模型的图像生成要输入到前述各种训练模型当中不同于第一类型训练模型的第二类型训练模型的图像。这里，所生成的图像可能适合作为供第二类型训练模型处理的图像。因此，通过将所生成的图像输入到第二类型训练模型中所取得的图像(例如，高图像质量图像、指示诸如分析地图之类的分析结果的图像、指示物体识别结果的图像或指示分割结果的图像)的精度可以提高。信息处理装置可以被配置成将共用图像输入到第一类型训练模型和第二类型训练模型中，以使用训练模型生成(或显示)处理结果。这里，例如，信息处理装置可以被配置成基于检查者的指令同时(连动地)生成(或显示)使用训练模型的处理结果。信息处理装置可以被配置成使得可以均基于检查者的指令选择要输入的图像的类型(例如，高图像质量图像、物体识别结果、分割结果或相似病例图像)、要生成(或显示)的处理结果的类型(例如，高图像质量图像、诊断结果、分析结果、物体识别结果、分割结果或相似病例图像)、输入类型和输出类型(诸如字符、语音和语言)等。这里，信息处理装置可以被配置成使得取决于所选择的类型选择至少一个训练模型。如果这里选择了多个训练模型，则可以基于所选择的类型来确定多个训练模型的组合方式(诸如数据输入的顺序)。例如，信息处理装置可以被配置成使得要输入的图像的类型和要生成(或显示)的处理结果的类型可以被选择为不同。如果选择了相同的类型，则信息处理装置可以被配置成向检查者输出用于提示不同选择的信息。训练模型可以在任何位置执行。例如，多个训练模型中的一些可以由云服务器使用，而其他训练模型可以被配置成由诸如雾服务器或边缘服务器之类的不同服务器使用。
[0174]
前述各种训练模型可以是通过利用包括测试被检体的二维医用图像的训练数据进行训练而取得的模型，也可以是通过利用包括测试被检体的三维医用图像的训练数据进行训练而取得的模型。
[0175]
使用存储在服务器等中的外部数据库的相似病例图像搜索可以以前述各种训练模型的处理的分析结果、诊断结果等作为搜索关键字来执行。使用存储在服务器等中的外部数据库的相似病例图像搜索也可以以前述各种训练模型的处理的物体识别结果、分割结果等作为搜索关键字来执行。在诸如当通过机器学习等利用已经附加为附件信息的相应多个图像的特征量来管理存储在数据库中的多个图像之类的情况下，可以使用相似病例图像搜索引擎(相似病例图像搜索模型、用于相似病例图像搜索的训练模型)，其使用图像本身作为搜索关键字。例如，信息处理装置可以通过使用用于相似病例图像搜索的训练模型(与用于图像质量增强的训练模型不同)来在各种医用图像中搜索与医用图像相关的相似病例图像。例如，显示控制单元103可以通过使用用于相似病例图像搜索的训练模型在显示单元上显示从各种医用图像取得的相似病例图像。这里，例如，相似病例图像是具有与输入到训练模型的医用图像的特征量相似的特征量的图像。例如，如果输入到训练模型的医用图像包括诸如异常区域之类的部分区域，则相似病例图像是具有与诸如异常区域之类的部分区域的特征量相似的特征量的图像。例如，这不仅使得能够有效训练相似病例图像的精确搜索，而且如果医用图像包括异常区域，则使得检查者能够高效地对异常区域进行诊断。此外，可以搜索多个相似病例图像，并且可以以特征量的相似度顺序是可识别的的方式显示多个相似病例图像。信息处理装置可以被配置成通过使用训练数据来附加训练用于相似病例图像搜索的训练模型，该训练数据包括基于检查者的指令和图像的特征量从多个相似病例图像中选择的图像。
[0176]
(第九变形例)
[0177]
在前述各种示例性实施例和变形例中，用于生成运动对比度数据的处理不限于基于断层成像图像的亮度值而执行处理的配置。可以对通过光学相干断层成像仪(oct)取得的干涉信号、对其应用了傅里叶变换的干涉信号、对其应用了给定处理的信号以及基于这些信号的包括断层成像图像等的断层成像数据应用各种类型的处理。即使在这种情况下也可以提供类似的效果。例如，当使用光耦合器的光纤系统用作分束单元时，可以使用包括准直器和分束器的空间光学系统。oct可以被配置成使得包括在oct中的一些组件与oct分开。michelson干涉仪配置可以用于oct干涉光学系统。可以使用mach
‑
zehnder干涉仪配置。oct可以是使用超发光二极管(sld)作为光源的光谱域oct(sd
‑
oct)。oct可以是任何其他类型的oct，像使用能够扫频发射光的波长的波长扫频光源的扫频源oct(ss
‑
oct)。此外，本发明还可以应用于使用线光的线
‑
oct设备(或ss
‑
线
‑
oct设备)。本发明还可以应用于使用面光的全场
‑
oct设备(或ss
‑
全场
‑
oct设备)。虽然信息处理装置取得由oct取得的干涉信号和由信息处理装置生成的三维断层成像图像等，但是信息处理装置取得这类信号和图像的配置不限于此。例如，信息处理装置可以从经由局域网(lan)、广域网(wan)、因特网等连接的服务器或成像设备取得这样的信号。
[0178]
训练模型可以位于信息处理装置中。例如，训练模型可以由诸如cpu之类的处理器执行的软件模块构成。可替代地，训练模型可以位于连接到信息处理装置的其他服务器等中。在这种情况下，信息处理装置可以通过经由诸如因特网之类的给定网络连接到包括训练模型的服务器来使用训练模型执行图像质量增强处理。
[0179]
(第十变形例)
[0180]
要由根据前述各种示例性实施例和变形例的信息处理装置(医用图像处理装置)
或信息处理方法(医用图像处理方法)处理的医用图像可以包括通过使用任何模态(成像设备、成像方法)取得的图像。待处理的医用图像可以包括由给定成像设备等取得的医用图像，以及由医用图像处理装置或医用图像处理方法生成的图像。
[0181]
待处理的图像还包括受检者(测试被检体)的预定区域的图像，并且预定区域的图像包括受检者的预定区域的至少一部分。医用图像可以包括受检者的其他区域。医用图像可以是静止图像或运动图像，并且可以是单色图像或彩色图像。医用图像可以是显示预定区域的结构(形状)的图像或显示其功能的图像。示出功能的图像的示例包括示出血流动力学(血流量、血流率等)的图像，诸如octa图像，多普勒oct图像，功能磁共振成像(fmri)图像和超声多普勒图像。受检者的预定区域可以基于成像目标来确定，并且可以包括诸如人眼(待检查的眼睛)、脑、肺、肠、心脏、胰腺、肾脏和肝脏之类的器官，以及诸如头部、胸部、腿部和手臂之类的区域。
[0182]
医用图像可以是受检者的断层成像图像或正面图像。正面图像的示例包括眼底正面图像、眼前部的正面图像、通过荧光成像取得的眼底图像、以及使用在成像目标的深度方向上的通过oct取得的数据范围(三维oct数据)的至少一部分的数据而生成的en
‑
face图像。en
‑
face图像可以是使用在成像目标的深度方向上的三维octa数据(三维运动对比度数据)范围的至少一部分而生成的octa en
‑
face图像(运动对比度正面图像)。三维oct数据和三维运动对比度数据是三维医用图像数据的示例。
[0183]
如本文所采用的，运动对比度数据是指指示通过控制测量光多次扫描要检查的眼睛的相同区域(相同位置)而取得的多条体数据之间的改变的数据。这里，体数据包括在不同位置处取得的多个断层成像图像。可以通过取得指示在每个不同位置处的基本上相同位置处取得的多个断层成像图像之间的改变的数据，来取得运动对比度数据作为体数据。运动对比度正面图像也被称为用于测量血流运动的与oct血管造影(octa)相关的octa正面图像(octa en
‑
face图像)。运动对比度数据也称为octa数据。例如，可以将运动对比度数据确定为解将相关值、方差值或最大值除以两个断层成像图像或相应干涉信号之间的最小值(最大值/最小值)，并且可以通过任何传统方法来确定运动对比度数据。这里，例如，可以通过控制测量光多次扫描要检查的眼睛的相同区域(相同位置)来取得两个断层成像图像。
[0184]
例如，en
‑
face图像是通过在x和y方向上的两个层边界之间的范围中投影数据而生成的正面图像。这里，通过将对应于深度范围的数据投影到二维平面上或者过对数据进行积分来生成正面图像，深度范围是使用光学干涉取得的体数据(三维断层摄影图像)的深度范围的至少一部分并且基于两个基准平面来确定。en
‑
face图像是通过将与基于体数据中检测到的视网膜层确定的深度范围相对应的数据投影到二维平面上而生成的正面图像。例如，可以例如通过使用用于将深度范围中的数据的代表值用作二维平面上的像素值的技术来将与基于两个基准平面确定的深度范围相对应的数据投影到二维平面上。这里，代表值可以包括诸如由两个基准平面包围的区域的深度范围中的像素值的平均值、中值和最大值之类的值。与en
‑
face图像相关的深度范围的示例可以是在比与检测到的视网膜层相关的两层边界中的任一个更深的方向或更浅的方向上包括预定数量的像素的范围。与en
‑
face图像相关的深度范围的示例可以是通过基于操作者的指令修改(偏移)与检测到的视网膜层相关的两层边界之间的范围而取得的范围。
[0185]
成像设备是用于捕获用于诊断的图像的设备。成像设备的示例包括通过用光、诸
如x射线之类的放射线、电磁波、超声波等照射受检者的预定区域来取得该预定区域的图像的设备，以及通过检测从物体发射的放射线来取得预定区域的图像的设备。更具体地，根据前述各种示例性实施例和变形例的成像设备至少包括x射线成像设备、计算机断层扫描(ct)设备、磁共振成像(mri)设备、正电子发射断层扫描(pet)设备、单光子发射计算机断层扫描(spect)设备、slo设备、oct设备、octa设备、眼底相机和/或内窥镜。
[0186]
oct设备可以包括时域oct(td
‑
oct)设备和傅立叶域oct(fd
‑
oct)设备。傅立叶域oct设备可以包括谱域oct(sd
‑
oct)设备和扫频源oct(ss
‑
oct)设备。oct设备还可以包括多普勒
‑
oct设备。slo设备和oct设备可以包括使用自适应光学系统的自适应光学slo(ao
‑
slo)设备和自适应光学oct(ao
‑
oct)设备。slo设备和oct设备还可以包括用于可视化关于偏振相位差或去偏振的信息的偏振敏感型slo(ps
‑
slo)设备和偏振敏感型oct(ps
‑
oct)设备。slo设备和oct设备可以包括病理显微镜slo设备和病理显微镜oct设备。slo设备和oct设备可以包括手持slo设备和手持oct设备。slo设备和oct设备可以包括导管slo设备和导管oct设备。
[0187]
(其他示例性实施例)
[0188]
本发明还通过执行以下处理来实现。也就是说，该处理包括经由网络或各种存储介质向系统或装置提供用于实现前述各种示例性实施例和变形例的一个或多个功能的软件(程序)，以及由系统或装置的计算机(或cpu、mpu等)读取和执行该程序。
[0189]
本发明还可以通过经由网络或各种存储介质向系统或装置提供用于实现前述各种示例性实施例和变形例的一个或多个功能的软件(程序)，并由系统或装置的计算机读取和执行该程序来实现。计算机包括一个或多个处理器或电路，并且可以包括多个单独的计算机或多个单独的处理器或电路的网络，以读取和执行计算机可执行指令。
[0190]
这里，处理器或电路可以包括中央处理单元(cpu)、微处理单元(mpu)、图形处理单元(gpu)、专用集成电路(asic)或现场可编程网关(fpga)。处理器或电路还可以包括数字信号处理器(dsp)、数据流处理器(dfp)或神经处理单元(npu)。
[0191]
本发明不限于以上实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了让公众了解本发明的范围，提出所附权利要求。
[0192]
本技术要求2019年3月29日提交的第2019
‑
068893号、2019年10月3日提交的第2019
‑
183352号和2019年12月5日提交的第2019
‑
220765号日本专利申请的优先权，这些申请通过引用并入本文。