医疗图像处理装置、内窥镜系统、诊断辅助方法及程序与流程

1.本发明涉及医疗图像处理装置、内窥镜系统、诊断辅助方法及程序。


背景技术：

2.在内窥镜检查中，要求对设为检查对象的脏器等中的多个部位进行全面观察。在专利文献1中提出了在对设为检查对象的脏器确定必须的拍摄部位时，用于抑制拍摄遗漏的辅助技术。专利文献1所记载的图像显示装置从内窥镜图像中检测规定的解剖学界标，生成表示检查对象的脏器中的已拍摄区域和未拍摄区域的地图图像，并在监视器上显示地图图像。
3.在专利文献2中记载有使用机器学习的图像识别的技术。专利文献2所记载的图像识别装置进行关于输入图像数据的类别识别的处理，并将其类别识别结果显示在显示装置上。专利文献2所记载的图像识别装置接受用户对于类别识别结果的评价，将用户的评价结果和输入图像数据用作学习数据，进行关于识别部的追加学习，由此实现识别精度的提高。根据专利文献2的段落0057，图像识别装置搭载在内窥镜控制单元上。
4.以往技术文献
5.专利文献
6.专利文献1：日本特开2018-50890号公报
7.专利文献2：日本特开2012-174222号公报


技术实现要素：

8.发明要解决的技术课题
9.在使用内窥镜等医疗设备的检查中，必须根据检查目的对作为对象的部位的所有位置全面进行诊断。例如，如果详细划分胃的内部部位，则由十处以上的小部位构成，医生在观察胃的内部时，存在漏看一部分部位的可能性。在医疗图像的领域中，正在推进利用人工智能(ai：artificial intelligence)进行各种辅助的技术的开发，期待通过对内窥镜图像等医疗图像利用图像识别技术，自动地判定医生是否已完成特定部位的观察，并显示其判定结果，由此抑制观察遗漏(漏看)。
10.但是，使用了用于抑制应观察部位的漏看的深度学习等的ai对部位的观察完成判定有时与医生对观察完成的判断基准不同。对某部位是否已完成观察由于也包括医生是否有意识地进行了观察之类的医生本身的主观要素，因此在基于如引用文献2中记载的图像分析的通常的图像分类的任务中，有时难以判定。假设即使在ai对某部位判定为观察完成的情况下，实际上医生未进行观察或者观察的程度不够这样的情况，ai进行的观察完成判定与人类的判断可能产生分歧(不一致)。
11.上述的这些课题不限于内窥镜检查，是在对于各种医疗图像进行是否已完成某部位的观察的判定处理时假设的普遍课题。
12.本发明是鉴于这样的情况而完成的，其目的在于解决上述的多个课题中的至少一
个课题，提供一种医疗图像处理装置、内窥镜系统、诊断辅助方法及程序，能够在利用使用了图像处理的观察完成判定的同时处理误判，可抑制医生对观察对象的部位的漏看。
13.用于解决技术课题的手段
14.本公开的一方式所涉及的医疗图像处理装置具有至少一个处理器，其中，至少一个处理器获取医疗图像，基于医疗图像对对象部位进行是否观察已完成的观察完成判定，进行使观察完成判定的判定结果显示在显示器上的显示控制，接受包括对表示观察完成判定的判定结果的显示内容进行修正的指示的用户输入，使通过用户输入进行了修正的内容反映在显示中。
15.根据本方式的医疗图像处理装置，在显示器上显示通过对医疗图像进行处理而获得的部位的观察完成判定的判定结果。用户能够进行对判定结果的显示施加修正的用户输入。通过用户输入指示的修正内容被反映在显示器的显示中，变更报知部位的观察完成或观察未完成的显示。
16.可以将“使进行了修正的内容反映在显示中”这一记载理解为显示修正内容、即显示反映出修正的修正后的内容。
17.在本方式的医疗图像处理装置中，在通过处理医疗图像而获得的部位的观察完成判定与医生(用户)的判断不同的情况下，至少一个处理器能够接受用户的交互，根据用户输入修正判定结果的显示。由此，能够显示与观察完成部位相关的正确信息，能够进行抑制部位漏看的辅助。
18.医疗图像处理装置可以构成为单一的装置，也可以将多个装置组合而构成。例如，医疗图像处理装置可使用一台或多台计算机来实现。“装置”这一记载包括“系统”及“模块”的概念。
19.在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：还具备显示观察完成判定的判定结果的显示器。
20.在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：在医疗图像的图像上存在特定部位的标记的情况下，至少一个处理器判定为对特定部位观察完成。
[0021]“标记”是指界标，可以是部位的特征形状和/或样式等，也可以包括与特定部位一起被摄在图像上的内窥镜的一部分等人体以外的部件。
[0022]“特定部位”可以是设为检查对象的脏器的一部分、即小部位，也可以是脏器整体。在全面观察多个部位的情况下，可将多个部位中的每一个预先设定为“特定部位”。
[0023]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：在特定部位在医疗图像的图像上存在固定时间以上的情况下，至少一个处理器判定为对特定部位观察完成。
[0024]
例如，在像动态图像那样的时间序列的医疗图像中，在相同部位在图像上存在固定时间的情况下，可推定为医生对该特定部位进行了有意识的观察。此处的“固定时间”是指预先确定的时间的长度。
[0025]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：在医疗图像的中央部存在特定部位的标记的情况下，至少一个处理器判定为对特定部位观察完成。
[0026]“中央部”这一记载不限于严格的中央，包括被理解为医疗图像的图像区域中的大致中央的部分的范围。在医生关注特定部位并有意识地进行观察的情况下，可认为其对象
物多是被捕获在图像的中央部。
[0027]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：在将在医疗图像的图像上存在特定部位的标记作为第一条件、将特定部位在医疗图像的图像上存在固定时间以上作为第二条件、将在医疗图像的中央部存在特定部位的标记作为第三条件的情况下，在符合第一条件、第二条件及第三条件中的至少一个条件的情况下，至少一个处理器判定为对特定部位观察完成。
[0028]
至少一个处理器可以在符合第一条件、第二条件及第三条件中的任一条件时判定为观察完成，也可以在符合两个以上的条件时判定为观察完成。
[0029]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器接受表示静止图像的拍摄定时的拍摄指示信号的输入，在收到拍摄指示信号的输入的情况下，判定为对静止图像的作为拍摄对象的部位观察完成。
[0030]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：还具备存储器，在存储器中存储医疗图像及表示观察完成判定的判定结果的判定结果信息，在至少一个处理器收到用户输入的情况下，用户输入信息、作为用户输入的修正对象的判定结果信息、以及获得了判定结果信息的医疗图像被建立关联地保存到存储器中。
[0031]
根据该方式，将至少一个处理器误进行了观察完成判定的医疗图像和针对该医疗图像的正确判定结果的信息保存到存储器中。将保存在该存储器中的数据用于学习数据，能够进行用于提高在观察完成判定的处理中使用的推理模型的推理精度的追加学习和/或新模型的开发等。
[0032]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：还具备：存储器；以及通信装置，在存储器中存储医疗图像及表示观察完成判定的判定结果的判定结果信息，在至少一个处理器收到用户输入的情况下，通信装置将用户输入信息、作为用户输入的修正对象的判定结果信息、以及获得了所述判定结果信息的所述医疗图像发送到外部设备。
[0033]
根据该方式，将至少一个处理器误进行了观察完成判定的医疗图像和针对该医疗图像的正确判定结果的信息发送到外部设备。发送到外部设备的数据能够用于学习数据，在外部设备或除外部设备以外的其他设备中，能够进行用于提高在观察完成判定的处理中使用的推理模型的推理精度的追加学习和/或新模型的开发等。
[0034]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器接受将观察完成判定的判定结果为观察未完成的部位的观察未完成显示修正为表示观察完成的观察完成显示的用户输入，基于用户输入，将观察未完成显示的显示内容变更为观察完成显示的显示内容。
[0035]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器接受将观察完成判定的判定结果为观察完成的部位的观察完成显示修正为表示观察未完成的观察未完成显示的用户输入，基于用户输入，将观察完成显示的显示内容变更为观察未完成显示的显示内容。
[0036]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器接受将关于通过观察完成判定被判定为观察完成的观察完成部位的部位信息的显示修正为表示另一部位的部位信息的显示的用户输入，基于用户输入，修正关于观察完成
部位的部位信息的显示内容。
[0037]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器使医疗图像显示在显示器的第一显示区域，使观察完成判定的判定结果显示在显示器中的与第一显示区域不同的第二显示区域。
[0038]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器通过示意性表示包括对象部位的人体的部位的模型图形来显示关于观察完成部位的部位信息。
[0039]
模型图形例如可以是模拟脏器的形状的意象图像等。
[0040]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器在模型图形中以不同颜色区分显示观察完成部位和观察未完成部位。
[0041]
根据该方式，医生能够一目了然地容易地掌握观察完成部位与观察未完成部位。
[0042]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器将关于观察完成部位的部位信息显示为文字信息。
[0043]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：还具备用户进行指示的输入时使用的输入装置，至少一个处理器从输入装置接受用户输入。
[0044]
也可以是如下结构：输入装置包括键盘、触摸面板、声音输入装置、设置在内窥镜观测器上的开关、及脚踏开关中的至少一个。
[0045]
在本公开的另一方式所涉及的医疗图像处理装置中，也可以是如下结构：至少一个处理器设定作为观察对象的多个部位，对多个部位中的每个部位进行观察完成判定，基于观察完成判定的判定结果，显示表示多个部位中的观察完成部位的信息和表示观察未完成部位的信息。
[0046]
根据该方式，能够明确区分观察完成的部位(观察完成部位)和观察未完成的部位(观察未完成部位)并进行这些信息的显示，在要求全面观察多个部位的情况下，能够有效地抑制观察遗漏(部位漏看)。
[0047]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器使用神经网络进行观察完成判定。
[0048]
至少一个处理器能够使用以通过深度学习等机器学习进行部位识别及观察完成判定的任务的方式学习的已学习模型进行观察完成判定。
[0049]
在本公开的另一方式所涉及的医疗图像处理装置中，可采用以下结构：至少一个处理器获取时间序列的医疗图像。
[0050]
时间序列的医疗图像可以是动态图像，也可以是以连拍或者间隔拍摄等方式以特定的时间间隔拍摄的图像组。另外，基于时间序列的拍摄的时间间隔也可以不必是恒定的。
[0051]
医疗图像可以是使用内窥镜拍摄的内窥镜图像。内窥镜可以是内窥镜观测器，也可以是胶囊内窥镜。
[0052]
本公开的另一方式所涉及的内窥镜系统具备内窥镜观测器和至少一个处理器，其中，至少一个处理器获取通过使用内窥镜观测器对体内进行拍摄而获得的内窥镜图像，基于内窥镜图像对对象部位进行是否观察已完成的观察完成判定，进行使观察完成判定的判定结果显示在显示器上的显示控制，接受包括对表示观察完成判定的判定结果的显示内容进行修正的指示的用户输入，使通过用户输入进行了修正的内容反映在显示中。
[0053]
根据本方式的内窥镜系统，能够对观察中的内窥镜图像实时显示观察完成判定的判定结果，在进行了错误的判定结果的显示的情况下，用户能够适时将该显示修正为正确的显示内容。
[0054]
本公开的另一方式所涉及的诊断辅助方法由至少一个处理器实施，其中，包括以下步骤：至少一个处理器获取医疗图像；基于医疗图像对对象部位进行是否观察已完成的观察完成判定；进行使观察完成判定的判定结果显示在显示器上的显示控制；接受包括对表示观察完成判定的判定结果的显示内容进行修正的指示的用户输入；以及使通过用户输入进行了修正的内容反映在显示中。
[0055]
本公开的另一方式所涉及的程序用于使计算机实现：获取医疗图像的功能；基于医疗图像对对象部位进行是否观察已完成的观察完成判定的功能；进行使观察完成判定的判定结果显示在显示器上的显示控制的功能；接受包括对表示观察完成判定的判定结果的显示内容进行修正的指示的用户输入的功能；以及使通过用户输入进行了修正的内容反映在显示中的功能。
[0056]
发明效果
[0057]
根据本发明，能够基于医疗图像的图像处理，判定对作为对象的部位是否已完成观察并显示其判定结果，在判定结果存在错误的情况下，能够通过用户输入修正为正确的内容显示。由此，能够抑制部位漏看，能够辅助适当的检查的实施。
附图说明
[0058]
图1是示例性表示本发明的实施方式所涉及的内窥镜系统的外观的立体图。
[0059]
图2是表示内窥镜系统的结构例的框图。
[0060]
图3是表示第一实施方式所涉及的医疗图像处理装置的功能的功能框图。
[0061]
图4是表示第一实施方式所涉及的医疗图像处理装置的动作的流程图。
[0062]
图5是显示在监视器的画面上的显示图像的例1。
[0063]
图6是显示在监视器的画面上的显示图像的例2。
[0064]
图7是显示在监视器的画面上的显示图像的例3。
[0065]
图8是显示在监视器的画面上的显示图像的例4。
[0066]
图9是将基于观察完成判定的判定结果的观察完成信息的显示修正为观察未完成的信息时的显示图像的例子。
[0067]
图10是将基于观察完成判定的判定结果的观察未完成信息的显示修正为观察完成的信息时的显示图像的例子。
[0068]
图11是将基于观察完成判定的判定结果的部位的观察完成信息的显示修正为另一部位的观察完成的信息时的显示图像的例子。
[0069]
图12是观察胃的贲门部时获得的观察图像的例子。
[0070]
图13是观察胃的贲门部时获得的另一观察图像的例子。
[0071]
图14是表示第一实施方式所涉及的医疗图像处理装置的硬件结构的例子的框图。
[0072]
图15是表示第二实施方式所涉及的医疗图像处理装置的功能的功能框图。
[0073]
图16是表示第二实施方式所涉及的医疗图像处理装置的硬件结构的例子的框图。
具体实施方式
[0074]
下面，按照附图对本发明的优选实施方式进行详细描述。在本说明书中，对相同的构成要素标注相同的参照符号，并适当地省略重复的说明。
[0075]
《内窥镜系统的概要》
[0076]
图1是示例性表示本发明的实施方式所涉及的内窥镜系统10的外观的立体图。内窥镜系统10具备内窥镜观测器100、处理器装置200、光源装置300以及监视器400。
[0077]
内窥镜观测器100是电子内窥镜，例如是软性内窥镜。内窥镜观测器100具备手边操作部102、插入部104及通用电缆106。手边操作部102具备弯角钮140、供气供水按钮141、吸引按钮142、功能按钮143及拍摄按钮144。
[0078]
弯角钮140用于指示插入部104中的弯曲部114的弯曲方向及弯曲量的弯曲操作。弯角钮140包括使弯曲部114向上下方向弯曲的上下弯角钮和使弯曲部114向左右方向弯曲的左右弯角钮这两种钮。
[0079]
供气供水按钮141接受供气指示及供水指示的操作。吸引按钮142接受吸引指示的操作。功能按钮143被分配各种功能。功能按钮143接受各种功能的指示操作。拍摄按钮144接受拍摄指示操作。“拍摄”这一术语包括静止图像的拍摄及动态图像的拍摄双方的概念。拍摄指示操作包括指示静止图像的拍摄定时的操作、及指示动态图像的拍摄开始定时和拍摄结束定时的操作。
[0080]
用户握持手边操作部102来操作内窥镜观测器100，通过将插入部104插入受检体的体内来对体内进行观察。此处的“用户”是指作为施术者的医生。“受检体”这一记载与患者、受检者或者被检查者同义。
[0081]
插入部104是插入到受检体的体内的部分。插入部104与手边操作部102连接设置，从手边操作部102侧起依次具备软性部112、弯曲部114及顶端硬质部116。
[0082]
软性部112是设置在手边操作部102与弯曲部114之间的具有挠性的部分。弯曲部114是包括能够通过手边操作部102的操作而弯曲的机构的部分。用户能够通过操作弯角钮140使弯曲部114弯曲，并使顶端硬质部116的方向向上下左右变化。
[0083]
在图1中对顶端硬质部116的一部分进行放大图示。在顶端硬质部116设置有包括摄影透镜132的摄像部、包括照明用透镜123a、123b的照明部、以及钳道口126。此外，摄像部在图2中标注符号130进行图示。另外，照明部在图2中标注符号123进行图示。
[0084]
在进行观察及处置时，能够根据用户进行的操作经由照明用透镜123a、123b照射白色光和/或窄带光。窄带光包括红色窄带光、绿色窄带光、蓝色窄带光及紫色窄带光中的至少一种。
[0085]
另外，在操作了供气供水按钮141的情况下，从未图示的供水喷嘴放出清洗水，或从未图示的供气喷嘴放出气体。清洗水及气体能够用于摄影透镜132及照明用透镜123a、123b等的清洗。此外，也可以将供水喷嘴及供气喷嘴通用化。
[0086]
钳道口126与配置于插入部104内部的未图示的处置器具插入通道连通。在处置器具插入通道中插通有未图示的处置器具。在手边操作部102设置有用于将处置器具导入处置器具插入通道内的未图示的处置器具导入口。作为处置器具，例如，可以有活检钳、导管、高频电圈套等。另外，处置器具还包括引导管、套管针管、滑管等。处置器具在处置器具插入通道中被支承为能够适当地进退。在进行肿瘤切除等时，用户能够使用处置器具对受检体
实施必要的处置。
[0087]
通用电缆106是用于将内窥镜观测器100连接到处理器装置200及光源装置300的电缆。在通用电缆106中插通有从插入部104延伸设置的电缆及光导。电缆包括用于信号传输的通信电缆和用于供电的供电电缆。内窥镜观测器100经由通用电缆106与处理器装置200及光源装置300连接。
[0088]
此外，内窥镜系统10除了手边操作部102之外，也可以具备未图示的脚踏开关和/或声音输入装置等作为输入来自用户的指示等的输入装置。脚踏开关具备踏板和电缆。脚踏开关的电缆与处理器装置200连接。
[0089]
《内窥镜系统的结构例》
[0090]
图2是表示内窥镜系统10的结构例的框图。下面，以内窥镜观测器100、光源装置300及处理器装置200的顺序，对各个结构例进行说明。
[0091]
〔内窥镜观测器的说明〕
[0092]
内窥镜观测器100具备摄像部130和照明部123。摄像部130配置于顶端硬质部116的内部。摄像部130具备包括摄影透镜132的摄影光学系统、摄像元件134、驱动电路136、模拟前端(afe：analog front end)138。
[0093]
摄影透镜132配置于顶端硬质部116的顶端侧端面116a。在摄影透镜132的里侧(比顶端侧端面116a靠近弯曲部114的一侧的位置)配置有摄像元件134。摄像元件134例如是cmos(complementary metal-oxide semiconductor)型图像传感器。也可以应用ccd(charge coupled device)型图像传感器作为摄像元件134。
[0094]
摄像元件134例如是彩色摄像元件，由具备未图示的彩色滤光片的多个受光元件构成的多个像素通过特定的图案排列二维配置于摄像元件134的受光面(摄像面)。摄像元件134的各像素包括微透镜、彩色滤光片及光电转换部(光电二极管等)。例如，使用包括红(r)、绿(g)及蓝(b)的原色彩色滤光片作为彩色滤光片。彩色滤光片的颜色图案的配置方式没有特别限制，例如也可以是拜耳排列等。
[0095]
另外，摄像元件134也可以包括具备与未图示的紫色光源对应的紫色彩色滤光片、和/或与未图示的红外光源对应的红外用滤光片的像素。
[0096]
驱动电路136基于从处理器装置200发送的控制信号，向摄像元件134供给摄像元件134的动作所需的各种定时信号。
[0097]
作为观察对象的被摄体的光学像经由摄影透镜132在摄像元件134的受光面上成像。摄像元件134将被摄体的光学像转换为电信号。从摄像元件134输出的电信号经过模拟前端138进行的处理而转换为数字图像信号。
[0098]
模拟前端138具备放大器、滤光片及模拟数字转换器。模拟前端138对摄像元件134的输出信号实施放大、去噪及模拟数字转换等处理。将模拟前端138的输出信号发送给处理器装置200。此外，摄像元件134、驱动电路136及模拟前端138能够构成为单片集成电路，这些各电路元件可搭载于一个摄像芯片上。
[0099]
照明部123具备照明用透镜123a、123b。照明用透镜123a、123b在顶端硬质部116的顶端侧端面116a上配置于摄影透镜132的相邻位置。在照明用透镜123a、123b的里侧配置有光导170的射出端。
[0100]
光导170插通于图1所示的插入部104、手边操作部102及通用电缆106。光导170的
入射端配置于设置在通用电缆106的端部的光导连接器108的内部。
[0101]
〔光源装置的说明〕
[0102]
光源装置300经由光导连接器108向光导170供给照明光。照明光选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者它们的组合等与观察目的相应的各种波长频带的光。此外，特定波长频带是比白色波长频带窄的频带。照射观察范围的照明光有时被称为观察光。
[0103]
光源装置300具备照明用的光源310、光圈330、聚光透镜340及光源控制部350。光源装置300向光导170入射观察光。光源310具备红色光源310r、绿色光源310g及蓝色光源310b。红色光源310r、绿色光源310g及蓝色光源310b分别放出红色、绿色及蓝色的窄带光。
[0104]
光源310可生成将红色、绿色及蓝色的窄带光任意组合的观察光。例如，光源310可将红色、绿色及蓝色的窄带光组合而生成白色光。另外，光源310可将红色、绿色及蓝色的窄带光中的任意两种颜色组合而生成窄带光。
[0105]
光源310可使用红色、绿色及蓝色的窄带光中的任意一种颜色而生成窄带光。光源310可选择性地切换并放出白色光或窄带光。此外，窄带光与特殊光同义。光源310可具备放出红外光的红外光源及放出紫外光的紫外光源等。
[0106]
光源310可采用具备放出白色光的白色光源、使白色光通过的滤光片及使窄带光通过的滤光片的方式。该方式的光源310可切换使白色光通过的滤光片及使窄带光通过的滤光片而选择性地放出白色光或窄带光中的任意一种。
[0107]
使窄带光通过的滤光片可包括与不同的频带对应的多个滤光片。光源310可选择性地切换与不同的频带对应的多个滤光片而选择性地放出频带不同的多个窄带光。
[0108]
光源310可应用与观察对象的种类及观察目的等相应的种类及波长频带等。作为光源310的种类的例子，可举出激光光源、氙气光源及led(light-emitting diode)光源等。
[0109]
通过在光源装置300上连接光导连接器108，光导170的入射端配置在聚光透镜340的出射光的光路上。从光源310放出的观察光经由光圈330和聚光透镜340到达光导170的入射端。观察光经由光导170传送到照明用透镜123a、123b，从照明用透镜123a、123b照射观察范围。
[0110]
光源控制部350基于从处理器装置200发送的指示信号，向光源310和光圈330发送控制信号。光源控制部350控制从光源310放出的观察光的照度、观察光的切换及观察光的开/关等。
[0111]
〔处理器装置200的结构〕
[0112]
处理器装置200具备图像输入控制器202、图像处理部204、通信控制部205、视频输出部206及存储部207。另外，处理器装置200具备cpu210、rom211、ram212、操作部208、声音处理部209及扬声器209a。
[0113]
图像输入控制器202从内窥镜观测器100获取摄像信号。图像处理部204通过对经由图像输入控制器202获取的摄像信号进行处理，生成观察对象的内窥镜图像。此外，“图像”这一术语包括图像本身及表示图像的图像数据的意思。图像包括动态图像及静止图像双方的概念。可以将从内窥镜观测器100输出的摄像信号理解为“内窥镜图像”的一种方式。
[0114]
图像处理部204可实施对输入的摄像信号应用白平衡处理及阴影校正处理等数字信号处理的画质校正。图像处理部204可以使用图像处理专用的数字信号处理电路来构成。
另外，图像处理部204的处理功能的一部分或全部也可以通过由cpu210执行程序来实现。图像处理部204基于从内窥镜观测器100获得的摄像信号，能够生成一个或多个光谱图像。另外，图像处理部204也可以向内窥镜图像附加由dicom(digital imaging and communications in medicine)标准规定的附带信息。
[0115]
存储部207存储使用内窥镜观测器100生成的内窥镜图像。存储部207可存储内窥镜图像中附带的各种信息(附带信息)。
[0116]
视频输出部206向监视器400发送包括使用图像处理部204生成的图像的各种显示信号。监视器400按照从视频输出部206输出的显示信号显示观察对象的图像等。
[0117]
通信控制部205控制与以经由医院内局域网络(lan：local area network)及医院内系统(his：hospital information system)等可通信的方式连接的装置之间的通信。通信控制部205可应用符合dicom标准的通信协议。
[0118]
cpu210作为控制处理器装置200内的各部且统一控制内窥镜系统10整体的整体控制部发挥功能。cpu210作为控制rom(read only memory)211及ram(random access memory)212的内存控制器发挥功能。在rom211中存储用于控制处理器装置200的动作的各种程序及控制参数等数据。
[0119]
ram212用于各种处理中的数据的暂时性存储区域及使用了cpu210的运算处理的处理区域。在ram212中存储由cpu210执行的程序。ram212可用作获取到摄像信号或内窥镜图像时的缓冲存储器。
[0120]
操作部208接受用户的操作，输出与用户的操作相应的指示信号。操作部208例如使用键盘、鼠标、手柄、触摸面板、脚踏开关及声音输入装置中的一个或多个的组合而构成。也可以理解为设置在内窥镜观测器上的拍摄按钮144等开关包括在操作部208中。
[0121]
cpu210获取从操作部208发送的指示信号(用户输入信号)，并实施与获取的用户输入信号对应的处理或控制。
[0122]
声音处理部209生成表示作为声音报知的信息的声音信号。扬声器209a将使用声音处理部209生成的声音信号转换为声音。作为从扬声器209a输出的声音的例子，可举出消息、声音提示及警告音等。
[0123]
处理器装置200对使用内窥镜观测器100生成的内窥镜图像或经由通信控制部205获取的内窥镜图像实施各种处理，使内窥镜图像及内窥镜图像附带的各种信息显示于监视器400。另外，处理器装置200能够将内窥镜图像及内窥镜图像附带的各种信息存储到存储部207中。
[0124]
另外，在处理器装置200上安装有使用ai的内窥镜图像的诊断辅助系统。详情稍后叙述，处理器装置200具备：观察完成判定功能，识别观察对象的内窥镜图像是拍摄了体内的哪个部位的图像，对对象部位判定是否观察已完成；显示控制功能，使观察完成判定的判定结果显示在监视器400上；用户输入接受功能，接受包括对显示的判定结果的信息进行修正的指示的用户输入；以及显示修正功能，使通过用户输入进行了修正的内容反映在显示中。处理器装置200是本公开中的“医疗图像处理装置”的一个例子。监视器400是本公开中的“显示器”的一个例子。“识别”这一术语包括识别、判别、推理、推定、检测及分类等概念。
[0125]
《第一实施方式所涉及的医疗图像处理装置的概要》
[0126]
图3是表示本发明的第一实施方式所涉及的医疗图像处理装置20的功能的功能框
图。医疗图像处理装置20具备图像获取部22、观察完成判定部24、显示控制部26及用户输入接受部28。
[0127]
图像获取部22获取使用内窥镜观测器100拍摄的内窥镜图像18。内窥镜图像18可以是由从内窥镜观测器100输出的摄像信号表示的图像，也可以是实施图2所示的图像处理部204进行的处理而生成的图像。
[0128]
图2所示的图像输入控制器202可作为图像获取部22发挥功能。此外，图像获取部22可以包括用于经由通信线从外部装置取入内窥镜图像18的通信接口而构成，也可以包括取入存储在存储卡等便携式信息存储介质内的内窥镜图像的介质接口而构成。图2所示的通信控制部205可作为图像获取部22发挥功能。
[0129]
另外，图像获取部22也可以是从图2所示的处理器装置200的内部的处理电路接受内窥镜图像18的输入的数据输入接口和/或数据输入端子。例如，图像获取部22也可以是接受图2的图像处理部204生成的内窥镜图像18的输入的端子。内窥镜图像18是本公开中的“医疗图像”的一个例子。
[0130]
图像获取部22可获取由通过内窥镜观测器100拍摄的时间序列的帧图像18b构成的动态图像18a。另外，图像获取部22在动态图像18a的拍摄中从用户输入静止图像拍摄指示并实施静止图像19的拍摄的情况下，可获取根据静止图像拍摄指示拍摄的静止图像19。
[0131]
观察完成判定部24是识别经由图像获取部22获取的内窥镜图像18的场景并进行对象部位的观察完成判定的处理部。观察完成判定是指对对象部位判定是否观察已完成的处理。观察完成判定部24进行推定作为用户的医生是否实际上对对象部位有意识地进行观察并对该部位完成了观察的处理。
[0132]
观察完成判定部24例如使用部位识别器构成，该部位识别器识别内窥镜图像18的场景，进行赋予摄于内窥镜图像18中的部位的标签的图像分类的处理。部位识别器例如使用通过深度学习等机器学习而学习的神经网络等已学习模型而构成。观察完成判定部24可使用卷积神经网络(cnn：convolutional neural network)构成。观察完成判定部24也可以是使用ai模型构成的ai模块，该ai模型基于内窥镜图像18，进行对象部位的识别及关于对象部位的观察完成判定的任务。观察完成判定部24可以由部位识别器和有无观察完成的判定器的组合来构成，也可以使用以针对内窥镜图像18的输入，输出部位的分类和有无观察完成的方式通过机器学习进行学习的ai模型来构成。
[0133]
观察完成判定部24对于按时间序列获取的多个帧图像18b的一部分或全部，可对每个帧图像实施部位的识别和观察完成判定的处理。
[0134]
显示控制部26控制监视器400中的显示内容。即，显示控制部26生成向监视器400的显示输出所需的显示信号。显示信号除了表示内窥镜图像18的显示信号之外，还包括用于进行与表示观察完成判定的判定结果的信息相关的报知的显示信号。
[0135]
显示控制部26包括判定结果信息显示控制部26a和显示修正处理部26b。判定结果信息显示控制部26a生成用于使由观察完成判定部24获得的判定结果信息显示在监视器400上的显示信号。
[0136]
由判定结果信息显示控制部26a生成的显示信号被输出到监视器400。监视器400按照来自显示控制部26的显示信号，显示表示观察完成判定的判定结果的信息及内窥镜图像18等。
[0137]
用户输入接受部28接受使用输入装置234输入的用户输入信号。用户输入信号包括对显示在监视器400上的观察完成判定结果的信息进行修正的指示的信号。输入装置234相当于图2所示的操作部208。输入装置234例如可以是键盘、鼠标、触摸面板、脚踏开关或者声音输入装置、或它们的适当的组合。用户可通过操作输入装置234来输入各种指示。
[0138]
显示修正处理部26b按照用户输入信号进行修正在监视器400上显示的信息(显示内容)的处理，生成将修正内容反映在显示中的显示信号。显示修正处理部26b可以实施对从观察完成判定部24输出的判定结果的信息进行改写的处理，也可以在将从观察完成判定部24输出的错误判定的判定结果的信息保持在装置内的同时，修正监视器400中的显示内容。
[0139]
由显示修正处理部26b基于用户输入信号进行了修正的内容反映在监视器400的显示中。显示控制部26与图2所示的视频输出部206相对应。
[0140]
另外，图2所示的cpu210可作为观察完成判定部24发挥功能。图2所示的图像处理部204及cpu210的组合也可以适当地分担实施观察完成判定部24的功能。
[0141]
《医疗图像处理装置20的动作例》
[0142]
图4是表示医疗图像处理装置20的动作的流程图。图4的流程图的各步骤通过由搭载于医疗图像处理装置20上的cpu210等处理器执行程序来实施。
[0143]
在步骤s12的图像获取工序中，医疗图像处理装置20获取内窥镜图像。
[0144]
在步骤s14的观察完成判定工序中，医疗图像处理装置20识别观察对象的部位并判定是否已完成部位的观察。
[0145]
在步骤s16的观察完成部位显示工序中，医疗图像处理装置20基于观察完成判定的判定结果，使判定为观察完成的观察完成部位的信息显示在监视器400上。
[0146]
在步骤s18中，医疗图像处理装置20判定包括对于观察完成部位的显示内容的修正的指示的用户输入的有无。在用户进行了指示显示的修正的输入时，医疗图像处理装置20进入步骤s20的用户输入信息显示工序。
[0147]
在步骤s20中，医疗图像处理装置20使用户输入的修正内容反映在监视器400的显示中。
[0148]
在步骤s18中，如果没有从用户指示显示的修正的输入，则医疗图像处理装置20跳过步骤s20，维持观察完成判定的判定结果所表示的观察完成部位的信息的显示并结束图4的流程图。医疗图像处理装置20可对以时间序列依次获取的多个帧图像18b中的每一个实施基于图4的流程图的处理。
[0149]
可以将图4的流程图中示出的医疗图像处理装置20的工作方法理解为医疗图像处理装置20实施的诊断辅助方法，也可以理解为医疗图像处理装置20实施的图像处理方法。
[0150]
《显示图像的例1》
[0151]
图5是显示在监视器400的画面40上的显示图像的例1。在图5中示出使用视频软性胃十二指肠镜拍摄的内窥镜图像的例子。图5是胃体上部的观察图像的例子。监视器400的画面40包括主画面42和子画面44。在主画面42上显示作为观察图像的内窥镜图像18。拍摄中的内窥镜图像18作为动态图像实时显示在主画面42上。主画面42作为观察图像显示区域发挥功能。
[0152]
子画面44显示与观察完成部相关的信息。用户一边观察显示在主画面42上的体内
图像(内窥镜图像18)一边进行内窥镜观测器100的操作。部位的观察完成信息显示在子画面44上。医疗图像处理装置20基于对于内窥镜图像18的场景识别的处理，判定某部位的观察是否完成，并使其判定结果通过图和/或列表等显示方式显示在子画面44上。主画面42是本公开中的“第一显示区域”的一个例子。子画面44是本公开中的“第二显示区域”的一个例子。
[0153]
在图5的第一子画面44a中示出示意性表示作为检查对象的脏器的胃的意象图像46，以不同颜色区分显示观察完成部位47和观察未完成部位48。在图5中，是判定为胃体上部的观察完成时的显示例。胃是本公开中的“人体的部位”的一个例子，意象图像46是本公开中的“模型图形”的一个例子。
[0154]
在第二子画面44b上显示表示观察完成判定部24的判定结果的文字信息。即，在第二子画面44b上，被识别为观察对象的部位信息和表示观察是否完成的判定结果的判定结果信息被显示为基于字符串的信息。在此，示出进行作为部位信息的“胃体上部”这一显示和作为判定结果信息的“观察完成”这一显示的例子。
[0155]
《显示图像的例2)
[0156]
图6是显示在监视器400的画面40上的显示图像的例2。图6表示直肠的观察图像的例子。在图6中，是在大肠内窥镜检查中判定为直肠的观察已完成时的显示例。在图6中的第一子画面44a上显示大肠的意象图像46，示出直肠的部位成为观察完成部位47的情形。在图6的第二子画面44b上示出进行作为被识别为观察对象的部位信息的“直肠”这一基于文字信息的显示和作为判定结果信息的“观察完成”这一显示的例子。
[0157]
《显示图像的例3》
[0158]
图7是显示在监视器400的画面40上的显示图像的例3。也可以取代使用了在图5中说明的意象图像46的显示，而如图7所示，将已观察的部位的信息列表并显示为文字信息。
[0159]
在图7中的第一子画面44a上显示已观察的部位的列表，在第二子画面44b上显示当前的观察中的部位的信息。在图7中，作为已观察的部位，列出胃底部、胃体上部、胃体中部及胃体下部。
[0160]
显示在图7的第一子画面44a上的内窥镜图像18是捕捉了胃的前庭部的观察图像。在由观察完成判定部24判定为前庭部的观察完成时，在第二子画面44b上显示表示判定为前庭部观察完成的文字信息。
[0161]
在图7中的第一子画面44a上显示已观察的部位的列表，在第二子画面44b上显示当前的观察中的部位的信息。在图7中，作为已观察的部位，列出胃底部、胃体上部、胃体中部及胃体下部。
[0162]
显示在图7的第一子画面44a上的内窥镜图像18是捕捉了胃的前庭部的观察图像。在由观察完成判定部24判定为前庭部的观察完成时，在第二子画面44b上显示表示判定为前庭部观察完成的文字信息。
[0163]
《显示图像的例4》
[0164]
图8是显示在监视器400的画面40上的另一显示图像的例子。在图8中，不存在已观察的部位，在第一子画面44a上，与已观察的部位相关的信息处于空白的状态。在图8中，示出由观察完成判定部24判定为直肠的观察完成时的情形。在该情况下，在第二子画面44b上显示表示判定为直肠观察完成的文字信息。
[0165]
《基于用户输入的显示的修正例1》
[0166]
图9是将基于观察完成判定的判定结果的观察完成信息的显示修正为观察未完成的信息时的显示图像的例子。在图9中，左侧示出修正前的显示内容，右侧示出修正后的显示内容。
[0167]
由观察完成判定部24对前庭部进行观察完成的判定，在监视器400的画面40上，如图9的左图所示，进行报知前庭部观察完成的显示。
[0168]
在第一子画面44a的意象图像46中，与已经确认观察已完成的部位对应的区域块51例如通过表示是观察完成部位的显示颜色(例如蓝色)的填充来显示。而且，在这次重新判定为前庭部的部位观察完成时，意象图像46中的与前庭部对应的区域块52例如通过表示是重新判定为观察完成部位的部位的显示颜色(例如橙色)的填充来显示。另外，在第二子画面44b上显示表示判定为前庭部观察完成的文字信息。
[0169]
在图9的左图所示的显示状态下，在用户没有输入修正指示而经过了规定时间时，确定为前庭部的观察完成信息正确，区域块52的显示颜色从橙色变为蓝色。“规定时间”例如可以是几秒钟左右。另外，在此，对于意象图像46中的观察完成部位的显示，说明了经由“橙色”变为“蓝色”的确定显示的例子，但也可以不经由这样的颜色变化。图9的左图所示的子画面44的显示内容是本公开中的“观察完成显示”的一个例子。
[0170]
对于图9的左图所示的显示，在用户进行的实际的观察中对前庭部未完成观察的情况下，用户可操作输入装置234，输入将关于前庭部的表示“观察完成”的显示的内容修正为表示“观察未完成”的显示的指示。
[0171]
用户进行的修正的指示的输入方法可以是修正第二子画面44b中的文字信息的文字输入，也可以是从下拉菜单那样的提示修正候补的菜单中选择“观察未完成”的操作。
[0172]
在这样进行了修正显示内容的用户输入时，反映用户输入的修正内容，从图9的左图所示的显示变更为如图9的右图所示的修正后的显示内容。在图9的右图中，意象图像46中的与前庭部对应的区域块52通过表示观察未完成的显示颜色(例如，灰色)来显示，在第二子画面44b上显示表示前庭部“观察未完成”的文字信息。此外，在图9的右图中的意象图像46中，为了便于图示，由虚线表示区域块52的框线，以清楚地指示显示进行了修正的区域块52，但在实际的画面显示中，也可以不显示这样的框线。图9的右图所示的子画面44的显示内容是本公开中的“观察未完成显示”的一个例子。
[0173]
《基于用户输入的显示的修正例2》
[0174]
图10是将基于观察完成判定的判定结果的观察未完成信息的显示修正为观察完成的信息时的显示图像的例子。由观察完成判定部24对前庭部进行观察未完成的判定，在监视器400的画面40上，如图10的左图所示，关于前庭部未报知观察完成信息。此外，在图10中的意象图像46中，为了便于图示，由虚线表示区域块52的框线，以清楚地指示与前庭部对应的区域块52为“观察未完成”，但在实际的画面显示中不显示这样的框线。
[0175]
对于图10的左图所示的显示，在用户进行的实际的观察中对前庭部完成观察的情况下，用户可操作输入装置234，输入将关于前庭部的表示“观察未完成”的显示的内容修正为表示“观察完成”的显示的指示。
[0176]
在这样进行了修正显示内容的用户输入时，反映用户输入的修正内容，从图10的左图所示的显示变更为如图10的右图所示的修正后的显示内容。在图10的右图中，意象图
像46中的与前庭部对应的区域块52通过表示观察完成的显示颜色(例如，橙色或蓝色)来显示，在第二子画面44b上显示表示前庭部“观察完成”的文字信息。
[0177]
《基于用户输入的显示的修正例3)
[0178]
图11是将基于观察完成判定的判定结果的部位的观察完成信息的显示修正为另一部位的观察完成的信息时的显示图像的例子。由观察完成判定部24对前庭部进行观察完成的判定，在监视器400的画面40上，如图11的左图所示，关于前庭部报知观察完成信息。另外，在图11的意象图像46中，成为表示胃体下部观察未完成的显示。
[0179]
对于图11的左图所示的显示，在用户进行的实际的观察中对前庭部未完成观察、而对胃体下部完成观察的情况下，用户可操作输入装置234，输入将与观察完成部位相关的信息的显示从“前庭部”修正为“胃体下部”的指示。
[0180]
在这样进行了修正显示内容的用户输入时，反映用户输入的修正内容，从图11的左图所示的显示变更为如图11的右图所示的修正后的显示内容。在图11的右图中，意象图像46中的与胃体下部对应的区域块53通过表示观察完成的显示颜色(例如，橙色或蓝色)来显示，与前庭部对应的区域块52通过表示观察未完成的显示颜色(例如，灰色)来显示。
[0181]
另外，在第二子画面44b上显示表示胃体下部“观察完成”的文字信息。
[0182]
如图9至图11所例示，根据本实施方式所涉及的医疗图像处理装置20，在观察完成判定的判定结果错误的情况下，可以进行基于该判定结果的“观察完成”或“观察未完成”的显示中的信息的更换或者观察完成部位的信息的变更等。
[0183]
《观察完成判定中的判定基准的例子》
[0184]
作为在观察完成判定部24中判定为观察完成时的判定基准，例如能够使用以下所示的条件。
[0185]
[条件1]对象部位的标记(界标)被摄在图像上。
[0186]
[条件2]观察对象部位固定时间以上。
[0187]
[条件3]对象部位被摄在图像的中央部。
[0188]
在符合这些条件1～3中的至少一个条件时，观察完成判定部24判定为观察完成。观察完成判定部24也可以在符合这些多个条件中的两个以上的条件时判定为观察完成。
[0189]
条件1中的“标记”可以是解剖界标，例如，也可以是粘膜的特定样式和/或部位的特征结构等。对每个部位设定标记。观察完成判定部24如果从内窥镜图像18中识别出标记，则可判定为对与该标记相关联的部位观察完成。
[0190]
图12是观察胃的贲门部时获得的观察图像的例子。在图12中示出由于符合条件1而判定为观察完成时的例子。由于将内窥镜观测器100的弯曲部114折弯来观察贲门部，因此在观察时，贲门的孔70和内窥镜观测器100被摄在内窥镜图像18上。贲门的孔70及内窥镜观测器100可成为关于贲门部的标记。观察完成判定部24从内窥镜图像18中识别(检测)标记，在图像上存在标记的情况下，判定为观察完成。
[0191]
在获得如图12的主画面42所示的内窥镜图像18的情况下，作为符合条件1，观察完成判定部24可判定为已完成对于贲门部的观察。在观察完成判定部24做出对于贲门部的观察完成的判定时，在第一子画面44a的意象图像46中，与贲门部对应的区域块54通过表示观察完成的显示颜色来显示。另外，在第二子画面44b上显示表示贲门部观察完成的文字信息。
[0192]
关于条件2，观察完成判定部24从内窥镜图像18中识别部位，在同一部位在图像上存在固定时间以上的情况下，判定为观察完成。观察完成判定部24例如对于以特定的时间间隔按时间序列获取的帧图像18b，对每个帧图像18b进行部位的检测，在检测到同一部位的帧图像18b连续规定张数以上的情况下，可判定为已完成对于该部位的观察。条件2中所说的“固定时间”可以预先设定为适当的值，例如，可以是几秒钟左右。
[0193]
图13是观察胃的贲门部时获得的另一观察图像的例子。在图13中示出由于符合条件3而判定为观察完成时的例子。在图13中，贲门的孔70被摄在内窥镜图像18的中央部。观察完成判定部24例如从内窥镜图像18中检测作为对象的标记，识别图像内的标记的位置和部位的类别(分类)并判定标记是否存在于图像的中央部。在对象部位的标记存在于内窥镜图像18的中央部的情况下，观察完成判定部24可判定为已完成对于该部位的观察。
[0194]
贲门部是本公开中的“特定部位”的一个例子，贲门的孔70是本公开中的“标记”的一个例子。条件1是本公开中的“第一条件”的一个例子。条件2是本公开中的“第二条件”的一个例子。条件3是本公开中的“第三条件”的一个例子。
[0195]
观察完成判定的判定基准不限于条件1至条件3。例如，在通过操作内窥镜观测器100的拍摄按钮144进行静止图像的拍摄的情况下，观察完成判定部24也可以判定为已完成该静止图像的作为被摄体的部位的观察。即，观察完成判定部24接受表示静止图像的拍摄定时的拍摄指示信号的输入，在收到拍摄指示信号的输入的情况下，也可以判定为对静止图像的作为拍摄对象的部位观察完成。也可以是，使用“进行静止图像的拍摄”这样的条件4作为观察完成判定的判定基准，在符合条件1至条件4中的一个以上的条件时，观察完成判定部24判定为观察完成。
[0196]
《医疗图像处理装置20的硬件结构的例子》
[0197]
图14是示例性表示医疗图像处理装置20的硬件结构的框图。医疗图像处理装置20不限于搭载在处理器装置200上的方式，也能够应用于与处理器装置200不同的信息处理装置。例如，医疗图像处理装置20的处理功能也可以安装在与医院内网络连接的图像处理服务器等上。
[0198]
医疗图像处理装置20能够通过使用一台或多台计算机构成的计算机系统来实现。即，医疗图像处理装置20通过在计算机上安装程序来实现。
[0199]
医疗图像处理装置20具备处理器222、作为非暂时性有形物体的计算机可读介质224、图像输入接口225、图像处理处理器226、通信接口227、输入输出接口228及总线230。
[0200]
处理器222包括cpu。处理器222也可以包括gpu(graphics processing unit)。处理器222经由总线230与计算机可读介质224、图像输入接口225、图像处理处理器226、通信接227及输入输出接228连接。医疗图像处理装置20还可以具备输入装置234和显示装置236。输入装置234及显示装置236经由输入输出接口228与总线230连接。
[0201]
计算机可读介质224包括作为主存储装置的存储器及作为辅助存储装置的存储设备。计算机可读介质224例如可以是半导体存储器、硬盘(hdd：hard disk drive)装置、或者固态硬盘(ssd：solid state drive)装置或它们的多种组合。
[0202]
图像输入接口225可作为图3所示的图像获取部22发挥功能。医疗图像处理装置20经由图像输入接口225与内窥镜观测器100连接。
[0203]
图像处理处理器226是相当于图2所示的图像处理部204的图像处理专用的处理
器。
[0204]
通信接口227相当于图2所示的通信控制部205。医疗图像处理装置20经由通信接口227与未图示的通信线路连接。通信线路例如可以是在医院内构建的局域网络(lan：local area network)。将医院内的通信网络称为医院内网络。医院内网络也可以经由路由器进一步与因特网等广域网连接。在医院内网络中，连接有pacs(picture archiving and communication systems)服务器等图像保存服务器500。
[0205]
pacs服务器是保存并管理包括使用各种模态拍摄的医疗图像的各种数据的计算机，具备大容量外部存储装置及数据库管理用软件。pacs服务器经由医院内网络与其他装置进行通信，收发包括图像数据的各种数据。pacs服务器也可以是基于dicom的协议工作的dicom服务器。
[0206]
医疗图像处理装置20也可以从经由通信接227连接的图像保存服务器500获取内窥镜图像。
[0207]
在计算机可读介质224中，存储观察完成判定程序240和显示控制程序260。另外，计算机可读介质224具备图像存储部271、判定信息存储部272以及用户输入信息存储部273。在计算机可读介质224中，可以存储有包括用于使处理器222执行作为在图3中说明的图像处理部204的处理的一部分或全部的命令的未图示的图像处理程序。
[0208]
图像存储部271是预先存储经由图像输入接口225或通信接口227获取的内窥镜图像的存储区域。
[0209]
观察完成判定程序240是包括用于使处理器222执行作为在图3中说明的观察完成判定部24的处理的命令的程序。
[0210]
显示控制程序260是包括用于使处理器222执行作为在图3中说明的显示控制部26的处理的命令的程序。显示控制程序260包括主画面控制模块261、子画面控制模块262以及显示修正模块263。
[0211]
主画面控制模块261是进行与主画面42的显示相关的控制的程序模块。子画面控制模块262是进行与子画面44的显示相关的控制的程序模块。子画面控制模块262包括用于使处理器222执行作为在图3中说明的判定结果信息显示控制部26a的处理的命令。显示修正模块263是包括用于使处理器222执行作为在图3中说明的显示修正处理部26b的处理的命令的程序模块。此外，也可以将显示控制程序260的一部分或全部并入观察完成判定程序240中。
[0212]
判定信息存储部272是存储通过观察完成判定程序240的执行而获得的判定结果的信息的存储区域。用户输入信息存储部273是存储从输入装置234经由输入输出接口228输入的用户输入信息的存储区域。在计算机可读介质224中，按使用内窥镜系统10进行的检查的每个种类，存储有与作为对象的脏器和在一系列检查中应观察的多个小部位(小区域)相关的信息。具体而言，例如，在进行观察胃的所有内部部位的检查的情况下，作为应观察部位，设定有贲门部、胃底部、胃角部、胃体上部、胃体中部、胃体下部、前庭部及幽门部等。
[0213]
在此，对胃的小部位进行例示，但部位的分类标签不限于该例。另外，进行观察的完成判定时的部位的对象不限于一个脏器，也可以横跨多个脏器，例如，不仅是胃，也可以对包括食道及十二指肠的检查范围的各部位实施观察完成判定，作为食道的部位，例如应用食道上部、食道中部、食道下部等分类。作为十二指肠的部位，例如应用十二指肠球部、十
二指肠球后部等分类。
[0214]
显示装置236例如可以是液晶显示器、有机el(organic electro-luminescence：oel)显示器、或者投影仪、或它们的适当的组合。显示装置236除了识别结果以外，还可显示成为处理对象的图像、及处理所需的各种设定信息等各种信息。显示装置236相当于图2所示的监视器400。显示装置236是本公开中的“显示器”的一个例子。
[0215]
观察完成判定程序240进行的观察完成判定的判定结果被发送到子画面控制模块262，并显示在子画面44上。显示修正模块263接受来自输入装置234的用户输入，根据用户输入修正子画面44的显示内容。
[0216]
根据本实施方式所涉及的医疗图像处理装置20，能够根据观察中的内窥镜图像18自动判定对对象部位是否已完成观察，并使观察完成部位的信息显示在监视器400上。另外，在使用ai进行的部位的观察完成判定的判定结果与作为用户的人类(医生)的判断不同的情况下，能够接受用户的交互，修正表示观察完成判定的结果的显示。
[0217]
根据医疗图像处理装置20，在依次观察多个部位的检查过程中，能够根据获取的内窥镜图像18判定医生的观察行为并实时提供观察完成部位的信息。由此，在要求全面观察多个部位的检查中，能够对用户适时提供观察完成部位的信息和观察未完成部位的信息，可抑制观察部位漏看。
[0218]
《第二实施方式》
[0219]
图15是表示第二实施方式所涉及的医疗图像处理装置20b的功能的功能框图。在图15中，对与图3所示的结构相同或类似的要素标注相同的符号，并省略其说明。对与第一实施方式的不同点进行说明。
[0220]
图15所示的医疗图像处理装置20b除了第一实施方式所涉及的医疗图像处理装置20的处理功能之外，还安装有保存观察完成判定程序240的判定结果信息和用户的修正信息的功能、以及将该保存的信息发送到未图示的外部设备的功能。
[0221]
医疗图像处理装置20b具备修正信息存储部274和通信部277。修正信息存储部274是存储成为观察完成判定部24进行的判定处理的对象的观察图像、观察完成判定部24基于该观察图像输出的判定结果信息、以及表示用户输入的修正内容的用户输入信息的信息保存部。
[0222]
在从用户输入接受部28输入用户的修正指示的情况下，医疗图像处理装置20b将用户输入信息、作为用户输入的修正对象的修正前的判定结果信息、以及获得该判定结果信息的观察图像即观察完成判定部24错误判定的观察图像相关联，并将这些数据保存到修正信息存储部274中。
[0223]
保存到修正信息存储部274中的数据能够用于应用于观察完成判定部24的ai模型的改善等。例如，将观察完成判定部24错误判定的观察图像和用户对该观察图像输入的正确判定结果的标签用作学习数据，进行关于ai模型的追加学习，由此能够实现判定精度的提高。
[0224]
保存到修正信息存储部274中的数据能够经由通信部277发送到未图示的外部设备。另外，保存到修正信息存储部274中的数据也可以存储到未图示的便携式存储介质等中并取出到医疗图像处理装置20b的外部。
[0225]
通信部277按照规定的通信协议，与未图示的外部设备进行通信。通信部277是与
图2所示的通信控制部205及图14所示的通信接口227对应的结构。通信部277是本公开中的“通信装置”的一个例子。外部设备例如可以是与医院内网络连接的计算机。另外，外部设备也可以是设置在医院外的设施上的云服务器等。外部设备可以是执行应用于观察完成判定部24的ai模型的机器学习的计算机系统，也可以是预先保存用于机器学习的学习数据集的数据存储服务器等。
[0226]
医疗图像处理装置20b可以在每次输入针对观察完成判定部24的判定结果的显示的用户的修正指示时，将其修正信息等发送到外部设备，也可以在预先确定的通信定时或者累积一定量以上的数据组时发送数据组。
[0227]
图16是示例性表示第二实施方式所涉及的医疗图像处理装置20b的硬件结构的框图。在图16中，对与图14所示的结构相同或类似的要素标注相同的符号，并省略其说明。
[0228]
医疗图像处理装置20b的计算机可读介质224具有作为修正信息存储部274的存储区域。在针对由观察完成判定程序240获得的观察完成判定的判定结果的显示从用户输入了修正的指示的情况下，处理器222将获得作为修正对象的判定结果的观察图像、该判定结果信息、以及表示修正内容的用户输入信息相关联，进行将这些数据保存到修正信息存储部274中的处理。
[0229]
处理器222能够将保存到修正信息存储部274中的数据经由通信接227发送到未图示的外部设备。
[0230]
《关于各处理部及控制部的硬件结构》
[0231]
在图2中说明的图像处理部、通信控制部205及光源控制部350、在图3中说明的图像获取部22、观察完成判定部24、显示控制部26、判定结果信息显示控制部26a、显示修正处理部26b、用户输入接受部28、在图15说明的通信部277等执行各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。
[0232]
各种处理器包括执行程序并作为各种处理部发挥功能的通用处理器即cpu(centralprocessing unit)、图像处理专用处理器即gpu(graphics processing unit)、fpga(field programmable gate array)等可在制造后变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)、asic(application specific integrated circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
[0233]
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或不同种的两个以上的处理器构成。例如，一个处理部也可以由多个fpga、或者cpu和fpga的组合、或cpu和gpu的组合等构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的cpu与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(system on chip：soc)等为代表，使用以一个ic(integrated circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
[0234]
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。
[0235]
《关于内窥镜系统的观察光》
[0236]
观察光选择白色光、或者一个或多个特定波长频带的光、或者它们的组合等与观
察目的相应的各种波长频带的光。白色光是白色波长频带的光或多个波长频带的光。“特定波长频带”是比白色波长频带窄的频带。以下示出与特定波长频带相关的具体例。
[0237]
《第一例》
[0238]
特定波长频带的第一例是例如可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下的波长频带或530nm以上550nm以下的波长频带，并且第一例的光在390nm以上450nm以下的波长频带内或530nm以上550nm以下的波长频带内具有峰波长。
[0239]
《第二例》
[0240]
特定波长频带的第二例是例如可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下的波长频带或610nm以上730nm以下的波长频带，并且第二例的光在585nm以上615nm的波长频带内以下或610nm以上730nm以下的波长频带内具有峰波长。
[0241]
《第三例》
[0242]
特定波长频带的第三例包括吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带，并且第三例的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带内具有峰波长。该第三例的波长频带包括400
±
10nm、440
±
10nm的波长频带、470
±
10nm的波长频带、或600nm以上750nm以下的波长频带，并且第三例的光在400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm以下的波长频带内具有峰波长。
[0243]
《第四例》
[0244]
特定波长频带的第四例是用于生物体内的荧光物质所发出的荧光的观察(荧光观察)并且激励该荧光物质的激励光的波长频带，例如为390nm至470nm。
[0245]
《第五例》
[0246]
特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下的波长频带或905nm以上970nm以下的波长频带，并且第五例的光在790nm以上820nm以下的波长频带内或905nm以上970nm以下的波长频带内具有峰波长。
[0247]
《关于观察光的切换》
[0248]
光源的种类可采用激光光源、氙气光源、或者led(light-emitting diode)光源或它们的适当组合。光源的种类、波长、滤光片的有无等优选根据被摄体的种类、观察的目的等来构成，另外在观察时，优选根据被摄体的种类、观察的目的等组合和/或切换照明光的波长。在切换波长时，例如可以通过使配置于光源的前方且设有透射或遮蔽特定波长的光的滤光片的圆盘状的滤光片(旋转彩色滤光片)旋转来切换所照射的光的波长。
[0249]
用于电子内窥镜的摄像元件不限于对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件时，可依次切换照明光的波长来按照面顺序(颜色顺序)进行摄像。例如可以在紫色、蓝色、绿色及红色之间依次切换出射的照明光的波长，也可以照射宽频带光(白色光)并利用旋转彩色滤光片(红色、绿色、蓝色等)切换所出射的照明光的波长。另外，也可以照射一个或多个窄带光并利用旋转彩色滤光片切换所出射的照明光的波长。窄带光也可以是波长不同的两种波长以上的红外光。
[0250]
《特殊光图像的生成例》
[0251]
处理器装置200也可以基于使用白色光拍摄获得的普通光图像，生成具有特定波长频带的信息的特殊光图像。此外，此处所说的生成包括“获取”的概念。在该情况下，处理
器装置200作为特殊光图像获取部发挥功能。处理器装置200可通过进行基于普通光图像中所包含的红(r)、绿(g)及蓝(b)、或者青(c)、品红(m)及黄(y)的颜色信息的运算来获得特定波长频带的信号。
[0252]
《特征量图像的生成例》
[0253]
处理器装置200可使用基于照射白色频带的光或照射多个波长频带的光作为白色频带的光而得到的普通光图像、以及照射特定波长频带的光而得到的特殊光图像中的至少任意一个的运算，生成特征量图像作为医疗图像。特征量图像是医疗图像的一个方式。
[0254]
《利用荧光体的照明》
[0255]
也可以在光导170的出射端与内窥镜观测器100的照明用透镜123a、123b之间配置有荧光体。例如，通过了光导170的蓝色激光向荧光体照射，使荧光体处于激励状态，并且其一部分透过荧光体并作为蓝色光从照明用透镜123a、123b出射。
[0256]
荧光体被蓝色激光激励，发出光的波长频带中的从蓝色和绿色的边界附近的波长范围到红色的波长范围的大范围的光(作为颜色为黄色)。也可以是该黄色光和透过荧光体的蓝色光混合成为白色光、并穿过照明用透镜123a、123b对被摄体进行照明的结构。此外，透过荧光体的蓝色光也包括一部分由荧光体发出的蓝色光。
[0257]
荧光体例如可以是具有以下性质的荧光体：在受到波长445nm的蓝色激光的照射的情况下发出黄色光，并且使波长445nm的蓝色光透过，而在受到波长405nm的蓝色激光的照射的情况下使其大部分透过。通过使用这样的荧光体，在光源装置中控制波长445nm的蓝色激光和波长405nm的蓝色激光的混合比例，能够控制透过荧光体的蓝色光和由荧光体发出的黄色光的比例。
[0258]
《变形例1》
[0259]
在上述的实施方式中，对使用作为软性内窥镜的内窥镜观测器100的例子进行了说明，但对体内进行拍摄的内窥镜不限于软性内窥镜，也可以是硬性内窥镜，亦可以是胶囊内窥镜。本公开所涉及的医疗图像处理装置所处理的医疗图像不限于内窥镜图像，也可以是由超声波诊断装置等其他医疗图像拍摄装置生成的图像。医疗图像拍摄装置例如可以是x射线摄影装置、ct(computed tomography)摄影装置、mri(magnetic resonance imaging)摄影装置及核医学诊断装置中的至少一种。对于处理使用这些各种医疗图像拍摄装置(模态)获取的医疗图像的装置，可应用本公开的技术。
[0260]
《变形例2》
[0261]
本公开的医疗图像处理装置可用作辅助医生等进行的诊察、治疗或诊断等的诊断辅助装置。“诊断辅助”这一记载包括诊察辅助、治疗辅助、检查辅助、观察辅助及病变鉴别辅助的概念。
[0262]
《变形例3》
[0263]
用于将是否已全面观察多个部位报知给用户的显示方式不限于利用意象图像46等模型图形的区域显示或文字信息的列表显示，也可以是表示观察的进度状况的进度条显示、或者对已观察的部位标注检查标记的形式的检查列表显示等。
[0264]
《对医疗信息管理系统的应用例》
[0265]
本公开所涉及的医疗图像处理装置不限于应用于图1所例示的内窥镜系统10的处理器装置200的方式，可以进行各种应用。例如，医疗图像处理装置可应用于管理包括内窥
镜图像在内的各种医疗信息的医疗信息管理系统。
[0266]
安装有本公开所涉及的医疗图像处理装置的处理功能的信息管理装置例如可以设置到医院内的手术室、检查室、或者会议室等中，也可以设置到院外设施的医疗机构或者研究机构等中。信息管理装置可以是进行诊察、治疗、诊断等的辅助的工作站，也可以是辅助医疗业务的业务辅助装置。业务辅助装置可以具备进行临床信息的累积、诊断文档的创建辅助、报告创建辅助等的功能。
[0267]
《关于使计算机实现医疗图像处理装置的功能的程序》
[0268]
可以将使计算机实现上述的实施方式中说明的医疗图像处理装置20、20b的功能的程序记录到光盘、磁盘、或者半导体存储器等作为其他有形物体的非暂时性信息存储介质即计算机可读介质中，并通过该信息存储介质提供程序。另外，也可以取代将程序存储到这样的作为有形物体的非暂时性信息存储介质中进行提供的方式，而使用因特网等电讯线路提供程序信号作为下载服务。
[0269]
另外，还可以进行提供在上述的实施方式中说明的医疗图像处理装置的功能的一部分或全部作为应用服务器，并通过电讯线路提供处理功能的服务。
[0270]
《关于实施方式及变形例等的组合》
[0271]
在上述的实施方式中说明的构成要素及在变形例中说明的构成要素可适当地组合使用，另外，也可更换一部分构成要素。
[0272]
《附记》
[0273]
本说明书除了上述的各实施方式及变形例等以外，还包括以下所记载的发明的公开。
[0274]
(附记1)
[0275]
一种医疗图像处理装置，其具有医疗图像分析处理部和医疗图像分析结果获取部，医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
[0276]
医疗图像分析处理部可以包括图像识别部。
[0277]
(附记2)
[0278]
一种医疗图像处理装置，其中，医疗图像分析处理部基于医疗图像的像素的特征量，检测有无应关注对象，医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
[0279]
(附记3)
[0280]
一种医疗图像处理装置，其中，医疗图像分析结果获取部从进行记录的记录装置获取医疗图像的分析结果，分析结果是医疗图像中所包含的作为应关注区域的关注区域、和有无应关注对象中的任一方或双方。
[0281]
(附记4)
[0282]
一种医疗图像处理装置，其中，医疗图像是通过照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通光图像。
[0283]
(附记5)
[0284]
一种医疗图像处理装置，其中，医疗图像是通过照射特定的波长频带的光而得到的图像，特定的波长频带是比白色波长频带窄的频带。
[0285]
(附记6)
[0286]
一种医疗图像处理装置，其中，特定的波长频带是可见范围的蓝色或绿色频带。
[0287]
(附记7)
[0288]
一种医疗图像处理装置，其中，特定的波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，并且，特定的波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
[0289]
(附记8)
[0290]
一种医疗图像处理装置，其中，特定的波长频带是可见范围的红色频带。
[0291]
(附记9)
[0292]
一种医疗图像处理装置，其中，特定的波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带，并且，特定的波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
[0293]
(附记10)
[0294]
一种医疗图像处理装置，其中，特定的波长频带包括氧化血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，并且，特定的波长频带的光在氧化血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。
[0295]
(附记11)
[0296]
一种医疗图像处理装置，其中，特定的波长频带包括400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm以下的波长频带，并且，特定的波长频带的光在400
±
10nm、440
±
10nm、470
±
10nm、或600nm以上750nm以下的波长频带具有峰波长。
[0297]
(附记12)
[0298]
一种医疗图像处理装置，其中，医疗图像是拍摄了生物体内的生物体内图像，生物体内图像具有生物体内的荧光物质发出的荧光的信息。
[0299]
(附记13)
[0300]
一种医疗图像处理装置，其中，荧光是通过向生物体内照射峰波长为390nm以上470nm以下的激励光而得到的。
[0301]
(附记14)
[0302]
一种医疗图像处理装置，其中，医疗图像是拍摄了生物体内的生物体内图像，特定的波长频带是红外光的波长频带。
[0303]
(附记15)
[0304]
一种医疗图像处理装置，其中，特定的波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带，并且，特定的波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
[0305]
(附记16)
[0306]
一种医疗图像处理装置，其中，医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于通过照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通光图像，获取具有特定的波长频带的信息的特殊光图像，医疗图像是特殊光图像。
[0307]
(附记17)
[0308]
一种医疗图像处理装置，其中，特定的波长频带的信号是通过基于普通光图像中所包含的rgb或者cmy的颜色信息的运算而得到的。
[0309]
(附记18)
[0310]
一种医疗图像处理装置，其中，具备特征量图像生成部，其通过基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通光图像、和照射特定的波长频带的光而得到的特殊光图像中的至少一方的运算，生成特征量图像，医疗图像是特征量图像。
[0311]
(附记19)
[0312]
一种内窥镜装置，其中，具备：附记1至附记18中任一项所述的医疗图像处理装置；以及内窥镜，其通过照射白色波长频带的光、或特定的波长频带的光中至少任一个获取图像。
[0313]
(附记20)
[0314]
一种诊断辅助装置，其中，具备附记1至附记18中任一项所述的医疗图像处理装置。
[0315]
(附记21)
[0316]
一种医疗业务辅助装置，其中，具备附记1至附记18中任一项所述的医疗图像处理装置。
[0317]
《其他》
[0318]
以上说明的本发明的实施方式在不脱离本发明的主旨的范围内，可以适当地变更、追加或删除构成要件。本发明不限于以上说明的实施方式，在本发明的技术思想内，可以由具有同等相关领域的普通知识的人员进行许多变形。
[0319]
符号说明
[0320]
10 内窥镜系统
[0321]
18 内窥镜图像
[0322]
18a 动态图像
[0323]
18b 帧图像
[0324]
19 静止图像
[0325]
20、20b 医疗图像处理装置
[0326]
22 图像获取部
[0327]
24 观察完成判定部
[0328]
26 显示控制部
[0329]
26a 判定结果信息显示控制部
[0330]
26b 显示修正处理部
[0331]
28 用户输入接受部
[0332]
40 画面
[0333]
42 主画面
[0334]
44 子画面
[0335]
44a 第一子画面
[0336]
44b 第二子画面
[0337]
46 意象图像
[0338]
47 观察完成部位
[0339]
48 观察未完成部位
[0340]
51、52、53、54 区域块
[0341]
70 孔
[0342]
100 内窥镜观测器
[0343]
102 手边操作部
[0344]
104 插入部
[0345]
106 通用电缆
[0346]
108 光导连接器
[0347]
112 软性部
[0348]
114 弯曲部
[0349]
116 顶端硬质部
[0350]
116a 顶端侧端面
[0351]
123 照明部
[0352]
123a、123b 照明用透镜
[0353]
126 钳道口
[0354]
130 摄像部
[0355]
132 摄影透镜
[0356]
134 摄像元件
[0357]
136 驱动电路
[0358]
138 模拟前端
[0359]
140 弯角钮
[0360]
141 供气供水按钮
[0361]
142 吸引按钮
[0362]
143 功能按钮
[0363]
144 拍摄按钮
[0364]
170 光导
[0365]
200 处理器装置
[0366]
202 图像输入控制器
[0367]
204 图像处理部
[0368]
205 通信控制部
[0369]
206 视频输出部
[0370]
207 存储部
[0371]
208 操作部
[0372]
209 声音处理部
[0373]
209a 扬声器
[0374]
210 cpu
[0375]
211 rom
[0376]
212 ram
[0377]
222 处理器
[0378]
224 计算机可读介质
[0379]
225 图像输入接口
[0380]
226 图像处理处理器
[0381]
227 通信接口
[0382]
228 输入输出接口
[0383]
230 总线
[0384]
234 输入装置
[0385]
236 显示装置
[0386]
240 观察完成判定程序
[0387]
260 显示控制程序
[0388]
261 主画面控制模块
[0389]
262 子画面控制模块
[0390]
263 显示修正模块
[0391]
271 图像存储部
[0392]
272 判定信息存储部
[0393]
273 用户输入信息存储部
[0394]
274 修正信息存储部
[0395]
277 通信部
[0396]
300 光源装置
[0397]
310 光源
[0398]
310b 蓝色光源
[0399]
310g 绿色光源
[0400]
310r 红色光源
[0401]
330 光圈
[0402]
340 聚光透镜
[0403]
350 光源控制部
[0404]
400 监视器
[0405]
s12～s20 医疗图像处理装置实施的处理的步骤