远程手术机器人系统、及对应的图像处理方法和介质与流程

本发明属于医疗器械领域，特别是涉及一种远程手术机器人系统、及对应的图像处理方法和介质。

背景技术：

1、在远程手术机器人中，影像系统的主要分为主手端的显示器(远程医生控制台)和从手端的内窥镜(患者手术平台)。影像系统的主手端显示器和从手端内窥镜需要高度协调，确保医生能在主手端显示器实时、精确地观察从手端内窥镜采集的患者手术区域，并进行手术操作。

2、主手端是医生进行手术操作的控制中心，影像系统提供了实时视觉反馈功能，显示器具有单路/双路、二维（2d）/三维（3d）、2k分辨率/4k分辨率的参数，通常包括单路3d2k显示器和双路2d4k显示器。从手端是手术机器人执行实际操作的位置，影像系统负责捕捉手术区域的实时图像并传输到主手端，内窥镜也具有单路/双路/三路、二维（2d）/三维（3d）、2k分辨率/4k分辨率的参数，通常包括双路2d4k内窥镜和双路2d2k内窥镜。

3、然而，主手端和从手端的影像系统配置可能不同，导致存在兼容问题。比如：主手端使用双路2d4k显示器，而从手端使用双路2d2k内窥镜，产生分辨率不匹配问题；主手端使用单路3d2k显示，而从手端使用双路2d4k内窥镜，产生显示模式不一致的问题。尤其是在远程手术过程中，通常会以同一个主手端不同类型的从手端，或者同一个从手端由多个不同类型的主手端进行控制，其中涉及不同配置的影像系统互联，其兼容问题会导致影像系统在主手端产生延迟甚至崩溃，同时减少主手端与从手端的可匹配类型数量，降低主手端或从手端的适用手术场景。总而言之，即现有多种不同类型的远程手术机器人无法进行影像互联，以匹配不同类型的主手端和从手端。

技术实现思路

1、为了解决现有不同类型的远程手术机器人无法进行影像互联，以匹配不同类型的主手端和从手端的问题，本发明提出技术方案如下：

2、本发明的第一方面提供了一种应用于远程手术机器人系统的图像处理方法，所述远程手术机器人系统包括：相互连接的第一终端、第一远程主机和图像采集装置，其中，所述第一终端用于控制所述图像采集装置采集手术场景的第一视频流；相互连接的第二终端、第二远程主机和图像显示装置，其中，所述第二终端用于控制所述图像显示装置显示手术场景的第二视频流；其中，所述第一远程主机和所述第二远程主机通过预设网络通道通信连接；所述图像处理方法包括：通过所述第一远程主机或者所述第二远程主机，获取所述第一终端的第一设备信息、以及所述第二终端的第二设备信息，并确定所述第一设备信息和所述第二设备信息之间的设备关系，根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理。

3、优选的，所述图像采集装置包括至少一个拍摄单元，所述图像显示装置包括至少一个显示单元；所述设备关系包括以下至少一项：所述拍摄单元和所述显示单元的数量关系、所述第一视频流和所述第二视频流的维度关系和分辨率关系；所述适配处理包括以下至少一项：所述第一远程主机和所述第二远程主机之间的视频流传输路径适配、视频流格式适配。

4、优选的，所述数量关系包括：第一数量的拍摄单元和第二数量的显示单元，以及所述维度关系包括第一维度的第一视频流和第二维度的第二视频流，其中，所述第一数量大于所述第二数量，所述第一维度低于所述第二维度；所述视频流传输路径适配包括：所述第一远程主机和所述第二远程主机之间通过第一路径传输视频流，所述第一路径包括第二数量的传输链路；根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理，包括：通过第一数量的拍摄单元同时采集第一数量的第一维度手术图像，其中，所述第一视频流中的每个视频帧包括第一数量的第一维度手术图像；通过所述第一远程主机，将第一数量的第一维度手术图像合成第二数量的第二维度手术图像，并利用所述第一路径中第二数量的传输链路，将第二数量的第二维度手术图像分别传输至所述第二远程主机，其中，所述第二视频流中的每个视频帧包括第二数量的第二维度手术图像；通过所述第二远程主机，利用第二数量的显示单元分别显示第二数量的第二维度手术图像。

5、优选的，所述图像采集装置为包含两个拍摄单元的双路二维内窥镜，所述图像显示装置为包含一个显示单元的单路三维显示器；所述双路二维内窥镜可拆卸连接于所述患者手术平台，用于采集双路二维手术图像，所述第一视频流中的每个视频帧包括双路二维手术图像；所述单路三维显示器设置于所述远程医生控制台中，用于显示所述双路二维手术图像合成的单路三维手术图像，所述第二视频流中的每个视频帧包括单路三维手术图像；所述第一远程主机设置有一个第一远程端口，所述第二远程主机设置有一个第二远程端口，所述第一路径包括：所述第一远程端口和所述第二远程端口之间形成的一条传输链路，用于传输所述单路三维手术图像。

6、优选的，所述数量关系包括：第一数量的拍摄单元和第一数量的显示单元，以及所述维度关系包括：第一维度的第一视频流和第二视频流；所述视频流传输路径适配包括：所述第一远程主机和所述第二远程主机之间通过第二路径传输视频流，所述第二路径包括第一数量的传输链路；根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理，包括：通过第一数量的拍摄单元同时采集第一数量的第一维度手术图像，其中，所述第一视频流中的每个视频帧包括第一数量的第一维度手术图像；通过所述第一远程主机，利用所述第二路径中第一数量的传输链路，将第一数量的第一维度手术图像分别传输至所述第二远程主机；通过所述第二远程主机，对每个所述视频帧的第一维度手术图像进行时间同步处理，并利用第一数量的显示单元分别显示时间同步后的第一维度手术图像，其中，所述第二视频流中的每个视频帧包括时间同步后第一数量的第一维度手术图像。

7、优选的，所述图像采集装置为包含两个拍摄单元的双路二维内窥镜，所述图像显示装置为包含两个显示单元的双路二维显示器；所述双路二维内窥镜可拆卸连接于所述患者手术平台，用于采集双路二维手术图像，所述第一视频流中的每个视频帧包括双路二维手术图像；所述双路二维显示器设置于所述远程医生控制台中，用于显示时间同步后的双路二维手术图像，所述第二视频流中的每个视频帧包括时间同步后的双路二维手术图像；所述第一远程主机设置有两个第一远程端口，所述第二远程主机设置有两个第二远程端口，所述第二路径包括：对应配置的第一远程端口和第二远程端口之间形成的两条传输链路，用于传输所述双路二维手术图像。

8、优选的，所述双路二维手术图像包括每个视频帧的第一路二维手术图像和第二路二维手术图像；通过所述第二远程主机，对每个所述视频帧的第一维度手术图像进行时间同步处理，包括：通过所述第二远程主机，识别每个视频帧所述第一路二维手术图像的第一时间标记、以及所述第二路二维手术图像的第二时间标记，并对所述第一时间标记和第二时间标记进行对齐；若对齐的结果满足预设误差，则根据对齐的结果，对每个所述第一路二维手术图像和每个所述第二路二维手术图像进行时间同步；若对齐的结果不满足预设误差，则提取每个视频帧所述第一路二维手术图像中的第一目标运动轨迹和第一手术背景图像、以及所述第二路二维手术图像中的第二目标运动轨迹和第二手术背景图像；匹配每个所述第一手术背景图像和每个所述第二手术背景图像中的特征点；根据所述特征点、所述第一目标运动轨迹和所述第二目标运动轨迹，对每个所述第一路二维手术图像和每个所述第二路二维手术图像进行匹配；根据匹配的结果，拟合每个所述第一路二维手术图像的第一时间线、以及每个所述第二路二维手术图像的第二时间线；基于所述第一时间线和所述第二时间线，对每个所述第一路二维手术图像和每个所述第二路二维手术图像进行时间同步。

9、优选的，所述数量关系包括：第一数量的拍摄单元和第一数量的显示单元，以及所述维度关系包括：第一维度的第一视频流和第一维度的第二视频流；所述视频流传输路径适配包括：所述第一远程主机和所述第二远程主机之间通过第三路径传输视频流，所述第三路径包括一个传输链路，其中，所述第一数量大于1；根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理，包括：通过第一数量的拍摄单元同时采集第一数量的第一维度手术图像，其中，所述第一视频流中的每个视频帧包括第一数量的第一维度手术图像；通过所述第一远程主机，将第一数量的第一维度手术图像拼接为一个第一维度手术图像，并利用所述第三路径中一个传输链路，将所述第一维度手术图像传输至所述第二远程主机；通过所述第二远程主机，将一个所述第一维度手术图像拆分为第一数量的第一维度手术图像，并利用第一数量的显示单元分别显示第一数量的第一维度手术图像，其中，所述第二视频流中的每个视频帧包括拆分后第一数量的第一维度手术图像；其中，将第一数量的第一维度手术图像拼接为一个第一维度手术图像，用于第一数量的第一维度手术图像在第一数量的显示单元分别显示时保持时间同步。

10、优选的，所述图像采集装置为包含两个拍摄单元的双路二维内窥镜，所述图像显示装置为包含两个显示单元的双路二维显示器；所述双路二维内窥镜可拆卸连接于所述患者手术平台，用于采集双路二维手术图像，所述第一视频流中的每个视频帧包括双路二维手术图像；所述双路二维显示器设置于所述远程医生控制台中，用于显示拆分后的双路二维手术图像，所述第二视频流中的每个视频帧包括拆分后的双路二维手术图像；所述第一远程主机设置有一个第一远程端口，所述第二远程主机设置有一个第二远程端口，所述第三路径包括：所述第一远程端口和第二远程端口之间形成的一条传输链路，用于传输单路二维手术图像。

11、优选的，所述分辨率关系包括：第一采集分辨率的拍摄单元和第一显示分辨率的显示单元，其中，所述第一采集分辨率高于所述第一显示分辨率；所述视频流格式适配包括第一插值策略；根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理，包括：通过所述第一远程主机，利用所述第一插值策略，对所述拍摄单元采集的第一视频流从所述第一采集分辨率降低至所述第一显示分辨率，得到第二视频流，并将所述第二视频流传输至所述第二远程主机；通过所述第二远程主机，利用所述显示单元显示所述第一显示分辨率的第二视频流。

12、优选的，所述分辨率关系包括：第二采集分辨率的拍摄单元和第二显示分辨率的显示单元，其中，所述第二采集分辨率低于所述第二显示分辨率；所述视频流格式适配包括第二插值策略；根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理，包括：通过所述第一远程主机，将所述拍摄单元采集的第一视频流传输至所述第二远程主机；通过所述第二远程主机，利用所述第二插值策略，将接收到的第一视频流从所述第二采集分辨率提升至所述第二显示分辨率，并利用所述显示单元显示所述第二显示分辨率的第二视频流。

13、本发明的第二方面提供了一种远程手术机器人系统，所述远程手术机器人系统包括：至少一组相互连接的第一终端、第一远程主机和图像采集装置，其中，所述第一终端用于控制所述图像采集装置采集手术场景的第一视频流；至少一组相互连接的第二终端、第二远程主机和图像显示装置，其中，所述第二终端用于控制所述图像显示装置显示手术场景的第二视频流；其中，所述第一终端和所述第二终端中的其中一端为远程医生控制台，另一端为患者手术平台；处理器，被配置为：响应于其中一个所述第一远程主机和其中一个所述第二远程主机通信配对成功，获取其中一个所述第一远程主机对应第一终端的第一设备信息、以及其中一个所述第二远程主机对应第二终端的第二设备信息，并确定所述第一设备信息和所述第二设备信息之间的设备关系；通过所述第一远程主机或者所述第二远程主机，根据所述设备关系，对所述图像采集装置采集的第一视频流在所述图像显示装置上显示的第二视频流进行适配处理。

14、本发明的第三方面提供了一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以上远程手术机器人系统的图像处理方法的步骤。

15、本发明的有益效果是：在第一终端（如患者手术平台）的图像采集装置（如内窥镜）采集手术场景的第一视频流后，根据当前连接的患者手术平台和远程医生控制台的设备关系，对第一视频流进行适配处理，使得调整后的第二视频流适配第二终端（如远程医生控制台）的图像显示装置（如显示器）上的显示。实现远程手术机器人的影像互联，保证不同类型的主手端和从手端可以自由匹配，适用于更多的手术场景。