基于全局手术阶段定位的手术阶段识别方法和装置

本发明涉及图像处理，尤其涉及一种手术阶段识别模型的训练方法和装置。

背景技术：

1、随着科技的发展，在当今的医疗领域中，已经可以通过计算机来辅助外科手术的实施，从而提高手术的质量，降低患者风险。其中，手术阶段识别对于准确的辅助有着关键作用。

2、然而，目前的研究更多地集中于在线手术阶段识别，即利用前序帧来预测当前帧，此类方法虽然在近些年间取得了进步，但它将任务定义为一系列分类子任务，缺乏对整个手术过程的理解，从而导致预测不连贯。此外，除了在线分析，准确的离线手术阶段识别在临床回顾分析中也有重大需求，而当下在线的手术阶段识别方法对视频信息的利用率低，导致分析和识别的准确性欠佳。

技术实现思路

1、本发明提供一种手术阶段识别模型的训练方法和装置，用以解决现有技术中在线手术阶段识别方法中逐帧分类方法对于全局性的缺失，以及离线手术阶段预测中未能完全利用视频信息，导致识别准确性不佳的问题，以从全局视角进行手术阶段识别，提高手术阶段识别的稳定性、准确性和通用性。

2、本发明提供一种基于全局手术阶段定位的手术阶段识别方法，包括：

3、获取待识别的手术视频；

4、对所述手术视频进行特征提取，得到视频特征；

5、基于所述视频特征，对所述手术视频在视频时间轴上进行区域检测，得到所述手术视频中所包含的各个手术阶段及其手术视频片段。

6、根据本发明提供的一种基于全局手术阶段定位的手术阶段识别方法，所述基于所述视频特征，对所述手术视频在视频时间轴上进行区域检测，得到所述手术视频中所包含的各个手术阶段及其手术视频片段，包括：

7、基于所述视频特征，对所述手术视频在视频时间轴上的多个时间窗口内进行区域检测，得到各个时间窗口内各视频帧的起止概率；

8、基于所述视频特征，对所述手术视频在视频时间轴上进行区域检测，得到所述视频时间轴上各视频帧的起止概率和阶段概率分布；

9、基于所述各个时间窗口内各视频帧的起止概率，以及所述视频时间轴上各视频帧的起止概率和阶段概率分布，确定所述手术视频中所包含的各个手术阶段及其手术视频片段。

10、根据本发明提供的一种基于全局手术阶段定位的手术阶段识别方法，所述基于所述各个时间窗口内各视频帧的起止概率，以及所述视频时间轴上各视频帧的起止概率和阶段概率分布，确定所述手术视频中所包含的各个手术阶段及其手术视频片段，包括：

11、基于所述各个时间窗口内各视频帧的起止概率，以及所述视频时间轴上各视频帧的起止概率和阶段概率分布，得到所述视频时间轴上各视频帧对应的手术阶段及其阶段起止时间；

12、基于所述视频时间轴上各视频帧对应的手术阶段及其阶段起止时间，从所述手术视频中确定所述各个手术阶段及其手术视频片段。

13、根据本发明提供的一种基于全局手术阶段定位的手术阶段识别方法，所述对所述手术视频进行特征提取，得到视频特征，包括：

14、对所述手术视频进行视频增强，得到伪完整视频；

15、对所述伪完整视频进行特征提取，得到视频特征。

16、根据本发明提供的一种基于全局手术阶段定位的手术阶段识别方法，所述对所述伪完整视频进行特征提取，得到视频特征，包括：

17、对所述手术视频分别进行运动特征提取和静止特征提取，得到运动时间特征和静止空间特征；

18、对所述运动时间特征和所述静止空间特征进行特征融合，得到视频特征。

19、根据本发明提供的一种基于全局手术阶段定位的手术阶段识别方法，所述对所述运动时间特征和所述静止空间特征进行特征融合，得到视频特征，包括：

20、对所述运动时间特征和所述静止空间特征进行特征融合，得到融合特征；

21、对所述融合特征进行特征压缩，得到目标特征，并基于多尺度的目标窗口，从所述目标特征中提取得到多尺度的视频特征。

22、根据本发明提供的一种基于全局手术阶段定位的手术阶段识别方法，所述对所述手术视频进行视频增强，得到伪完整视频，包括：

23、对所述手术视频进行镜像处理，得到镜像视频，基于所述镜像视频和所述手术视频，确定第一视频；

24、对所述第一视频进行压缩处理，得到压缩视频，并对所述压缩视频进行视频抽帧，得到伪完整视频。

25、本发明还提供一种基于全局手术阶段定位的手术阶段识别装置，包括：

26、视频获取单元，用于获取待识别的手术视频；

27、视频处理单元，用于对所述手术视频进行特征提取，得到视频特征；

28、阶段识别单元，用于基于所述视频特征，对所述手术视频在视频时间轴上进行区域检测，得到所述手术视频中所包含的各个手术阶段及其手术视频片段。

29、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于全局手术阶段定位的手术阶段识别方法。

30、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于全局手术阶段定位的手术阶段识别方法。

31、本发明提供的手术阶段识别模型的训练方法和装置，通过对待识别的手术视频进行特征提取，得到视频特征；基于视频特征，对手术视频在视频时间轴上进行区域检测，得到手术视频中所包含的各个手术阶段及其手术视频片段，克服了传统方案中在线识别方法存在全局性缺失，以及离线预测中未能完全利用视频信息，导致识别准确性不佳的问题，从全局视角进行手术阶段识别，提升了识别的稳定性，基于动作检测的原理在视频时间轴上进行区域检测，通过全局的视频信息进行阶段定位，提升了手术阶段识别的精确度和准确性。

技术特征：

1.一种基于全局手术阶段定位的手术阶段识别方法，其特征在于，包括：

2.根据权利要求1所述的基于全局手术阶段定位的手术阶段识别方法，其特征在于，所述基于所述视频特征，对所述手术视频在视频时间轴上进行区域检测，得到所述手术视频中所包含的各个手术阶段及其手术视频片段，包括：

3.根据权利要求2所述的基于全局手术阶段定位的手术阶段识别方法，其特征在于，所述基于所述各个时间窗口内各视频帧的起止概率，以及所述视频时间轴上各视频帧的起止概率和阶段概率分布，确定所述手术视频中所包含的各个手术阶段及其手术视频片段，包括：

4.根据权利要求1至3中任一项所述的基于全局手术阶段定位的手术阶段识别方法，其特征在于，所述对所述手术视频进行特征提取，得到视频特征，包括：

5.根据权利要求4所述基于全局手术阶段定位的手术阶段识别方法，其特征在于，所述对所述伪完整视频进行特征提取，得到视频特征，包括：

6.根据权利要求5所述基于全局手术阶段定位的手术阶段识别方法，其特征在于，所述对所述运动时间特征和所述静止空间特征进行特征融合，得到视频特征，包括：

7.根据权利要求4所述基于全局手术阶段定位的手术阶段识别方法，其特征在于，所述对所述手术视频进行视频增强，得到伪完整视频，包括：

8.一种基于全局手术阶段定位的手术阶段识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于全局手术阶段定位的手术阶段识别方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于全局手术阶段定位的手术阶段识别方法。

技术总结本发明提供一种基于全局手术阶段定位的手术阶段识别方法和装置，其中方法包括：获取待识别的手术视频；对所述手术视频进行特征提取，得到视频特征；基于所述视频特征，对所述手术视频在视频时间轴上进行区域检测，得到所述手术视频中所包含的各个手术阶段及其手术视频片段，克服了传统方案中在线识别方法存在全局性缺失，以及离线预测中未能完全利用视频信息，导致识别准确性不佳的问题，从全局视角进行手术阶段识别，提升了识别的稳定性，基于动作检测的原理在视频时间轴上进行区域检测，通过全局的视频信息进行阶段定位，提升了手术阶段识别的精确度和准确性。技术研发人员：陈阵,吴锦林,刘宏斌,王金桥,骆行健受保护的技术使用者：中国科学院香港创新研究院人工智能与机器人创新中心有限公司技术研发日：技术公布日：2024/8/5