一种头戴式手术自动录像方法及系统与流程

本发明涉及录像方法，尤其涉及一种头戴式手术自动录像方法及系统。

背景技术：

1、在医疗领域，尤其是针对解剖结构复杂、空间狭小且术者视角变化频繁的手术，例如眼眶病手术，其对操作精度要求高。此类手术主要针对炎症、肿瘤、外伤等多种病变，不仅威胁视力健康，还会影响面部结构，甚至危及生命。鉴于此类手术的高风险与复杂度，手术经验的积累对于相关专科医生的成长至关重要。观看高质量的手术视频是这类手术教学的主要手段，有助于提升手术精确性和安全性。

2、然而此类手术解剖结构复杂、空间狭小，重要结构云集，手术视野差、暴露困难、手术风险高、难度大、精确性低。因此，传统的手术录像机难以探查到术野，无法提供清晰完整的教学视频，不能满足专科医生的学习需求。相比于传统录像机，头戴式摄像机具有更好的便捷性，但主刀医生在手术过程中难以避免头部晃动或突然转头寻找手术器械等大幅度动作，导致以往的教学视频中往往存在画面摇晃、突然的场景变换等问题，存在大量没有教学意义的内容等，妨碍了观看者的视觉体验和学习效率。

3、头戴式设备由双目鱼眼摄像头(i ns ide-out vs l am特征点提取)+imu，1路高清rgb摄像头用于术中抓拍和录制，vpu处理系统(三路摄像头信号采集，vs l am算法，抖动检测与高速usb接口视频数据传输)等模块组成。

技术实现思路

1、(一)发明目的

2、为解决背景技术中存在的技术问题，本发明提出一种头戴式手术自动录像方法及系统，可以检测录像过程中主刀医生的大幅度动作，及时中止录像，并在设备稳定时重新启动录像，从而剔除摇晃的画面，避免产生无教学意义的内容。

3、(二)技术方案

4、为解决上述问题，本发明第一方面提供了一种头戴式手术自动录像方法，包括步骤s1，初始化s l am，进入应用开启姿态检测，调用xs l am_un i n it()方法初始s lam；

5、步骤s2，根据姿态检测数据的波动频率判断是否发生大幅度抖动；

6、步骤s3，根据抖动频率判断是否需要进行录像，如果发生大幅度抖动,停止录像，抖动稳定时恢复录像。

7、步骤s4，将录像进行保存。

8、作为本发明的一个技术方案，在步骤s2中，调用：

9、getcurrenttwopose([l n,out]doub l e[]currpose,[i n,out]doub l e[]predpose)方法，根据当前6dof姿态进行抖动判断。

10、作为本发明的一个技术方案，所述停止录像方法:

11、ap l.xs l am_stop_stereo_stream0；

12、开始录像方法:api.xs l am_start_stereo_stream)。

13、作为本发明的一个技术方案，还包括主刀医生佩戴内置陀螺仪的头戴式手术相机的过程。

14、作为本发明的一个技术方案，包括：获取手术中相机实时视频流在一个抖动状态下的两个位置临界点对应的帧图像，记作第一图像和第二图像；

15、将所述第一图像与第二图像进行比对，以获取第一图像与第二图像的相似值；

16、设置相似值阈值，若大于所设阈值则判断抖动符合，继续进行录像，若小于所设阈值则判断抖动幅度过大，停止录像。

17、作为本发明的一个技术方案，所述相似值判断相机抖动幅度包括步骤：

18、步骤s100，对第一图像中完整的手术部位轮廓进行识别，并在识别后的第一轮廓线上设置p个第一标定点；

19、步骤s200，在m个所述标定点的外围设置矩形框，以矩形框的任一顶点作为第一坐标原点，近似确定每个第一标定点坐标；

20、步骤s300，对第二图像进行识别，查询第二图像中是否存在第二轮廓线，若存在，则执行步骤s500，若不存在，则执行步骤s400；

21、步骤s400，停止录像；

22、步骤s500，对所述第二图像进行放/缩处理，以使得所述第二轮廓线与所述第一轮廓线能够比例重合，并将所述第一标定点坐标复制到第二轮廓线对应位置，形成q个第二标定点，并根据所述第二标定点坐标计算出第二坐标原点；

23、步骤s600，根据p个所述第一标定点坐标计算第一轮廓线形成的第一区域在第一图像上的面积占比sp1，根据q个所述第二标定点坐标计算第二轮廓线与第二图像边缘形成的第二区域在第二图像上的面积占比sq1，并计算sq1/sp1的比值；

24、步骤s700，若所述比值大于预设阈值，则判断抖动符合，继续录像；若所述比值小于预设阈值，则判断抖动幅度过大，停止录像。

25、作为本发明的又一个技术方案，所述相似值判断相机抖动幅度包括步骤：

26、步骤s110，对第一图像中完整的手术部位轮廓进行识别，并在识别后的第一轮廓线上设置p个第一标定点；

27、步骤s220，在m个所述标定点的外围设置矩形框，以矩形框的任一顶点作为第一坐标原点，近似确定每个第一标定点坐标；

28、步骤s330，对第二图像进行识别，查询第二图像中是否存在第二轮廓线，若存在，则执行步骤s550，若不存在，则执行步骤s440；

29、步骤s440，停止录像；

30、步骤s550，对所述第二图像进行放/缩处理，以使得所述第二轮廓线与所述第一轮廓线能够比例重合，并将所述第一标定点坐标复制到第二轮廓线对应位置，形成q个第二标定点，并根据所述第二标定点坐标计算出第二坐标原点；

31、步骤s660，根据p个所述第一标定点坐标计算第一轮廓线形成的第一区域的面积sp2，根据q个所述第二标定点坐标计算第二轮廓线与第二图像边缘形成的第二区域的面积sq2，并计算sq2/sp2的比值；

32、步骤s770，若所述比值大于预设阈值，则判断抖动符合，继续录像；若所述比值小于预设阈值，则判断抖动幅度过大，停止录像。

33、作为本发明的一个技术方案，将所述第一图像栅格化处理，并使得所述第一坐标原点位于栅格节点处，使得任一所述第一标定点与栅格节点重合和/或无限接近栅格节点，根据单元栅格尺寸获取每个第一标定点坐标。

34、作为本发明的一个技术方案，所述方法还包括：

35、选取所述第一区域中处于第一轮廓线最边缘处的若干第一标定点，记作第一界点，将若干个所述第一界点与第一矩形连接，以使得所有第一标定点均位于所述第一矩形内，计算所述第一矩形面积sj1；

36、选取所述第二区域中处于第二轮廓线最边缘处的若干第二标定点，记作第二界点，将边缘凸出的所述第二界点与所述第二图像边缘连接，画第二矩形，以使得所有第二标定点均位于所述第二矩形内，计算所述第二矩形面积sj2；

37、将所述sj1/sj2计算比值，以判断停止录像/继续录像，若sj1/sj2大于预设阈值则继续录像，若sj1/sj2小于预设阈值则停止录像；

38、设置所述sj1/sj2、sq2/sp2的比值对于停止录像/继续录像的判断优先级，根据所述优先级进行最终判断选择。

39、本发明第二方面提出了一种头戴式手术自动录像方法，包括：

40、初始化模块，用于初始化s l am，进入应用开启姿态检测，调用xs l am_un i nit()方法初始s l am；

41、第一判断模块，用于根据姿态检测数据的波动频率判断是否发生大幅度抖动；

42、第二判断模块，用于根据抖动频率判断是否需要进行录像，如果发生大幅度抖动,停止录像，抖动稳定时恢复录像。

43、存储模块，用于将录像进行保存。

44、本发明的上述技术方案具有如下有益的技术效果：

45、本发明利用内置陀螺仪的头戴式手术录像机，为手术教学提供高质量的视频资料，有助于外科医生的手术学习。传统摄像机受到主刀医生动作的影响较大，输出的视频质量不佳，而目前尚缺少改善录像设备方面的创新。本发明克服了传统摄像机难以获得高质量手术教学视频的问题，有利于提高眼眶手术的教学水平。