脊柱微创手术机器人的辅助定位方法

本发明涉及医疗，尤其是一种脊柱微创手术机器人的辅助定位方法。

背景技术：

1、近年来，脊柱手术机器人逐渐应用于临床，具备定位准、精度高和稳定性强等优势，而脊柱微创手术机器人技术的发展则更符合目前脊柱手术精准化、微创化的趋势。然而，目前手术机器人定位定向感知能力弱，不能快速有效理解手术场景信息并自动摆位，且难以实现手术椎体的快速追踪定位。

2、为弥补上述不足，脊柱微创手术机器人需要精准的辅助定位系统，包括手术室环境定位和术区定位。其中手术室环境定位即理解手术场景，包括诸多非结构的场景因素，如患者体形与位姿、手术室对象布局以及光线环境等，从而明确手术室布置和患者位置；而术区定位主要实现手术目标椎体的标定。不同于颅脑等结构，脊柱椎体位于人体深部，且椎体之间会随人体体位改变而发生相对位置变化，因此脊柱微创手术机器人操作不能单纯依赖术前影像学检查与标定，需要构建一种实时和无创的辅助定位方法，实现实时术区感知。

技术实现思路

1、本发明的目的是提供一种脊柱微创手术机器人的辅助定位方法，实现脊柱微创手术机器人的实时术区感知。

2、本发明提供了一种脊柱微创手术机器人的辅助定位方法，包括：

3、根据二维场景图像信息生成语义二维场景信息，并将语义二维场景信息输入脊柱微创手术机器人以增强对手术场景的感知；

4、根据三维场景点云信息生成语义三维场景信息，并将语义三维场景信息输入脊柱微创手术机器人以增强对手术场景的感知；以及

5、手术中结合磁定位信息和二维超声影像以生成三维超声场景信息，将三维超声场景信息输入脊柱微创手术机器人以增强对手术场景的感知。

6、本发明提供的脊柱微创手术机器人的辅助定位方法，根据术中的二维场景图像信息和三维场景点云信息生成语义二维场景信息和语义三维场景信息，同时在手术中结合磁定位信息和二维超声影像以生成三维超声场景信息，将语义二维场景信息、语义三维场景信息和三维超声场景信息输入脊柱微创手术机器人以增强对手术场景的感知，借此实现脊柱微创手术机器人的实时术区感知。

7、在脊柱微创手术机器人的辅助定位方法的再一种示意性实施方式中，步骤：根据二维场景图像信息生成语义二维场景信息，并将语义二维场景信息输入脊柱微创手术机器人以增强对手术场景的感知，包括：

8、使用现有的临床场景数据集训练mask r-cnn网络模型；

9、获取二维场景图像信息；

10、利用mask r-cnn网络模型对二维场景图像信息中的目标对象进行识别和分割，得到初级二维信息；

11、使用预先训练的条件随机场模型和超像素分割算法，对初级二维信息中的目标对象进行精细地识别和分割，得到精细二维信息；以及

12、将精细二维信息组成语义二维场景信息，并输入脊柱微创手术机器人以增强对手术场景的感知。

13、在脊柱微创手术机器人的辅助定位方法的又一种示意性实施方式中，步骤：根据二维场景图像信息生成语义二维场景信息，并将语义二维场景信息输入脊柱微创手术机器人以增强对手术场景的感知，还包括：

14、利用预先训练的姿态估算模型对初级二维信息进行识别，得到姿态估算信息；以及

15、将姿态估算信息组成语义二维场景信息，并输入脊柱微创手术机器人以增强对手术场景的感知。

16、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，步骤：使用现有的临床场景数据集训练mask r-cnn网络模型，包括：

17、利用迁移学习的策略在coco数据集上进行预训练，并迁移到mask r-cnn网络模型；以及

18、对mask r-cnn网络模型进行精调，对部分顶层网络参数进行调整。

19、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，根据三维场景点云信息生成语义三维场景信息，并将语义三维场景信息输入脊柱微创手术机器人以增强对手术场景的感知，包括：

20、获取三维场景点云信息；

21、利用多视角投影法根据三维场景点云信息和精细二维信息，得到投影分割点云信息；

22、利用基于超体素的区域生长算法对三维场景点云信息进行分割，得到超体素点云分割信息；

23、融合投影分割点云信息和超体素点云分割信息，并将融合结果组成语义三维场景信息；以及

24、将语义三维场景信息输入脊柱微创手术机器人以增强对手术场景的感知。

25、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，步骤：利用多视角投影法根据三维场景点云信息和精细二维信息，得到投影分割点云信息，包括：

26、将三维场景点云信息中的各点投影到精细二维信息中；

27、根据各精细二维信息对各点的对象归属进行投票；以及

28、统计各点的对象归属的投票值，根据各点的对象归属的投票值判定该点的最终分类。

29、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，步骤：统计各点的对象归属的投票值，根据各点的对象归属的投票值判定该点的最终分类，包括：

30、统计各点的对象归属的投票值；

31、将各点的对象归属的投票值乘以预设的加权系数，得到各点的对象归属的加权投票值；

32、选取各点的对象归属的最大加权投票值，判断该最大加权投票值是否大于一个预设的阈值；以及

33、若判断为是则根据最大加权投票值的对象归属确定该点的最终分类。

34、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，步骤：融合投影分割点云信息和超体素点云分割信息，并组成语义三维场景信息，包括：

35、计算投影分割点云信息和超体素点云分割信息的对象分类重叠比；以及

36、保留分类重叠比超过一个预设阈值的超体素点云分割信息作为语义三维场景信息。

37、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，步骤：手术中结合磁定位信息和二维超声影像以生成三维超声场景信息，将三维超声场景信息输入脊柱微创手术机器人以增强对手术场景的感知，包括：

38、对超声装置和磁定位装置进行空间标定；

39、手术中通过超声装置获取二维超声影像，并重建形成三维超声影像；

40、利用磁定位装置结合三维超声影像和术前影像进行对象空间定位；以及

41、将对象空间定位后的三维超声影像作为三维超声场景信息输入脊柱微创手术机器人以增强对手术场景的感知。

42、在脊柱微创手术机器人的辅助定位方法的另一种示意性实施方式中，在步骤：手术中通过超声装置获取二维超声影像，并重建形成三维超声影像中，利用像素最近邻法重建形成三维超声影像。

技术特征：

1.脊柱微创手术机器人的辅助定位方法，其特征在于，包括：

2.如权利要求1所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：根据二维场景图像信息生成语义二维场景信息，并将所述语义二维场景信息输入脊柱微创手术机器人以增强对手术场景的感知，包括：

3.如权利要求2所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：根据二维场景图像信息生成语义二维场景信息，并将所述语义二维场景信息输入脊柱微创手术机器人以增强对手术场景的感知，还包括：

4.如权利要求2所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：使用现有的临床场景数据集训练mask r-cnn网络模型，包括：

5.如权利要求2所述的脊柱微创手术机器人的辅助定位方法，其特征在于，根据三维场景点云信息生成语义三维场景信息，并将所述语义三维场景信息输入脊柱微创手术机器人以增强对手术场景的感知，包括：

6.如权利要求5所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：利用多视角投影法根据所述三维场景点云信息和所述精细二维信息，得到投影分割点云信息，包括：

7.如权利要求6所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：统计各点的对象归属的投票值，根据各点的对象归属的投票值判定该点的最终分类，包括：

8.如权利要求5所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：融合所述投影分割点云信息和所述超体素点云分割信息，并组成语义三维场景信息，包括：

9.如权利要求1所述的脊柱微创手术机器人的辅助定位方法，其特征在于，步骤：手术中结合磁定位信息和二维超声影像以生成三维超声场景信息，将所述三维超声场景信息输入脊柱微创手术机器人以增强对手术场景的感知，包括：

10.如权利要求9所述的脊柱微创手术机器人的辅助定位方法，其特征在于，在步骤：手术中通过超声装置获取二维超声影像，并重建形成三维超声影像中，利用像素最近邻法重建形成三维超声影像。

技术总结本发明提供了一种脊柱微创手术机器人的辅助定位方法，包括步骤：根据二维场景图像信息生成语义二维场景信息，并将语义二维场景信息输入脊柱微创手术机器人以增强对手术场景的感知；根据三维场景点云信息生成语义三维场景信息，并将语义三维场景信息输入脊柱微创手术机器人以增强对手术场景的感知；手术中结合磁定位信息和二维超声影像以生成三维超声场景信息，将三维超声场景信息输入脊柱微创手术机器人以增强对手术场景的感知。本发明提供的脊柱微创手术机器人的辅助定位方法实现了脊柱微创手术机器人的实时术区感知。技术研发人员：藏磊,袁硕,范宁,王奥博受保护的技术使用者：首都医科大学附属北京朝阳医院技术研发日：技术公布日：2024/6/13