一种基于机器视觉的背部穴位定位方法及排痰机器人

本发明涉及中医腧穴定位和计算机视觉相关领域，具体的说，涉及了一种基于机器视觉的背部穴位定位方法及排痰机器人。

背景技术：

1、呼吸系统疾病治疗领域的现有技术主要包括吸痰设备、药物治疗、物理疗法和手术治疗等。吸痰设备是治疗呼吸系统疾病的常见方法之一，其原理是通过气压差或机械吸力促使患者排出呼吸道中的痰液。然而，传统吸痰设备存在吸力不够强、操作复杂、对患者的依赖性大等问题，导致治疗效果有限。

2、常见的物理治疗方法，主要通过是全胸排痰背心。传统中医理论在呼吸系统疾病治疗中也有一定的应用。中医认为呼吸系统疾病与人体经络和穴位有关，通过结合中医手法进行点、按、推刺激特定穴位可以促进气血运行，调节呼吸功能。然而，传统中医治疗方法存在操作技术依赖性强、治疗效果难以量化等限制，制约了其在临床中的应用。

3、近年来，随着智能技术的发展，智能医疗设备在呼吸系统疾病治疗中逐渐得到应用。智能医疗设备结合了传感技术、数据处理技术和智能算法，能够实现对患者病情的实时监测和个性化治疗。然而，目前智能医疗设备在呼吸系统疾病治疗中的应用仍存在一些挑战，如定位精度不高等问题。

4、基于图像处理腧穴定位是智能医疗目前比较流行的一个方向。现阶段基于图像处理腧穴定位均是利用深度学习的方式来实现腧穴定位，例如，公开号为cn117974740a的专利提出的一种基于聚合式窗口自注意力机制的穴位定位方法及机器人，基于关键点检测算法获取人体背部关键点数据，再根据背部特征关键点，通过背部穴位定位公式得到背部穴位具体坐标，实现背部穴位定位；再例如公开号为cncn115409840a的专利申请提出的一种人体背部腧穴智能定位系统和方法，该方法中利用语义分割算法对所采集的人体背部图片进行语义分割，再根据语义分割结果确定腧穴位置，使用深度学习关键点检测的方法实现腧穴定位。

5、实际上，单一检测方法在穴位定位识别中各有利弊，例如关键点检测专注于对象的关键部位，并不需要像素级别的分类，这导致目标密集时准确率降低；而语义分割能够提供像素级别的分类和边界信息，但是面对光照变化等场景时，语义分割可能会遇到困难，导致穴位定位精度无法得到保障。

6、进一步的，当基于穴位定位方法定位出的穴位辅助进行排痰时，受到人体微小位移和测量误差的测量，也使得最终作用的穴位与实际穴位有偏差，而在中医里，所有治疗的基础均是以穴位的准去定位为基础，因此排痰效果无法达到预期。

7、为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

技术实现思路

1、本发明的目的是针对现有技术的不足，从而提供一种基于机器视觉的背部穴位定位方法及排痰机器人。

2、为了实现上述目的，本发明所采用的技术方案是：

3、第一方面提供一种基于机器视觉的背部穴位定位方法，包括以下步骤：

4、获取人体背部的rgb图像；

5、基于训练好的背部穴位识别模型对rgb图像进行识别，获得第一腧穴坐标；

6、基于训练好的背部骨骼关键点检测模型对rgb图像进行检测，获得骨骼关键点坐标，基于骨骼关键点坐标、单位等身寸以及国家腧穴定位标准确定第二腧穴坐标；

7、基于第一腧穴坐标和第二腧穴坐标融合获得综合腧穴坐标：

8、p＝λsas+μdad

9、其中，p表示综合腧穴坐标，as表示第一腧穴坐标，λs表示第一腧穴坐标在融合计算中的权重，ad表示第二腧穴坐标，μd表示第二腧穴坐标在融合计算中的权重，λs与μd之和为1。

10、在一种实施例中，基于第一腧穴坐标和第二腧穴坐标融合获得综合腧穴坐标后，进一步基于以下公式获得综合腧穴融合有效作用区域半径：

11、

12、其中，r表示综合腧穴融合有效作用区域半径，表示第一次腧穴坐标向量，λs表示第一腧穴坐标在融合计算中的权重，表示第二次腧穴坐标向量，μd表示第二腧穴坐标在融合计算中的权重，λs与μd之和为1，l为单位等身寸。

13、第二方面能提供一种排痰机器人，包括移动底座、机械臂、超声波探头、深度相机、穴位定位装置以及智能控制模块；

14、所述移动底座上设置有所述机械臂，所述机械臂的末端搭载有所述超声波探头和所述深度相机；

15、所述深度相机同时采集患者背部的深度信息和rgb图像并发送给所述穴位定位装置；

16、所述穴位定位装置执行前述的基于机器视觉的背部穴位定位方法的步骤，获取背部坐标系下的背部腧穴坐标，结合每个背部腧穴对应的深度信息和机械臂坐标系与相机坐标系之间的变换关系，计算每个背部腧穴在机械臂坐标系下的空间位姿三维坐标，并发送给所述智能控制模块；

17、所述智能控制模块，根据设定的排痰模式确定目标腧穴，并根据目标腧穴在机械臂坐标系下的空间位姿三维坐标向所述机械臂下发控制指令，以使所述机械臂移动至目标腧穴，并在所述机械臂移动到位后触发所述超声波探头按照设定的工作频率和振动强度工作。

18、在一种实施例中，所述智能控制模块根据设定的排痰模式确定目标腧穴，并根据目标腧穴在机械臂坐标系下的空间位姿三维坐标向所述机械臂下发控制指令，以使所述机械臂移动至目标腧穴，包括：

19、所述智能控制模块根据设定的排痰模式确定目标腧穴，并根据目标腧穴在机械臂坐标系下的空间位姿三维坐标向所述机械臂下发控制指令，以使所述机械臂移动至目标腧穴，包括：

20、步骤1，在机械臂坐标系下确定初始目标腧穴位置和深度相机初始位置，其中，初始目标腧穴位置为目标腧穴在机械臂坐标系下的空间位姿三维坐标；

21、步骤2，生成多个随机点，计算多个随机点与初始目标腧穴位置的距离，将距离初始目标腧穴位置最近的随机点作为采样点；

22、步骤3，根据深度相机初始位置和采样点位置生成控制指令，向所述机械臂下发控制指令，以控制机械臂移动至采样点；在机械臂移动至采样点后，控制所述深度相机同时采集患者背部的深度信息和rgb图像；同时更新深度相机初始位置为当前采样点；

23、步骤4，判断当前采样点到初始目标腧穴位置的距离是否大于预设距离阈值；

24、若大于，则重复步骤2-3；

25、若不大于，则向所述穴位定位装置发送目标腧穴的空间位姿三维坐标更新请求；在接收到所述穴位定位装置发送的更新后的目标腧穴的空间位姿三维坐标后，根据深度相机初始位置和目标腧穴的空间位姿三维坐标生成控制指令，向所述机械臂下发控制指令，以控制机械臂移动至更新后的目标腧穴位置；

26、其中，所述机械臂移动过程中，所述穴位定位装置每接收到一次深度信息和rgb图像后，累计采样次数，并执行前述的基于机器视觉的背部穴位定位方法的步骤，获取背部坐标系下的目标腧穴坐标，结合目标腧穴坐标对应的深度信息和机械臂坐标系与相机坐标系之间的变换关系，计算目标腧穴在机械臂坐标系下的空间位姿三维坐标；

27、当接收到所述智能控制模块发送的目标腧穴的空间位姿三维坐标更新请求后，将本次获得的背部坐标系下的目标腧穴坐标与历史获得的背部坐标系下的目标腧穴坐标进行融合计算，得到背部坐标系下的目标腧穴融合坐标，结合目标腧穴融合坐标对应的深度信息和机械臂坐标系与相机坐标系之间的变换关系，计算目标腧穴在机械臂坐标系下的空间位姿三维坐标，并发送给所述智能控制模块；

28、目标腧穴融合坐标计算公式如下：

29、

30、式中，pi表示第i次采样获得的背部坐标系下的目标腧穴坐标，pf表示融合坐标，n为累计的采样次数；

31、步骤5，在机械臂移动至更新后的目标腧穴位置后，控制所述深度相机采集患者背部的深度信息和rgb图像，基于深度信息调节机械臂姿态，使超声波探头垂直于目标腧穴，且距离目标腧穴的距离为预设距离。

32、第三方面提供一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如前述的基于机器视觉的背部穴位定位方法对应的操作。

33、第四方面提供一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如前述的基于机器视觉的背部穴位定位方法对应的操作。

34、本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明利用深度学习的实例分割算法以及深度学习的关键点检测算法分别获取了第一腧穴坐标和第二腧穴坐标，并通过加权融合的方式获得最终腧穴坐标，两种定位方式的融合提高了穴位定位精度，减少了定位误差。

35、在基于深度学习的关键点识别算法获取第二腧穴坐标的过程中，根据实际情况动态设定单位等身寸，从而实现了对不同人体的个性化和精准化腧穴智能定位。

36、本发明提供的排痰机器人利用超声波的振动促进痰液在呼吸道内的移动和排出，实现了自动排痰，与传统推拿排痰以及拍打排痰方式相比，超声波振动可以确保整个工作过程中的力度一致性，且可以减少传统推拿排痰以及拍打排痰给患者带来的痛感和不适，提高了患者的舒适度；另外，整个过程中无需人工现场干预，减少了由于患者排痰带来的病情传播隐患。

37、本发明提供的排痰机器人在向目标腧穴移动的过程中，多次采样背部图像，并基于前述的基于机器视觉的背部穴位定位方法获取目标腧穴的二维坐标作为本次采样坐标；基于多次采样坐标融合更新目标腧穴位置；与传统的基于初始目标穴位进行路径规划一次运动到位相比，本发明利用移动过程中获取的多个目标腧穴位置动态调整最终超声排痰作用位置，使最终超声排痰作用位置与实际目标腧穴位置的误差更小，从而使得超声波振动范围能有效覆盖目标穴位，提高后续治疗的有效性。

38、进一步的，本发明获得综合腧穴坐标后，还计算目标腧穴融合有效作用区域半径，从而便于超声波排痰时选择超声波探头，以使超声波探头可以覆盖腧穴的有效作用区域，提高超声排痰效率和效果。