穿刺机器人语音操控系统、操控方法及穿刺机器人系统与流程

本发明涉及人工智能领域，尤其涉及一种穿刺机器人语音操控系统、操控方法及穿刺机器人系统。

背景技术：

1、医疗穿刺机器人是一种能够在医疗过程中进行穿刺操作的机器人。它可以通过控制机械臂的运动，精确地定位到需要穿刺的部位，并进行穿刺操作。这种机器人可以减少手术过程中的误差，提高手术的精度和安全性。目前，有许多公司和研究机构正在研发医疗穿刺机器人，以提高医疗技术水平和改善患者的治疗效果。

2、当前穿刺机器人的操作不便，体现在以下两个方面：首先，医生与机器人之间的接触会破坏无菌要求，存在感染风险；其次，为了防止机器人的误操作对病人或医生造成伤害，当前的手术机器人普遍加入了某种形式的保险措施，例如医生必须要踩下踏板时机械臂才能够移动。这给操作带来了很大的不便。在手术过程中，需要医生踩踏脚踏板、操控手柄和触控屏等，以控制机器臂开展手术，该种操作方式，一是会破坏手术过程中的无菌环境，存在感染风险，二是增加医生的操作步骤，更多操作便意味着更多的术中风险。因此医生与穿刺机器人之间需要一种更为便捷高效的交互操作方式，以便进一步提高手术过程中的安全性。

3、以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。

技术实现思路

1、本发明的目的是提供一种针对穿刺机器人的改进的语音操控技术方案，基于声纹识别和反馈后的二次确认，严格执行穿刺机器人的语音操控。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种穿刺机器人语音操控系统，包括以下模块：

4、语音采集模块，其被配置为采集语音信号；

5、语音识别模块，其被配置为采用nlp技术将所述语音采集模块所采集到的语音信号转换为文本信息；

6、处理模块，其被配置为提取所述语音采集模块所采集到的语音信号的声纹特征，从中匹配出符合预设目标声纹的语音信号，并从所述语音识别模块所转换得到的文本信息中匹配出与符合预设目标声纹的语音信号相对应的文本信息，并从中提取出关键词以生成潜在指令文本信息；

7、所述处理模块预存有预设指令集合，当所述潜在指令文本信息属于所述预设指令集合，则将该潜在指令文本信息发送至反馈模块；

8、所述反馈模块被配置为将接收到的潜在指令文本信息以文字或语音的形式进行反馈；

9、若所述语音采集模块再次采集到的语音信号为预设的确认回复信号，则所述处理模块将该潜在指令文本信息或根据其生成的运动指令发送至运动控制模块；

10、所述运动控制模块被配置为根据所述潜在指令文本信息或运动指令生成用于规划穿刺机器人运动的控制指令。

11、进一步地，承前所述的任一技术方案或多个技术方案的组合，在所述反馈模块反馈信息之后，所述语音采集模块再次采集到语音信号，且所述语音识别模块将其转换成文本信息；

12、所述处理模块判断再次采集到的语音信号的声纹特征是否符合预设目标声纹或是否为同一声纹；

13、若再次采集到的语音信号符合预设目标声纹或为同一声纹，且其对应的文本信息属于预设的确认回复指令集合，则确定再次采集到的语音信号为预设的确认回复信号。

14、进一步地，承前所述的任一技术方案或多个技术方案的组合，在所述处理模块提取声纹特征之前，还包括：

15、确定所述语音识别模块所转换得到的文本信息是否属于预设的停止指令集合，若是，则所述处理模块跳过提取声纹特征的步骤，而直接向所述运动控制模块发送停止运动的指令。

16、进一步地，承前所述的任一技术方案或多个技术方案的组合，在所述处理模块匹配出与符合预设目标声纹的语音信号相对应的文本信息之后、且生成潜在指令文本信息之前，还包括：

17、确定所述与符合预设目标声纹的语音信号相对应的文本信息是否属于预设的停止指令集合，若是，则所述处理模块跳过生成潜在指令文本信息的步骤，而直接向所述运动控制模块发送停止运动的指令。

18、进一步地，承前所述的任一技术方案或多个技术方案的组合，在所述处理模块向所述运动控制模块发送停止运动的指令后，所述反馈模块反馈紧急停止的通知消息。

19、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述穿刺机器人语音操控系统还包括声纹注册模块，其被配置为预先录入一种或多种目标声纹；

20、所述处理模块将提取到的声纹特征与所述声纹注册模块录入的目标声纹进行比对，若比对出两者相似度达到预设的比例阈值，则确定该语音信号为符合预设目标声纹的语音信号。

21、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述运动控制模块生成用于驱动穿刺机器人的控制指令包括：

22、所述运动控制模块根据所述潜在指令文本信息或所述运动指令为所述穿刺机器人规划运动轨迹。

23、进一步地，承前所述的任一技术方案或多个技术方案的组合，若所述语音采集模块所采集到的语音信号的声纹特征不符合预设目标声纹，或者，所述潜在指令文本信息不属于所述预设指令集合，则停止对该信号或信息作后续处理操作。

24、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述穿刺机器人语音操控系统还包括语音唤醒模块，其被配置为响应于在语音操控系统未启动的状态下，利用预设的唤醒词句的语音，唤醒所述语音操控系统。

25、根据本发明的另一方面，本发明提供了一种受语音操控的穿刺机器人系统，包括穿刺机器人及如上所述的穿刺机器人语音操控系统；

26、所述穿刺机器人包括机械臂、设置在所述机械臂上的穿刺末端、用于驱动所述机械臂移动的驱动机构，所述驱动机构与所述穿刺机器人语音操控系统的运动控制模块电连接。

27、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述穿刺机器人系统还包括与所述语音操控系统电连接的摄像装置，所述摄像装置被配置为拍摄所述穿刺末端和患者的图像，所述语音操控系统根据所述摄像装置拍摄的图像确定所述穿刺末端与患者之间的相对位置关系。

28、根据本发明的另一方面，本发明提供了一种穿刺机器人语音操控方法，包括以下步骤：

29、采集语音信号；

30、采用nlp技术将采集到的语音信号转换为文本信息；

31、提取采集到的语音信号的声纹特征，从中匹配出符合预设目标声纹的语音信号，并从转换得到的文本信息中匹配出与符合预设目标声纹的语音信号相对应的文本信息，并从中提取出关键词以生成潜在指令文本信息；

32、当所述潜在指令文本信息属于预存储的预设指令集合，则将该潜在指令文本信息以文字或语音的形式进行反馈；

33、若再次采集到的语音信号为预设的确认回复信号，则根据该潜在指令文本信息生成用于驱动穿刺机器人的控制指令。

34、进一步地，承前所述的任一技术方案或多个技术方案的组合，在提取声纹特征之前，还包括：

35、确定转换得到的文本信息是否属于预设的停止指令集合，若是，则跳过提取声纹特征的步骤，而直接发送停止运动的指令；

36、或者，在匹配出与符合预设目标声纹的语音信号相对应的文本信息之后、且生成潜在指令文本信息之前，还包括：确定所述与符合预设目标声纹的语音信号相对应的文本信息是否属于预设的停止指令集合，若是，则跳过生成潜在指令文本信息的步骤，而直接向所述运动控制模块发送停止运动的指令。

37、进一步地，承前所述的任一技术方案或多个技术方案的组合，根据该潜在指令文本信息生成用于驱动穿刺机器人的控制指令之前包括：

38、将再次采集到语音信号转换成文本信息；

39、判断再次采集到的语音信号的声纹特征是否符合预设目标声纹或是否为同一声纹；

40、若再次采集到的语音信号符合预设目标声纹或为同一声纹，且其对应的文本信息属于预设的确认回复指令集合，则确定再次采集到的语音信号为预设的确认回复信号。

41、进一步地，承前所述的任一技术方案或多个技术方案的组合，采集语音信号之前，还包括：

42、预先录入一种或多种目标声纹；

43、通过以下方式匹配出符合预设目标声纹的语音信号：将提取到的声纹特征与预先录入的目标声纹进行比对，若比对出两者相似度达到预设的比例阈值，则确定该语音信号为符合预设目标声纹的语音信号。

44、进一步地，承前所述的任一技术方案或多个技术方案的组合，采用openai开源的whisper语音识别模型将语音信号转换为文本信息，且使用python语言提供的asyncio库，以异步处理采集语音信号的任务和其他任务。

45、进一步地，承前所述的任一技术方案或多个技术方案的组合，采集语音信号之前，还包括：录入并存储唤醒词句对应的文本；及提取其中的目标声纹并将其与对应的唤醒词句的文本关联存储；

46、采集到第一个语音信号后，将其转换成文本信息，并提取其中的声纹特征；查找目标声纹和与之关联的唤醒词句的文本，若转换得到的文本信息与所述唤醒词句的文本匹配，且提取到的声纹特征与所述目标声纹匹配，则启动穿刺机器人的语音操控。

47、进一步地，承前所述的任一技术方案或多个技术方案的组合，在采集语音信号之前，还包括：预先录入穿刺部位的穿刺路径，并确定其对应的路径起点；

48、若所述潜在指令文本信息为相关于执行穿刺的信息，则在再次采集到确认回复信号后，所述运动控制模块生成控制指令，以使穿刺机器人的穿刺末端移动到所述路径起点和/或沿着所述穿刺路径移动。

49、根据本发明的再一方面，本发明提供了一种计算机可读存储介质，用于存储程序指令，所述程序指令被配置为运行而执行如上所述的方法的步骤。

50、根据本发明的再一方面，本发明提供了一种电子设备，包括处理器和存储器，其中，所述存储器用于存储程序指令，所述处理器被配置为运行所述程序指令，其特征在于，所述程序指令被运行而执行如上所述的方法的步骤。

51、本发明提供的技术方案带来的有益效果如下：

52、a.基于声纹识别和反馈后的二次确认，严格执行穿刺机器人的语音操控；

53、b.对穿刺机器人语音唤醒、语音操控的方式，有效降低了术中的细菌感染风险；

54、c.取代传统的脚踏开关、操控手柄等辅助方式，语音操控更便捷高效，简化手术步骤，提高手术安全性。