一种基于视觉和IMU双重定位的智能喂食机器人

本发明涉及医疗器械领域，尤其是涉及一种基于视觉和imu双重定位的智能喂食机器人。

背景技术：

1、中风、多发性硬化、帕金森等疾病导致这些老人无法自行进食，生活质量严重下降，需要借助他人帮助进食。为了缓解老年人照护压力，改善这部分老人的生活质量，有必要研发一款辅助喂食机器人，帮助他们实现自主进食。然而，现有的喂食机器人的定位普遍采用纯视觉识别的方法，视觉识别使用的机器学习模型需要大量的算力支持，计算平台硬件成本较高，并且难以做到高速的实时响应，使用体验不佳。此外，现有的喂食机器人由于缺乏对障碍物的感知能力，在发生意外碰撞等突发事件时可能会对使用者造成严重的人身伤害，存在着一定的安全隐患，因此进食过程中仍然需要照护人员的陪同，其应用场景受限。

技术实现思路

1、针对现有技术存在的上述问题，本申请提供了一款基于视觉和imu双重定位的智能喂食机器人，不仅减轻了对图像处理的算力需求，降低喂食机器人的硬件成本，还利用避障路径规划算法、导纳控制算法等方法有效地提高了喂食过程中的安全性，具有较好的应对突发碰撞事件的能力。

2、本发明的技术方案如下：

3、一款基于视觉和imu双重定位的智能喂食机器人，包括数据处理器1、双目相机2、喂食机械臂3、末端喂食器4；所述双目相机2与数据处理器1固定连接，采集口型图像数据并发送给数据处理器1；所述数据处理器1根据口型图像数据对口型进行定位和分析，并向喂食机械臂3发出动作指令；所述喂食机械臂3的底部与数据处理器1固定连接，顶部与末端喂食器4连接；喂食机械臂3由数量不少2的关节组成，外部包裹柔软材料；喂食机械臂3接收来自数据处理器1的动作指令，根据动作指令转动各个关节、将末端喂食器4移动到指定位置，并将各个关节的力矩、转动角度、角速度、角加速度发送给数据处理器1；

4、包括穿戴式饭托5；所述穿戴式饭托5佩戴在颈部，用于接住喂食过程中撒漏的食物；

5、穿戴式饭托5的内部包括imu传感器；所述imu传感器采集头部的运动数据，并通过蓝牙发送给数据处理器1；所述运动数据包括加速度和转动角度，即头部加速度和头部转动角度；

6、数据处理器1根据口型图像数据和运动数据计算得到口部的空间位置，步骤如下：

7、s1-1、根据双目相机2的口型图像数据计算得到口部的三维空间坐标，即初始空间位置；

8、s1-2、对头部加速度进行积分，得到头部位移；

9、s1-3、根据头部位移和头部转动角度对初始空间位置进行修正，得到口部的空间位置；

10、喂食的步骤如下：

11、s2-1、等待“开始喂食”的语音指令或手动遥控指令；如果接收到指令，就执行s2-2，否则继续等待；

12、s2-2、双目相机2采集口型图像数据并发送给数据处理器1；

13、s2-3、数据处理器1根据口型图像数据识别出障碍物信息，并判断是否处于张口状态；如果处于张口状态，就执行s2-4，否则执行s2-2；

14、s2-4、数据处理器1根据口型图像数据计算出口部的空间位置；

15、s2-5、喂食机械臂3根据s2-4的空间位置、s2-3的障碍物信息以及预先设定的禁入区域，自动规划运动路径和喂食动作；

16、s2-6、喂食机械臂3沿着动作路径执行喂食动作；

17、s2-7、如果口部的空间位置或张口状态发生了变化，就执行s2-2，否则执行s2-8；

18、s2-8、如果已经完成所有喂食动作，就结束喂食流程，否则执行s2-6。

19、进一步的，s2-6包括以下步骤：

20、s2-6-1、喂食机械臂3获取各个关节的运动参数，即转动角度、角速度、角加速度，并根据上述运动参数计算各个关节的力矩实际值；

21、s2-6-2、根据喂食机械臂3的动力学模型计算各个关节的力矩期望值；将各个关节的力矩期望值与力矩实际值相减，得到力矩偏差值；根据各个关节的力矩偏差值计算偏差指标δ：

22、

23、其中下标n是各个关节的编号，τ是外力作用下在各个关节位置产生的力矩偏差值，w是对不同关节位置设定的权重；

24、s2-6-3、设定一个误差基准值δerr和一个误差最大值δa，根据δ与δerr、δa的差值调节喂食机械臂3的动作，具体如下：

25、如果δ≤δerr，就认为喂食机械臂3运行正常，处理措施是喂食机械臂3继续沿预定路径运动；

26、如果δerr<δ≤δa，就认为喂食机械臂3处于异常状态，但是与外界障碍的接触力比较小，处理措施是喂食机械臂3停留在当前位置，直到外界障碍被排除；

27、如果δa<δ，就认为喂食机械臂3处于异常状态，而且与外界障碍的接触力比较大，处理措施是喂食机械臂3移动到安全位置，使得各个关节的力矩实际值保持在安全范围内，直到外界障碍被排除。

28、进一步的，所述安全位置的计算方法如下：

29、喂食机械臂3的导纳控制律为：

30、

31、其中m是加速度项对应的质量参数，b是速度项对应的阻尼参数，k是位移项对应的弹性参数，fenv是机器人与外界环境碰撞产生的干扰力，xe是安全位置；

32、根据上式得到安全位置xe的加速度：

33、

34、对进行积分，得到安全位置xe：

35、

36、本发明有益的技术效果在于：

37、(1)提出了一种利用视觉和imu结合的定位方法。该方法依靠imu传感器对使用者头部的运动情况进行跟踪，并通过引入视觉定位解决imu传感器无法获得绝对位置的问题，同时消除了imu传感器由于数据积分而产生的随时间增长的累积误差。与现有的纯视觉定位方法相比，该方法减少了相同时间内需要处理的图像数量，减轻了对数据处理器的算力需求，从而降低喂食机器人计算平台的硬件成本，并利用imu传感器高精度、实时性的优势提高了喂食机器人在喂食过程中对口部位置的跟踪能力。

38、(2)通过对场景的障碍物进行预先建模，结合内置路径规划算法，让喂食机器人的机械臂能够主动避开喂食环境中的各类障碍物，保障机器人的顺利运行。通过在机械臂外部包裹柔软材料，并内置导纳控制算法，实现主被动相结合的防碰撞效果。在面对突发的意外碰撞时能够最大程度地保障使用者的安全，同时减少了碰撞对喂食机器人的损害。

39、(3)通过对机械臂进行精确的动力学建模，使其能够识别出运动过程各个关节力矩、转角等参数中出现的异常数值，及时发现与外界阻碍产生接触的情况。机械臂此时将暂时不再尝试移动到下一目标点，而是把各个关节的扭矩控制在安全扭矩范围内，使得机械臂能够自然地顺从外界阻碍被推开，从而让机械臂与外界的接触力保持在较小数值，避免了机器人运动受阻时可能会产生的人机伤害。在外部阻碍撤去后，机械臂会尝试回到原先路径继续完成喂食工作。

技术特征：

1.一款基于视觉和imu双重定位的智能喂食机器人，包括数据处理器(1)、双目相机(2)、喂食机械臂(3)、末端喂食器(4)；所述双目相机(2)与数据处理器(1)固定连接，采集口型图像数据并发送给数据处理器(1)；所述数据处理器(1)根据口型图像数据对口型进行定位和分析，并向喂食机械臂(3)发出动作指令；所述喂食机械臂(3)的底部与数据处理器(1)固定连接，顶部与末端喂食器(4)连接；喂食机械臂(3)由数量不少2的关节组成，外部包裹柔软材料；喂食机械臂(3)接收来自数据处理器(1)的动作指令，根据动作指令转动各个关节、将末端喂食器(4)移动到指定位置，并将各个关节的力矩、转动角度、角速度、角加速度发送给数据处理器(1)；其特征在于：

2.根据权利要求1所述的一款基于视觉和imu双重定位的智能喂食机器人，其特征在于，s2-6包括以下步骤：

3.根据权利要求2所述的一款基于视觉和imu双重定位的智能喂食机器人，其特征在于，所述安全位置的计算方法如下：

技术总结本发明公开了一种基于视觉和IMU双重定位的智能喂食机器人，包括数据处理器1、双目相机2、喂食机械臂3、末端喂食器4和穿戴式饭托5；穿戴式饭托5设置了采集头部运动数据的IMU传感器；数据处理器1根据头部运动数据和双目相机2采集的口型图像数据计算口部的空间位置，喂食机械臂3根据该位置自动规划运动路径和喂食动作，将末端喂食器4送到口部。本发明将视觉识别与IMU相结合，利用视觉定位解决了IMU传感器无法获得绝对位置的问题，消除了IMU传感器的积分累积误差，同时利用IMU传感器高精度、实时性的优势提高了喂食机器人对口部位置的跟踪能力，从而只需更少的图像数量和硬件算力就能获得与纯视觉定位方法效果相当的跟踪能力。技术研发人员：朱睿,靳令经,袁清,张锴,杨轶婷,施昕伟受保护的技术使用者：同济大学技术研发日：技术公布日：2024/8/5