一种取餐系统及方法与流程

本发明属于智能取餐，具体涉及一种取餐系统及方法。

背景技术：

1、随着自动化、智能化技术的发展，机械臂等多输入多输出的复杂系统已经被广泛用于各个行业，可以实现物品的搬运、放置、转移等作业，但在餐饮行业中，机械臂需要在无序的、非结构化的环境中进行夹取、转运和识别的工作，面对环境的多变和机械臂操作的复杂，导致机械臂需要事先规划好工作方式来应对不同的工作环境和工作状态，这样也就需要提高机械臂的控制精度和要求，同时还要使机器人的机械臂具有更强的认识能力和执行力，所以需要提供一种能够提高机器人的智能性和自适应性的控制方法来解决上述问题。

技术实现思路

1、本发明的目的是：旨在提供一种取餐系统及方法，用于解决背景技术中存在的问题。

2、为实现上述技术目的，本发明采用的技术方案如下：

3、一种取餐方法，其特征在于，包括以下步骤：

4、步骤1：语音识别，顾客通过麦克风进行语音输入点餐信息，语音识别模块对语音进行识别转化为自然语言；

5、步骤2：自然语言处理，对顾客输入的自然语言进行处理，语言处理模块将其转变为可供机器识别的机器策略指令；

6、步骤3：检测定位，通过图像识别模块确定餐品，对餐品进行定位，返回系统定位信息；

7、步骤4：路径规划，基于检测定位信息，中央处理模块规划出机器臂的运动轨迹，找出最优路径；

8、步骤5：路径执行，基于在线规划给出的指令，机器臂自动化地完成取餐操作。

9、所述步骤2利用独立预训练llm框架chatgpt3.0和vlm框架clip来分别进行自然语言处理和计算机的视觉语言处理，具体步骤为：

10、步骤2.1：llm的集成，通过预训练的llm对步骤1中输入的自然语言进行处理，然后将输出映射到机器人的可操作命令或查询，llmnode函数描述为一个从自然语言输入到机器人动作的映射，即llmnode:其中l表示自然语言输入的空间，a表示机器人可能的动作集合，公式如下：

11、llmnode(l)＝rem(lm(l),sen(data)),

12、其中lm(l)是语言模型对输入li∈l的解释，sen(data)表示通知上下文命令的传感器数据，然后rem(robotexecutionmechanism)将其转换为机器人的可执行命令；

13、步骤2.2：vlm的集成，使用openai对比语言图像预训练模型(clip)来对提供的观察源(英特尔realsensed435i)的rgb图像流以及图像中对象的文本描述，

14、

15、所述步骤3通过单目视觉系统获取餐品图像，然后对餐品进行检测定位，具体步骤为：

16、步骤3.1：追踪，使用fast和brief算法从图像中提取特征，目的是使用orb算法；

17、步骤3.2：映射，估计了特征的位置，使用ba衍生出一个局部地图，然后从剩余的关键帧中搜索不匹配的orb点的新等量点，对新点进行三角剖分；

18、步骤3.3：循环结束，orb-slam的最后一步是将获得的局部地图与最后的关键帧进行比较，以优化待合并的重复点，然后orb-slam继续搜索下一个关键帧；

19、步骤3.4：点云聚类，聚合云中的邻居点，这些点可能从以下几个视频帧中获得，以便检测描述同一物体的所有点；

20、步骤3.5：边界框评估，假设边界框是矩形进而考虑分配给聚类的所有点作为pca的数据源，归一化后计算协方差矩阵，并对其进行特征分解，得到在二维情况下的两个特征向量值对

21、所述步骤4利用关节角度差分进化优化的实时迭代你运动学求解器(ik解算器)为机械臂规划、选择并执行一条通向所选抓取轨迹的无碰撞轨迹，具体步骤为：

22、步骤4.1：首先抓取轨迹的路径点(svw,ch)ij，然后转换为机器人的完整关节空间中的轨迹：

23、其中i＝1...mj

24、手的关节配置和臂的关节配置其中na是臂关节的数量；

25、步骤4.2：通过任务空间误差来衡量，手腕姿态svw与由前向运动学映射从近似解计算的姿态：

26、

27、其中，lin(·)提取参数中的r3平移向量，ang(.)提取参数中的so四元数，‖·‖是欧几里得范数，·是四元数点积，a∈<0...1>是权衡线性和角度距离的系数。

28、所述步骤5将加载先前的规划路径，并进行初始检查，确保路径无碰撞且运动学上可行，然后执行路径，具体步骤为：

29、步骤5.1：找到从当前机器臂配置cc的接近路径点c1r的两种跟踪轨迹然后根据cc和c1r之间的距离，决定执行的轨迹：

30、

31、其中是控制全局和局部规划切换的阈值；

32、步骤5.2：机器人在每个控制周期结束时执行跟踪轨迹尝试停留在当前抓取轨迹的接近路径点，直至跟踪被中断。

33、本发明能够通过语音识别和对餐品的识别来控制机械臂的操作，同时利用路径规划选择和执行一条同向所选抓取过程无碰撞的最近轨迹，提高机械臂的操作效率、降低成本，为商业餐饮带来巨大的增益。

技术特征：

1.一种取餐方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种取餐方法，其特征在于：所述步骤2利用独立预训练llm框架chatgpt3.0和vlm框架clip来分别进行自然语言处理和计算机的视觉语言处理，具体步骤为：

3.根据权利要求1所述的一种取餐方法，其特征在于：所述步骤3通过单目视觉系统获取餐品图像，然后对餐品进行检测定位，具体步骤为：

4.根据权利要求1所述的一种取餐方法，其特征在于：所述步骤4利用关节角度差分进化优化的实时迭代你运动学求解器为机械臂规划、选择并执行一条通向所选抓取轨迹的无碰撞轨迹，具体步骤为：

5.根据权利要求1所述的一种取餐方法，其特征在于：所述步骤5将加载先前的规划路径，并进行初始检查，确保路径无碰撞且运动学上可行，然后执行路径，具体步骤为：

6.一种取餐系统，其特征在于：采用如权利要求1所述一种取餐方法进行处理，包括语音识别模块和语言处理模块，所述语音识别模块的输出端与语言处理模块的输入端连接，所述语言处理模块的输出端和图像识别模块与中央处理模块输入端连接，所述中央处理模块与机械臂连接。

7.根据权利要求6所述的一种取餐系统，其特征在于：所述语言处理模块包括llmnode模块、clipnode模块和remnode模块；

技术总结本发明属于智能取餐技术领域，具体涉及一种取餐方法，包括以下步骤：步骤1：语音识别，顾客通过麦克风进行语音输入点餐信息；步骤2：自然语言处理，将其转变为可供机器识别的机器策略指令；步骤3：检测定位，通过图像识别模块确定餐品；步骤4：路径规划，找出最优路径；步骤5：路径执行，机器臂自动化地完成取餐操作，本发明能够通过语音识别和对餐品的识别来控制机械臂的操作，同时利用路径规划选择和执行一条同向所选抓取过程无碰撞的最近轨迹，提高机械臂的操作效率、降低成本，为商业餐饮带来巨大的增益。技术研发人员：陈璟,聂骏荣,雷渠江受保护的技术使用者：湖大粤港澳大湾区创新研究院（广州增城）技术研发日：技术公布日：2024/11/14