一种基于任务语义矩阵的机器人避障方法

本发明涉及机器人任务规划及路径规划领域，具体涉及一种基于任务语义矩阵的机器人避障方法。

背景技术：

1、工作于以人为中心的非确定场景中的服务机器人需要具备处理任务级指令的能力，以满足非专业操作人员的使用需求。任务型/模糊化的操作指令对机器人对环境的感知提出了更高的要求，而根据任务指令自主识别出场景中的目标物与障碍物实现避障操作也成为了服务机器人必备的能力之一。

2、现有的机器人避障算法研究仍是传统的识别-规划两个独立的过程，如专利no.cn110682286a和专利no.cn110780670a，此种模式没有将场景中的语义信息与任务信息结合，在面对家居环境时很难将各类场景分类穷举，且编程负荷较大，增加非专业操作人员的操作负荷。

3、机器人任务规划和机器视觉一直是机器人实现智能化、自动化研究热点之一。然而现有的研究面向的场景大都是针对工业机器人的特定任务周期下的固定任务场景，或者是服务机器人固定任务的动态目标场景，很难用来处理服务机器人所面临的任务对象的随机性问题。因此，亟待研发一种非专业人员易操作的、实现从任务到目标物与障碍物划分-避障规划-操作-反馈的自主避障算法，实现服务机器人面向任务级操作指令时的精准、高效、准确地操作。

技术实现思路

1、发明目的：本发明的目的是为了解决现有技术中的不足，提供一种基于任务语义矩阵的服务机器人智能避障方法，采用本发明的技术方案，能够很好的满足服务机器人从任务指令到避障操作的自动化操作需求，提升服务机器人操控的易用性。

2、技术方案：本发明所述的一种基于任务语义矩阵的机器人避障方法，包括如下步骤：

3、(1)将机器人操作功能按照petri网规则建立常见任务动素库，借助petri网络将操作任务分解到包含操作对象的动素级动作序列，存入状态机，并将动作序列所涉及到的目标语义矩阵序列通过ros master发布到系统中；

4、(2)订阅步骤(1)中发布的目标语义矩阵，以此为依据借助预先训练的语义切割模型完成场景点云的切割形成目标点云，结合步骤(1)中状态机信息获取目标物语义，重新合成任务语义点云；

5、(3)求解步骤(2)中任务语义点云中的目标物和障碍物尺寸，借助fcl库生成各自的碰撞包围盒，目标物包围盒与障碍物包围盒与机器人包围盒的最小距离计算后实时通过ros master发布到系统中；

6、(4)订阅步骤(3)中的目标物包围盒与机器人包围盒的最小距离作为状态机的输入，判断关键操作的执行状态；实时订阅步骤(3)中的障碍物包围盒与机器人包围盒最小距离通过路径规划实现动态避障。

7、在一些实施方式中，步骤(1)具体包括：

8、根据训练的点云切割模型中的语义种类m定义目标语义矩阵维度m×1，目标语义矩阵中元素为0或者1；

9、元素值随子任务状态机切换而更新，初始化为s＝[0,0,0,…0]；

10、根据petri网规则将任务进行分解，子任务中包含目标语义。

11、在一些实施方式中，步骤(2)具体包括：根据目标语义矩阵结合训练的模型完成rgb图像的语义切割，生成语义蒙版。

12、在一些实施方式中，步骤(2)还包括：对语义蒙版进行相应的变换。

13、在一些实施方式中，步骤(2)还包括：目标点云的边界包围盒求解过程，具体包括：

14、首先通过计算点集协方差矩阵σ，并通过σ的特征值与特征向量求取点云x，y，z三个主方向；然后在通过计算的质心和主方向将点云转化到原点，通过最大值和最小值确定点云集的顶点，将点云集的顶点与点云区域框进行对比，求出包围盒的顶点。

15、在一些实施方式中，还包括：通过求出的包围盒且随着点云信息实时更新，以适应动态避障或者操作状态的更新的需求。

16、在一些实施方式中，步骤(3)中先将任务语义点云借助如下公式转换到机器人坐标系：

17、

18、其中，为相机到机器人基坐标的变换矩阵，pb表示转换后的点云坐标，p为合成后的任务语义点云。

19、在一些实施方式中，步骤(3)具体包括：根据目标点云中建立的包围盒，同时借助fcl库实现最近点搜索和最近距离计算，通过距离阈值的方式借助轨迹规划算法实现静态、动态避障。

20、有益效果：本发明的一种基于任务语义矩阵的服务机器人智能避障方法，通过任务语义实现机器人执行人的任务级指令，并通过任务语义矩阵实现障碍物与目标物的自主识别，并实现子任务快速切换，子任务间切换耗时不超过0.25s；此外此发明通过机械臂拓展固定关节的方式实现抓握后的目标物与场景中障碍物的避障操作，从视觉识别抓握完成到固定关节拓展不超过19ms。

技术特征：

1.一种基于任务语义矩阵的机器人避障方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：步骤(1)具体包括：

3.根据权利要求1所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：步骤(2)具体包括：根据目标语义矩阵结合训练的模型完成rgb图像的语义切割，生成语义蒙版。

4.根据权利要求3所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：步骤(2)还包括：对语义蒙版进行相应的变换。

5.根据权利要求4所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：步骤(2)还包括：目标点云的边界包围盒求解过程，具体包括：

6.根据权利要求5所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：还包括：通过求出的包围盒且随着点云信息实时更新，以适应动态避障或者操作状态的更新的需求。

7.根据权利要求1所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：步骤(3)中先将任务语义点云借助如下公式转换到机器人坐标系：

8.根据权利要求1所述的一种基于任务语义矩阵的机器人避障方法，其特征在于：步骤(3)具体包括：根据目标点云中建立的包围盒，同时借助fcl库实现最近点搜索和最近距离计算，通过距离阈值的方式借助轨迹规划算法实现静态、动态避障。

技术总结本发明公开了一种基于任务语义矩阵的机器人避障方法，该方法是利用petri网将任务分解为状态机可识别的子任务序列及相关的目标物矩阵；根据目标矩阵结合语义切割合成任务场景点云；通过计算任务场景点云中的目标物及与障碍物边界，借助FCL库自动生成包围盒；机器人将实时计算的自身包围盒与任务场景包围盒的最小距离进行计算并跟随状态机实时更新实现动态避障；最后通过状态机关键状态的目标物与机器人末端执行器的距离关系实现抓取状态的理解。本发明能够根据任务自主判断场景中物体在任务中的属性，实验证明本发明自主避障，障碍物更新响应迅速。技术研发人员：王海鹏受保护的技术使用者：江苏工程职业技术学院技术研发日：技术公布日：2024/7/15