一种基于视觉识别的物流系统路径规划方法及系统

本发明涉及物流系统，具体涉及一种基于视觉识别的物流系统路径规划方法及系统。

背景技术：

1、伴随着物流运输智能化时代的到来，自主移动机器人amr相较于传统agv在技术、应用、自动化程度等方面具有更大优势，越来越受到智慧物流领域的重视，视觉slam成本低、获取信息丰富，可大幅提高机器人环境适应能力，因此视觉slam、路径规划技术成为当今物流机器人自主导航研究的重点与热点。

2、仓储物流机器人通过搭载多种传感器，可以实现环境感知、地图构建、精确定位、自主导航等功能，从而完成仓储物流装卸、搬移、分拣工作，进而有效解决物流配送和工业制造行业高度依赖人工、业务高峰期处理货物能力有限等问题，但是，仓储物流机器人在物流配送系统中的路径规划方面还存在以下问题：

3、(1)现有物流系统的路径规划方法利用变换矩阵补偿相机运动，采用向前向后帧间差分方法进行运动物体检测，建立考虑当前关键帧特征点、局部地图点以及虚拟地图点的非线性优化模型完成相机位姿估计，减少动态物体影响，虽然可以判断动态特征点，但是无法获取动态目标精确的轮廓，存在运动目标边界不清晰，对动态目标描述不完整的问题。

4、(2)现有的视觉slam技术融合深度学习神经网络虽然有效提高了动态场景下的定位精度，但是多数融合了二阶语义分割网络，在使用过程中会大量占据计算机内存，导致负载过高对系统实时性影响较大；

5、(3)仓库物流中由于布局受限，无人机器人观测识别的难度较大，在路径规划方面，由于仓库环境的特殊性，对算法运行效率、路径成本和平滑性等指标具有很高要求，在仓库中需要局部路径规划，由于缺少总体方向指引，导致在大尺度场景的路径规划中，易陷入局部最优。

技术实现思路

1、本发明的目的在于提供一种基于视觉识别的物流系统路径规划方法及系统，以解决现有技术中无法获取动态目标精确的轮廓，存在运动目标边界不清晰，对动态目标描述不完整，以及易陷入局部最优的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、本发明提供了一种基于视觉识别的物流系统路径规划方法，包括以下步骤：

4、通过视觉传感器实时获取物流机器人运输的路径环境信息，对所述路径环境信息进行阈值分割、提取后以匹配策略初步筛选路径标签区域，采用yolov5s网络识别所述路径标签区域的动态特征点，获取对应所述动态特征点的标签角点坐标；

5、对所述标签角点坐标构建针孔相机模型，通过线性变换法求解相机位姿，对所述动态特征点实时定位，获取基于所述动态特征点的物流机器人路径地图；

6、采用卷积神经网络模型对所述物流机器人路径地图建立基于仓库环境场景的语义分割网络，在所述语义分割网络内精准识别仓库环境内的物流机器人，获取基于语义分割网络特征融合的地图数据；

7、对所述地图数据采用rf-rrt路径搜索算法进行路径搜索，获取实时的机器人路径数据，对所述机器人路径数据建立三阶贝塞尔曲线拟合最优路径，获取平滑且高效的物流机器人路径轨迹。

8、作为本发明的一种优选方案，通过视觉传感器实时获取物流机器人运输的路径环境信息，对所述路径环境信息进行阈值分割、提取后以匹配策略初步筛选路径标签区域，包括：

9、对所述视觉传感器获取的路径环境信息进行图像帧处理，获取每一帧的图像信息以及对应的时间序列，通过所述时间序列对所述图像信息关联关键帧数据；

10、对所述关键帧数据进行高斯滤波，根据高斯分布的概率密度函数近似生成卷积核，在全域卷积后进行自适应阈值分割，获取所述路径环境信息的图像信息；

11、对所述图像信息采用apriltag识别算法识别目标标签的四个角点，对所述图像信息进行多次识别后获取对应角点坐标的集合pcon，对于所有角点坐标pi∈pcon需满足：

12、

13、其中，umax、umin分别表示角点横像素坐标的最大值、最小值，vmax、vmin分别表示角点纵像素坐标的最大值、最小值，δu_lb、δu_la分别表示角点横像素坐标极差的上界、下界，δv_lb、δv_la分别表示角点纵像素坐标极差的上界、下界；

14、根据对应的所述角点坐标匹配标签区域，获得初步筛选的路径标签区域。

15、作为本发明的一种优选方案，采用yolov5s网络识别所述路径标签区域的动态特征点，获取对应所述动态特征点的标签角点坐标，包括：

16、对所述路径标签区域的关键帧数据进行特征提取获取特征数据，通过yolov5s网络进行目标检测，识别所述关键帧数据中的动态目标区域；

17、对所述动态目标区域的特征数据数据集进行动态目标检测，通过lk光流法追踪所述动态目标区域的数据运动过程，获取t时刻对应所述特征数据的动态运动速度(u，v)，根据所述动态运动速度(u，v)构建特征数据对应时间变化量的动态特征点其表达式为：

18、

19、其中，ix表示特征数据在动态目标区域内沿x轴方向的梯度，iy表示特征数据在动态目标区域内沿y轴方向的梯度，itk表示t时刻特征数据灰度对时间的变化量，ω2表示特征数据的数量；

20、对所述动态目标区域的动态特征点依据时序进行分割提取，对相邻帧之间提取的图像进行匹配及lk光流检测，根据光流方向判断动态物体筛选动态特征点，将筛选后的所述动态特征点进行标记，获取对应的标签角点坐标ptk。

21、作为本发明的一种优选方案，对所述标签角点坐标构建针孔相机模型，通过线性变换法求解相机位姿，包括：

22、将所述标签角点坐标ptk与其在所述视觉传感器构成的相机成像平面上对应的像素坐标ri建立映射关系，其表达式为：

23、

24、其中，α表示相机映射系数，ztk表示t时刻特征数据在相机坐标系中的深度，k表示相机内参矩阵，矩阵表示相机位姿的逆，r1、r2、r3表示位姿变换中的旋转矩阵，x1、y1、z1表示旋转矩阵对应的空间坐标，xω、yω、zω表示t时刻标签角点坐标ptk的空间坐标平移量；

25、对所述像素坐标ri采用apriltag识别算法计算四个角点的像素坐标ri，采用直接线性变换法将所述像素坐标ri代入模型求解，获取相机位姿数据。

26、作为本发明的一种优选方案，根据所述相机位姿数据对动态特征点实时定位，获取基于所述动态特征点的物流机器人路径地图，包括：

27、对所述相机位姿数据按照特征点定位的机制连续获取动态特征点，对所述动态特征点设置apriltag帧编号，根据所述动态特征点对应帧编号的创建时间顺序，从地图中提取两个apriltag帧编号创建关键帧；

28、对所述关键帧进行apriltag识别和定位，若成功识别到标签，系统将定位结果存入缓冲区，直到计算平均位姿时再使用，并将平均位姿信息计入物流机器人路径地图中；

29、在计数状态下，判断系统是否积累完成九帧，此时系统若处于空闲状态下，将系统切换到计数状态，通过识别到的特征点个数、与其它关键帧共同观测特征点的比例，判断该帧是否适合作为关键帧，适合则创建关键帧，将对应的关键帧数据计入物流机器人路径地图中，不适合，则舍弃；

30、若系统处于激活状态，则计算九帧的平均位姿，并连续观测的中间帧作为关键帧，并更新物流机器人路径地图。

31、作为本发明的一种优选方案，采用卷积神经网络模型对所述物流机器人路径地图建立基于仓库环境场景的语义分割网络，获取基于语义分割网络的路径栅格地图，包括：

32、对所述物流机器人路径地图进行数据采集获取物流机器人运输的标签数据集，将所述标签数据集输入卷积神经网络模型进行训练；

33、采用随机批处理的训练机制，设定模型的训练迭代次数，每轮训练之前随机生成图片的训练顺序，所述批处理操作公式为：

34、

35、其中，x表示标签数据集中的数据，e(x)表示标签数据集中批量数据的均值，var(x)表示标签数据集中批量数据的方差，∈表示为防止分母出现零增加的变量，β、γ表示标签数据集中数据线性变换权值，y表示批处理的训练后前一层卷积层的输出通道数；

36、根据训练顺序将训练数据逐点卷积将特征图进行特征融合，组合成新的特征数据，对所述特征数据采用h-swish函数进行激化生成优化后的语义分割网络，获取特征融合的地图数据。

37、作为本发明的一种优选方案，对所述地图数据采用rf-rrt路径搜索算法进行路径搜索，获取实时的机器人路径数据，包括：

38、对所述地图数据进行随机采样，将对应采样点设置为探索树的根节点，根据预设的安全距离对障碍区域进行膨胀，初始化rrt树形数据结构；

39、将所述rrt树的根节点值设置为机器人移动起始位置和目标位置的二维坐标，将对应所述探索树的根节点设置为包含入rrt树根节点相应空间点的无限小矩形；

40、选择规模较小的所述rrt树和探索树作为操作对象，记为a侧，选取另一棵rrt树及其r树作为b侧，获取采样点qsample；

41、在所述a侧rrt树中定位与所述采样点qsample距离最小的叶子节点，在该节点中遍历搜索与所述采样点qsample距离最小的空间点qmin，；

42、遍历从空间点qmin至所述采样点qsample方向上的路径点q1，检查是否经历过障碍区域；

43、若经过障碍区域，则在b侧r树中定位与距离最小的叶子节点，在该节点中遍历搜索与q1距离最小的空间点q2，若该最小距离小于算法设定的阈值，且两点之间的线段不经过障碍区域，则构造连接对{q1，q2}，生成路径序列path；

44、若不经过障碍区域，则生成路径序列path，所述path的初始值即连接对本身，对其中的两个元素分别层层追溯其在相应rrt树上的父节点，并依次录入path中，录入完成后，若path的第一个元素为无人机器人的目的地，则反转path。

45、作为本发明的一种优选方案，对所述机器人路径数据建立三阶贝塞尔曲线拟合最优路径，获取平滑且高效的物流机器人路径轨迹，包括：

46、对每个所述路径序列path在路径的每个节点处设定无人机器人的运动方向，将其它节点的方向设定为该节点前后两线段方向的角平分线；

47、设所述路径序列path中某段路径p1p4的直线长度为l，其三阶贝塞尔曲线前两个控制点p1p2的连线即曲线在首端的切线方向，后两个控制点p3p4的连线即曲线在末端的切线方向，p2由从首端p1向设定运动方向步进l/3获得，p3由从末端p4向设定运动方向的相反方向步进l/3获得；

48、当生成新的节点位置后，通过所述三阶贝塞尔曲线计算新的路径成本，采用metropolis准则判断是否进行路径更新；

49、若某个节点的调整使得路径经过障碍区域，则无视metropolis准则，放弃本次对该节点的调整，保证路径的可行性；

50、若节点的位置成功发生变化，则计算其与下一个节点的距离，如果距离小于阈值，则删除该节点，直至路径最优为止。

51、基于权利要求1-8所述的一种基于视觉识别的物流系统路径规划方法的系统，包括：

52、控制模块，用于处理多源视觉传感数据，实时监测所述无人机器人的路径环境，通过互联网连接物流系统采集实时路径数据；

53、数据采集模块，用于采集所述物流系统机器人的实时传感信息，通过无线网络将所述传感信息传递至所述控制模块进行处理；

54、数据处理模块，处理所述视觉传感信息，提取特征数据融合后输入所述控制模块进行处理；

55、仿真模块，对所述控制模块输出的所述实时路径数据构建仿真平台，实时监测所述路径数据的整体轨迹信息。

56、本发明与现有技术相比较具有如下有益效果：

57、本发明采用apriltag作为视觉标签，对图像进行阈值分割、边界提取等操作，以宽松的匹配策略对标签区域初步筛选，使用识别得到的标签角点坐标，建立针孔相机模型，并使用直接线性变换法求解得到相机位姿，实现标签定位，以标签优先，精炼地图为前提，小范围的进行地图优化、标签间长路段位姿优化及回环位姿优化，通过标签引导定位的运行机制，协调标签和特征点实时定位，获取动态目标精确的轮廓，通过卷积神经网络模型建立场景语义分割网络，使得无人机器人能够利用深度学习方法学习环境特征，在大规模环境下无须人为添加环境路标的状态下实现精准识别。

58、采用rf-rrt算法进行路径搜索，通过r树对地图点进行空间聚类，加速算法中近邻点搜索过程，辅以双树搜索和贪婪生长策略，提高算法效率，避免负载过高对系统实时性产生影响，并且采用三阶贝塞尔曲线为路径曲线平滑模型，通过形态学膨胀将仓库地图转化到考虑避障距离的安全空间，保证路径规划算法的安全性，避免陷入局部最优路径，实现了快速的路径搜索，生成较优且平滑的无人机器人轨迹。