一种矿下巡检排险机器人目标检测方法及系统

本发明涉及智能机器人领域，尤其涉及一种矿下巡检排险机器人目标检测方法及系统。

背景技术：

1、目前用于矿下的探测机器人主要是智能巡检机器人，其吊挂在轨道上在巷道内往复运行，无法自由在矿下自由巡检。另外，智能巡检机器人实时采集现场的图像使用的设备为相机，存在一定的局限性，如(1)受光照条件限制：相机的性能受到光照条件的影响，夜间或低光条件下可能表现不佳。(2)深度信息不直接可得：相机可以提供二维图像信息，但是要获得深度信息需要额外的处理和计算，这可能会增加系统的复杂性。(3)对遮挡敏感：相机对于遮挡物体可能会造成视觉死角，这可能会导致遮挡后的物体无法被检测到或识别。

技术实现思路

1、为了解决上述问题，本发明提出了一种矿下巡检排险机器人目标检测方法及系统。

2、具体方案如下：

3、一种矿下巡检排险机器人目标检测方法，包括以下步骤：

4、s1：通过在矿下巡检机器人前端安装的激光雷达和双目相机分别采集机器人前方的三维点云数据和图像数据；

5、s2：对图像数据进行语义分割，得到图像的语义特征；

6、s3：将三维点云数据与图像的语义特征进行融合，得到图像内各像素的语义特征与点云的映射关系，并从三维点云数据中剔除未有映射关系的点云；

7、s4：对三维点云数据中的各点进行遍历，针对每个点，首先从三维点云数据中搜索其k个近邻点，并基于映射关系得到近邻点对应的语义特征；之后基于k个近邻点的语义特征和k个近邻点相对于与该点的几何偏移，得到该点的特征编码；然后将编码结果作为两个输入，一个输入连续卷积网络中并结合注意力机制以融合语义和几何特征，一个作为点云池化操作的输入；最后将点云池化操作的输出与结合注意力机制的连续卷积网络的输出进行拼接，得到融合后的点云数据；

8、s5：通过融合后的点云数据进行目标检测。

9、进一步的，步骤s1中还包括对采集的三维点云数据进行预处理，预处理包括点云滤波去噪和地面点云分割。

10、进一步的，语义分割时采用deeplabv3+网络进行。

11、进一步的，当点云投影至双目相机时出现两个相机的视场角重叠的情况时，采用以下两种策略中的任一种：一种策略为随机从两个图像中选择一个分割分数向量；另一种策略为通过比较两个分割分数的熵或前两个分数之间的差值来进行选择。

12、一种矿下巡检排险机器人目标检测系统，包括矿下巡检机器人、控制器、激光雷达和双目相机，所述系统实现本发明实施例上述的方法的步骤。

13、进一步的，所述矿下巡检机器人的足部安装有两个动力轮子，通过直驱型关节和轮毂电机驱动技术进行驱动。

14、本发明采用如上技术方案，将激光雷达与双目相机进行融合，大大提高了排险探测的精度和成功率。

技术特征：

1.一种矿下巡检排险机器人目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的矿下巡检排险机器人目标检测方法，其特征在于：步骤s1中还包括对采集的三维点云数据进行预处理，预处理包括点云滤波去噪和地面点云分割。

3.根据权利要求1所述的矿下巡检排险机器人目标检测方法，其特征在于：语义分割时采用deeplabv3+网络进行。

4.根据权利要求1所述的矿下巡检排险机器人目标检测方法，其特征在于：当点云投影至双目相机时出现两个相机的视场角重叠的情况时，采用以下两种策略中的任一种：一种策略为随机从两个图像中选择一个分割分数向量；另一种策略为通过比较两个分割分数的熵或前两个分数之间的差值来进行选择。

5.一种矿下巡检排险机器人目标检测系统，其特征在于：包括矿下巡检机器人、控制器、激光雷达和双目相机，所述系统实现如权利要求1～4中任一所述方法的步骤。

6.根据权利要求5所述的矿下巡检排险机器人目标检测系统，其特征在于：所述矿下巡检机器人的足部安装有两个动力轮子，通过直驱型关节和轮毂电机驱动技术进行驱动。

技术总结本发明涉及一种矿下巡检排险机器人目标检测方法及系统，该方法中包括：采集机器人前方的三维点云数据和图像数据；对图像数据进行语义分割，得到图像的语义特征；将三维点云数据与图像的语义特征进行融合，得到图像内各像素的语义特征与点云的映射关系，并从三维点云数据中剔除未有映射关系的点云；对三维点云数据中的各点进行遍历，针对每个点，结合其近邻点得到特征编码；然后将编码分别输入结合注意力机制的连续卷积网络和点云池化操作；最后将点云池化操作的输出与结合注意力机制的连续卷积网络的输出进行拼接，得到融合后的点云数据；通过融合后的点云数据进行目标检测。本发明大大提高了排险探测的精度和成功率。技术研发人员：林敏,林东升,陈勇庆,范明星,林麟瀚,林登湫,张曙天,王战辉,陈元杰,江华杰,纪志飞受保护的技术使用者：集美大学技术研发日：技术公布日：2024/9/17