一种自主导航配网带电作业机器人及其工作方法与流程

1.本发明涉及电力机器人领域，具体涉及一种自主导航配网带电作业机器人及其工作方法。


背景技术：

2.目前大多数的配网带电作业机器人是采用固定在机器人手臂上的摄像机视频监控环境，来远程控制机器人手臂进行带电作业，但这种遥操作的工作方式很容易导致位置误差，精度差且安全系数低。中国专利文献110421546a公开了“一种具有自动快换作业工具系统的配网带电作业机器人”，该配网带电作业机器人能够实现配网中作业工具的自动快速更换；但无自主检测识别作业目标等功能，无法适用于复杂环境下的机器人自主导航作业需求。中国专利文献110988586a公开了一种“一种配网带电作业机器人作业精准定位方法及系统”，该配网带电作业机器人能够有效提高作业的定位精度；但不具备快速平稳的运动规划功能。


技术实现要素：

3.为了解决上述问题，本发明提出了一种自主导航配网带电作业机器人及其工作方法，具有自主检测及运动规划功能，通过目标检测模块自主识别复杂环境，精准定位目标；通过运动规划模块根据目标识别结果，规划安全无障碍移动的路径；通过抓取点检测模块有效识别抓取点，以使得抓取组件完成抓取作业任务，解决现有作业机器人无自主检测识别作业目标、无法适应自主导航作业需求的问题。
4.为了实现上述目的，本发明采用如下技术方案：
5.第一方面，本发明提供一种自主导航配网带电作业机器人，包括：机器人本体、目标检测模块、运动规划模块和抓取点检测模块；
6.所述机器人本体上设有抓取组件和视觉平台；
7.所述目标检测模块，用于根据视觉平台获取的视觉数据识别目标信息并重构三维场景，以定位作业目标；
8.所述运动规划模块，通过基于节点控制的最优快速搜索随机树算法，根据作业目标识别结果以节点控制的方式，在三维场景下规划抓取组件的避障运动路线；
9.所述抓取点检测模块，用于识别抓取点的位置坐标，并将其转换为抓取组件的关节角度值，以使得抓取组件根据避障运动路线完成抓取任务。
10.作为可选择的实施方式，所述机器人本体上设有作业平台，所述作业平台上设有绝缘装置，所述抓取组件设于绝缘装置上。
11.作为可选择的实施方式，所述抓取组件包括抓取机械臂和设于抓取机械臂末端的抓取工具，以及辅助抓取机械臂和设于辅助抓取机械臂末端的辅助抓取工具。
12.作为可选择的实施方式，所述抓取机械臂上设有第一深度相机，所述第一深度相机用于获取抓取过程中的视觉监控数据。
13.作为可选择的实施方式，所述视觉平台包括视觉相机和激光雷达，用于获取带电作业场景和外界环境的视觉监控数据。
14.作为可选择的实施方式，所述视觉平台为可伸缩的视觉平台。
15.作为可选择的实施方式，所述视觉相机包括第二深度相机和全景相机。
16.第二方面，本发明提供一种第一方面所述的自主导航配网带电作业机器人的工作方法，包括：
17.根据获取的视觉数据识别目标信息并重构三维场景，以定位作业目标；
18.根据作业目标识别结果，采用基于节点控制的最优快速搜索随机树算法，以节点控制的方式，在三维场景下规划抓取组件的避障运动路线；
19.识别抓取点的位置坐标，并将其转换为抓取组件的关节角度值，以使得抓取组件根据避障运动路线完成抓取任务。
20.作为可选择的实施方式，所述定位作业目标的过程包括，提取视觉数据的图像特征，对图像特征聚类后，以聚类中心作为锚框，基于锚框得到预测框，根据预测框得到包含作业目标大小、作业目标位置和每个类别概率的检测结果。
21.作为可选择的实施方式，所述基于节点控制的最优快速搜索随机树算法为，在快速搜索随机树算法中引入控制因子，根据节点状态值，通过控制因子限制扩展节点的数量，将节点状态值小于控制因子且距离采样节点最近的节点被选择为扩展节点，同时根据障碍物调整控制因子的值以避障。
22.作为可选择的实施方式，所述基于节点控制的最优快速搜索随机树算法为，若节点没有与障碍物发生碰撞，则将采样半径更改新节点和目标终点间的距离；若发送碰撞，则增加采样半径。
23.作为可选择的实施方式，所述基于节点控制的最优快速搜索随机树算法为，在选择父节点时，在采样半径内新节点的周围顶点中确定成本最少的父节点，将新节点连接到树后，重新连接相邻顶点，并判断通过新节点的路径成本是否低于当前路径成本，直到树中包含目标区域中的节点状态或迭代次数达到阈值时停止。
24.作为可选择的实施方式，所述识别抓取点的位置坐标的过程包括，采用轻量级卷积神经网络进行抓取点位置坐标的识别，所述轻量级卷积神经网络包括4个卷积层、2个maxpool层和3个线性层，并采用huber损失函数，且将最后一个线性层划分为三个分支，三个分支分别对应抓取的中心、角度和宽度高度。
25.与现有技术相比，本发明的有益效果为：
26.本发明提供一种具有视觉伺服功能的自主导航配网带电作业机器人及其工作方法，能够通过对环境的自主感知和识别，在配网带电作业环境中自主规划机械臂运动路线，并可有效识别出机械臂抓取点位置，完成自主抓取作业，可以实现无人化全自动自主配网带电作业，智能化程度高。
27.本发明提供的带电作业机器人具有在未知环境中探索并有效识别目标的功能，提出基于ls-yolov4算法的目标检测识别方法，利用机械臂的移动能力，实现对环境的主动感知和目标的主动识别，并利用三维场景重构方法进行数据融合，可以识别目标物、周围干扰障碍及外界复杂环境等信息，精准定位目标。
28.本发明提供的自主导航配网带电作业机器人能够在高电压环境下进行运动规划，
基于nc-rrt*算法，规划机器人快速安全无障碍移动的路径，能够兼顾规划效率和精度，实现机械臂的自主导航，适用于配电线路上的带电作业任务。
29.本发明提供的自主导航配网带电作业机器人基于l-cnn的抓取点检测方法，能够快速完成实时工作任务，带电作业机器人检测到任务目标后，立即向目标移动，检测抓取点并完成抓取操作，精度高，性能可靠。
30.本发明提供的自主导航配网带电作业机器人本体具有绝缘平台和绝缘外壳，可在10kv的高电压环境中带电工作，安全系数高，适合配网带电作业的需求。
附图说明
31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
32.图1为本发明实施例1提供的自主导航配网带电作业机器人本体运动平台硬件结构图；
33.图2为本发明实施例1提供的自主导航配网带电作业机器人导航框架图；
34.图中：1、辅助抓取工具；2、抓取工具；3、辅助抓取机械臂；4、抓取机械臂；5、绝缘装置；6、作业平台；7、第二深度相机；8、全景相机；9、激光雷达；10、视觉平台。
具体实施方式
35.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
36.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
37.为了方便叙述，本发明中如果出现“上”、“下”、“左”“右”字样，仅表示与附图本身的上、下、左、右方向一致，并不对结构起限定作用,仅仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
38.术语解释部分：本发明中的术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或为一体；可以是机械连接，也可以是电连接，可以是直接连接，也可以是通过中间媒介间接相连，可以是两个元件内部连接，或者两个元件的相互作用关系，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的具体含义。
39.实施例1
40.正如背景技术部分所记载的现有技术中存在技术问题，为了解决现有技术中存在的技术问题，本实施例提供了一种自主导航配网带电作业机器人，在配网带电作业的复杂环境中，机械臂能够自主完成作业功能，可识别抓取目标、抓取点和外界环境等信息，可实现配网带电作业环境下的多目标点路径规划，能够对机械臂进行抓取作业控制并完成带电
作业抓取任务。
41.上述的自主导航配网带电作业机器人，包括机器人本体、目标检测模块、运动规划模块和抓取点检测模块；
42.在本实施例中，如图1所示，机器人本体包括抓取组件、绝缘装置5、作业平台6、视觉平台10；
43.所述抓取组件包括辅助抓取工具1、抓取工具2、辅助抓取机械臂3、抓取机械臂4；
44.具体地，所述作业平台6上设有绝缘装置5，所述抓取组件设于绝缘装置5上；即所述辅助抓取机械臂3和抓取机械臂4安装在具有绝缘装置5的作业平台6上方；
45.所述绝缘装置5包括绝缘外壳和设于绝缘外壳内的绝缘平台，绝缘平台的一端设于作业平台6上，另一端连接抓取组件；可实现在10kv的高电压环境中带电工作，安全系数高，适合配网带电作业的需求。
46.所述辅助抓取工具1安装在辅助抓取机械臂3的末端，用于辅助抓取功能；
47.所述抓取工具2安装在抓取机械臂4的末端，用于抓取目标，同时所述抓取机械臂4上装有第一深度相机，所述第一深度相机采用小型深度相机，用于获取抓取过程中的视觉监控数据，可实现对目标抓取过程中的抓取点检测。
48.所述视觉平台10为可伸缩的视觉平台，安装在作业平台6上，所述视觉平台10上设有视觉相机和激光雷达9等传感器，所述视觉相机包括第二深度相机7和全景相机8，用于获取带电作业场景和外界环境的视觉监控数据，并具有上下的升降功能；
49.所述第二深度相机7设在视觉平台10的最上方放置，用于配合激光雷达9对外界环境进行感知及建模，并完成目标识别和抓取点检测功能；所述全景相机8位于视觉平台10中部，用于带电作业场景的视觉监控，并将采集的数据监控数据发送至显示屏进行显示，提供人机环境交互功能，可对机器人自主导航规划全过程进行监控。
50.在本实施例中，如图2所示，所述目标检测模块，通过第二深度相机7的视觉数据，对作业目标采用ls-yolov4(larger scale
‘
you only look once’version4)算法进行作业目标的识别，基于激光雷达9的激光数据，采用三维点云对环境进行三维场景重构，得到环境的三维模型，进一步精准定位目标，实现作业目标定位。定位作业目标的过程包括，提取视觉数据的图像特征，对图像特征聚类后，以聚类中心作为锚框，基于锚框得到预测框，根据预测框得到包含作业目标大小、作业目标位置和每个类别概率的检测结果。
51.具体地，ls-yolov4算法是一种用于识别目标信息的算法，是在yolov4算法基础上的改进算法。ls-yolov4的网络结构包括主干、颈部和头部，从图像中提取特征的主干是cspdarknet53(cross stage partial darknet53)结构；颈部包括ssp(spatial pyramid pooling)和panet(path aggregation network)，充分利用了从不同层提取的特征；头部包括3个yolo层，通过logistic回归基于锚框得到包含目标大小、目标位置和每个类别概率信息的预测框；使用diou nms(distance-intersection over union non-maximum suppression)算法对预测框进行过滤，以获得最终的检测结果；应用fcm(fuzzy c-means)算法作为聚类算法在训练集上运行，根据图像数据集中真实框的地面宽度和高度计算聚类中心作为锚框。
52.在本实施例中，将输入的原始图像的大小调整为608
×
608像素，主干中第一个卷积层的比例为76
×
76，可以获得8倍的采样特征图，主干中第一个卷积层的规模很难检测到
小于8
×
8像素的对象，因此主干中的第一卷积层不适合检测较小的对象。
53.为了解决这个问题，ls-yolov4融合来自浅层的更多特征的图，并添加一个卷积层，卷积层的比例为152
×
152，并包含更多小对象的位置和详细信息。
54.panet模块扩展为从浅层融合特征图，并为预测部分输出152
×
152
×
64、76
×
76
×
128、38
×
38
×
256和19
×
19
×
512的特征图；预测部分左侧添加的卷积层从panet模块获得152
×
152
×
64的特征映射，以检测小功率组件。随着网络越来越深，panet模块中的16个cbl块被更改为8个分辨率单元，以减少参数数量并抑制消失的梯度。
55.在本实施例中，如图2所示，在目标检测模块得到作业目标定位信息后，由机器人本体中设置的控制器控制运动规划模块实现路径规划功能，即所述运动规划模块采用基于节点控制的最优快速搜索随机树(node control optimal rapidly exploring random trees，nc-rrt*)算法进行路径规划，得到运动规划信息，即规划抓取组件的避障运动路线。
56.nc-rrt*算法是通过随机搜索树进行逐步拓展，树的初始状态为一个顶点，且没有边，在每次迭代中，来自统一采样分布的采样状态x
rand
尝试连接树中最近的顶点x
near
，若连接成功，x
rand
将通过转向功能调整为x
new
，x
new
添加到顶点集，(x
near
,x
new
)添加到边集。
57.在本实施例中，对快速搜索随机树算法进行改进，在快速搜索随机树算法中引入控制因子和重规划功能，即为本实施例采用的nc-rrt*算法，具体地，根据每个节点的状态值，通过引入控制因子control限制扩展节点的数量，对于每个扩展，只有状态值小于control且距离采样节点最近的节点才会被选择为扩展节点；为了充分减少状态空间中的无效探索，将control设置为1，当control的值保持为1时，表示树中的最后一个节点始终用作扩展节点；
58.同时根据障碍物调整控制因子的值，实现重规划功能以避障，包括：为了防止树陷入局部极小值陷阱状态，例如树遇到障碍物，需要在适当的时间更改control的值，以增加可选扩展节点的数量；当碰撞检测预估要发生碰撞时，control值增加，树可以有效地从该区域逃逸，在成功添加新节点后，control值将恢复为1继续探索。
59.规划避障的过程还包括：如果在某个迭代中成功添加了一个新节点x
new
，则说明生成x
new
期间树没有与障碍物发生碰撞，那么采样半径的值将更改为x
new
和目标终点之间的距离，即不发生碰撞时，采样半径为固定值；而如果生成x
new
期间树与障碍物发生碰撞，采样半径则按比例步长增加。
60.规划避障的过程还包括：在选择父节点的过程中，当nc-rrt*算法尝试将x
new
连接到x
near
时，将搜索采样半径内x
new
周围的顶点，以确定成本最少的父节点。将x
new
连接到树后，rrt*将重新连接相邻顶点，以检查通过x
new
的一条路径的成本是否低于当前路径。nc-rrt*算法直到树中包含目标区域中的状态或迭代次数达到阈值时停止。
61.在本实施例中，如图2所示，所述抓取点检测模块，根据第二深度相机7的视觉数据，采用l-cnn(lightweight-based convolutional neural network，轻量级卷积神经网络)算法得到作业目标的抓取点识别信息，并控制抓取机械臂和辅助抓取机械臂完成抓取作业。
62.l-cnn算法是用于识别目标抓取框的算法，是在cnn算法基础上的改进算法。l-cnn算法包括4个卷积层、2个maxpool层和3个线性层，输入的是目标物体的rgb-d图像，输出的是五维抓取参数，损失函数应用huber函数。为了使网络参数更好地适应不同的抓取参数，
将最后一个线性层划分为三个分支，三个分支的输出分别对应于抓取矩形的中心、角度以及宽度高度。
63.在本实施例中，通过目标检测模块识别并定位作业目标，通过抓取点检测模块实时检测作业目标及其抓取点的状态，读取作业目标坐标，并将其转换为机器人关节的角度值，以控制抓取机械臂和辅助抓取机械臂根据反馈坐标精确地对作业目标执行抓取操作。
64.实施例2
65.本实施例提供一种利用实施例1所述的自主导航配网带电作业机器人的工作方法，包括：
66.根据获取的视觉数据识别目标信息并重构三维场景，以定位作业目标；
67.根据作业目标识别结果，采用基于节点控制的最优快速搜索随机树算法，以节点控制的方式，在三维场景下规划抓取组件的避障运动路线；
68.识别抓取点的位置坐标，并将其转换为抓取组件的关节角度值，以使得抓取组件根据避障运动路线完成抓取任务。
69.在本实施例中，所述定位作业目标的过程包括，提取视觉数据的图像特征，对图像特征聚类后，以聚类中心作为锚框，基于锚框得到预测框，根据预测框得到包含作业目标大小、作业目标位置和每个类别概率的检测结果。
70.在本实施例中，所述基于节点控制的最优快速搜索随机树算法为，在快速搜索随机树算法中引入控制因子和重规划功能，根据节点状态值，通过控制因子限制扩展节点的数量，将节点状态值小于控制因子且距离采样节点最近的节点被选择为扩展节点，同时根据障碍物调整控制因子的值以避障。
71.在本实施例中，所述基于节点控制的最优快速搜索随机树算法为，若节点没有与障碍物发生碰撞，则将采样半径更改新节点和目标终点间的距离；若发送碰撞，则增加采样半径。
72.在本实施例中，所述基于节点控制的最优快速搜索随机树算法为，在选择父节点时，在采样半径内新节点的周围顶点中确定成本最少的父节点，将新节点连接到树后，重新连接相邻顶点，并判断通过新节点的路径成本是否低于当前路径成本，直到树中包含目标区域中的节点状态或迭代次数达到阈值时停止。
73.在本实施例中，所述识别抓取点的位置坐标的过程包括，采用轻量级卷积神经网络进行抓取点位置坐标的识别，所述轻量级卷积神经网络包括4个卷积层、2个maxpool层和3个线性层，并采用huber损失函数，且将最后一个线性层划分为三个分支，三个分支分别对应抓取的中心、角度和宽度高度。
74.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。