一种基于双目视觉的自主水下作业机器人和水下作业方法

本发明属于机器人领域，涉及水下作业机器人，尤其涉及一种基于双目视觉的自主水下作业机器人和水下作业方法。

背景技术：

1、随着人类对水下世界研究探索的日益深入，相应的诞生了适于海底搜索、调查、识别和打捞作业的既经济又安全的水下作业机器人。

2、现有的水下作业机器人虽然具有水下目标的识别、作业功能，但是仍然存在很多问题：

3、一是，由于是水下作业，摄像头拍摄的水下图像雾化严重，导致图像识别不清；同时，影响水下目标的测距与追踪，最终影响作业效果。

4、二是，水下机器人在作业过程中，姿态不够稳定，影响作业效果。

5、三是，无法确定水下机器人的下潜深度和与水底之间的距离，如果下潜过浅，导致机器人作业范围小；如果下潜过深，导致水下机器人承载的水压过大，影响水下机器人的使用寿命。

6、四是，现有的水下机器人一般采用的是两个推进器或者四个推进器实现不同航行的功能模式，但是功能仍然有限。

7、因此，本技术提出一种基于双目视觉的自主水下作业机器人和水下作业方法。

技术实现思路

1、本发明为解决上述技术问题，提供一种基于双目视觉的自主水下作业机器人和水下作业方法，基于双目视觉机构、主控机构和水下推进机构的配合实现水下机器人的定深、目标识别、目标测距和目标跟踪任务，从而实现水下的精准作业。

2、本发明为解决上述技术问题采用的技术方案是：

3、一种基于双目视觉的自主水下作业机器人，包括机器人外壳、双目视觉机构、主控机构、捕获机构、水下推进机构和供电模块，所述的主控机构和供电模块安装在机器人外壳内，双目视觉机构和捕获机构分别布置在机器人外壳前端的上、下两侧，所述的水下推进机构对称布置在机器人外壳的左右两侧，所述的主控机构分别与双目视觉机构、捕获机构和水下推进机构连接；所述的供电模块分别为双目视觉机构、主控机构、捕获机构和水下推进机构供电。

4、进一步的，所述的机器人外壳包括三块并排设置的安装板、耐压舱、前安装舱和后安装舱，所述的耐压舱穿过处于中间的安装板，且耐压舱的前后两端分别固定在两侧的安装板上，并整体形成一个密封的舱体；所述的前安装舱和后安装舱布置在耐压舱内，并与耐压舱轴向的两端分别采用推拉式设计；所述的主控机构安装在前安装舱和后安装舱内，所述的供电模块设置在后安装舱内。

5、进一步的，相邻的两块安装板之间设置一组支撑碳杆，每组支撑碳杆对称设置在耐压舱的两侧，每根支撑碳杆的端部固定连接在相对应的安装板上。

6、进一步的，所述的双目视觉机构包括双目支架和双目摄像机，所述的双目支架固定安装在机器人外壳的前端，所述的双目摄像机安装在双目支架上。

7、进一步的，所述的双目视觉机构还包括水下舵机和舵盘连接件，所述的水下舵机固定安装在双目支架上，水下舵机的舵盘通过舵盘连接件与双目摄像机固定连接。

8、进一步的，所述的捕获机构包括夹爪支撑架、电动推杆、左半夹爪、右半夹爪和两根l形连杆，所述的电动推杆通过夹爪支撑架水平固定在机器人外壳靠近前端的底部，两根所述的l形连杆的拐点处分别铰连接在电动推杆外壳前端的两侧；所述的左半夹爪和右半夹爪结构相同，且左右对称布置，左半夹爪和右半夹爪分别对应一根l形连杆设置，左半夹爪和右半夹爪分别铰链在各自对应的l形连杆外端，所述的电动推杆中伸缩杆的前端铰连接在两根l形连杆的内端。

9、进一步的，所述的水下推进机构包括6个推进器，机器人外壳中每块安装板上对称安装有两个推进器，且两个所述的推进器布置在耐压舱的左右两侧；

10、以水下机器人的重心g为原点建立三维坐标系，水下机器人的轴线方向与x轴重合，水下机器人的下潜或者上浮方向与z轴重合，水下机器人的横移方向与y轴重合；处于前端安装板上的两个推进器的轴线方向与y轴之间的夹角角度为a，a的取值范围为-30°～-70°；处于中间安装板上的两个推进器的轴线方向与x轴相同；处于后端安装板上的两个推进器的轴线方向与y轴之间的夹角角度为β，β的取值范围为30°～70°。

11、进一步的，所述的主控机构包括stm32主控单片机、nvidiajetson nx主机、深度解算板、惯导模块、无线下载器、电力载波模块、rs-232转ttl模块、深度计和高度计；所述的stm32主控单片机、惯导模块、无线下载器、电力载波模块和rs-232转ttl模块3-6安装在前安装舱内，所述的nvidiajetson nx主机和深度解算板安装在后安装舱内；所述的深度计固定于机器人后安装舱上后舱盖的外侧，所述的高度计固定于中间安装板的底部；

12、所述深度计的信息输出端与深度解算板的信息接收端连接，深度解算板的信息输出端与stm32主控单片机的信息接收端连接；所述高度计的信息输出端与stm32主控单片机的信息接收端连接；所述双目摄像机的信息输出端与nvidia jetson nx主机的信息接收端连接，nvidia jetson nx主机的信息输出端与stm32主控单片机的信息接收端连接；所述的rs-232转ttl模块的信息输出端与惯导模块的信息接收端连接，所述惯导模块的信息输出端与stm32主控单片机的信息接收端连接；stm32主控单片机的信息输出端分别与6个推进器的信息接收端和电力载模块的信息接收端连接；所述的无线下载器与stm32主控单片机的下载引脚连接。

13、一种基于双目视觉的自主水下作业机器人的水下作业方法，通过定深任务和目标跟踪任务实现水下作业，具体过程包括以下步骤：

14、s1，水下机器人下潜到预设水深；

15、利用深度计实时检测接触面的深水压力数值，深度解算板依据深度计返回的压力数值解算得到当前的水深信息，并发送至stm32主控单片机，stm32主控单片机将解算得到的水深信息与预设的工作深度作差，并得到不同时刻下解算的水深信息和预设工作深度的差值，将差值视作pid位姿控制器的输入，pid位姿控制器的输出是6个推进器的pwm波数值；pid位姿控制器的输出为机器人在6个自由度上的力和力矩，用u表示；推进器的推力用τ表示；

16、

17、其中，fx、fy、fz表示3个自由度上的力，mx、my、mz表示3个自由度上的力矩；τ1-τ6表示6个推进器的推力；

18、推力分配公式如下：

19、

20、其中，将6个推进器划分为推进器1、推进器2、推进器3、推进器4、推进器5和推进器6，其中，l1为推力器1距离前端安装板中心的距离，l2为推力器2距离前端安装板中心的距离；l3为推力器3距离中间安装板中心的距离；l4为推力器4距离中间安装板中心的距离；l5为推力器5距离后端安装板中心的距离；l6为推力器6距离后端安装板中心的距离；h1为在前端安装板所在平面上，机器人几何中心距惯性轴的垂直距离；h2为在中间安装板所在平面上，机器人几何中心距惯性轴的垂直距离；h3为在后端安装板所在平面上，机器人几何中心距惯性轴的垂直距离；ly1为机器人的重心g距离前端安装板的垂直距离；ly2为机器人的重心g距离后端安装板的垂直距离；

21、将上述推力分配公式写入到stm32主控单片机的定时器中断中，实时得到6自由度的力与力矩；利用pid位姿控制器实现对机器人的深度控制调节；

22、s2，水下机器人的姿态调整；

23、利用惯导模块测量水下机器人的姿态，将惯导模块返回的俯仰角、横滚角和航向角数据分别与在stm32主控单片机中预设的俯仰角、横滚角和航向角作差，分别作为航向角控制器以及横滚角与俯仰角控制器的输入，其中航向角控制器使用pid方法，横滚角与俯仰角控制器采用pd控制方法；通过航向角控制器以及横滚角与俯仰角控制器实现水下机器人姿态的稳态控制；

24、s3，通过双目摄像机获取水下图像，识别水下捕获目标，测距并跟踪；

25、s4，水下目标的捕获；

26、当水下目标进入到左半夹爪和右半夹爪的抓捕范围内时，电动推杆驱动左半夹爪和右半夹爪闭合，实现水下目标的抓捕。

27、进一步的，所述步骤s3的具体过程包括以下步骤：

28、s31，水下目标识别：

29、利用神经网络模型实现水下目标的识别；

30、所述的神经网络模型为预先训练好的，在对神经网络模型进行训练的过程中，提前拍摄水下目标的图像，并作为原始训练集；对原始训练集中的图像进行直方图均衡化、灰度线性增强和边缘检测的图像预处理操作，得到目标训练集；利用目标训练集训练神经网络模型；

31、s32，水下目标测距：

32、针对识别出的目标，利用sgbm匹配算法将同一场景下双目摄像机所获得的双目左右视图的图像特征点匹配起来，将匹配的特征点坐标相减获得图像视差，基于物点与成像平面的两个像点以及与左右目相机光心形成的三角形相似关系，依据视差求解三维空间下水下目标的水平距离；

33、s33，水下目标跟踪：

34、依据双目摄像机返回的图像，机器人搭载的nvidiajetson nx主机解算得到图像中心像素所对应物点相对于相机载体系xyz的坐标信息，提取z值并将其与在stm32主控单片机中预设的水平距离数据做差，得到不同时刻解算的水平距离和预设水平距离的差值，将其作为pid水平移动控制器的输入，基于pid水平移动控制器实现对水下目标的跟踪任务。

35、本发明与现有技术相比产生的有益效果是：

36、1、本技术基于双目视觉机构、主控机构和水下推进机构的配合实现水下机器人的定深、目标识别、目标测距和目标跟踪任务，从而实现水下的精准作业。

37、2、本技术的前安装舱和后安装舱与耐压舱之间为推拉式设计，实现主控机构与机器人外壳的快速拆装，便于元器件的更换与维修；且前安装舱和后安装舱内的元器件使用排线连接，保证了舱体结构的整体性和拆装调试的便捷性。

38、3、本技术在水下机器人的前、中、后安装板以多根支撑碳杆作为结构支撑，消除了板材间的扭矩作用；该结构设计在可实现快速拆装的同时，也具有较高的结构强度。

39、4、本技术的双目摄像机采用的是深水高清双目摄像机，实现水下目标的识别、测距和跟踪任务；其中，本技术通过水下舵机和舵盘连接件来增加双目摄像机的自由度，双目摄像机通过水下舵机的驱动实现俯仰角的改变，以增加双目摄像机图像获取的范围。另外，本技术在双目摄像机的两侧各设置一个照明灯，以实现在水下黑暗的环境下完成目标探测任务。

40、5、本技术的机械臂夹爪采用带有网孔的筐状结构，该结构更适用于水下小目标或是表面光滑物体的捕捞，相比于采用连杆制成的夹爪而言，不仅增加了水下目标的捕获范围，还可以有效提高捕捞效率。另外，本技术通过在夹爪内设置浮力板材，来减小水下机器人在抓捕水下目标的过程中所产生的负载，提高水下机器人的待机时间。

41、6、本技术中的水下推进机构采用6个推进器，其中，处于前端安装板上的两个推进器的轴线方向与y轴之间的夹角角度为-60°；处于中间安装板上的两个推进器的轴线方向与x轴相同；处于后端安装板上的两个推进器的轴线方向与y轴之间的夹角角度为60°，6个推进器采用了全驱动空间矢量布置方式，每个推进器独立控制，水下机器人在6个推进器的联合作用下可以实现多种运动模式，包括前进与后退模式、左右横移模式、上浮与下潜模式、横向翻转运动模式、纵向翻转运动模式、航向调整运动模式以及悬停模式。