一种基于搬运智能车的自动检测和识别方法

本发明涉及搬运智能车，具体为一种基于搬运智能车的自动检测和识别方法。

背景技术：

1、随着人工智能和自动驾驶技术的快速发展，智能车在工业上的发展已成为当今科技领域的热门话题，摄像头作为智能车的眼睛，能够获取环境中的图像信息，然后由系统进行控制，机械臂夹取物品，然而在本领域中摄像头进行采样之后，经过计算虽然可以实现夹取物品，但是无法在多个不同种类的物品中进行自动检测和自动识别搬运。

技术实现思路

1、本发明的目的在于提供一种基于搬运智能车的自动检测和识别方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于搬运智能车的自动检测和识别方法，硬件包括：

3、麦克拉姆轮车体，所述麦克拉姆轮车体上安装有1024线正交编码器、icm20602陀螺仪、open art mini摄像头、蓝牙、定制亚克力板、电磁铁、12v锂电池、储物箱、机械臂、舵机、tft-lcd、ips114屏幕、rt1064-pcb主控板、驱动板和电源板，所述1024线正交编码器与麦克拉姆轮的电机镶嵌，所述icm20602陀螺仪置于卖课拉姆轮车体几何中心，所述定制亚克力板安装于麦克拉姆轮车体正上方，所述12v锂电池安装在麦克拉姆轮车体尾端，所述储物箱置于亚克力板上方，所述机械臂麦克拉姆轮车体前端；

4、一种基于搬运智能车的自动检测和识别方法，包括以下步骤：

5、s1、open art mini1广角扫描整个设定范围，获取物品大概坐标位置并把数据编码发送给单片机；

6、s2、单片机解码数据，通过贪心算法获取最优搬运路径；

7、s3、智能车通过与陀螺仪解算航向角闭环锁定车身方向，并利用惯性导航使整车移动到第一个物品位置；

8、s4、open art mini2检测到物品，返回物品在视野中的坐标，结合车身坐标使其矫正到机械臂刚好能拾取的位置；

9、s5、open art mini3开启模型识别，将识别到的内容发送到单片机；

10、s6、单片机做出抉择，控制机械臂将其拾取到车身储物箱的指定位置并前往下一个位置；

11、s7、待所有物品拾取完成，智能车将根据物品的分类搬运到指定位置并回到起点

12、优选的，所述s1包括以下步骤：

13、1)、设置串口通信(rxd,txd)波特率；

14、2)、open art mini1广角目标检测物品模糊坐标；

15、3)、返回视野中的每个物品坐标信息；

16、4)、采用以0xaa作为包头，以0xff作为包尾，以5个字节作为一帧数据，每帧数据有个帧头0xa0，其余4个字节为数据帧，采用压缩bcd码进行编码，传输数据精度为1mm，针对目标锁定的数据传输不采用包结构，仅采用帧结构，以0xfx为帧头，其中x可取0或1，代表当前数据的有效性，随后有2个字节数据，第一个字节为x坐标，第二个字节为y坐标；

17、5)、通过uart_write(data)一帧一帧发送。

18、优选的，所述s2包括以下步骤：

19、1)、将接收到的包头到包尾中间的数据压入缓冲区，随后在按键控制下对缓冲区中的数据逐帧解析，针对目标锁定信息解码并对接收到的数据进行0xf0与运算(若与运算后仍然是0xf0则判断为帧头)，得到帧头之后将之后的2个字节的数据压入缓冲区用于控制；

20、2)、利用贪心算法获取每次值的最短距离，依次求出最优路径。优选的，所述s3包括以下步骤：

21、1)、采集2000次陀螺仪z轴数据，计算出均值，然后在之后的每次运算过程中，减去这个值，并根据噪声标准差设置数据死区(在均值上下多少波动不认为是有效数据)，并对死区过滤后的数据进行卡尔曼滤波处理；

22、2)、根据点坐标计算xy距离然后通过编码器积分和距离闭环让车跑到相应的位置。

23、优选的，所述s4包括以下步骤：

24、1)、open art mini2通过find_blob色块找到物品并返回其中心点坐标；

25、2)、将其返回的实时坐标与期望坐标利用位置式pid控制车身移动到机械臂刚好能拾取的位置。

26、优选的，所述s5包括以下步骤：

27、1)、经由openart mini拍摄得到的图像，与原数据集中的清晰照片有着较大的差距，为了提高数据集的可靠程度，必须对数据集进行一定程度的增广，而后再进行图片进行处理，调整亮度对比度和分辨率等，逐渐逼近样本的显示效果，根据处理的参数，再对其他图片做相同的处理，从而获得较为逼近现实的数据；

28、2)、在此基础上，再对2000多张图片进行旋转变换、亮度、对比度、色调调节，高斯噪声等等，获得一个较大的数据集；

29、3)、将上述数据集打包为工程文件，设置好训练集和测试集比例，导入模型进行训练。

30、4)、模型结构使用mobilenetv2网络，初始权重采用此前已经训练好的imagenet权重，之后调整训练参数就可以开始训练。

31、5)、量化为tflite之后，模型大小小于1兆，部署到openartmini上，识别物体时的帧率能够达到5fps左右，大致能够满足速度要求。

32、与现有技术相比，本发明的有益效果是：

33、该一种基于搬运智能车的自动检测和识别方法通过摄像头作为车体的眼睛实时获取环境中的图像信息，并通过对目标物进行图样采集获取坐标位置，然后根据坐标计算搬运路径，并通过对采集图形进行模型识别，识别判断分类之后进行搬运。

技术特征：

1.一种基于搬运智能车的自动检测和识别方法，其特征在于：

2.根据权利要求1所述的一种基于搬运智能车的自动检测和识别方法，其特征在于：所述s1包括以下步骤：

3.根据权利要求1所述的一种基于搬运智能车的自动检测和识别方法，其特征在于：所述s2包括以下步骤：

4.根据权利要求1所述的一种基于搬运智能车的自动检测和识别方法，其特征在于：所述s3包括以下步骤：

5.根据权利要求1所述的一种基于搬运智能车的自动检测和识别方法，其特征在于：所述s4包括以下步骤：

6.根据权利要求1所述的一种基于搬运智能车的自动检测和识别方法，其特征在于：所述s5包括以下步骤：

技术总结本发明涉及搬运智能车技术领域，具体为一种基于搬运智能车的自动检测和识别方法，硬件包括麦克拉姆轮车体，所述麦克拉姆轮车体上安装有1024线正交编码器、ICM20602陀螺仪、OPEN ART mini摄像头、蓝牙、定制亚克力板、电磁铁、12V锂电池、储物箱、机械臂、舵机、TFT‑LCD、IPS114屏幕、RT1064‑PCB主控板、驱动板和电源板，所述1024线正交编码器与麦克拉姆轮的电机镶嵌。该一种基于搬运智能车的自动检测和识别方法通过摄像头作为车体的眼睛实时获取环境中的图像信息，并通过对目标物进行图样采集获取坐标位置，然后根据坐标计算搬运路径，并通过对采集图形进行模型识别，识别判断分类之后进行搬运。技术研发人员：胡立涛,宋伟,蔺子昂,张琪,贾子彦,徐思铭,宋海涛,麻凯阳,缪晴蔚,丁志鹏,刘晨艺,孟鑫,江诚信,李泽轩,邵冰艳,时富俊,安骏杰,周湘旖,李雅琪,李宇航,贺新雨,高一斌,顾新阳,顾浩,左元豪受保护的技术使用者：江苏理工学院技术研发日：技术公布日：2024/9/29