一种智能送料系统及方法与流程

1.本说明书涉及工业制造技术领域，特别涉及一种智能送料系统及方法。


背景技术：

2.随着社会的迅速发展，各行各业对铆钉铆接的需求也越来越大，传统的手工铆接受工人熟练度、专注度等影响，难以保证稳定的高质量铆接。目前的自动送钉系统通过自动化装置进行送钉，克服了传统手工铆接中铆接质量低的问题，但由于结构设计、缺乏检测手段等多方面因素，输送铆钉的合格率较低，影响了整体效率。
3.因此，希望提供一种智能送料系统及方法，能够在实现铆钉智能输送的同时提高输送铆钉的合格率。


技术实现要素：

4.本说明书实施例之一提供一种送料装置，所述送料装置包括：机体，所述机体上设置有铆钉放置装置、机械手和摄像装置；以及处理器，所述处理器用于：获取所述铆钉放置装置中的多个铆钉的图像；基于所述多个铆钉的图像，通过图像检测确定所述多个铆钉的图像中的至少一个铆钉的检测结果；基于所述检测结果，确定所述至少一个铆钉是否合格；若所述至少一个铆钉不合格时，将所述至少一个铆钉确定为目标铆钉；确定控制指令，所述控制指令指示所述机械手进行移动并抓取所述目标铆钉，从而将所述目标铆钉从所述铆钉放置装置中取出。
5.在一些实施例中，所述铆钉放置装置包括预检测铆钉放置装置和复检铆钉放置装置；所述处理器进一步用于：获取所述预检测铆钉放置装置中的所述多个铆钉的第一图像；基于所述第一图像，通过图像检测确定所述第一图像中的所述多个铆钉中的至少一个铆钉的预检测结果；基于所述预检测结果，确定所述至少一个铆钉是否合格；若所述至少一个铆钉不合格时，确定所述至少一个铆钉为目标铆钉；确定第一控制指令，所述第一控制指令指示所述机械手进行移动并抓取所述目标铆钉，从而将所述目标铆钉从所述预检测铆钉放置装置中取出并放置到所述复检铆钉放置装置中；以及对所述复检铆钉放置装置中的所述目标铆钉进行复检。
6.在一些实施例中，所述对所述复检铆钉放置装置中的所述目标铆钉进行复检包括：确定第二控制指令，所述第二控制指令指示所述机械手对所述复检铆钉放置装置中的所述目标铆钉进行震动；对震动后的所述目标铆钉进行复检，确定复检结果。
7.在一些实施例中，所述机体上安装有光照装置；所述处理器还用于：获取铆钉规格特征；基于所述铆钉规格特征，控制所述光照装置的灯光亮度。
8.本说明书实施例之一提供一种送料方法，所述送料方法由处理器执行，所述送料方法包括：获取铆钉放置装置中的多个铆钉的图像；基于所述多个铆钉的图像，通过图像检测确定所述多个铆钉的图像中的至少一个铆钉的检测结果；基于所述检测结果，确定所述至少一个铆钉是否合格；若所述至少一个铆钉不合格时，将所述至少一个铆钉确定为目标
铆钉；确定控制指令，所述控制指令指示机械手进行移动并抓取所述目标铆钉，从而将所述目标铆钉从所述铆钉放置装置中取出。
9.在一些实施例中，所述送料方法进一步包括：获取预检测铆钉放置装置中的所述多个铆钉的第一图像，基于所述第一图像，通过图像检测确定所述第一图像中的所述多个铆钉中的至少一个铆钉的预检测结果；基于所述预检测结果，确定所述至少一个铆钉是否合格；若所述至少一个铆钉不合格时，确定所述至少一个铆钉为目标铆钉；确定第一控制指令，所述第一控制指令指示所述机械手进行移动并抓取所述目标铆钉，从而将所述目标铆钉从所述预检测铆钉放置装置中取出并放置到所述复检铆钉放置装置中；以及对复检铆钉放置装置中的所述目标铆钉进行复检。
10.在一些实施例中，所述对所述复检铆钉放置装置中的所述目标铆钉进行复检包括：确定第二控制指令，所述第二控制指令指示所述机械手对所述复检铆钉放置装置中的所述目标铆钉进行震动；对震动后的所述目标铆钉进行复检，确定复检结果。
11.在一些实施例中，所述送料方法还包括：获取铆钉规格特征；基于所述铆钉规格特征，控制光照装置的灯光亮度。
12.本说明书实施例之一提供一种送料系统，所述送料系统包括：获取模块，用于获取铆钉的图像；确定模块，用于基于所述铆钉的图像，确定所述铆钉是否为目标铆钉；第一控制模块，用于控制机械手抓取并移出所述目标铆钉；第二控制模块，用于控制所述机械手对被移出的所述目标铆钉进行震动。
13.本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述的送料方法。
附图说明
14.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
15.图1是根据本说明书一些实施例所示的送料装置的结构示意图；
16.图2是根据本说明书一些实施例所示的送料系统的示例性模块图；
17.图3是根据本说明书一些实施例所示的送料方法的示例性流程图；
18.图4是根据本说明书一些实施例所示的铆钉预检测的示例性流程图；
19.图5是根据本说明书一些实施例所示的目标铆钉复检的示例性流程图。
具体实施方式
20.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
21.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，
则可通过其他表达来替换所述词语。
22.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
23.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
24.铆钉机是一种根据冷辗原理研制而成的铆接设备，指的是能用铆钉把物品铆接起来机械装备。铆钉机主要靠旋转与压力完成装配，铆钉机可以利用铆杆对铆钉局部加压，并绕中心连续摆动直到铆钉成形。铆钉机主要应用于需铆钉(例如，中空铆钉、空心铆钉、实心铆钉等)铆合的场合。通常在铆钉机的铆接系统中，许多工序需要人工进行操作。例如，选择不同型号的铆钉、将铆钉放置到工作台上、剔除不合格的铆钉等工序都需要人工的配合。人工操作容易出现差错，而且工作效率低下。因此可以通过自动化的方式对铆钉机进行改进。目前的自动化装置输送铆钉的合格率较低，整体效率不高。
25.有鉴于此，本说明书的一些实施例提供了一种智能送料系统及方法，该送料装置可以选择不同型号的铆钉、将铆钉放置到工作台上，同时可以通过智能检测剔除不合格的铆钉，提高输送铆钉的合格率。
26.图1是根据本说明书一些实施例所示的送料装置100的结构示意图。以下将对本说明书实施例所涉及的送料装置100进行详细说明。需要注意的是，以下实施例仅用于解释本技术，并不构成对本技术的限定。
27.如图1所示，送料装置100可以包括：机体，机体上设置有铆钉放置装置103、机械手105和摄像装置106。其中，铆钉放置装置103可以用于放置铆钉，机械手105可以用于抓取铆钉，摄像装置106可以用于拍摄铆钉放置装置103中的铆钉的图像。
28.机体可以为用于安装送料装置中的多个机构与系统的零部件的支撑结构。例如，机体可以包括底座101和控制柜102等。底座101可以为用于支撑的底部基座结构，底座101上可以设置控制柜102。控制柜102可以是按电气接线要求将开关设备、测量仪表、保护电器和辅助设备组装在封闭或半封闭金属柜中或屏幅上，形成的柜体结构。控制柜102上可以设置铆钉放置装置103、机械手105、摄像装置106、吹钉装置108等。
29.铆钉放置装置103可以指用于放置铆钉的装置。在一些实施例中，铆钉放置装置103可以包括铆钉储料架、工作台、废弃盒104等。铆钉储料架可以为多层结构，且每层可以存放多个钉盒，每个钉盒中可以存放同一型号的多个铆钉。工作台可以为方便装置进行铆接工作的台面，在一些实施例中，机械手105可以将铆钉储料架上的某一型号的铆钉抓取并放置到工作台上。废弃盒104可以为用于存放不合格铆钉的装置，废弃盒104内的铆钉可以丢弃。
30.在一些实施例中，铆钉放置装置103可以包括预检测铆钉放置装置和复检铆钉放置装置。
31.预检测铆钉放置装置可以指用于放置需要进行预检测的铆钉的装置。在一些实施
例中，预检测铆钉放置装置可以包括铆钉储料架、工作台等。机械手105可以将铆钉储料架中的某一型号的铆钉放置到工作台上。
32.复检铆钉放置装置可以指用于放置需要进行进一步检测的疑似不合格的铆钉的装置。例如，复检铆钉放置装置中可以放置需要进行二次检测、三次检测或更多次检测的铆钉。
33.机械手105可以为能够根据相关指令执行相关动作的装置。在一些实施例中，机械手105可以包括铆钉抓取结构，该结构可以实现对一个或多个铆钉进行抓取的动作。在一些实施例中，机械手105可以根据某个指令对某个或某几个铆钉进行抓取，并能够将铆钉放置到指定的位置。在一些实施例中，机械手105可以根据指令移动到指定位置，抓取铆钉放置装置103中的某一个不合格/合格的铆钉。在另一些实施例中，机械手105可以根据指令移动到指定位置，抓取铆钉放置装置103中的多个相邻的不合格/合格铆钉。在一些实施例中，送料装置可以包括一个或多个机械手105，多个的机械手105可以安装在机体的不同位置，其中，不同的机械手105可以有不同的运动轨迹。一个机械手105也可以有多个运动轨迹。在一些实施例中，一个机械手105可以在铆钉储料架、工作台、复检铆钉放置装置等区域之间移动并实现对一个或多个铆钉的抓取、移动、放置等动作。在一些实施例中，机械手105可以抓取合格铆钉投入吹钉装置108，吹钉装置108用于将合格铆钉吹送至自动钻铆端等待铆接。在一些实施例中，多个机械手105之间可以相互配合，实现一个或多个铆钉在铆钉储料架、工作台、复检铆钉放置装置等区域之间的移动或放置。在一些实施例中，机械手105还能够通过对一个或多个铆钉进行震动进行复检。例如，抓取铆钉进行震动。又例如，抓取铆钉放置装置103使得其中的铆钉震动。关于震动复检的更多内容可以参见图4和图5的相关描述，在此不再赘述。
34.摄像装置106可以为用于拍摄铆钉图像的装置。例如，摄像装置106可以为一个或多个摄像机。在一些实施例中，摄像装置106可以根据需要安装在机体的一个或多个的位置，使得摄像装置106的拍摄视野能够覆盖需要拍摄的位置，从而获取所需拍摄的铆钉的清晰图像。例如，摄像装置106可以安装在机械手105上、工作台上等。
35.在一些实施例中，机体上可以安装有光照装置。光照装置用于对铆钉放置装置103中的铆钉进行光照。在一些实施例中，光照装置可以提供不同的灯光亮度。根据实际需求，可以调整光照装置的灯光亮度。
36.在一些实施例中，送料装置100可以包括处理器，处理器可以用于处理从其他设备或装置的各个组件中获得的数据和/或信息。处理器可以是中央处理单元(cpu)、数字信号处理器(dsp)、系统芯片(soc)、微处理器(mcu)等，或其任意组合。在一些实施例中，处理器可以是本地的或远程的。例如，处理器可以通过网络、无线电等方式对送料装置100进行控制。
37.在一些实施例中，处理器可以用于获取铆钉放置装置103中的多个铆钉的图像；基于多个铆钉的图像，通过图像检测可以确定多个铆钉的图像中的至少一个铆钉的检测结果；基于检测结果，可以确定至少一个铆钉是否合格；若至少一个铆钉不合格时，将至少一个铆钉确定为目标铆钉；确定控制指令，控制指令指示机械手105进行移动并抓取目标铆钉，从而将目标铆钉从铆钉放置装置103中取出。关于基于铆钉图像确定目标铆钉的更多内容可以参见本说明书后文相关描述，在此不再赘述。
38.在一些实施例中，处理器还可以进一步用于获取预检测铆钉放置装置中的多个铆钉的第一图像；基于第一图像，通过图像检测确定第一图像中的多个铆钉中的至少一个铆钉的预检测结果；基于预检测结果，确定至少一个铆钉是否合格；若至少一个铆钉不合格时，确定至少一个铆钉为目标铆钉；确定第一控制指令，第一控制指令指示机械手105进行移动并抓取目标铆钉，从而将目标铆钉从预检测铆钉放置装置中取出并放置到复检铆钉放置装置中；以及对复检铆钉放置装置中的目标铆钉进行复检。其中，对复检铆钉放置装置中的目标铆钉进行复检包括：确定第二控制指令，第二控制指令指示机械手105对复检铆钉放置装置中的目标铆钉进行震动；对震动后的目标铆钉进行复检，确定复检结果。关于铆钉预检测及复检的更多内容可以参见本说明书后文相关描述，在此不再赘述。
39.在一些实施例中，处理器还可以用于获取铆钉规格特征；基于铆钉规格特征，控制光照装置的灯光亮度。
40.需要注意的是，以上对于送料装置100及其各个组件的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该装置的原理后，可能在不背离这一原理的情况下，对各个组件进行任意组合，或者构成子装置与其他组件连接。
41.图2是根据本说明书一些实施例所示的送料系统200的示例性模块图。
42.如图2所示，送料系统200可以包括获取模块210、确定模块220、第一控制模块230和第二控制模块240。
43.获取模块210可以用于获取铆钉的图像。在一些实施例中，获取模块210可以获取铆钉放置装置103中的多个铆钉的图像。在一些实施例中，获取模块210可以获取预检测铆钉放置装置中的多个铆钉的第一图像。在一些实施例中，获取模块210可以获取复检铆钉放置装置中的多个铆钉的图像。
44.确定模块220可以用于基于铆钉的图像，确定该铆钉是否为目标铆钉。
45.第一控制模块230可以用于控制机械手105抓取并移出目标铆钉。
46.第二控制模块240可以用于控制机械手105对被移出的目标铆钉进行震动。
47.应当理解，图2所示的系统及其模块可以利用各种方式来实现。需要注意的是，以上对于送料系统200及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的获取模块210、确定模块220、第一控制模块230和第二控制模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
48.图3是根据本说明书一些实施例所示的送料方法的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由处理器执行。
49.步骤310，获取铆钉放置装置103中的多个铆钉的图像。在一些实施例中，步骤310可以由获取模块210执行。
50.多个铆钉的图像可以包括多个铆钉的一张或多张图像。多个铆钉的图像可以为从多个角度获取的图像。多个铆钉的图像可以包括不同的铆钉放置装置103中的铆钉，例如，
不同的钉盒中的多个铆钉的图像。
51.在一些实施例中，获取模块210可以通过摄像装置106获取铆钉放置装置103中的多个铆钉的图像。例如，获取模块210可以通过一个或多个摄像装置106从不同角度拍摄多张同一铆钉放置装置103中的多个铆钉的图像。
52.步骤320，基于多个铆钉的图像，通过图像检测确定多个铆钉的图像中的至少一个铆钉的检测结果。在一些实施例中，步骤320可以由确定模块220执行。
53.铆钉的检测结果可以指对图像中一个或多个铆钉进行检测的结果。在一些实施例中，铆钉的检测结果至少可以包括铆钉的位置(识别框)和至少一个铆钉的检测结果(例如，合格度数值等)。
54.在一些实施例中，确定模块220可以通过图像检测确定多个铆钉的图像中的至少一个铆钉的检测结果。例如，确定模块220可以通过一个或多个模型确定图像中的铆钉的检测结果。
55.在一具体实施例中，确定模块220可以通过识别模型确定图像中的每个铆钉的检测结果。在一些实施例中，可以向识别模型输入一张或多张多个铆钉的图像。识别模型可以输出每个铆钉的检测结果。
56.在一些实施例中，确定模块220还可以获取铆钉规格特征，识别模型的输入可以包括图像和铆钉规格特征，识别模型可以输出每个铆钉的检测结果。
57.铆钉规格特征指可以表示铆钉规格的相关特征，例如，铆钉的型号、铆钉的大小、铆钉的外形、铆钉的色泽等。在一些实施例中，可以预先设定不同的铆钉放置装置103中的铆钉对应不同的铆钉规格，不同的铆钉规格对应的不同的铆钉规格特征。铆钉规格特征可以查询铆钉规格特征表确定。铆钉规格特征表可以是预先输入处理器的表格。
58.识别模型可以为对图像中的铆钉进行识别的模型。在一些实施例中，识别模型的类型可以包括神经网络模型、卷积神经网络模型、深度神经网络模型等，模型类型的选择可视具体情况而定。
59.在一具体实施例中，识别模型可以包括目标识别网络模型和目标检测网络模型。目标识别网络模型即图像分割模型，例如，yolo模型等。
60.在一些实施例中，通过向目标识别网络模型输入一张或多张多个铆钉的图像和/或铆钉规格特征等，目标识别网络模型可以确定图像中的每个铆钉的位置区域，每个铆钉及其所在的位置区域可以由边框框出，即识别框。
61.在一些实施例中，可以基于多个训练样本及标签训练得到目标识别网络模型。训练样本包括样本图像。标签为样本图像中的每个铆钉对应的识别框。训练数据可以基于历史数据获取，训练数据的标签可以通过人工标注或自动标注的方式确定。例如，将样本图像对应的不同识别框以及不同识别框对应的每个铆钉标注为样本图像的标签。
62.在一些实施例中，基于每个铆钉的位置区域和/或铆钉规格特征，通过目标检测网络可以确定每个铆钉的检测结果。
63.目标检测网络模型可以指对一个铆钉的识别框对应的部分图像进行检测的模型。目标检测网络模型的输入可以包括每个铆钉的识别框对应的部分图像等。目标识别网络模型的输出可以包括铆钉的合格度等。
64.在一些实施例中，目标检测网络模型可以包括卷积神经网络模型和深度神经网络
模型等。
65.在一些实施例中，卷积神经网络模型的输入可以包括一个铆钉的识别框对应的部分图像等。卷积神经网络模型的输出可以包括识别框对应的图像特征，识别框对应的图像特征可以表示识别框中铆钉的特征，例如，铆钉的位置、铆钉的形状、铆钉的色泽等。
66.在一些实施例中，深度神经网络模型的输入可以包括识别框对应的图像特征和/或铆钉放置装置103对应的铆钉规格特征和/或灯光亮度等。深度神经网络模型的输出可以包括该铆钉的合格度等。
67.合格度可以为铆钉合格的概率。在一些实施例中，铆钉的合格度可以通过0到1之间的数值进行表示。例如，数值0表示该铆钉不合格，数值1表示该铆钉合格；数值越接近0表示该铆钉不合格的概率越大，数值越接近1表示该铆钉合格的概率越大；数值为0.5表示无法判定该铆钉是否合格。当无法判定该铆钉是否合格时，可以对该铆钉进行复检。关于对铆钉进行复检的更多内容，可以参见图5及其相关描述，在此不再赘述。
68.在一些实施例中，确定模块220可以判断多张图像中的某一个铆钉是否为同一个铆钉。尽管铆钉的外形是一致的，但对于单个铆钉来说，一方面铆钉所呈现的姿态不同，拍摄获得的同一图像中各个铆钉会对应各自不同的姿态，另一方面，由于灯光照射角度不同，不同的铆钉在同一图像中可能呈现不同的色彩、光泽等。而在多个图像中，同一铆钉所呈现的姿态和光泽是相同或相似的。基于此，可以根据铆钉所呈现的特征判断多张图像中某一个铆钉是否为同一个铆钉。在一些实施例中，确定模块220可以通过特征提取算法和特征相似度算法确定多张图像中的某一个铆钉是否为同一个铆钉。在一具体实施例中，确定模块220可以通过特征提取算法获取某一个铆钉的识别框对应的特征向量。再通过特征相似度算法，计算多个识别框对应的多个特征向量之间的相似度(例如计算欧式距离)判断识别框对应的某一个铆钉是否为同一个铆钉。在一些实施例中，确定模块220还可以通过其他模型确定多张图像中的某一个铆钉是否为同一个铆钉。例如，通过将某一个铆钉的识别框对应的部分图像输入卷积神经网络模型，卷积神经网络模型输出识别框对应的图像特征。将某一个铆钉的每2个识别框对应的图像特征输入深度神经网络模型，深度神经网络模型输出某一个铆钉是否是同一个铆钉。在一些实施例中，当同一个铆钉被识别模型判定为不合格的铆钉的合格度和次数均超过一定阈值时，确定模块220可以将该铆钉确定为不合格铆钉。例如，铆钉的合格度阈值为0.3，次数阈值为2次，识别模型3次输出的同一个铆钉的合格度均为0.2，该铆钉的合格度0.2小于铆钉的合格度阈值0.3，次数3次大于次数阈值2次，确定模块220可以将该铆钉确定为不合格铆钉。
69.在一些实施例中，可以基于多个训练样本及标签训练得到目标检测网络模型。在一些实施例中，训练样本包括样本每个铆钉对应的识别框的部分图像。标签为样本部分图像中的铆钉的合格度。训练数据可以基于历史数据获取，训练数据的标签可以通过人工标注或自动标注的方式确定。例如，将样本部分图像对应的铆钉的合格度标注为样本每个铆钉对应的识别框的部分图像的标签。
70.由于不同类型的铆钉在不同的灯光亮度下拍摄的图像质量可能不同，基于该图像所确定的铆钉的特征可能不同，从而会影响对每个铆钉的检测结果(例如，合格度等)。例如，a类铆钉适合偏暗的灯光亮度。在灯亮亮度偏强时，拍摄的图像质量较差，从而获得的合格度相比铆钉的实际合格度偏低。
71.在一些实施例中，可以基于不同的铆钉规格设定对应的灯光亮度，该对应关系可以预先确定，例如通过实验等方式确定，通过获知不同铆钉规格，即可获得对应的适宜灯光亮度。在一具体实施例中，确定模块220可以获取铆钉规格特征，并基于铆钉规格特征，控制光照装置的灯光亮度。
72.在一些实施例中，可以将灯光亮度输入识别模块中。在一些实施例中，确定模块220可以基于多个铆钉的图像、铆钉规格特征、灯光亮度，通过识别模型确定每个铆钉的检测结果。例如，确定模块220将多个铆钉的图像、铆钉放置装置103对应的铆钉规格特征和灯光亮度输入识别模型。识别模型输出该铆钉的合格度等。
73.在一具体实施例中，确定模块220可以基于多个铆钉的图像，通过目标识别网络模型确定每个铆钉的区域图像，通过卷积神经网络模型得到每个铆钉的特征表示。确定模块220可以基于每个铆钉的特征表示、铆钉规格特征、灯光亮度，通过深度神经网络模型得到每个铆钉的检测结果。
74.步骤330，基于检测结果，确定一个或多个铆钉是否合格。在一些实施例中，步骤330可以由确定模块220执行。
75.在一些实施例中，铆钉是否合格可以通过多个方面进行考虑。铆钉不合格可以表示铆钉某个方面的特征和该铆钉的标准不符。例如，铆钉存在缺陷(如铆钉缺角、铆钉毛边较大、铆钉外观不良等)无法达到该铆钉的标准、铆钉的规格与该铆钉的标准不符。铆钉合格表示铆钉的特征满足该铆钉的标准。
76.在一些实施例中，确定模块220可以根据合格度确定铆钉是否合格。例如，检测结果可以为0或1的数值，0表示该铆钉不合格；1表示该铆钉合格。又例如，检测结果可以用0到1之间的数值进行表示。不同的数值可以表示该铆钉是否合格的概率。数值越接近0表示该铆钉不合格的概率越大，数值越接近1表示该铆钉合格的概率越大；数值为0.5表示无法判定该铆钉是否合格。确定模块220可以将数值在0-0.4之间对应的铆钉确定为不合格铆钉；将数值在0.6-1.0之间对应的铆钉确定为合格铆钉；将数值在0.4-0.6之间对应的铆钉确定为无法确定是否合格的铆钉。
77.步骤340，若至少一个铆钉不合格时，将该铆钉确定为目标铆钉。在一些实施例中，步骤340可以由确定模块220执行。
78.在一些实施例中，确定模块220可以将合格度数值0对应的铆钉确定为不合格铆钉，确定模块220也可以将合格度在0-0.4之间对应的铆钉确定为目标铆钉。
79.步骤350，确定控制指令，控制指令可以指示机械手105进行移动并抓取目标铆钉，从而将目标铆钉从铆钉放置装置103中取出。在一些实施例中，步骤350可以由第一控制模块230执行。
80.控制指令可以指对机械手105发布的与目标铆钉相关的指令，通过控制指令，第一控制模块230可以指示机械手105移动、抓取一个或多个目标铆钉等。在一些实施例中，控制指令可以包括一个或多个目标铆钉的所在区域位置、对目标铆钉的处理方式等。例如，抓取区域位置为位置a的目标铆钉，移动至复检铆钉放置装置，将目标铆钉放置入废弃盒104。
81.在一些实施例中，第一控制模块230可以基于控制指令，指示机械手105移动，抓取目标铆钉，将目标铆钉从铆钉放置装置103中取出，机械手105继续移动，将目标铆钉放置入废弃盒104。
82.步骤360，对合格的铆钉，第一控制模块230可以不做处理。在一些实施例中，第一控制模块230可以控制机械手105抓取合格的目标型号的铆钉投入吹钉装置108，吹钉装置108可以将铆钉吹送至自动钻铆端等待铆接。
83.图4是根据本说明书一些实施例所示的铆钉预检测的示例性流程图。如图4所示，流程400包括下述步骤。在一些实施例中，流程400可以由处理器执行。
84.步骤410，获取预检测铆钉放置装置中的多个铆钉的第一图像。在一些实施例中，步骤410可以由获取模块210执行。
85.多个铆钉的第一图像可以指放置于预检测铆钉放置装置中的多个铆钉的图像。多个铆钉的第一图像可以包括不同的预检测铆钉放置装置中的铆钉，例如，不同的钉盒中的多个铆钉的图像。
86.在一些实施例中，获取模块210可以通过摄像装置106获取预检测铆钉放置装置中的多个铆钉的第一图像。例如，获取模块210可以通过一个或多个摄像装置106从不同角度拍摄多张同一预检测铆钉放置装置中的多个铆钉的第一图像。
87.步骤420，基于第一图像，通过图像检测确定第一图像中的多个铆钉中的一个或多个铆钉的预检测结果。在一些实施例中，步骤420可以由确定模块220执行。
88.铆钉的预检测结果可以指对第一图像中一个或多个铆钉进行检测的初步结果。铆钉的预检测结果可以包括不同铆钉的不同位置和一个或多个铆钉的不同预检测结果等。例如，铆钉的预检测结果可以包括多个铆钉中每个铆钉在第一图像中的位置、铆钉的规格特征、铆钉是否合格等。
89.在一些实施例中，获取模块210可以通过指示机械手105对预检测铆钉放置装置中的铆钉进行持续震动，在持续震动过程中控制摄像装置106进行连续拍摄，获取多个铆钉的多个第一图像。
90.在一些实施例中，在持续震动过程中，机械手105的震动参数(如，震动频率、震动时间或震动次数等)和机械手105上的摄像装置106的取样数量(如，拍摄间隔、拍摄图像的总数等)可以基于铆钉的合格度进行确定。例如，识别模型输出的铆钉的合格度为0.4至0.6之间的数值较多，表示识别模型输出的检测结果的准确性较低，获取模块210可以增加取样数量和提高震动频率，进而获取数量更多的第一图像，便于确定模块220确定第一图像中的多个铆钉中的至少一个铆钉的预检测结果。
91.在一些实施例中，确定模块220可以通过图像检测确定连续拍摄的多个第一图像中的至少一个铆钉的预检测结果。例如，确定模块220可以通过一个或多个模型对第一图像进行检测，确定铆钉的预检测结果。有关通过一个或多个模型对第一图像进行检测，确定铆钉的预检测结果与步骤320中通过一个或多个模型对图像进行检测，确定铆钉的检测结果类似，更多内容可以参见图步骤320及其相关描述，在此不再赘述。
92.步骤430，基于预检测结果，确定一个或多个铆钉是否合格。在一些实施例中，步骤430可以由确定模块220执行。
93.步骤430的内容与步骤330的内容相似，区别仅在于步骤430是基于预检测结果，确定一个或多个铆钉是否合格，步骤330是基于检测结果，确定一个或多个铆钉是否合格，故关于步骤430的更多内容可以参见步骤330，在此不再赘述。
94.步骤440，若一个或多个铆钉不合格时，确定该铆钉为目标铆钉。在一些实施例中，
步骤440可以由确定模块220执行。
95.在一些实施例中，如果两张及以上图片中的同一个铆钉的被判定为不合适时，确定模块220可以将该铆钉确定为目标铆钉。例如，某一个铆钉a在3张图片中均出现，3次均被判定为不合格，确定模块220可以将铆钉a确定为目标铆钉。步骤440的其他内容与步骤430的内容相似，故关于步骤440的更多内容可以参见步骤340，在此不再赘述。
96.步骤450，确定第一控制指令，第一控制指令可以指示机械手105进行移动并抓取目标铆钉，从而将目标铆钉从预检测铆钉放置装置中取出并放置到复检铆钉放置装置中。在一些实施例中，步骤450可以由第一控制模块230执行。
97.第一控制指令可以指对机械手105发布的将目标铆钉放置到复检铆钉放置装置的相关指令。通过控制指令，第一控制模块230可以指示机械手105移动、抓取一个或多个目标铆钉，并将其放置到复检铆钉放置装置。在一些实施例中，控制指令可以包括一个或多个目标铆钉的所在区域位置、对目标铆钉的处理方式等。例如，抓取区域位置为位置a的目标铆钉，将目标铆钉放置入复检铆钉放置装置。
98.在一些实施例中，第一控制模块230可以基于第一控制指令，指示机械手105移动，抓取目标铆钉，将目标铆钉从铆钉放置装置103中取出，机械手105继续移动，将目标铆钉放置入复检铆钉放置装置。
99.步骤460，对复检铆钉放置装置中的目标铆钉进行复检。在一些实施例中，步骤460可以由第二控制模块240执行。
100.在一些实施例中，第二控制模块240可以通过拍摄装置拍摄复检铆钉放置装置中的目标铆钉的图像，通过图像检测对目标铆钉进行复检。在一些实施例中，第二控制模块240通过图像检测对目标铆钉进行复检获得检测结果的方式可以与确定模块230通过图像检测对铆钉放置装置103中的多个铆钉进行检测获得检测结果的方式相同，可以参见步骤320的相关描述，在此不再赘述。
101.图5是根据本说明书一些实施例所示的目标铆钉复检的示例性流程图。如图5所示，对复检铆钉放置装置中的目标铆钉进行复检还可以包括下述步骤。在一些实施例中，流程460可以由处理器执行，例如，由系统200内的相应模块如第二控制模块240执行。
102.步骤461，确定第二控制指令，第二控制指令可以指示机械手105对复检铆钉放置装置中的目标铆钉进行震动。
103.第二控制指令可以为对机械手105发布的使得机械手105进行震动的相关指令。在一些实施例中，第二控制指令可以包括机械手105的震动参数(如，震动频率、震动时间或震动次数等)以及机械手105上的摄像装置106的取样数量(如，拍摄间隔、拍摄图像的总数等)。
104.在一些实施例中，第二控制模块240可以基于第二控制指令，指示机械手105对复检铆钉放置装置中的目标铆钉进行震动。例如，第二控制模块240可以基于机械手105的震动参数、机械手105上的摄像装置106的取样数量，控制摄像装置106进行连续拍摄，获取一定数量的目标铆钉的图像。
105.步骤462，对震动后的目标铆钉进行复检，确定复检结果。
106.复检结果可以指对目标铆钉重新判断后的结果。例如，复检结果可以包括目标铆钉为合格铆钉、目标铆钉为不合格的铆钉等。
107.在一些实施例中，第二控制模块240可以对震动后的目标铆钉进行复检，确定复检结果。例如，第二控制模块240可以通过与步骤420的相似的方式确定复检结果，更多内容可以参见步骤420的相关描述，在此不再赘述。
108.步骤470，对合格的铆钉，第二控制模块240可以不做处理。
109.本说明书实施例还提供一种计算机可读存储介质，存储介质可以存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机可以实现送料方法。
110.本说明书一些实施例提供的送料装置可能带来的有益效果包括但不限于：(1)通过图像检测对铆钉进行预检测，确定铆钉是否合格，将不合格铆钉取出，可以提高输送铆钉的合格率，提高工作效率；(2)对(疑似)不合格的铆钉进行二次检测，保证了对铆钉识别的准备率；(3)通过目标识别网络模型和目标检测网络模型结合进行识别，输入还包括铆钉规格特征及灯光亮度，可以进一步提高输出的检测结果的准确性；(3)通过铆钉的合格度的方式表示该铆钉的检测结果，可以对每个铆钉进行更细化的分类，可以将一些无法判定该铆钉是否合格的铆钉筛选出来，对该铆钉进行更为精确的复检，可以进一步提高输送铆钉的合格率；(4)通过对复检铆钉放置装置中的目标铆钉进行震动，在震动过程中，获取目标铆钉不同角度的多张图片，提高目标铆钉的复检结果的准确性；(5)通过铆钉规格特征，控制光照装置的灯光亮度，可以降低误判的可能性。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
111.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
112.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
113.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
114.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
115.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例
描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
116.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
117.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。