末端执行器的控制系统以及末端执行器的控制方法与流程

1.本发明涉及末端执行器的控制系统以及末端执行器的控制方法。


背景技术：

2.在专利文献1中公开了对机器人装置进行控制的机器人控制装置，该机器人装置具备对把持对象物进行把持的机械手。该机器人控制装置具备：第一取得机构，其取得把持对象物的视觉信息；第二取得机构，其取得通过机械手而作用于把持对象物的力觉信息；算出机构，其根据由第一取得机构取得的视觉信息算出把持对象物的位置以及姿态；导出机构，其基于由第二取得机构取得的力觉信息，导出把持对象物的把持状态变动性；以及控制机构，其基于由导出机构导出的把持对象物的把持状态变动性，对第一取得机构以及算出机构中的至少一个的处理执行进行控制。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2017-87325号公报


技术实现要素：

6.本发明鉴于上述现有的状况而研究出，目的在于提供能够简化机械手并且对末端执行器进行控制的末端执行器的控制系统以及末端执行器的控制方法。
7.本发明提供一种末端执行器的控制系统，其对能够与机械臂连接的多个末端执行器进行控制，其中，所述末端执行器的控制系统具备：图像取得部，其取得所述多个末端执行器中的与所述机械臂连接的末端执行器的图像；识别信息取得部，其取得识别所述末端执行器的识别信息；控制部，其对所述末端执行器进行控制；以及存储器，其具有控制信息，所述控制信息包括所述多个末端执行器各自的目标位置，所述控制部从所述识别信息取得部取得所述识别信息，根据所述识别信息和所述控制信息来决定所述目标位置，并基于所述图像取得部所取得的所述图像而以与所述目标位置一致的方式进行所述末端执行器的控制。
8.另外，本发明提供一种末端执行器的控制方法，其是由具备图像取得部、识别信息取得部以及存储器的控制系统进行的、对能够与机械臂连接的多个末端执行器进行控制的方法，其中，从所述识别信息取得部取得分别识别所述多个末端执行器的识别信息，根据所述识别信息和所述存储器所具有的作为所述多个末端执行器各自的目标位置的控制信息来决定目标位置，基于所述图像取得部所取得的图像而以与所述目标位置一致的方式进行所述末端执行器的控制。
9.另外，本发明提供一种末端执行器的控制系统，其是与机械臂连接的末端执行器的控制系统，其中，所述末端执行器的控制系统具备存储器、处理器以及相机，所述相机配置于能够对所述末端执行器以及作为所述末端执行器的作业对象的工件进行拍摄的位置，所述存储器具有表示所述末端执行器对所述工件进行支承时的第一支承目标位置处的特
征点的特征点信息，所述处理器基于所述相机拍摄到的图像，确定所述末端执行器的当前位置处的特征点以及所述工件的位置，并且所述处理器以使所述末端执行器的所述当前位置处的所述特征点与由所述特征点信息示出的所述特征点一致的方式对所述末端执行器进行控制。
10.根据本发明，能够简化机械手并且对末端执行器进行控制。
附图说明
11.图1是示出机械臂1以及末端执行器2的结构例的图，且图1的(a)是立体图，图1的(b)是侧视图，图1的(c)是俯视图。
12.图2是示出图1所示的末端执行器2的图，且图2的(a)是俯视图，图2的(b)是立体图。
13.图3是示出与末端执行器2连接的相机cam的拍摄范围的图。
14.图4是示出控制系统100的硬件结构例的框图。
15.图5是示出控制系统100的初始设定例的流程图。
16.图6是示出保存于存储器102的特征点信息表t的图。
17.图7是示出实施方式1的控制系统100对由末端执行器2进行的工件w的支承(把持)进行控制的例子的流程图。
18.图8是示出由实施方式1的控制系统100进行的末端执行器2的控制例的图，且图8的(a)是动作开始时间点的俯视图，图8的(b)是把持完成时间点的俯视图，图8的(c)是示出基于特征点进行的末端执行器2的驱动控制的概念图。
19.图9是示出实施方式2的控制系统100对由末端执行器2进行的工件w的支承(把持)进行控制的例子的流程图。
20.图10是示出由实施方式2的控制系统100进行的末端执行器2的控制例的图，且图10的(a)是动作开始时间点的俯视图以及概念图，图10的(b)是把持完成时间点的俯视图以及概念图，图10的(c)是再把持完成时间点的俯视图以及概念图。
21.图11是示出图9的步骤st23中的支承确认的例子的图，且图11的(a)是示出基于移动量进行的确认例的流程图，图11的(b)是示出基于工件w的变形进行的确认例的俯视图。
具体实施方式
22.(完成本发明的经过)
23.在工厂等使用的机器人装置通过在机械臂安装末端执行器而能够进行各种作业。例如，使用机械手作为末端执行器来拣选在工厂的生产线上流动的部件等作业。该机械臂以及末端执行器由与机械臂连接的控制装置(控制器)控制。
24.上述的控制以往使用来自编码器、力觉传感器等各种传感器的反馈而进行。例如，在专利文献1所记载的技术中，也使用力觉传感器来导出把持对象物(工件)的把持状态变动性。
25.然而，在具备各种传感器的机械臂以及末端执行器的启动时，需要对各个传感器进行校准，因此传感器的设定需要时间。
26.另外，在机械臂以及末端执行器具备多个传感器的情况下，作为来自多个传感器
的反馈而取得的信息也成为多个系统，从而信息处理变得繁杂。并且，在进行使用人工智能的控制的情况下，用于使该人工智能进行机器学习的数据成为多模态，从而难以使人工智能进行学习。
27.因此，在以下的实施方式1以及实施方式2中，不使用力觉传感器等，而利用相机对末端执行器的形状进行识别，从而进行基于由相机拍摄到的拍摄图像的控制。若为该结构，则在控制系统中可以不使用其他传感器。因此，仅对相机进行校准，从而系统整体的校准变得容易。即，能够得到无传感器且简单的系统结构。
28.另外，若为不使用力觉传感器等的上述结构，则能够将来自末端执行器的反馈信息汇集到由相机拍摄到的拍摄图像中。即，能够避免多模态的信息处理。需要说明的是，在使人工智能进行机器学习时，削减所使用的信息的信道也是有益的。
29.以下，适当参照附图对具体公开了本发明的末端执行器的控制系统以及末端执行器的控制方法的结构以及动作的实施方式详细地进行说明。但是，有时会省略过于详细的说明。例如，有时省略会已经广为人知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免以下的说明变得不必要的冗长，并使本领域技术人员容易理解。需要说明的是，附图和以下的说明是为了使本领域技术人员充分理解本发明而提供的，并不意在通过这些来限定技术方案所记载的主题。
30.《实施方式1》
31.在以下的实施方式1中，假设使用具有两个指部的机械手(参照图2)作为末端执行器的情况来进行说明。需要说明的是，末端执行器能够呈各种形状。例如，能够使用两个(或五个等)指部对作为作业对象物的工件进行把持，或者通过吸附体对作为作业对象物的工件进行吸附而进行支承，或者将弯曲的指部插入工件所具备的钩部而进行钩挂。总之，为了进行某种作业，末端执行器对工件进行支承。以下，有时将由具有两个指部的图2所示那样的末端执行器进行的工件的支承表述为“把持”。
32.(机械臂1以及末端执行器2的结构例)
33.图1是示出机械臂1以及末端执行器2的结构例的图，且图1的(a)是立体图，图1的(b)是侧视图，图1的(c)是俯视图。图2是示出图1所示的末端执行器2的图，且图2的(a)是俯视图，图2的(b)是立体图。以下，基于这些附图对由本发明的控制系统进行控制的机器人装置的一例进行说明。
34.由本发明的控制系统进行控制的机器人装置具备机械臂1和末端执行器2。机械臂1配置在基座3上。在该例子中，箱型的控制器4经由机械臂1而与末端执行器2连接。
35.末端执行器2具备指部f(参照图2)。在本例子中，指部f由第一指部f1以及第二指部f2构成。但是，指部的数量并不限于两个。另外，如图1所示，末端执行器2具备相机cam。关于该相机cam将后述。
36.如图2所示，在本例子中，第一指部f1具有四个连杆。即，从第一指部f1的前端起依次为第一连杆l1、第二连杆l2、第三连杆l3、第四连杆l4、第五连杆l5。另外，在连杆与连杆之间设置有关节轴。即，第一关节轴j1将第一连杆l1与第二连杆l2连接，第二关节轴j2将第二连杆l2与第三连杆l3连接，第三关节轴j3将第三连杆l3与第四连杆l4连接，第四关节轴j4将第四连杆l4与第五连杆l5连接。在本例子中，第二指部f2也具备与第一指部f1相同的结构。
37.第一指部f1和第二指部f2分别在第一连杆l1的前端具备把持部g。另外，在图1以及图2中，例示出作为作业对象物的工件w。在附图的例子中，呈长方体形状的工件w实际上具有各种大小、形状、硬度、重量。第一指部f1和第二指部f2所具备的两个把持部g将工件w夹入，由此，在本例子中，作为机械手的末端执行器2对工件w进行支承(把持)。
38.(相机cam的配置以及视角)
39.图3是示出与末端执行器2连接的相机cam的拍摄范围的图。图中的圆锥状的区域aof表示相机cam的视角(拍摄范围)。
40.如上所述，本发明的控制系统不使用力觉传感器等各种传感器，而基于由相机cam拍摄到的拍摄图像来对末端执行器2进行控制。为了实现基于图像的控制，相机cam配置于末端执行器2与机械臂1连接的连接部附近。另外，相机cam配置于能够对末端执行器2、以及作为末端执行器2的作业对象的工件w进行拍摄的位置。即，在由相机cam拍摄到的图像中同时映入有末端执行器2的形状、进行支承(把持)时的作为作业对象的工件w的形状。
41.需要说明的是，在图3的例子中，相机cam配置于末端执行器2与机械臂1连接的连接部附近，但相机cam也可以配置于除此之外的场所。
42.(控制系统的结构)
43.图4是示出实施方式1的控制系统100的硬件结构例的框图。控制系统100对机械臂1以及末端执行器2的动作进行控制。
44.本例子中的控制系统100是包括处理器101、存储器102、输入装置103、图像取得部104、末端执行器连接部105、通信装置106以及输入输出接口107的结构。存储器102、输入装置103、图像取得部104、末端执行器连接部105、通信装置106、输入输出接口107分别以能够在与处理器101之间进行数据或信息的输入输出的方式被内部总线等连接。
45.处理器101例如使用cpu(central processing unit)、mpu(micro processing unit)、dsp(digital signal processor)或者fpga(field programmable gate array)而构成。处理器101作为控制系统100的控制部而发挥功能，并进行用于整体地对控制系统100的各部的动作进行总控制的控制处理、与控制系统100的各部之间的数据或信息的输入输出处理、数据的计算处理、以及数据或信息的存储处理。另外，处理器101也作为对末端执行器2进行控制的控制部而发挥功能。
46.存储器102可以包括hdd(hard disk drive)、rom(read only memory)、ram(random access memory)等，并保存由处理器101执行的各种程序(os(operation system)、应用软件等)、各种数据。另外，存储器102也可以具有作为每个末端执行器的目标位置的控制信息。该控制信息例如可以是后述的特征点信息等。
47.输入装置103可以包括键盘、鼠标等，具有作为与用户之间的人机接口的功能，并将用户的操作输入。换言之，输入装置103用于由控制系统100执行的各种处理中的输入或指示。需要说明的是，输入装置103也可以是与控制器4连接的编程器(programming pendant)。
48.图像取得部104能够经由有线或者无线而与相机cam连接，并取得相机cam拍摄到的图像。控制系统100能够对图像取得部104所取得的图像适当地进行图像处理。该图像处理的主体可以是处理器101。另外，控制系统100可以还具备省略图示的图像处理单元，该图像处理单元可以是与控制系统100连接的结构。在由处理器101进行的控制下，能够通过该
图像处理单元进行图像处理。
49.末端执行器连接部105是确保与末端执行器2(一并参照图1)的连接的构成要素，控制系统100与末端执行器2(以及机械臂1)经由末端执行器连接部105而连接。该连接可以是使用连接器以及线缆等的有线连接，但也可以是基于无线的连接。在该连接时，末端执行器连接部105从末端执行器2取得识别末端执行器2的识别信息。即，末端执行器连接部105作为识别信息取得部而发挥功能。需要说明的是，处理器101可以进一步从末端执行器连接部105取得识别信息。通过该识别信息，能够确定所连接的末端执行器2的种类。
50.通信装置106是用于经由网络而与外部进行通信的构成要素。需要说明的是，该通信可以是有线通信，也可以是无线通信。
51.输入输出接口107具有作为在控制系统100之间进行数据或信息的输入输出的接口的功能。
52.需要说明的是，控制系统100的上述结构为一例，也可以不必具备上述全部的构成要素。另外，控制系统100也可以还具备追加的构成要素。例如，箱型的控制系统100(控制器4)也可以具有车轮，并将机械臂1以及末端执行器2载置于控制系统100之上而进行自行驶。
53.(初始设定处理)
54.以下，对控制系统100的初始设定例进行说明。图5是示出控制系统100的初始设定例的流程图。初始设定在使机械臂1以及末端执行器2进行规定的作业前进行。
55.机器人装置将各种末端执行器与机械臂连接而进行各种作业。另外，末端执行器的形状、功能多种多样。因此，根据想对工件进行的作业来选定适当的末端执行器2，并将该末端执行器2与机械臂1连接(st1)。
56.与所连接的末端执行器2相应的特征点信息作为控制信息被从控制系统100的存储器102读入控制系统100的省略图示的工件存储器等(st2)。该特征点信息可以是后述的特征点信息表t内的信息。
57.(特征点信息表t)
58.在此，参照示出特征点信息表t的图6。特征点信息表t可以保存于控制系统100的存储器102。在上述步骤st2中，特征点信息表t所包括的与末端执行器2相应的特征点信息被从存储器102提取，并被读入控制系统100的工件存储器等。
59.特征点信息表t按照末端执行器的种类(末端执行器a～c)具有例如以下那样的数据。
60.数据项目1：末端执行器的目标位置处的特征点(特征点信息)
61.数据项目2：能够应对的工件的尺寸
62.数据项目3：能够应对的工件的重量
63.(末端执行器的目标位置)
64.末端执行器进行支承(把持等)工件、释放工件等各种动作。因此，存在与动作相应的目标位置，使末端执行器移动(或者变形)到该目标位置。例如，在末端执行器对工件进行支承时，使末端执行器移动(或者变形)到末端执行器的支承目标位置即可。在末端执行器将工件释放(松手)时，使末端执行器移动(或者变形)到末端执行器的释放目标位置即可。
65.(特征点)
66.本发明的控制系统基于由相机cam拍摄到的图像进行末端执行器的控制。为此，确
定末端执行器上的一个以上的特征点。在图6中，使用
×
记号表示特征点。该特征点可以由通常的图像识别技术中的特征点识别来决定，也可以在末端执行器上设置标识器(例如，红色的灯等)，而将该标识器作为特征点。
67.在图6所示的特征点信息表t的例子中，配置特征点的场所为末端执行器的关节轴上。这是因为，若能够将该关节轴定位于对工件进行支承(把持)时的规定的目标位置，则能够进行适当的把持。但是，也可以将特征点配置于末端执行器的连杆上(例如，连杆的前端部等)。
68.需要说明的是，末端执行器根据种类而其形状不同，因此也可以按照末端执行器的种类(末端执行器a～c)在不同的场所配置特征点。在末端执行器a～c中的任一个与末端执行器连接部105连接了时，末端执行器连接部105如前述那样取得识别该末端执行器的识别信息，处理器101从末端执行器连接部105取得该识别信息，并决定所连接的末端执行器的种类(a～c)。
69.(末端执行器的目标位置处的特征点)
70.例如，图6所示的末端执行器a抓住工件的状态(末端执行器位于目标位置的状态)下的末端执行器a上的特征点为末端执行器的目标位置处的特征点。特征点信息表t具有该特征点的位置信息(特征点信息)来作为数据项目1。
71.需要说明的是，末端执行器并不限于仅进行单一的动作。并且，也能够根据工件变更支承方法。例如，对于尺寸较大的工件而言，优选用指部的前端抓住该工件，对于尺寸较小的工件而言，优选通过用指部将该工件卷入而抓住该工件。因此，特征点信息表t也可以与由末端执行器进行的支承方法(用前端抓住、以卷入的方式抓住等)相对应地分别具有特征点信息。
72.基于以上内容，再次回到图5的说明。例如，在末端执行器a与机械臂1连接(st1)的情况下，在步骤st2中，与末端执行器a相应的特征点信息作为控制信息被读入控制系统100。在该例子中，与由末端执行器a进行的多个支承方法(用前端抓住、以卷入的方式抓住等)分别对应的特征点信息可以被统一读入控制系统100。
73.接下来，通过输入装置103向控制系统100输入工件的形状、重量(st3)。需要说明的是，该输入可以由人即操作员进行，但也可以基于相机cam拍摄到的图像等而使控制系统100自身对工件的形状等进行推定。该推定处理可以使用通常的图像识别技术进行。也可以将秤等测量设备另外与控制系统100连接，从而控制系统100取得测定出的重量。
74.接下来，也考虑工件的形状、重量，控制系统100决定由末端执行器a进行的支承方法(用前端抓住、以卷入的方式抓住等)(st4)。
75.通过进行以上的步骤st1～st4，实施方式1的控制系统100的初始设定结束。在初始设定的结束时间点，控制系统100已决定了由所连接的末端执行器进行的支承方法(用前端抓住、以卷入的方式抓住等)，也保持有与该支承方法相应的特征点信息(st2)。即，针对所连接的末端执行器的、与支承方法相应的末端执行器的目标位置处于被控制系统100(的处理器101)决定了的状态。
76.(由末端执行器2进行的工件支承的控制例)
77.接下来，参照图7以及图8来说明实施方式1的控制系统100对由末端执行器2进行的工件的支承进行控制的控制例。
78.图7是示出实施方式1的控制系统100对由末端执行器2进行的工件w的支承(把持)进行控制的例子的流程图。图8是示出由实施方式1的控制系统100进行的末端执行器2的控制例的图，且图8的(a)是动作开始时间点的俯视图，图8的(b)是把持完成时间点的俯视图，图8的(c)是示出基于特征点进行的末端执行器2的驱动控制的概念图。需要说明的是，在进行使工件w从某一场所移动到另一场所的作业的前提下进行说明。
79.首先，关于移动机械臂1而使末端执行器2移动到能够支承(把持)工件w的位置这一点，可以使用现有技术。因此，以末端执行器2已移动到能够支承(把持)工件w的位置的图8的(a)的状态为初始状态进行说明。
80.首先，相机cam拍摄图像。控制系统100的图像取得部104取得该图像。然后，控制系统100基于相机cam拍摄到的图像对成为支承(把持)对象的工件w的位置进行识别(st11)。该位置识别可以基于现有的图像处理技术进行。
81.接下来，基于图像取得部104所取得的图像而以与目标位置一致的方式进行末端执行器的控制。更特定而言，以使末端执行器2的当前位置处的特征点与由特征点信息示出的特征点(目标位置处的特征点)一致的方式对末端执行器进行控制(st12)。以下，对在该步骤st12中进行的处理更详细地进行说明。
82.如上所述，在先的步骤st11中，相机cam进行拍摄。在此，相机cam配置于能够对末端执行器2、以及作为末端执行器2的作业对象的工件w进行拍摄的位置(参照图1以及图3)。也就是说，在由相机cam拍摄到的拍摄图像中映入有末端执行器2和工件w这两方。控制系统100能够基于该拍摄图像来确定末端执行器2的当前位置处的特征点。该特征点的确定可以由通常的图像识别技术中的特征点识别来确定，也可以在末端执行器2设置标识器(例如，红色的灯等)，而将该标识器作为特征点。需要说明的是，为了容易理解，末端执行器2的当前位置处的特征点在图8的(c)中被绘制为“特征点初始位置”。
83.另外，通过先前基于图5以及图6叙述的初始设定(st1～st4)，控制系统100也已经保持有针对与机械臂1连接的末端执行器2的、与支承方法相应的特征点信息。该特征点信息所示的特征点的位置在图8的(c)中被绘制为“特征点把持位置”。
84.因此，在步骤st12的开始时间点，控制系统100已确定过末端执行器2的当前位置处的特征点以及末端执行器的目标位置处的特征点这两方。然后，在步骤st12中，控制系统100以使末端执行器2的当前位置处的特征点(特征点初始位置)与由特征点信息示出的特征点(特征点把持位置)一致的方式对末端执行器2进行控制。图8的(c)对该控制进行图示，通过以使位于初始位置的特征点与位于把持位置的特征点一致的方式对末端执行器2进行控制，从而完成工件w的把持(参照图8的(b))。需要说明的是，由于已确定过末端执行器2的特征点的移动前后的位置，因此能够基于针对末端执行器2的逆运动学的计算来进行由控制系统100进行的上述的控制。
85.由于完成了工件w的支承(把持)，因此控制系统100接着对机械臂1进行控制，而使已支承(把持)的工件w从某一地点移动到另一地点(st13)。接下来，控制系统100以使末端执行器2位于释放的目标位置的方式对末端执行器2进行控制(st14)。通过该步骤st14，末端执行器2释放(离开)工件。需要说明的是，步骤st14可以通过与步骤st12相同的处理来实施。即，特征点信息表t具有关于工件的释放的特征点信息，控制系统100使用该特征点信息，以使末端执行器2的当前位置处的特征点与由特征点信息示出的特征点一致的方式对
末端执行器2进行控制。
86.需要说明的是，步骤st14中的工件w的释放也可以不必基于特征点信息来进行。例如，也可以预先设定末端执行器2所具有的各指部以及各关节轴的初始位置，并以只是回到其初始位置的方式对末端执行器2进行控制。
87.《实施方式2》
88.接下来，对本发明的实施方式2进行说明。在实施方式2中，也假设使用具有两个指部的机械手作为末端执行器2的情况来进行说明。由于机械臂1以及末端执行器2的结构、相机cam的配置、控制系统100的结构、初始设定处理与实施方式1相同，因此省略说明。
89.实施方式2例如假设关于工件w的事前信息不足的情况、工件w由较软的原材料形成的情况等。在关于工件w的事前信息不足的情况下，难以在事前准确地对末端执行器2的目标位置进行确定。另外，在工件w由较软的原材料形成的情况下，若使用机械手对工件w进行把持，则工件w可能发生变形。难以在也考虑该变形的基础上以使末端执行器2适当地支承工件w的方式对末端执行器2进行控制。
90.但是，实施方式2的控制系统100即使在上述那样的情况下，也能够以使末端执行器2适当地支承工件w的方式进行控制。
91.(由末端执行器2进行的工件支承的控制例)
92.参照图9以及图10来说明实施方式2的控制系统100对由末端执行器2进行的工件w的支承进行控制的例子。
93.图9是示出实施方式2的控制系统100对由末端执行器2进行的工件w的支承(把持)进行控制的例子的流程图。另外，图10是示出由实施方式2的控制系统100进行的末端执行器2的控制例的图，且图10的(a)是动作开始时间点的俯视图以及概念图，图10的(b)是把持完成时间点的俯视图以及概念图，图10的(c)是再把持完成时间点的俯视图以及概念图。
94.移动机械臂1而使末端执行器2移动到能够支承(把持)工件w的位置的技术可以使用现有技术。因此，以末端执行器2已移动到能够支承(把持)工件w的位置的图10的(a)的状态为初始状态进行说明。
95.首先，相机cam拍摄图像。控制系统100的图像取得部104取得该图像。然后，控制系统100基于相机cam拍摄到的图像对成为支承(把持)对象的工件w的位置进行识别(st21)。该位置识别可以基于现有的图像处理技术进行。需要说明的是，在图10的(a)中示出该时间点的末端执行器2的位置、以及末端执行器2上的特征点的位置。
96.接下来，基于图像取得部104所取得的图像而以与目标位置一致的方式进行末端执行器的控制。更特定而言，以使末端执行器的当前位置处的特征点与由特征点信息示出的特征点(目标位置处的特征点)一致的方式对末端执行器2进行控制(st22)。该处理与实施方式1的前述的步骤st12相同。
97.即，在步骤st22的开始时间点，控制系统100已确定过末端执行器2的当前位置处的特征点(基于相机cam的拍摄图像)以及目标位置处的特征点(从存储器102内的特征点信息表t提取)这两方。然后，在步骤st22中，控制系统100以使末端执行器的当前位置处的特征点与由特征点信息示出的特征点一致的方式对末端执行器2进行控制。在图10的(b)中示出进行了步骤st22的处理后的末端执行器2的位置、以及末端执行器2上的特征点的位置。
98.接下来，处理器101确认末端执行器2是否支承着工件w(st23)。该确认的具体例将
基于图11后述。在末端执行器2支承着工件的情况下(st23，是)，移至使所把持的工件w移动并将其释放的步骤st25以及步骤st26的处理。即，如下述那样。
99.控制系统100对机械臂1进行控制，而使已支承(把持)的工件w从某一地点移动到另一地点(st25)。接下来，控制系统100以使末端执行器2位于释放的目标位置的方式对末端执行器2的驱动部进行控制(st26)。通过该步骤st26，末端执行器2释放(离开)工件。需要说明的是，步骤st26可以通过与步骤st22相同的处理来实施。即，特征点信息表t具有关于工件的释放的特征点信息，控制系统100使用该特征点信息，以使末端执行器2的当前位置处的特征点与由特征点信息示出的特征点一致的方式对末端执行器2的驱动部进行控制。
100.另外，步骤st26中的工件w的释放也可以不必基于特征点信息来进行。例如，也可以预先设定末端执行器2所具有的各指部以及各关节轴的初始位置，并以只是回到其初始位置的方式对末端执行器2进行控制。
101.接下来，对前述的步骤st23中的末端执行器2未支承工件w的情况(st23，否)进行说明。在关于工件w的事前信息不足的情况、工件w由较软的原材料形成的情况下，有时本应在在先的步骤st22中正确地进行了移动的末端执行器2实际上无法对工件w进行支承(把持)。在这样的情况下，处理移至进行工件的再支承(再把持)的步骤st24。
102.在步骤st24中，根据识别信息和控制信息重新决定目标位置，并基于图像取得部104所取得的图像而以与新的目标位置一致的方式进行末端执行器的控制。更特定而言，基于相机cam拍摄到的图像，以使末端执行器2的当前位置处的特征点与基于工件w的位置得到的末端执行器2的新的支承目标位置处的特征点一致的方式对末端执行器2进行控制。即，由于无法在末端执行器2的以前的(第一)支承目标位置良好地对工件w进行支承，因此使末端执行器2移动(变形)到与此不同的新的(第二)支承目标位置，而试行再支承(再把持)。
103.可以预先将新的支承目标位置处的特征点作为特征点信息另外保存在前述的特征点信息表t中，并使用该信息进行确定。另外，处理器101也可以通过动态地进行计算而求出新的支承目标位置处的特征点。例如，也可以将示出从动作开始时(图10的(a))到把持完成时(图10的(b))的各特征点的移动轨迹的信息预先保持在工件存储器等中，并将新的支承目标位置处的特征点设定在该移动轨迹的延长线上。需要说明的是，也可以将该新的特征点信息在规定的时机(例如，支承成功的时机等)写入特征点信息表t。在图10的(c)中示出进行了步骤st24的处理后的末端执行器2的位置、以及末端执行器2上的特征点的位置。
104.接下来，对处理器101确认末端执行器2是否支承着工件w的步骤st23中的确认的具体例进行说明。图11是示出图9的步骤st23中的支承确认的例子的图，且图11的(a)是示出基于移动量进行的确认例的流程图，图11的(b)是示出基于工件w的变形进行的确认例的俯视图。
105.如图11的(a)所示，在步骤st231中，由相机cam进行拍摄。控制系统100的图像取得部104取得该图像。接下来，在步骤st232中，控制系统100对机械臂1进行控制，使机械臂1以及末端执行器2移动规定的距离。接下来，在步骤st233中，由相机cam进行拍摄。控制系统100的图像取得部104取得该图像。通过以上的处理，能够取得工件w的移动前后的拍摄图像。
106.然后，在步骤st234中，对工件w的移动量与末端执行器2的移动量进行比较。需要
说明的是，该移动量能够使用工件w的移动前后的拍摄图像进行计算。若末端执行器2已正确地对工件w完成支承，则末端执行器2的移动量与工件w的移动量应相等。另一方面，在末端执行器2的移动量与工件w的移动量不同的情况下，成为末端执行器2未正确地对工件w完成支承的情况。因此，在步骤st234中，在工件w的移动量与末端执行器2的移动量之差dif在既定的允许误差值以内的情况下，能够确认为末端执行器2已对工件w完成支承(st23，是)。另一方面，在所述的差dif不在既定的允许误差值以内的情况下，能够确认为末端执行器2未对工件w完成支承(st23，否)。
107.图11的(b)示出基于由拍摄图像识别出的工件w的变形进行步骤st23中的确认的例子。在该确认例中，使用由末端执行器2进行支承的工件w的支承前后的图像，导出表示工件w的变形的信息。例如，通过相机cam来拍摄动作开始时(时刻t1)的图像img
t1
以及把持完成时(时刻t2)的图像img
t2
，控制系统100的图像取得部104取得这些图像。与时刻t1的工件w相比，时刻t2的工件w发生压缩变形。控制系统100(的处理器101)基于上述图像img
t1
以及图像imgt2导出该变形量(或变形率)，并将该变形量(或变形率)作为表示工件w的变形的信息。
108.例如，在将时刻t1的工件w的宽度设为d
t1
，将时刻t2的工件w的宽度设为d
t2
的情况下，能够将变形率定义为d
t2
/d
t1
并进行导出。能够将该变形率用作表示所述工件w的变形的信息，并基于该信息进行支承的确认。例如，若为0.9≤d
t2
/d
t1
＜0.95，则视为以适当的力进行支承(把持)，而能够确认为末端执行器2已对工件w完成支承(st23，是)。在为d
t2
/d
t1
《0.9的情况下，视为支承(把持)的力过强，而能够确认为末端执行器2未对工件w完成支承(st23，否)，在为0.95≤d
t2
/d
t1
的情况下，视为支承(把持)的力过弱，而能够确认为末端执行器2未对工件w完成支承(st23，否)。需要说明的是，表示所述工件的变形的信息可以是上述的变形率以外的信息，根据工件w的形状、大小、柔软度、重量等而使用适当的信息即可。
109.如上所述，对能够与机械臂1连接的多个末端执行器2进行控制的末端执行器2的控制系统100具备：图像取得部104，其取得末端执行器2的图像；末端执行器连接部105，其取得识别末端执行器2的识别信息；处理器101，其对末端执行器2进行控制；以及存储器102，其具有作为每个末端执行器的目标位置的控制信息，处理器101从末端执行器连接部105取得识别信息，根据识别信息和控制信息确定目标位置，并基于图像取得部104所取得的图像而以与目标位置一致的方式进行末端执行器2的控制。由此，能够不使用力觉传感器等，而成为无传感器且简单的系统结构。另外，由于可以不进行针对多个传感器的校准，因此末端执行器2的启动时间变短。并且，通过将来自末端执行器2的反馈信息汇集到由相机cam拍摄到的拍摄图像中，能够避免多模态的信息处理。
110.另外，处理器101基于图像取得部104所取得的图像，确认末端执行器2是否支承着工件w，在末端执行器2未支承工件w的情况下，根据识别信息和控制信息重新决定目标位置，并基于图像取得部104所取得的图像而以与新的目标位置一致的方式进行末端执行器2的控制。由此，即使在关于工件w的事前信息不足的情况、工件w由较软的原材料形成的情况下，基于工件w的柔软性、重量进行的支承的控制也变得容易。其结果是，能够扩大对各种工件w进行支承的末端执行器2的动作的范围。并且，由于基于拍摄到的图像对末端执行器2进行控制即可，因此不需要在通常的逆运动学中加进工件的柔软性的运动法则式的计算。
111.另外，由处理器101进行的末端执行器2是否支承着工件w的确认通过如下方式进行：处理器101以使工件w移动的方式对末端执行器2进行控制，并基于由图像取得部104取
得的图像，确认工件w的移动量与末端执行器2的移动量之差是否为既定的允许误差值以内。由此，能够基于由相机cam拍摄到的拍摄图像适当地确认末端执行器2是否支承着工件w。
112.另外，由处理器101进行的末端执行器2是否支承着工件w的确认通过如下方式进行：处理器101基于由图像取得部104取得的图像，导出表示工件w的变形的信息。由此，能够基于由相机cam拍摄到的拍摄图像适当地确认末端执行器2是否支承着工件w。
113.另外，多个末端执行器所包括的末端执行器中的至少一个具有一个以上的指部f，利用指部f的前端抓住工件w、或利用指部f将工件w卷入，从而对工件w进行支承。由此，控制系统100能够对由末端执行器2进行的工件w的各种支承方式进行控制。
114.另外，多个末端执行器所包括的末端执行器中的至少一个具有一个以上的指部f，一个以上的指部f具备多个关节轴，末端执行器的特征点至少配置于指部f的一个以上的关节轴上。由此，能够将关节轴定位于对工件w进行把持时的规定的位置。
115.另外，在由控制系统100进行的对能够与机械臂1连接的多个末端执行器2进行控制的方法中，控制系统100具备图像取得部104、末端执行器连接部105、处理器101以及存储器102，存储器102具有作为每个末端执行器的目标位置的控制信息，图像取得部104取得末端执行器2的图像，末端执行器连接部105取得识别末端执行器2的识别信息，处理器101从末端执行器连接部105取得识别信息，根据识别信息和控制信息来决定目标位置，并基于图像取得部104所取得的图像而以与目标位置一致的方式进行末端执行器2的控制。由此，能够不使用力觉传感器等，而得到无传感器且简单的系统结构。另外，由于可以不进行针对多个传感器的校准，因此末端执行器2的启动时间变短。并且，通过将来自末端执行器2的反馈信息汇集到由相机cam拍摄到的图像中，能够避免多模态的信息处理。
116.另外，与机械臂1连接的末端执行器2的控制系统100具备存储器102、处理器101以及相机cam，相机cam配置于能够对末端执行器2、以及作为末端执行器2的作业对象的工件w进行拍摄的位置，存储器102具有表示末端执行器2对工件w进行支承时的第一支承目标位置处的特征点的特征点信息(例如作为特征点信息表t的数据项目)，处理器101基于相机cam拍摄到的图像，确定末端执行器2的当前位置处的特征点以及工件w的位置，并且处理器101以使末端执行器2的当前位置处的特征点与由特征点信息示出的特征点一致的方式对末端执行器2进行控制。由此，能够不使用力觉传感器等，而得到无传感器且简单的系统结构。另外，由于可以不进行针对多个传感器的校准，因此末端执行器2的启动时间变短。并且，通过将来自末端执行器2的反馈信息汇集到由相机cam拍摄到的拍摄图像中，能够避免多模态的信息处理。
117.以上，参照附图对各种实施方式进行了说明，但本发明并不限定于这样的例子，这是不言而喻的。只要是本领域技术人员，就能在技术方案所记载的范畴内想到各种变更例、修正例、置换例、附加例、删除例、均等例，这是不言而喻的，且应理解为这些内容当然也属于本发明的技术范围。另外，也可以在不脱离发明的主旨的范围内，将上述各种实施方式中的各结构要素任意组合。
118.工业实用性
119.本发明作为能够简化机械手并且对末端执行器进行控制的末端执行器的控制系统以及末端执行器的控制方法是有用的。
120.附图标记说明
121.1：机械臂；2：末端执行器；3：基座；4：控制器；100：控制系统；101：处理器；102：存储器；103：输入装置；104：图像取得部；105：末端执行器连接部；106：通信装置；107：输入输出接口；cam：相机；dif：差；f：指部；f1：第一指部；f2：第二指部；g：把持部；imgt1、img
t2
：图像；j1：第一关节轴；j2：第二关节轴；j3：第三关节轴；j4：第四关节轴；l1：第一连杆；l2：第二连杆；l3：第三连杆；l4：第四连杆；l5：第五连杆；t：特征点信息表；w：工件。