学习数据的生成装置和学习数据的生成方法、以及使用学习数据的机器学习装置和机器学习方法与流程

本发明涉及学习数据的生成装置和学习数据的生成方法、以及使用学习数据的机器学习装置和机器学习方法。

背景技术：

1、以往，已知通过具备多关节机器人的机器人装置来输送工件的技术。通过机器人在保持工件的状态下变更位置以及姿势，能够将工件输送至目标的位置以及姿势。因此，机器人装置需要根据工件的位置和姿势来变更机器人的位置和姿势。

2、已知机器人装置为了保持工件，利用视觉传感器对配置在预定位置的工件进行拍摄，基于从视觉传感器得到的信息来控制机器人。例如，已知机器人控制装置根据由视觉传感器得到的图像来计算工件的位置和姿势，根据工件的位置和姿势来控制机器人的位置和姿势。

3、另外，近年来，已知为了在各种领域中实施机械的控制而进行机器学习(例如，日本特开2019-34836号公报)。作为机器学习，已知有强化学习、监督学习或无监督学习等。

4、在输送工件的机器人装置中，已知为了根据视觉传感器拍摄到的工件的图像来推定机器人取出的工件的位置和姿势而进行机器学习。例如，进行使用了训练数据的机器学习来生成学习模型。而且，已知使用所生成的学习模型，根据由视觉传感器拍摄到的图像，计算机器人取出的工件的位置以及姿势的技术(例如，日本特开2019-56966号公报以及日本特开2018-161692号公报)。

5、现有技术文献

6、专利文献

7、专利文献1：日本特开2019-34836号公报

8、专利文献2：日本特开2019-56966号公报

9、专利文献3：日本特开2018-161692号公报

技术实现思路

1、发明所要解决的课题

2、机器人装置为了输送工件，通过视觉传感器拍摄配置有多个工件的区域，能够计算用于取出1个工件的工件取出位置。为了进行监督学习等机器学习，需要生成包含拍摄到工件的图像以及各个工件的取出位置的数据来作为学习数据。

3、在机器学习中，通过使用大量学习数据，能够生成可精确地推定工件的取出位置及姿势的学习模型。例如，存在取出随机堆积的多个工件的作业。或者，存在取出排列的工件的作业。在任一作业中，优选通过多个学习数据进行机器学习。

4、但是，为了生成大量的学习数据，存在花费大量的作业量和时间的问题。特别是在工件大或重的情况下，作业者变更工件的配置图案需要大量的劳力。即，存在难以一边变更工件的配置图案一边取得大量的学习数据的问题。

5、例如，有时变更由一个作业者难以运送的较大的工件的装载姿态(配置图案)来获得学习数据。为了收集学习数据，必须由多名作业者移动工件。因此，生成学习数据的效率差。而且，若工件大，则有时多名作业者也难以输送工件。

6、另一方面，能够通过模拟装置生成学习数据。例如，能够使用由三维cad(computeraided design，计算机辅助设计)软件等制作的三维cad模型，由模拟装置生成虚拟的三维空间。在虚拟的三维空间中，利用工件的三维cad模型来生成多个工件的配置图案。模拟装置能够生成从虚拟的三维空间中的预定的位置利用虚拟的视觉传感器拍摄时的图像。能够将此时的图像和工件的位置用作学习数据。

7、然而，存在由模拟装置生成的图像与在现实世界中进行实际的作业时取得的图像不同的问题。例如，在实际进行取出工件的作业时，根据周围的照明状态，有时映现在工件的物体的影子或工件的表面的光泽度发生变化。或者，有时在图像中产生光晕。并且，在现实世界中存在工件的污渍的有无及其位置和大小、损伤的有无及其位置和大小、或者实际粘贴在工件的物体(例如，标签或胶带)的位置的偏差。由模拟装置生成的图像成为未反映这些状况的理想的图像。另外，成为未反映制造工件时的大小的误差或制造偏差的学习数据。而且，有时在输送工件时工件变形。若利用模拟装置生成学习数据，则存在以下问题：无法反映工件的变形或制造偏差等来生成与现实的状态对应的真实的学习数据。

8、这样，在使用与在实际的作业中取得的图像不同的理想的图像作为学习数据来生成学习模型的情况下，有时无法准确地推定在实际的作业中处理的工件的取出位置及姿势。其结果，在实际的作业中，无法保持工件的可能性高。即，存在机器人装置输送工件的作业的成功率降低的问题。

9、用于解决课题的手段

10、本公开的第一方式是用于机器学习的学习数据的生成装置。学习数据的生成装置具备测量器，该测量器测量多个工件的配置区域来取得二维图像和三维图像中的至少一方的图像。学习数据的生成装置具备：移动装置，其移动至少一个工件；控制部，其对移动装置的动作进行控制。学习数据的生成装置具备生成学习数据的学习数据生成部，该学习数据包含由测量器取得的图像和用于取出工件的工件的取出位置信息。学习数据的生成装置反复进行利用移动装置移动工件使得变更工件的配置图案的控制、由测量器进行的多个工件的配置区域的测量以及由学习数据生成部进行的学习数据的生成，来生成多个学习数据。

11、本公开的第二方式是具备上述学习数据的生成装置的机器学习装置。机器学习装置具备学习部，该学习部根据由学习数据生成部生成的学习数据实施机器学习，生成从工件的配置区域的图像推定工件中的取出位置的学习模型。机器学习装置具备推论部，该推论部根据由学习部生成的学习模型，从测量器取得的图像推定工件的取出位置。

12、本公开的第三方式是用于机器学习的学习数据的生成方法。学习数据的生成方法具备测量器测量多个工件的配置区域来取得二维图像以及三维图像中的至少一方的图像的测量工序。学习数据的生成方法具备：移动工序，移动装置移动至少一个工件，来变更工件的配置图案；以及生成学习数据的学习数据生成工序，该学习数据包含在测量工序中取得的图像和用于取出工件的工件的取出位置信息。学习数据的生成方法反复进行移动工序、测量工序和学习数据生成工序，来生成多个学习数据。

13、本公开的第四方式是具备上述的学习数据的生成方法的机器学习方法。机器学习方法具备学习工序，在该学习工序中，基于在学习数据生成工序中生成的学习数据来实施机器学习，生成从工件的配置区域的图像来推定工件中的取出位置的学习模型。机器学习方法具备推论工序，在该推论工序中，基于在学习工序中生成的学习模型，从测量器取得的图像推定工件的取出位置。

14、发明效果

15、根据本公开的方式，能够提供一种学习数据的生成装置以及学习数据的生成方法，能够效率良好地且与现实的状态对应地实时生成用于机器学习的学习数据。另外，能够提供具备学习数据的生成装置的机器学习装置以及包含学习数据的生成方法的机器学习方法。

技术特征：

1.一种用于机器学习的学习数据的生成装置，其特征在于，

2.根据权利要求1所述的学习数据的生成装置，其特征在于，

3.根据权利要求2所述的学习数据的生成装置，其特征在于，

4.根据权利要求3所述的学习数据的生成装置，其特征在于，

5.根据权利要求2至4中的任意一项所述的学习数据的生成装置，其特征在于，

6.根据权利要求1至5中的任意一项所述的学习数据的生成装置，其特征在于，

7.根据权利要求1至6中的任意一项所述的学习数据的生成装置，其特征在于，

8.根据权利要求1至7中的任意一项所述的学习数据的生成装置，其特征在于，

9.根据权利要求5所述的学习数据的生成装置，其特征在于，

10.根据权利要求1至9中的任意一项所述的学习数据的生成装置，其特征在于，

11.根据权利要求1至10中的任意一项所述的学习数据的生成装置，其特征在于，

12.根据权利要求1至11中的任意一项所述的学习数据的生成装置，其特征在于，

13.根据权利要求1至11中的任意一项所述的学习数据的生成装置，其特征在于，

14.一种机器学习装置，其特征在于，具备：

15.一种用于机器学习的学习数据的生成方法，其特征在于，

16.一种机器学习方法，其特征在于，具备：

技术总结学习数据的生成装置具备测量多个工件的配置区域来取得图像的视觉传感器那样的测量器。学习数据的生成装置具备学习数据生成部，该学习数据生成部生成包含由视觉传感器取得的图像和工件的取出位置的学习数据。学习数据的生成装置反复进行通过移动装置移动工件使得变更工件的配置图案的控制、视觉传感器对多个工件的配置区域的测量、以及学习数据生成部进行的学习数据的生成，来生成多个学习数据。技术研发人员：李维佳受保护的技术使用者：发那科株式会社技术研发日：技术公布日：2024/6/2