图像处理装置的制作方法

本公开涉及图像处理装置，其构成为能够通过机器学习工具执行图像处理以及通过基于规则的工具执行图像处理。

背景技术：

1、例如，作为对工件进行外观检查的检查装置，已知有一种检查装置构成为对由摄像部获取到的对象图像执行各种测量处理，并基于测量处理的处理结果来进行工件的缺陷检测、是否有位置偏移的检测等(例如参照专利文献1)。在专利文献1的检查装置中，用户能够手动构建处理步骤。

2、另外，除了如专利文献1那样通过手动构建处理步骤的基于规则的工具执行的图像处理以外，能够使用基于机器学习模型的图像处理工具的图像处理软件也有研究。

3、在通过基于规则的工具执行的图像处理中，按照事先设定的规则对图像进行处理，因此仅需要设定一张图像，另一方面，在通过机器学习工具执行的图像处理中，需要设定多张图像供机器学习模型学习。

4、这样，由于基于规则的工具与机器学习工具的设定步骤的不同，至今为止没有提出在相同的接口上设定基于规则的工具和机器学习工具的方法。这对想要使用基于规则的工具和机器学习工具这两者的用户造成了设定的麻烦。

5、现有技术文献

6、专利文献

7、专利文献1：日本特开2015-021760号公报

技术实现思路

1、本公开是鉴于这一点而完成的，其目的在于能够在共同的接口上设定基于规则的工具和机器学习工具这两者，从而减少用户的麻烦。

2、为了达成上述目的，本方式的图像处理装置具备：ui生成部，其生成显示设定窗口的用户界面画面，并使显示部显示该用户界面画面，该设定窗口用于对图像处理进行设定；输入部，其受理用于将机器学习工具和基于规则的工具配置于所述用户界面画面的所述设定窗口的输入、以及用于使所述机器学习工具和所述基于规则的工具参照的由多个图像构成的共同的数据集的输入，该机器学习工具表示通过机器学习模型执行的图像处理，该基于规则的工具表示遵循预定的规则的图像处理；以及图像处理部，其对所述数据集执行通过所述机器学习工具执行的图像处理和通过所述基于规则的工具执行的图像处理中一方的处理，对执行了该一方的处理后的该数据集执行另一方的处理。

3、即，例如想要在通过基于规则的工具校正图像的位置之后通过机器学习工具执行图像处理的情况下，在由显示部显示的用户界面画面的设定窗口中配置作为基于规则的工具的一例的位置校正工具、以及机器学习工具，并使位置校正工具和机器学习工具参照数据集。由此，图像处理部在通过基于规则的工具对数据集执行了图像的位置校正处理之后，对相同的数据集通过机器学习工具执行图像处理，因此能够减少用户设定的麻烦。由机器学习工具进行的图像处理可以包括机器学习模型的学习处理。另外，也可以在通过机器学习工具执行图像处理之后，通过基于规则的工具执行图像处理。

4、所述ui生成部可以生成将数据集窗口与所述设定窗口并排显示的用户界面画面，该数据集窗口显示配置在该设定窗口上的所述机器学习工具和所述基于规则的工具共同参照的所述数据集中包含的图像。由此，用户也能够在相同的用户界面画面上确认使机器学习工具和基于规则的工具共同参照的数据集中的图像，便利性得到提高。

5、所述图像处理部可以对构成所述数据集的所述多个图像通过所述基于规则的工具执行所述图像处理，从而生成多个处理后图像。在该情况下，所述ui生成部可以生成在所述数据集窗口显示所述多个处理后图像的用户界面画面。由此，用户能够确认对使机器学习模型学习的图像是否正确地通过基于规则的工具执行了图像处理。

6、所述图像处理部可以通过对所述多个处理后图像通过所述机器学习工具执行所述图像处理，输出各处理后图像的推断结果。在该情况下，所述ui生成部可以生成在所述数据集窗口显示所述多个处理后图像和与各处理后图像对应的所述推断结果的用户界面画面。由此，用户能够基于机器学习模型实际作为推断依据的基于规则的处理后的图像来确认推断结果。

7、所述图像处理部可以：使所述机器学习模型学习在所述数据集窗口中显示的所述多个图像和对该多个图像通过所述基于规则的工具执行所述图像处理的结果；对拍摄到工件的待检查图像通过所述基于规则的工具执行所述图像处理。在该情况下，可以基于通过所述基于规则的工具执行所述图像处理的结果，对所述待检查图像使用经过所述学习的所述机器学习模型执行所述图像处理。由此，可以对待检查图像执行与学习时相同的基于规则的工具的处理。由此，能够执行遵循学习结果的机器学习工具，因此能够提高机器学习工具的精度。

8、所述图像处理部可以：从所述数据集中包含的所述多个图像中分别提取特征量，基于提取出的特征量来检测各图像中包含的工件的位置；基于检测出的工件的位置执行位置校正，使得要通过所述机器学习工具进行图像处理的各图像的工件的位置和姿势相同。在该情况下，可以对位置校正后的所述多个图像通过所述机器学习工具执行图像处理。由此，能够提高通过机器学习工具执行图像处理的效率和精度。位置校正可以指图像自身的坐标变换处理，也可以指对机器学习工具的待学习区域的位置进行校正的处理。另外，在图像处理部执行归一化相关(模式)搜索的情况下，可以将亮度值作为特征量。另外，在图像处理部执行几何搜索的情况下，可以将边缘作为特征量。

9、所述输入部可以构成为能够受理所述数据集所包含的图像中要通过所述机器学习工具执行的图像处理的对象区域的指定。在该情况下，所述图像处理部可以执行所述位置校正使得在各图像内检测出的工件的位置包含于所述指定的对象区域，对所述数据集的各图像的所述对象区域通过所述机器学习工具执行图像处理。由此，能够缩小要通过机器学习工具进行图像处理的对象区域，因此能够提高通过机器学习工具执行图像处理的效率、精度。另外，在仅想要对图像中的工件的一部分通过机器学习工具进行图像处理的情况下，通过预先指定对象区域，能够从判断对象中去除不需要的部分。另外，在机器学习模型的学习时也仅学习对象区域的情况下，通过除去对象区域以外的部分，能够提高学习效果。

10、在通过所述位置校正而使在各图像内检测出的工件包含于所述对象区域的状态下，所述ui生成部可以生成在所述数据集窗口显示所述数据集的所述多个图像的用户界面画面。由此，能够容易地确认构成数据集的各图像的关注区域包含在要通过机器学习工具进行图像处理的对象区域中。

11、通过所述基于规则的工具遵循所述预定规则执行的图像处理可以是用于强调输入图像中的特征区域的预处理。在此情况下，所述图像处理部可以：通过对构成所述数据集的所述多个图像执行所述预处理，生成各图像的特征区域得到强调的多个预处理图像；对所述多个预处理图像通过所述机器学习工具执行图像处理，或执行所述机器学习模型的学习处理。即，例如通过执行对比度调整等基于规则的工具的处理，能够强调想要判别的部分，降低之后通过机器学习工具执行图像处理中的判定难度。

12、所述ui生成部可以生成在所述设定窗口上显示指示符的用户界面画面，所述指示符表示配置在所述设定窗口上的所述机器学习工具以及所述基于规则的工具共同参照所述数据集。由此，用户能够容易地掌握机器学习工具和基于规则的工具共享哪个数据集，便利性得到提高。指示符例如也可以是表示一个组的框、连结工具间的线、箭头等。

13、所述输入部可以：受理用户输入，该用户输入用于：使配置在设定窗口中的第一机器学习工具和第一基于规则的工具参照由多个图像构成的第一数据集，并使配置在设定窗口中的第二机器学习工具和第二基于规则的工具参照由多个图像构成的第二数据集。在该情况下，所述ui生成部可以生成在所述设定窗口上显示第一指示符和第二指示符的用户界面画面，该第一指示符表示配置在所述设定窗口上的所述第一机器学习工具和所述第一基于规则的工具共同参照所述第一数据集，该第二指示符表示配置在该设定窗口上的所述第二机器学习工具和所述第二基于规则的工具共同参照所述第二数据集。即，在对工件进行多个区域的检查的情况等存在多个数据集的情况下，能够将参照与各区域对应的数据集的工具组区别显示在用户界面画面上，便利性得到提高。此外，本发明也可以包括第三机器学习工具和第三基于规则的工具共同参照第三数据集的方式。在该情况下，只要在设定窗口上显示表示第三机器学习工具和第三基于规则的工具共同参照第三数据集的第三指示符即可。

14、如以上说明，能够在共同的接口上设定基于规则的工具和机器学习工具这两者，因此能够减少用户的麻烦。