图像处理装置和图像处理方法与流程

本公开涉及具备执行基于机器学习模型的图像处理的处理器的图像处理装置以及图像处理方法。

背景技术：

1、例如，作为进行工业产品的外观检查的检查装置，已知有用于执行分类处理的检查装置，该分类处理将由摄像部获取到的对象图像输入到机器学习模型，判定属于合格品和不合格品中的哪一组(例如参照专利文献1)。专利文献1的检查装置使用属于合格品组的学习用图像、属于不合格品组的学习用图像等使机器学习模型进行学习，并向用户建议将不清楚属于合格品组和不合格品组中哪一组的图像作为追加学习用图像。

2、另外，在专利文献2中公开了基于缺陷检测部的性能精度，向用户提示进一步提高性能所需追加的缺陷图像数。

3、然而，使机器学习模型进行学习需要多张学习用图像，但用户难以知晓该将多张图像中的哪个图像作为学习用图像。因此，机器学习模型的学习成为试错，可能增加用户的负担，并且增大学习用图像的张数以及学习时间。另外，用户的判断也有可能导致过度学习。

4、在专利文献1的检查装置的情况下，能够向用户建议学习用图像，但用户必须判断是否将建议的学习用图像输入到机器学习模型使其学习，用户的负担较大。另外，用户难以确认基于机器学习模型的分类处理的精度是否足够，用户进行确认作业的负担较大。并且，在该确认的结果判断为分类处理的精度不够、需要追加学习的情况下，用户必须再次进行使用学习用图像的学习，这也是增大用户负担的因素。

5、另外，在专利文献2的缺陷检测系统的情况下，能够基于缺陷检测部的性能精度，对用户提示进一步提高性能所需追加的缺陷图像数，但用户必须判断应追加何种学习用图像，用户的负担较大。

6、现有技术文献

7、专利文献

8、专利文献1：日本专利第6643856号公报

9、专利文献2：日本特开2021-196363号公报

技术实现思路

1、本公开是鉴于这一点而完成的，其目的在于自动地执行机器学习模型的学习、验证、再学习直到分类处理的精度足够为止，从而减轻用户的负担。

2、为了达成上述目的，本方式能够以具备处理器的图像处理装置为前提，该处理器用于执行向机器学习模型输入图像并将该图像分为多个类的分类处理。所述处理器被配置为：使所述机器学习模型学习多个学习用图像；向学习过多个学习用图像的所述机器学习模型输入多个验证用图像，执行将该多个验证用图像分为所述多个类的分类处理；通过所述多个验证用图像的分类处理得到所述多个类的分离度，基于得到的所述多个类的分离度，评价所述多个验证用图像的分类处理的精度；基于所述多个验证用图像的分类处理的精度的评价结果，评价是否需要所述机器学习模型的再学习，在评价为需要所述机器学习模型的再学习的情况下，从所述多个验证用图像之中，提取分类结果错误的可能性相对较高的验证用图像并使所述机器学习模型自动地再学习，另一方面，在评价为不需要所述机器学习模型的再学习的情况下，完成所述机器学习模型的学习处理。

3、根据该结构，在通过多个学习用图像使机器学习模型进行学习之后，向机器学习模型输入多个验证用图像并执行分类处理，从而能够进行机器学习模型的验证。在基于通过验证得到的分离度评价的分类处理的精度不够的情况下，将分类结果错误的可能性相对较高的验证用图像输入到机器学习模型而使其自动地再学习。另一方面，在基于通过验证得到的分离度评价的分类处理的精度足够、不需要机器学习模型的再学习的情况下，完成机器学习模型的学习处理。总之，根据本结构，自动地执行机器学习模型的学习、验证、再学习，因此减轻了用户的负担，并且在再学习时使用分类结果错误的可能性相对较高的验证用图像，从而能够进行高效的学习。

4、所述处理器可以自动地反复执行所述分类处理、分类处理的精度的评价、是否需要机器学习模型的再学习的评价以及再学习处理，直到评价为不需要所述机器学习模型的再学习为止。即，不需要再学习的情况例如包括得到了分类处理的足够的精度的情况、即使追加输入学习用图像也无法提高分类处理的精度而是达到极限的情况、学习用图像不足的情况等。然而，例如，对于用户而言，难以判断已经获得分类处理的足够的精度，并且难以判断无法提高分类处理的精度而是达到极限的时机。因此，本方式的图像处理装置通过自动地重复上述的再学习过程，用户无需进行上述各判断，能够进一步减轻用户的负担。

5、此外，图像处理装置可以执行将多个验证用图像分为第一类以及第二类的分类处理。在该情况下，可以：对所述多个验证用图像分别计算第一评价值，该第一评价值表示属于所述第一类的程度；在评价为需要所述机器学习模型的再学习的情况下，提取所述第一评价值相对较高的所述第二类图像或所述第一评价值相对较低的所述第一类图像，并使所述机器学习模型自动地再学习。此外，可以求得所述第一类图像与所述第二类图像的分布的分离度，反复执行所述分类处理、分类处理的精度的评价、是否需要机器学习模型的再学习的评价以及再学习处理，直到基于该分离度评价为不需要所述机器学习模型的再学习为止。即，通过将表示属于第一类的程度的第一评价值作为是否需要再学习的评价依据，能够进一步提高分类处理的精度。

6、图像处理装置可以在执行将多个验证用图像分为第一类以及第二类的分类处理时，反复执行所述分类处理、分类处理的精度的评价、是否需要机器学习模型的再学习的评价以及再学习处理，直到所述第一类图像与所述第二类图像的分布的分离度达到规定值以上为止。

7、此外，在所述多个验证用图像中可以包含赋予了合格品标签的合格品图像以及赋予了不合格品标签的不合格品图像。在该情况下，可以：在分类处理中，对多个验证用图像分别计算表示不合格程度的评价值；在需要再学习的情况下，提取评价值相对较高的合格品图像或评价值相对较低的不合格品图像，使机器学习模型自动地再学习。并且，可以求得所述合格品图像与所述不合格品图像在评价值轴上的分布的分离度，反复执行所述分类处理、分类处理的精度的评价、是否需要机器学习模型的再学习的评价以及再学习处理，直到该分离度达到规定值以上为止。

8、此外，可以基于将多个验证用图像的合格品图像的评价值与不合格品图像的评价值进行比较的结果，自动地决定提取评价值相对较高的合格品图像或所述评价值相对较低的不合格品图像中的哪一个来作为使机器学习模型进行再学习的图像。由此，图像处理装置自动地判断合格品图像和不合格品图像中哪些图像的学习效果高，因此能够进一步减轻用户的负担。

9、此外，可以在所述分类处理中，还对所述多个验证用图像分别计算表示属于所述第二类的程度的第二评价值。在该情况下，可以：在评价为需要所述机器学习模型的再学习的情况下，提取所述第二评价值相对较高的所述第一类图像或所述第二评价值相对较低的所述第二类图像并使所述机器学习模型自动地再学习。并且，可以求得所述第一类图像与所述第二类图像在所述第二评价值轴上的分布的分离度，反复执行所述分类处理、分类处理的精度的评价、是否需要机器学习模型的再学习的评价以及再学习处理，直到基于该分离度评价为不需要所述机器学习模型的再学习为止。由此，能够高效地学习。

10、此外，所述处理器可以：基于所述分类处理的精度的评价结果，自动地计算再学习中使用的验证用图像的张数；使所述机器学习模型自动地再学习计算出的张数的验证用图像。即，根据分类处理的精度，图像处理装置还自动地决定在再学习时应追加的张数，因此能够减轻用户的作业负担。

11、此外，所述处理器可以按照分类结果错误的可能性降序提取所述计算出的张数的验证用图像并使机器学习模型自动地再学习。即，不仅能够自动地计算用于再学习的验证用图像的张数，还能够将以怎样的基准选择计算出的张数的图像委托给图像处理装置决定，因此能够减轻用户的作业负担。

12、此外，所述处理器可以：生成并使显示部显示包含分离曲线图的显示画面，该分离曲线图表示所述第一类图像与所述第二类图像在所述第一评价值轴上的分布的分离度；将所述分离曲线图更新为由再学习后的所述机器学习模型得到的所述分离曲线图，生成并使显示部显示将通过该更新得到的最新的分离曲线图以能够与过往分离曲线图进行比较的方式显示的显示画面。由此，在需要再学习的情况下，能够在显示画面上使用户看到学习处理的进展情形。另外，在不需要再学习的情况下，能够向用户提示显示画面作为最终的评价结果。

13、此外，所述处理器可以构成为能够生成并使显示部显示将最近的分离曲线图与过往分离曲线图以能够比较的方式显示的显示画面，并受理用户对与该过往分离曲线图对应的过往机器学习模型的选择，作为在运用时使用的机器学习模型，该最近的分离曲线图通过反复执行所述机器学习模型的再学习而得到。在该情况下，可以当受理了所述过往机器学习模型的选择时，确定使所选择的该过往机器学习模型学习过的所有学习用图像，使学习开始前的初始状态的机器学习模型学习所有所确定的该学习用图像，由此再现所选择的该过往机器学习模型。即，有时与反复执行了再学习的最近的机器学习模型相比，处于之前的学习阶段的过往机器学习模型的分类处理的精度更高，但一般难以从最近的机器学习模型恢复到过往机器学习模型。对此，在本结构中，通过使初始状态的机器学习模型学习使由用户选择的过往机器学习模型学习过的所有学习用图像，能够简单地再现过往机器学习模型。

14、此外，可以构成为能够根据用户指示再次开始机器学习模型的再学习。在该情况下，可以：将与已有的验证用图像不同的新的验证用图像输入到所述机器学习模型，并执行将该新的验证用图像分为所述多个类的处理；基于通过对所述新的验证用图像的所述分类处理而得到的所述多个类的分离度，评价所述分类处理的精度；在评价为需要所述机器学习模型的再学习的情况下，从所述新的验证用图像中提取分类结果错误的可能性较高的验证用图像，并使所述机器学习模型自动地再学习。由此，即使在暂时完成学习处理之后获取到新的图像的情况下，也能够根据用户指示使已有的机器学习模型进行再学习，因此能够实现机器学习模型的精度的持续提高。

15、此外，所述处理器可以构成为能够选择以下两种处理：预先保持与在运用中的机器学习模型的学习中使用过的已有的学习用图像和验证用图像的分类有关的各标签，并通过将在运用开始后获取的新的图像加入到已有的学习用图像来追加学习用图像的处理；以及对与在运用中的机器学习模型的学习中使用过的已有的学习用图像和验证用图像的分类有关的各标签进行初始化，并使机器学习模型学习包含运用开始后获取的新的图像的所有图像的处理。即，如果运用中的机器学习模型的分类处理的精度高，则不进行初始化而追加新的图像即可，而如果运用中的机器学习模型的分类处理的精度低，则有时通过进行初始化而使机器学习模型学习所有图像，能够提高分类处理的精度，用户根据状况选择哪一个都能够应对。

16、如以上说明的那样，能够自动地执行机器学习模型的学习、验证、再学习直到分类处理的精度足够为止，因此减轻用户的负担。