模型生成装置、推断装置、模型生成方法以及模型生成程序与流程

1.本发明涉及模型生成装置、推断装置、模型生成方法以及模型生成程序。


背景技术：

2.以往，在生产线等制造产品的场景中，利用了通过拍摄装置拍摄所制造的产品，并基于得到的图像数据来检查产品的优劣的技术。例如在专利文献1中提出了如下检查装置：基于学习完毕的第一神经网络来判定图像中映现的检查对象物是正常还是异常，在判定为检查对象物异常的情况下，基于学习完毕的第二神经网络对该异常的种类进行分类。
3.现有技术文献
4.专利文献
5.专利文献1：特开2012-026982号公报
6.专利文献2：特开2017-111806号公报
7.专利文献3：特开2014-049118号公报
8.专利文献4：特开2019-071050号公报
9.专利文献5：特许第6264492号公报
10.专利文献6：特开2017-194948号公报
11.专利文献7：特开2018-175343号公报
12.专利文献8：特开2019-083746号公报
13.专利文献9：特开2018-189522号公报


技术实现要素：

14.发明要解决的问题
15.根据由通过机器学习而构建的训练完毕的机器学习模型构成的推断器，能对与被提供的训练数据同类的未知的数据执行回归、分类等推断(包含预测)任务。因此，根据上述专利文献1这样的利用神经网络等机器学习模型的方法，能基于训练完毕的推断器的输出来实施产品的外观检查。但是，本案发明人发现了在上述这样的现有方法中有如下问题。
16.即，在现有的方法中，为了实施使机器学习模型习得检测被提供的图像中映现的缺陷的能力的机器学习，而预先将映现包含缺陷的产品的图像收集为学习数据。缺陷的检测可以是识别缺陷的类别。基本上，收集的学习数据越是各种各样，换言之，学习数据中出现的缺陷的状况越多样，则越能实现外观检查的精度的提高。
17.不过，缺陷的类别以及包含产品的外观的背景的类别越多，则缺陷的类别和背景的类别的组合越增加，希望被收集为学习数据的样本的件数(和种类)也越增加。另外，在运用训练完毕的推断器时，背景有时也可能被变更。为了生成能以高精度执行外观检查的训练完毕的推断器，希望针对缺陷的类别和背景的类别的全部组合来收集样本，但针对全部组合收集样本会有成本。因此，例如考虑虽然没有得到针对全部组合的样本，但是在针对检测对象的缺陷的全部类别而得到样本的时间点等收集到某程度的学习数据的阶段下，实施
机器学习模型的机器学习。
18.但是，在学习数据中存在样本的没有得到的组合的情况下，有可能产生下面这样的问题。即，通过机器学习，机器学习模型被训练成利用训练数据(样本)所包含的任意的信息来执行希望的推断任务。因此，在使用包含缺陷和背景的训练数据实施了推断器的机器学习的情况下，生成的训练完毕的推断器有时获得了不仅利用与数据所包含的缺陷相关的信息还利用与背景相关的信息来执行与缺陷的检测相关的推断任务的能力。在这种情况下，由于无法将样本的没有得到的缺陷的类别和背景的类别的组合反映到机器学习，所以与针对该组合的训练完毕的推断器对缺陷的检测相关的推断的精度有可能降低。
19.而且，在样本中出现的缺陷的类别和背景的类别的组合发生了偏倚的情况下，特别是，在缺陷的类别和背景的类别以相同的分布出现于样本的情况下，该样本的偏倚有可能通过机器学习对机器学习模型的习得的能力带来不良影响。具体而言，通过使用了组合偏倚的样本的机器学习，推断器有可能不是习得了根据类别来检测缺陷的能力，而是习得了识别背景的类别的能力。
20.作为一例，针对第一产品和第二产品这两种产品假定为产生第一缺陷和第二缺陷这两种缺陷。另外，在该例中，假定为在第一产品中易于产生第一缺陷，在第二产品中易于产生第二缺陷。还假定为所得到的样本偏倚于映现包含第一缺陷的第一产品的图像和映现包含第二缺陷的第二产品的图像。即，假定为映现包含第二缺陷的第一产品的图像和映现包含第一缺陷的第二产品的图像无法作为机器学习的样本而被得到。设想为预期使用在该假定下得到的样本习得根据类别检测缺陷的能力并执行了机器学习模型的机器学习。在这种情况下，由于在得到的样本中产生了上述偏倚，所以通过该机器学习，机器学习模型有可能不是习得根据类别来检测识别缺陷的能力，而是习得识别背景的类别的能力。即，由于样本发生了偏移，所以有可能使机器学习模型习得与预期的能力不同的能力。在习得了识别背景的类别的能力的情况下，当被提供映现包含第二缺陷的第一产品的图像时，训练完毕的推断器会误检测为在第一产品产生了第一缺陷。
21.因而，在以往的方法中，通过机器学习，训练完毕的推断器有可能构建为考虑与图像数据所包含的背景相关的信息来执行与缺陷检测相关的推断任务。由此，由于运用时的背景与学习时的背景不同，所以有与训练完毕的推断器对缺陷的检测相关的推断的精度恶化这一问题。换言之，有难以生成对于背景的差异稳健的训练完毕的推断器这一问题。
22.需要说明的是，这种问题不是在生成能用于产品的外观检查的训练完毕的推断器的场景中特有的问题。该问题在构建能用于针对规定种类的数据执行与对象的特征相关的推断任务的训练完毕的推断器的所有场景中都有可能产生。规定种类的数据例如是图像数据、声音数据、数值数据、文本数据、其它通过传感器得到的测定数据等。对规定种类的数据执行与对象的特征相关的推断任务的场景是指，例如进行与图像数据的前景相关的推断的场景等。与前景相关的推断例如可以是推断图像数据中映现的对象物的属性。在这种情况下，与背景相关的特征可以是对象物的属性以外的其它特征。对象物除了上述产品之外，例如也可以是产品的包装、车牌、能在拍摄范围内移动的移动体(例如车辆、人物等)、驾驶车辆的驾驶员等。另外，对规定种类的数据执行与对象的特征相关的推断任务的场景是指，例如从通过传感器得到的传感数据推断对象的属性的场景等。从通过传感器得到的传感数据推断对象的属性的场景例如是从通过车载传感器得到的传感数据推断车辆的状况的场景、
从通过生命传感器或医疗检查装置得到的传感数据推断对象者的健康状态的场景、从通过环境传感器得到的传感数据推断植物的栽培状况的场景、从通过观测机器的状态的传感器得到的传感数据推断该机器的状态的场景等。
23.作为具体例，在专利文献2中提出了利用训练完毕的神经网络来识别车牌。在专利文献3中提出了利用训练完毕的卷积神经网络来识别文字。在专利文献4中提出了利用训练完毕的神经网络来推断映现于拍摄图像的人物的密度分布和移动矢量的分布。在专利文献5中提出了利用学习完毕的模型从拍摄图像和观测信息推断驾驶员针对驾驶的集中程度。在专利文献6中提出了利用训练完毕的神经网络从通过车载传感器得到的数据识别车辆周围的状况。在专利文献7中提出了利用训练完毕的神经网络从医疗用图像检测病变区域。在专利文献8中提出了利用训练完毕的神经网络确定植物的生长阶段。在专利文献9中提出了利用训练完毕的神经网络从声音和振动中的至少一方测定数据诊断设备的故障的预兆的方法。
24.在这些场景中，在用以往的方法通过机器学习构建了用于执行与对象的特征相关的推断任务的训练完毕的推断器的情况下，训练完毕的推断器有可能构建为考虑与数据所包含的对象的特征以外的其它特征相关的信息来执行该推断任务。因此，存在难以生成对于其它特征的差异稳健的训练完毕的推断器的问题。
25.本发明在一方面是鉴于这种实际情况而完成的，其目的在于提供一种技术，该技术用于生成能执行与数据所包含的对象的特征相关的推断任务并且对于对象的特征以外的其它特征的差异稳健的训练完毕的推断器。
26.用于解决问题的方案
27.本发明为了解决上述的问题而采用以下的构成。
28.即，本发明的一方面所涉及的模型生成装置具备：数据获取部，获取由训练数据、示出所述训练数据所包含的第一特征的第一正解数据、以及示出与所述第一特征不同的第二特征的第二正解数据的组合分别构成的多个学习数据集，所述第二特征是所述训练数据所包含的；以及学习处理部，实施包括编码器、第一推断器以及第二推断器的学习模型的机器学习，所述编码器构成为将被提供的输入数据转换为特征量，所述第一推断器构成为被输入所述编码器的输出值，从所述特征量推断所述输入数据所包含的第一特征，所述第二推断器构成为被输入所述编码器的输出值，从所述特征量推断所述输入数据所包含的第二特征，实施所述机器学习包括：第一训练步骤，关于所述各学习数据集训练所述第二推断器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果适合于所述第二正解数据；第二训练步骤，关于所述各学习数据集训练所述编码器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果不适合于所述第二正解数据；以及第三训练步骤，关于所述各学习数据集训练所述编码器和所述第一推断器，使得通过将所述训练数据提供给所述编码器而从所述第一推断器得到的推断的结果适合于所述第一正解数据，所述学习处理部交替地反复执行所述第一训练步骤和所述第二训练步骤。
29.在该构成所涉及的模型生成装置中，通过3个训练步骤来实施包括编码器、第一推断器以及第二推断器的学习模型的机器学习。根据上述第一训练步骤，第二推断器获得根据通过编码器得到的特征量所包含的信息、即与第二特征对应的成分来执行与该第二特征
相关的推断任务的能力。另一方面，根据上述第二训练步骤，编码器获得根据第二推断器的性能将输入数据转换为由第二推断器进行的与第二特征相关的推断任务失败这样的特征量的能力。
30.在该构成所涉及的模型生成装置中，交替地反复执行该第一训练步骤和第二训练步骤。由此，实施编码器和第二推断器的对抗学习。其结果是，第二推断器的推断性提高，与此对应地通过编码器得到的特征量能难以包含与第二特征对应的成分，使得该第二推断器的推断任务失败。即，能使编码器获得将输入数据射影到与第二特征的关联性低的(或者无关系的)特征空间的能力。而且，根据上述第三训练步骤，能使第一推断器获得根据通过编码器得到的特征量来执行与第一特征相关的推断任务的能力，并且能使编码器获得将输入数据转换为包含与第一特征对应的成分的特征量的能力，使得第一推断器能适当地执行该推断任务。
31.因而，根据该构成所涉及的机器学习，通过训练完毕的编码器得到的特征量能包含与第一特征对应的成分，并且难以包含与第二特征对应的成分。由此，在由第一推断器进行的与第一特征相关的推断任务的执行中能难以考虑与第二特征相关的信息。因而，根据该构成所涉及的模型生成装置，能生成能执行与对象的特征相关的推断任务并且对于对象的特征以外的其它特征的差异稳健的训练完毕的推断器。即，能生成针对第二特征的差异能稳健地执行与第一特征相关的推断任务的训练完毕的编码器和第一推断器。
32.需要说明的是，编码器、第一推断器以及第二推断器分别具备用于运算并且通过机器学习来调节的运算参数。这种编码器、第一推断器以及第二推断器的种类只要分别是能机器学习的模型(机器学习模型、学习器)即可，可以不做特别限定，可以根据实施方式适当地选择。在编码器、第一推断器以及第二推断器各者中可以使用例如神经网络、支持向量机(support vector machine)、回归模型等。在编码器、第一推断器以及第二推断器各者中使用神经网络的情况下，各神经元间耦合的权重、各神经元的阈值等是上述运算参数的一例。机器学习的方法可以根据编码器、第一推断器以及第二推断器各自的模型的种类适当地选择。各训练步骤的处理顺序可以是任意的。
33.可以是，在上述一方面所涉及的模型生成装置中，所述第三训练步骤与所述第一训练步骤和所述第二训练步骤一起被反复执行。根据该构成，能在对抗学习的过程中通过第二训练步骤来调节编码器的运算参数的值，与此对应地通过第一训练步骤来调节编码器和第一推断器的运算参数的值以获得根据通过编码器得到的特征量来推断第一特征的能力。由此，能得到能以高精度执行与第一特征相关的推断任务的训练完毕的编码器和第一推断器。
34.可以是，在上述一方面所涉及的模型生成装置中，在所述第二训练步骤中，关于所述各学习数据集，获取与所述第二正解数据对应的虚拟数据，所述虚拟数据由与对应的所述第二正解数据不同的值构成。可以是，训练所述编码器使得所述推断的结果不适合于所述第二正解数据由如下方式构成：训练所述编码器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果适合于所述虚拟数据。根据该构成，能简化第二训练步骤中的编码器的训练处理，由此，能实现成本的下降。
35.可以是，在上述一方面所涉及的模型生成装置中，所述虚拟数据由与对应的学习数据集不同的学习数据集的第二正解数据构成。根据该构成，能抑制生成虚拟数据的计算
量，由此，能实现第二训练步骤的处理成本的下降。
36.可以是，在上述一方面所涉及的模型生成装置中，所述第一特征与成为规定的推断的对象的第一成分相关。可以是，所述第二特征与不同于所述第一成分的第二成分相关，所述第二成分对关于所述第一成分的所述规定的推断带来影响。根据该构成，通过编码器得到的特征量能难以包含与对关于第一成分的规定的推断带来影响的第二成分对应的信息。由此，能期待对于第二特征的差异能稳健并且以比较高的精度执行与第一特征相关的推断任务的训练完毕的编码器和第一推断器的生成。
37.上述各方面所涉及的模型生成装置可以应用于生成能用于与针对规定种类的数据的对象的特征相关的推断任务的执行的训练完毕的模型的所有场景。上述各方面所涉及的模型生成装置例如可以应用于生成用于推断图像数据的前景所包含的特征的训练完毕的模型的场景。推断前景所包含的特征例如可以是推断图像数据中映现的对象物的属性。在这种情况下，与背景相关的特征可以是对象物的属性以外的其它特征。另外，上述各方面所涉及的模型生成装置例如可以应用于生成用于从通过传感器得到的传感数据推断对象的属性的训练完毕的模型的场景。推断对象的属性例如是推断车辆的状况、推断对象者的健康状态、推断植物的栽培状况、推断机器的状态的场景等。传感器可以根据各场景适当地选择。
38.可以是，在上述一方面所涉及的模型生成装置中，所述训练数据是包括前景和背景的图像数据。可以是，所述第一特征与所述前景相关，可以是，所述第二特征与所述背景相关。根据该构成，能生成针对背景的差异能稳健地执行与前景相关的推断任务的训练完毕的编码器和第一推断器。需要说明的是，前景和背景可以根据实施方式适当地决定。
39.在上述一方面所涉及的模型生成装置中，所述训练数据可以是映现对象物的图像数据。所述第一特征可以是所述对象物的属性，所述第二特征可以是所述对象物的属性以外的其它特征。根据该构成，能生成能针对对象物的属性以外的特征的差异稳健地执行与对象物的属性相关的推断任务的训练完毕的编码器和第一推断器。需要说明的是，对象物可以任意选择。对象物例如可以是产品、产品的包装、车牌、能在拍摄范围内移动的移动体(例如车辆、人物等)、驾驶车辆的驾驶员等。
40.在上述一方面所涉及的模型生成装置中，所述对象物可以是产品。所述对象物的属性可以与所述产品的缺陷相关。根据该构成，在实施外观检查的场景中，能生成能针对缺陷以外的特征(例如包括产品的外包装、输送机的座部等的背景)的差异稳健地执行与缺陷检测相关的推断任务的训练完毕的编码器和第一推断器。
41.另外，本发明的方式也可以不限于上述模型生成装置的方式。本发明的一方面也可以是利用通过上述模型生成装置生成的训练完毕的模型的装置。例如本发明的一方面也可以是构成为利用通过上述模型生成装置生成的训练完毕的编码器和第一推断器来对规定种类的数据执行与对象的特征相关的推断任务的推断装置。该推断装置也可以根据应用场景中的推断任务的种类而改称为检查装置、识别装置、监视装置、诊断装置、预测装置等。
42.例如本发明的一方面所涉及的推断装置具备：数据获取部，获取对象数据；推断部，利用通过上述任意的方面所涉及的模型生成装置生成的训练完毕的所述编码器和所述第一推断器来推断获取到的所述对象数据所包含的第一特征；以及输出部，输出与推断出所述第一特征的结果相关的信息。根据该构成，能针对第二特征的差异稳健地执行与第一
特征相关的推断任务。需要说明的是，对象数据可以称为“对象样本”，可以简称为“样本”等。
43.另外，作为上述各方式所涉及的模型生成装置和推断装置各自的别的方式，本发明的一方面也可以是实现以上的各构成的全部或其一部分的信息处理方法，也可以是程序，也可以是存储有这种程序的、计算机及其它装置、机器等可读取的存储介质。在此，计算机等可读取的存储介质是指，通过电、磁、光学、机器或化学作用来存储程序等信息的介质。另外，本发明的一方面也可以是由上述任意方式所涉及的模型生成装置和推断装置构成的推断系统。
44.例如本发明的一方面所涉及的模型生成方法是计算机执行如下步骤的信息处理方法：获取多个学习数据集的步骤，所述多个学习数据集由训练数据、示出所述训练数据所包含的第一特征的第一正解数据、以及示出与所述第一特征不同的第二特征的第二正解数据的组合分别构成，所述第二特征是所述训练数据所包含的；以及实施包括编码器、第一推断器以及第二推断器的学习模型的机器学习的步骤，所述编码器构成为将被提供的输入数据转换为特征量，所述第一推断器构成为被输入所述编码器的输出值，从所述特征量推断所述输入数据所包含的第一特征，所述第二推断器构成为被输入所述编码器的输出值，从所述特征量推断所述输入数据所包含的第二特征，实施所述机器学习包括：第一训练步骤，关于所述各学习数据集训练所述第二推断器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果适合于所述第二正解数据；第二训练步骤，关于所述各学习数据集训练所述编码器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果不适合于所述第二正解数据；以及第三训练步骤，关于所述各学习数据集训练所述编码器和所述第一推断器，使得通过将所述训练数据提供给所述编码器而从所述第一推断器得到的推断的结果适合于所述第一正解数据，并交替地反复执行所述第一训练步骤和所述第二训练步骤。
45.另外，例如本发明的一方面所涉及的模型生成程序是用于使计算机执行如下步骤的程序：获取多个学习数据集的步骤，所述多个学习数据集由训练数据、示出所述训练数据所包含的第一特征的第一正解数据、以及示出与所述第一特征不同的第二特征的第二正解数据的组合分别构成，所述第二特征是所述训练数据所包含的；以及实施包括编码器、第一推断器以及第二推断器的学习模型的机器学习的步骤，所述编码器构成为将被提供的输入数据转换为特征量，所述第一推断器构成为被输入所述编码器的输出值，从所述特征量推断所述输入数据所包含的第一特征，所述第二推断器构成为被输入所述编码器的输出值，从所述特征量推断所述输入数据所包含的第二特征，实施所述机器学习包括：第一训练步骤，关于所述各学习数据集训练所述第二推断器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果适合于所述第二正解数据；第二训练步骤，关于所述各学习数据集训练所述编码器，使得通过将所述训练数据提供给所述编码器而从所述第二推断器得到的推断的结果不适合于所述第二正解数据；以及第三训练步骤，关于所述各学习数据集训练所述编码器和所述第一推断器，使得通过将所述训练数据提供给所述编码器而从所述第一推断器得到的推断的结果适合于所述第一正解数据，交替地反复执行所述第一训练步骤和所述第二训练步骤。
46.发明效果
47.根据本发明，能生成能执行与数据所包含的对象的特征相关的推断任务并且对于对象的特征以外的其它特征的差异稳健的训练完毕的推断器。
附图说明
48.图1示意性地例示应用本发明的场景的一例。
49.图2示意性地例示实施方式所涉及的模型生成装置的硬件构成的一例。
50.图3示意性地例示实施方式所涉及的推断装置的硬件构成的一例。
51.图4示意性地例示实施方式所涉及的模型生成装置的软件构成的一例。
52.图5示意性地例示由实施方式所涉及的模型生成装置进行的机器学习的处理过程的一例。
53.图6示意性地例示实施方式所涉及的推断装置的软件构成的一例。
54.图7例示实施方式所涉及的模型生成装置的处理顺序的一例。
55.图8例示实施方式所涉及的模型生成装置的机器学习的处理顺序的一例。
56.图9例示实施方式所涉及的推断装置的处理顺序的一例。
57.图10示意性地例示应用本发明的另一场景的一例。
58.图11a示意性地例示另一方式所涉及的检查装置的硬件构成的一例。
59.图11b示意性地例示另一方式所涉及的检查装置的软件构成的一例。
60.图12示意性地例示应用本发明的另一场景的一例。
61.图13示意性地例示应用本发明的另一场景的一例。
62.图14示意性地例示应用本发明的另一场景的一例。
63.图15示意性地例示应用本发明的另一场景的一例。
64.图16示意性地例示应用本发明的另一场景的一例。
65.图17a示意性地例示另一方式所涉及的监视装置的硬件构成的一例。
66.图17b示意性地例示另一方式所涉及的监视装置的软件构成的一例。
67.图18示意性地例示应用本发明的另一场景的一例。
68.图19a示意性地例示另一方式所涉及的诊断装置的硬件构成的一例。
69.图19b示意性地例示另一方式所涉及的诊断装置的软件构成的一例。
70.图20示意性地例示应用本发明的另一场景的一例。
71.图21a示意性地例示另一方式所涉及的监视装置的硬件构成的一例。
72.图21b示意性地例示另一方式所涉及的监视装置的软件构成的一例。
73.图22示意性地例示应用本发明的另一场景的一例。
具体实施方式
74.以下，基于附图对本发明的一方面所涉及的实施方式(以下，也表述为“本实施方式”)进行说明。不过，以下说明的本实施方式在所有方面都仅为本发明的例示。当然，能够不脱离本发明的范围地进行各种改良和变形。也就是说，在实施本发明时，也可以适当地采用与实施方式相应的具体构成。需要说明的是，本实施方式中利用自然语言来说明出现的数据，但是，更为具体而言，利用计算机可识别的模拟语言、命令、参数、机器语言等来指定。
75.§
1应用例
76.首先，使用图1对应用本发明的场景的一例进行说明。图1示意性地例示应用了本发明的场景的一例。如图1所示，本实施方式所涉及的推断系统100具备模型生成装置1和推断装置2。
77.本实施方式所涉及的模型生成装置1是构成为实施学习模型5的机器学习的计算机。具体而言，本实施方式所涉及的模型生成装置1获取多个学习数据集120。各学习数据集120由训练数据121、示出训练数据121所包含的第一特征的第一正解数据122、以及示出训练数据121所包含的第二特征中的与第一特征不同的第二特征的第二正解数据123的组合构成。
78.训练数据121是规定种类的数据的样本。规定种类的数据只要例如是可以表现一些特征的数据即可，数据的种类可以不做特别限定，可以根据实施方式适当地选择。规定种类的数据例如可以是图像数据、声音数据、数值数据、文本数据、由其它各种传感器得到的测定数据等。规定种类的数据例如也可以是通过传感器观测一些对象从而得到的传感数据。传感器例如可以是图像传感器(相机)、红外线传感器、声音传感器(麦克风)、超声波传感器、光传感器、压力传感器、气压传感器、温度传感器等。另外，传感器例如也可以是环境传感器、生命传感器、医疗检查装置、车载传感器、家庭安防传感器等。环境传感器例如可以是气压计、温度计、湿度计、声压计、声音传感器、紫外线传感器、照度计、雨量计、气体传感器等。生命传感器例如可以是血压计、脉搏计、心率计、心电仪、肌电仪、体温计、皮肤电反应计、微波传感器、脑电图仪、脑磁图仪、活动量计、血糖值测定器、眼电位传感器、眼球运动测量器等。医疗检查装置例如可以是ct(computed tomography：计算机断层扫描)装置、mri(magneticresonance imaging：磁共振成像)装置等。车载传感器例如可以是图像传感器、lidar(light detection and ranging：光检测和测距)传感器、毫米波雷达、超声波传感器、加速度传感器等。家庭安防传感器例如可以是图像传感器、红外线传感器、活性度(声音)传感器、气体(co2等)传感器、电流传感器、智能电表(测量家电、照明等的电力使用量的传感器)等。
79.第一特征和第二特征分别可以根据实施方式适当地选择。例如第一特征和第二特征可以分别与在数据中可以直接或间接表现的成分(要素)相关。直接表现是指，表现于在图像数据中映射等的数据其本身。间接表现是指，根据从图像数据推断等的数据导出。第一特征可以根据使机器学习模型习得的推断任务来选择。另一方面，第二特征可以从可直接或间接地表现于数据的特征中的、未被选择为推断任务的对象的特征选择。第一特征例如可以与图像数据中的前景(例如缺陷部分)等这样的、规定种类的数据中的成为规定的推断的对象的第一成分相关。相对于此，第二特征可以与不同于第一成分的第二成分中的、例如图像数据中的背景等这样的、可能对关于第一成分的规定的推断带来影响的第二成分相关。
80.需要说明的是，对规定的推断带来影响是指，在被提供通过上述以往的方法生成的训练完毕的模型的情况下，与包括用于机器学习的训练数据中出现的第一成分和第二成分的已知的组合的对象数据相比，针对包括第一成分和第二成分的未知的组合的对象数据，该训练完毕的模型的关于第一成分的规定的推断的精度可能恶化。作为具体例，设想通过作为对象数据而选择图像数据、将与产品的缺陷相关的成分选择为第一成分、将与背景相关的成分选择为第二成分来检测映现于图像数据的产品的缺陷的场景。在该场景中，通
过使用映现产品的缺陷和背景的训练数据的机器学习，生成训练完毕的模型。假定为在用于机器学习的训练数据中出现了第一缺陷和第一背景的组合、以及第二缺陷和第二背景的组合，而没有出现第一缺陷和第二背景的组合、以及第二缺陷和第一背景的组合。在这种情况下，与包括用于机器学习的训练数据中出现的缺陷和背景的组合(第一缺陷、第一背景)或者(第二缺陷、第二背景)的图像数据相比，虽然缺陷和背景分别独立地出现于训练数据，但是针对包括训练数据中没有出现的缺陷和背景的组合(第一缺陷、第二背景)或者(第二缺陷、第一背景)的图像数据，基于训练完毕的模型的缺陷的检测的精度可能会恶化是对上述规定的推断带来影响的一例。
81.第一正解数据122示出与第一特征相关的推断任务的正解。第二正解数据123示出与第二特征相关的推断任务的正解。各正解数据(122、123)可以改称为“示教信号”、“标签”等。“推断”可以改称为“推论”。推断各特征是指，例如通过分组(分类、识别)导出离散值(例如与特定的特征对应的聚类)、以及通过回归导出连续值(例如出现了特定的特征的概率)中的任意一者。推断各特征可以包括基于该分组或者回归的结果进行检测、判定等一些认定。另外，推断各特征也可以包括预测。
82.本实施方式所涉及的模型生成装置1使用获取的多个学习数据集120来实施学习模型5的机器学习。本实施方式所涉及的学习模型5包括编码器51、第一推断器52以及第二推断器53。编码器51构成为将被提供的输入数据转换为特征量，换言之受理输入数据的输入，将被输入的输入数据转换为特征量的结果所对应的输出值输出。第一推断器52构成为被输入编码器51的输出值(即，特征量)，从特征量推断输入数据所包含的第一特征。第二推断器53构成为被输入编码器51的输出值，从特征量推断输入数据所包含的第二特征。
83.特征量的数据格式可以不做特别限定，可以根据实施方式适当地选择。另外，各推断器(52、53)的输出值的格式也不做特别限定，可以根据与各特征相关的推断任务的格式适当地选择。编码器51、第一推断器52以及第二推断器53由具备运算参数的机器学习模型构成。分别构成编码器51、第一推断器52以及第二推断器53的机器学习模型的种类可以不做特别限定，可以根据实施方式适当地选择。在本实施方式中，在分别构成编码器51、第一推断器52以及第二推断器53的机器学习模型中使用神经网络。详细内容将后述。
84.实施本实施方式所涉及的机器学习包括第一～第三训练步骤。在第一训练步骤中，本实施方式所涉及的模型生成装置1关于各学习数据集120训练第二推断器53，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解数据123。在第二训练步骤中，本实施方式所涉及的模型生成装置1关于各学习数据集120训练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数据123。即，在第二训练步骤中，编码器51被训练成将训练数据121转换为使第二推断器53的推断性能降低这样的特征量。在第三训练步骤中，本实施方式所涉及的模型生成装置1关于各学习数据集120训练编码器51和第一推断器52，使得通过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合于第一正解数据122。本实施方式所涉及的模型生成装置1交替地反复执行第一训练步骤和第二训练步骤。由此，本实施方式所涉及的模型生成装置1能生成能用于与第一特征相关的推断任务的执行的训练完毕的编码器51和第一推断器52。需要说明的是，本实施方式所涉及的模型生成装置1可以被简单地改称为“生成装置”、“学习装置”等。“训练完毕”也可以
改称为“学习完毕”。
85.另一方面，本实施方式所涉及的推断装置2是构成为利用通过模型生成装置1生成的训练完毕的编码器51和第一推断器52对规定种类的数据执行与第一特征相关的推断任务的计算机。具体而言，本实施方式所涉及的推断装置2获取成为推断任务的对象的对象数据。本实施方式所涉及的推断装置2利用通过模型生成装置1生成的训练完毕的编码器51和第一推断器52对获取的对象数据所包含的第一特征进行推断。本实施方式所涉及的推断装置2输出与推断出第一特征的结果相关的信息。
86.如上所示，在本实施方式中，通过上述第一训练步骤，第二推断器53被训练成，获得根据与通过编码器51得到的特征量所包含的第二特征对应的成分来执行与该第二特征相关的推断任务的能力。另一方面，通过上述第二训练步骤，编码器51被训练成获得根据第二推断器53的推断性能将输入数据(训练数据121)转换为由该第二推断器53进行的与第二特征相关的推断任务失败这样的特征量的能力。
87.在本实施方式中，通过交替地反复执行该第一训练步骤和第二训练步骤，来实施编码器51和第二推断器53的对抗学习。其结果是，第二推断器53的推断性能提高，与此对应地，通过编码器51得到的特征量能难以包含与第二特征对应的成分，使得由第二推断器53进行的推断任务失败。
88.而且，通过上述第三训练步骤，第一推断器52被训练成，获得根据通过编码器51得到的特征量来执行与第一特征相关的推断任务的能力。与此同时，编码器51被训练成，获得将输入数据(训练数据121)转换为包含与第一特征对应的成分的特征量的能力，使得第一推断器52能适当地执行与第一特征相关的推断任务。
89.因而，根据本实施方式所涉及的机器学习，通过训练完毕的编码器51得到的特征量能包含与第一特征对应的成分，并且难以包含与第二特征对应的成分。由此，能使由第一推断器52进行的与第一特征相关的推断任务的执行难以考虑与第二特征相关的信息。因而，根据本实施方式所涉及的模型生成装置1，能生成针对第二特征的差异能稳健地执行与第一特征相关的推断任务的训练完毕的编码器51和第一推断器52。
90.需要说明的是，在图1的例子中，模型生成装置1和推断装置2经由网络被相互连接。网络的种类例如可以从互联网、无线通信网、移动通信网、电话网、专用网等适当地选择。不过，在模型生成装置1和推断装置2之间交换数据的方法可以不限于这种例子，可以根据实施方式适当地选择。例如可以在模型生成装置1和推断装置2之间利用存储介质来交换数据。
91.另外，在图1的例子中，模型生成装置1和推断装置2分别由独立的计算机构成。但是，本实施方式所涉及的推断系统100的构成可以不限于这种例子，可以根据实施方式适当地决定。例如模型生成装置1和推断装置2可以是一体的计算机。另外，例如模型生成装置1和推断装置2中的至少一方可以由多台计算机构成。
92.§
2构成例
93.[硬件构成]
[0094]
＜模型生成装置＞
[0095]
接下来，使用图2对本实施方式所涉及的模型生成装置1的硬件构成的一例进行说明。图2示意性地例示本实施方式所涉及的模型生成装置1的硬件构成的一例。
[0096]
如图2所示，本实施方式所涉及的模型生成装置1是控制部11、存储部12、通信接口13、外部接口14、输入装置15、输出装置16以及驱动器17被电连接而成的计算机。需要说明的是，在图2中，将通信接口和外部接口记载为“通信i/f”和“外部i/f”。
[0097]
控制部11构成为包括作为硬件处理器的cpu(central processingunit：中央处理单元)、ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)等，基于程序和各种数据来执行信息处理。存储部12是存储器的一例，例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部12存储模型生成程序81、多个学习数据集120、学习结果数据125等各种信息。
[0098]
模型生成程序81是用于使模型生成装置1执行与学习模型5的机器学习相关的后述的信息处理(图7和图8)的程序。模型生成程序81包括该信息处理的一系列的命令。模型生成程序81可以简称为“生成程序”、“学习程序”等。多个学习数据集120用于学习模型5的机器学习。学习结果数据125示出与通过机器学习生成的训练完毕的编码器51和第一推断器52相关的信息。在本实施方式中，学习结果数据125被生成为执行了模型生成程序81的结果。详细内容将后述。
[0099]
通信接口13例如是有线lan(local area network：局域网)模块、无线lan模块等，是用于进行经由网络的有线或无线通信的接口。模型生成装置1通过利用该通信接口13，能与其它信息处理装置(例如推断装置2)进行经由网络的数据通信。
[0100]
外部接口14例如是usb(universal serial bus：通用串行总线)端口、专用端口等，是用于与外部装置连接的接口。外部接口14的种类和数量可以根据所连接的外部装置的种类和数量适当地选择。模型生成装置1可以经由外部接口14连接到用于得到训练数据121的传感器。
[0101]
输入装置15例如是鼠标、键盘等用于进行输入的装置。另外，输出装置16例如是显示器、扬声器等用于进行输出的装置。用户等操作人员通过利用输入装置15和输出装置16能操作模型生成装置1。
[0102]
驱动器17例如是cd驱动器、dvd驱动器等，是用于读入存储介质91中存储的程序等各种信息的驱动装置。驱动器17的种类可以根据存储介质91的种类适当地选择。上述模型生成程序81和多个学习数据集120中的至少任意一者可以存储到该存储介质91。
[0103]
存储介质91是以计算机及其它装置、机器等能读取所存储的程序等各种信息的方式将该程序等信息通过电、磁、光学、机器或化学作用进行存储的介质。模型生成装置1可以从该存储介质91获取上述模型生成程序81和多个学习数据集120中的至少任意一者。
[0104]
在此，在图2中，作为存储介质91的一例，例示出cd、dvd等盘式存储介质。但是，存储介质91的种类并不限于盘式，也可以是盘式以外。作为盘式以外的存储介质，例如能举出闪存等半导体存储器。驱动器17的种类可以根据存储介质91的种类适当地选择。
[0105]
需要说明的是，关于模型生成装置1的具体的硬件构成，能根据实施方式适当地进行构成要素的省略、置换以及追加。例如控制部11可以包括多个硬件处理器。硬件处理器可以由微处理器、fpga(field-programmable gate array：现场可编程门阵列)、dsp(digital signalprocessor：数字信号处理器)等构成。存储部12可以由控制部11所包含的ram和rom构成。通信接口13、外部接口14、输入装置15、输出装置16以及驱动器17中的至少任意一者可以省略。模型生成装置1可以由多台计算机构成。在这种情况下，各计算机的硬件构成既
可以一致，也可以不一致。另外，模型生成装置1除了所提供的设计成服务专用的信息处理装置之外，也可以是通用的服务器装置、pc(personalcomputer：个人计算机)等。
[0106]
＜推断装置＞
[0107]
接下来，使用图3对本实施方式所涉及的推断装置2的硬件构成的一例进行说明。图3示意性地例示本实施方式所涉及的推断装置2的硬件构成的一例。
[0108]
如图3所示，本实施方式所涉及的推断装置2是控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27被电连接而成的计算机。需要说明的是，在图3中，与图2同样地将通信接口和外部接口记载为“通信i/f”和“外部i/f”。
[0109]
推断装置2的控制部21～驱动器27可以分别与上述模型生成装置1的控制部11～驱动器17同样地构成。即，控制部21构成为包括作为硬件处理器的cpu、ram、rom等，基于程序和数据来执行各种信息处理。存储部22例如由硬盘驱动器、固态驱动器等构成。存储部22存储推断程序82、学习结果数据125等各种信息。
[0110]
推断程序82是用于使推断装置2执行利用训练完毕的编码器51和第一推断器52对规定种类的数据执行与第一特征相关的推断任务的后述的信息处理(图9)的程序。推断程序82包括该信息处理的一系列的命令。详细内容将后述。
[0111]
通信接口23例如是有线lan模块、无线lan模块等，是用于进行经由网络的有线或无线通信的接口。推断装置2通过利用该通信接口23，能与其它信息处理装置(例如模型生成装置1)进行经由网络的数据通信。
[0112]
外部接口24例如是usb端口、专用端口等，是用于与外部装置连接的接口。外部接口24的种类和数量可以根据所连接的外部装置的种类和数量适当地选择。推断装置2可以经由外部接口14连接到用于获取对象数据的传感器。
[0113]
输入装置25例如是鼠标、键盘等用于进行输入的装置。另外，输出装置26例如是显示器、扬声器等用于进行输出的装置。用户等操作人员通过利用输入装置25和输出装置26，能操作推断装置2。
[0114]
驱动器27例如是cd驱动器、dvd驱动器等，是用于读入存储介质92中存储的程序等各种信息的驱动装置。存储介质92的种类可以是盘式和盘式以外中的任意一种。驱动器27的种类可以根据存储介质92的种类适当地选择。上述推断程序82和学习结果数据125中的至少任意一者可以存储到存储介质92中。另外，推断装置2也可以从存储介质92获取上述推断程序82和学习结果数据125中的至少任意一者。
[0115]
需要说明的是，关于推断装置2的具体的硬件构成，能根据实施方式适当地进行构成要素的省略、置换以及追加。例如控制部21也可以包括多个硬件处理器。硬件处理器也可以由微处理器、fpga、dsp等构成。存储部22也可以由控制部21所包含的ram和rom构成。通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27中的至少任意一者也可以被省略。推断装置2也可以由多台计算机构成。在这种情况下，各计算机的硬件构成既可以一致，也可以不一致。另外，推断装置2除了所提供的设计成服务专用的信息处理装置之外，也可以是通用的服务器装置、通用的pc等。
[0116]
[软件构成]
[0117]
＜模型生成装置＞
[0118]
接下来，使用图4和图5对本实施方式所涉及的模型生成装置1的软件构成的一例
进行说明。图4示意性地例示本实施方式所涉及的模型生成装置1的软件构成的一例。图5示意性地例示由本实施方式所涉及的模型生成装置1进行的机器学习的处理过程的一例。
[0119]
模型生成装置1的控制部11将存储部12中存储的模型生成程序81在ram中展开。然后，控制部11通过cpu将在ram中展开的模型生成程序81所包含的命令通过cpu进行解释以及执行，控制各构成要素。由此，如图4所示，本实施方式所涉及的模型生成装置1作为具备数据获取部111、学习处理部112以及保存处理部113作为软件模块的计算机而动作。即，在本实施方式中，模型生成装置1的各软件模块由控制部11(cpu)实现。
[0120]
数据获取部111获取多个学习数据集120，所述多个学习数据集120由训练数据121、示出训练数据121所包含的第一特征的第一正解数据122、以及示出训练数据121所包含的第二特征中的与第一特征不同的第二特征的第二正解数据123的组合分别构成。学习处理部112使用获取到的多个学习数据集120来实施学习模型5的机器学习。
[0121]
本实施方式所涉及的学习模型5具备编码器51、第一推断器52以及第二推断器53。编码器51配置在输入侧。编码器51构成为针对规定种类的数据的输入，将与通过转换输入数据而得到的特征量对应的输出值输出。相对于此，第一推断器52和第二推断器53并列地配置在输出侧。编码器51的输出连接到各推断器(52、53)的输入。由此，编码器51的输出值、即通过转换输入数据而得到的特征量输入到各推断器(52、53)。第一推断器52构成为针对特征量的输入，将从被输入了输入数据所包含的第一特征的特征量推断出的结果所对应的输出值输出。第二推断器53构成为针对特征量的输入，将从被输入了输入数据所包含的第二特征的特征量推断出的结果所对应的输出值输出。
[0122]
如图5所示，本实施方式所涉及的机器学习包括第一～第三训练步骤。在第一训练步骤中，学习处理部112关于各学习数据集120训练第二推断器53，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解数据123。在第二训练步骤中，学习处理部112关于各学习数据集120训练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数据123。学习处理部112交替地反复执行第一训练步骤和第二训练步骤。在第三训练步骤中，学习处理部112关于各学习数据集120训练编码器51和第一推断器52，使得通过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合于第一正解数据122。
[0123]
需要说明的是，训练编码器51使得推断结果不适合于第二正解数据123的方法可以不做特别限定，可以根据实施方式适当地决定。作为一例，学习处理部112关于各学习数据集120可以获取与第二正解数据123对应并且由不同于对应的第二正解数据123的值构成的虚拟数据129。在这种情况下，训练编码器51使得推断结果不适合于第二正解数据123可以由如下方式构成：进行训练使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于虚拟数据129。
[0124]
通过以上的各训练步骤的执行，生成训练完毕的学习模型5。如图4所示，保存处理部113将与训练完毕的编码器51和第一推断器52相关的信息生成为学习结果数据125。然后，保存处理部113将生成的学习结果数据125保存到规定的存储区域。需要说明的是，关于训练完毕的第二推断器53的操作可以是任意的。学习结果数据125既可以包含与训练完毕的第二推断器53相关的信息，或者也可以不包含。
[0125]
(机器学习模型的构成)
[0126]
接下来，对编码器51、第一推断器52以及第二推断器53各自的构成进行说明。在编码器51、第一推断器52以及第二推断器53各者中，可以利用能实施机器学习的任意的模型。如图4所示，在本实施方式中，编码器51、第一推断器52以及第二推断器53分别由多层结构的全耦合型神经网络构成。编码器51、第一推断器52以及第二推断器53分别具备输入层(511、521、531)、中间(隐藏)层(512、522、532)以及输出层(513、523、533)。
[0127]
不过，编码器51、第一推断器52以及第二推断器53各自的结构可以不限于这种例子，也可以根据实施方式适当地决定。例如中间层(512、522、532)的数量可以不限于1个，也可以是2个以上。或者，中间层(512、522、532)也可以省略。构成各个神经网络的层的数量可以不做特别限定，可以任意选择。在编码器51、第一推断器52以及第二推断器53中的至少任意的组合中，结构可以至少部分地一致，或者也可以不一致。另外，在图4的例子中，编码器51、第一推断器52以及第二推断器53各自的神经网络处于分离，但编码器51、第一推断器52以及第二推断器53中的至少任意的组合也可以由一体的神经网络构成。
[0128]
各层(511～513、521～523、531～533)具备1个或多个神经元(节点)。各层(511～513、521～523、531～533)所包含的神经元(节点)的数量可以不做特别限定，可以根据实施方式适当地选择。相邻的层的神经元彼此被适当地耦合。在图4的例子中，各神经元与相邻的层的全部神经元处于耦合。但是，各神经元的耦合关系可以不限于这种例子，可以根据实施方式适当地设定。
[0129]
在各耦合设定有权重(耦合负载)。在各神经元设定有阈值，基本上，根据各输入与各权重的乘积之和是否超过阈值来决定各神经元的输出。阈值可以通过活性化函数来表现。在这种情况下，通过将各输入与各权重的乘积之和输入到活性化函数，并执行活性化函数的运算，从而决定各神经元的输出。活性化函数的种类不做特别限定，可以根据实施方式适当地选择。各层(511～513、521～523、531～533)所包含的各神经元间的耦合的权重和各神经元的阈值是编码器51、第一推断器52以及第二推断器53各自的运算处理中利用的运算参数的一例。
[0130]
编码器51、第一推断器52以及第二推断器53各自的运算参数的值通过上述机器学习的各训练步骤来调节。具体而言，在第一训练步骤中，学习处理部112关于各学习数据集120，将训练数据121输入到编码器51的输入层511，将与第二特征的推断结果对应的输出值从第二推断器53的输出层533获取。学习处理部112在将编码器51的运算参数的值固定后，以获取的输出值与第二正解数据123的误差变小的方式调节第二推断器53的运算参数的值。
[0131]
在第二训练步骤中，学习处理部112关于各学习数据集120，将训练数据121输入到编码器51的输入层511，从第二推断器53的输出层533获取与第二特征的推断结果对应的输出值。学习处理部112在将第二推断器53的运算参数的值固定后，以获取的输出值与第二正解数据123的误差变大得方式调节编码器51的运算参数的值。作为一例，学习处理部112以获取得输出值与虚拟数据129的误差变小的方式调节编码器51的运算参数的值。
[0132]
在第三训练步骤中，学习处理部112关于各学习数据集120，将训练数据121输入到编码器51的输入层511，从第一推断器52的输出层523获取与第一特征的推断结果对应的输出值。学习处理部112以获取的输出值与第一正解数据122的误差变小的方式调节编码器51
和第一推断器52各自的运算参数的值。
[0133]
保存处理部113将示出通过上述机器学习构建的训练完毕的编码器51和第一推断器52各自的结构和运算参数的值的信息生成为学习结果数据125。结构例如可以由神经网络中的从输入层到输出层的层的数量、各层的种类、各层所包含的神经元的数量、相邻的层的神经元彼此的耦合关系等来确定。在系统内模型的结构实现共用的情况下，与该结构相关的信息可以从学习结果数据125省略。保存处理部113将生成后的学习结果数据125保存到规定的存储区域。
[0134]
＜推断装置＞
[0135]
接下来，使用图6对本实施方式所涉及的推断装置2的软件构成的一例进行说明。图6示意性地例示本实施方式所涉及的推断装置2的软件构成的一例。
[0136]
推断装置2的控制部21将存储部22中存储的推断程序82在ram中展开。然后，控制部21通过cpu将在ram中展开的推断程序82所包含的命令通过cpu进行解释以及执行，控制各构成要素。由此，如图6所示，本实施方式所涉及的推断装置2作为将数据获取部211、推断部212以及输出部213具备为软件模块的计算机而动作。即，在本实施方式中，推断装置2的各软件模块与上述模型生成装置1同样地通过控制部21(cpu)来实现。
[0137]
数据获取部211获取成为推断任务的执行对象的对象数据221。推断部212通过保持学习结果数据125而具备通过模型生成装置1生成的训练完毕的编码器51和第一推断器52。推断部212利用训练完毕的编码器51和第一推断器52来推断获取到的对象数据221所包含的第一特征。输出部213输出与推断出第一特征的结果相关的信息。
[0138]
＜其它＞
[0139]
关于模型生成装置1和推断装置2的各软件模块在后述的动作例中详细地说明。需要说明的是，在本实施方式中，对模型生成装置1和推断装置2的各软件模块均通过通用的cpu来实现的例子进行了说明。但是，以上软件模块的一部分或全部也可以通过1个或多个专用的处理器来实现。另外，关于模型生成装置1和推断装置2各自的软件构成，也可以根据实施方式适当地进行软件模块的省略、置换以及追加。
[0140]
§
3动作例
[0141]
[模型生成装置]
[0142]
接下来，使用图7对模型生成装置1的动作例进行说明。图7是示出本实施方式所涉及的模型生成装置1的处理顺序的一例的流程图。以下说明的处理顺序是本发明的“模型生成方法”的一例。不过，以下说明的处理顺序仅为一例，各步骤可以尽可能地变更。而且，关于以下说明的处理顺序，能根据实施方式适当地进行步骤的省略、置换以及追加。
[0143]
(步骤s101)
[0144]
在步骤s101中，控制部11作为数据获取部111而动作，获取多个学习数据集120。在本实施方式中，各学习数据集120由训练数据121、第一正解数据122以及第二正解数据123的组合构成。
[0145]
各学习数据集120可以适当地生成。例如在实际空间或虚拟空间中，能将包含第一特征和第二特征的规定种类的数据的样本获取为训练数据121。获取样本的方法可以适当地选择。在规定种类的数据为传感数据的情况下，可以按各种条件通过传感器观测对象从而获取训练数据121。观测的对象可以根据使学习模型5习得的推断任务来选择。然后，将示
出推断出获取到的训练数据121所包含的第一特征和第二特征的结果(正解)的信息作为第一正解数据122和第二正解数据123与获取到的训练数据121相关联。各特征的推断方法可以任意选择。例如各特征的推断可以由操作人员进行。由此，能生成各学习数据集120。
[0146]
各学习数据集120既可以通过计算机的动作自动地生成，也可以通过至少部分地包含操作人员的操作而手动地生成。另外，各学习数据集120的生成既可以通过模型生成装置1进行，也可以通过模型生成装置1以外的其它计算机进行。在模型生成装置1生成各学习数据集120的情况下，控制部11自动地或者通过经由输入装置15的操作人员的操作手动地执行上述一系列的生成处理，从而获取多个学习数据集120。另一方面，在其它计算机生成各学习数据集120的情况下，控制部11例如经由网络、存储介质91等获取通过其它计算机生成的多个学习数据集120。也可以是，一部分学习数据集120由模型生成装置1生成，其它学习数据集120由1个或多个其它计算机生成。
[0147]
获取的学习数据集120的件数可以任意选择。当获取多个学习数据集120时，控制部11将处理前进至下一步骤s102。
[0148]
(步骤s102)
[0149]
在步骤s102中，控制部11作为学习处理部112而动作，使用获取到的多个学习数据集120来实施学习模型5的机器学习。
[0150]
图8是示出本实施方式所涉及的学习模型5中的、与步骤s102的机器学习相关的子流程的处理顺序的一例的流程图。本实施方式所涉及的步骤s102的处理包括以下的步骤s121～步骤s124的处理。不过，以下说明的处理顺序仅为一例，各处理可以尽可能地变更。另外，关于以下说明的处理顺序，能根据实施方式适当地进行步骤的省略、置换以及追加。
[0151]
需要说明的是，构成成为机器学习的处理对象的编码器51、第一推断器52以及第二推断器53的神经网络可以适当地准备。准备的编码器51、第一推断器52以及第二推断器53各自的结构(例如层的数量、各层所包含的神经元的数量、相邻的层的神经元彼此的耦合关系等)、各神经元间的耦合的权重的初始值、以及各神经元的阈值的初始值可以通过模板被提供，也可以通过操作人员的输入被提供。另外，在进行再次学习的情况下，控制部11可以基于过去的通过进行机器学习而得到的学习结果数据来分别准备编码器51、第一推断器52以及第二推断器53。
[0152]
(步骤s121)
[0153]
在步骤s121中，控制部11关于各学习数据集120训练第二推断器53，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解数据123。步骤s121是第一训练步骤的一例。该机器学习的训练处理可以使用随机梯度下降法、小批量梯度下降法等。关于后述的步骤s122和步骤s123中的训练处理也是同样的。
[0154]
作为一例，首先，控制部11关于各学习数据集120，将训练数据121提供给编码器51，执行编码器51的运算处理。换言之，控制部11将训练数据121输入到编码器51的输入层511，从输入侧起按顺序进行各层511～513所包含的各神经元的点火判定(即，进行正向传播的运算)。通过该运算处理，控制部11从编码器51的输出层513获取与通过转换训练数据121而得到的特征量对应的输出值。接着，控制部11将获取到的特征量输入到第二推断器53的输入层531，从输入侧起按顺序进行各层531～533所包含的各神经元的点火判定。根据该运算结果，控制部11从第二推断器53的输出层533获取与从特征量推断出训练数据121所包
含的第二特征的结果对应的输出值。
[0155]
控制部11关于各学习数据集120，算出通过以上的运算处理从第二推断器53的输出层533得到的输出值与第二正解数据123的误差。误差(损失)的算出可以使用损失函数。损失函数是对机器学习模型的输出与正解的差值(即，不同的程度)进行评价的函数，从输出层533得到的输出值与该正解的差值越大，则通过损失函数算的误差的值越大。误差的计算所利用的损失函数的种类可以不做特别限定，可以根据实施方式适当地选择。损失函数例如可以使用平均平方误差、交叉熵误差等公知的损失函数。
[0156]
控制部11使用通过误差反向传播(back propagation)法算出的输出值的误差的梯度来算出第二推断器53的各运算参数(各神经元间的耦合的权重、各神经元的阈值等)的值的误差。控制部11基于算出的各误差来更新第二推断器53的各运算参数的值。更新各运算参数的值的程度可以通过学习率来调节。学习率既可以通过操作人员的指定被提供，也可以被提供为程序内的设定值。
[0157]
控制部11在将编码器51的各运算参数的值固定后，以通过上述一系列的更新处理算出的误差之和变小的方式来调节第二推断器53的各运算参数的值。例如控制部11可以反复进行基于上述一系列的处理的各运算参数的值的调节，直至满足执行规定次数的、算出的误差之和成为阈值以下等规定的条件。由此，控制部11关于各学习数据集120能训练第二推断器53，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解数据123。当该第二推断器53的训练处理完成时，控制部11将处理前进至下一步骤s122。
[0158]
(步骤s122)
[0159]
在步骤s122中，控制部11关于各学习数据集120训练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数据123。步骤s122是第二训练步骤的一例。
[0160]
在本实施方式中，为了如上述那样训练编码器51，能使用由与对应的第二正解数据123不同的值构成的虚拟数据129。在这种情况下，控制部11可以关于各学习数据集120训练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于虚拟数据129。
[0161]
虚拟数据129可以与各学习数据集120的第二正解数据123对应并适当地获取。例如虚拟数据129可以由与对应的学习数据集120不同的其它学习数据集120的第二正解数据123构成。即，控制部11可以选择获取虚拟数据129的对象的学习数据集120以外的其它学习数据集120，将所选择的其它学习数据集120的第二正解数据123用作对象的学习数据集120的虚拟数据129。
[0162]
选择其它学习数据集120的方法不做特别限定，可以根据实施方式适当地决定。例如其它学习数据集120可以从多个学习数据集120之中用随机等机器方法选择。另外，例如也可以通过将各学习数据集120的第二正解数据123相对于训练数据121的对应关系向任意的方向错位，从而将分配给对象的学习数据集120的其它学习数据集的120的第二正解数据123用作虚拟数据129。另外，例如也可以从多个学习数据集120之中用任意的方法选择1个学习数据集120，将所选择的学习数据集120的第二正解数据123用作全部学习数据集120的虚拟数据129。根据该方法，能抑制生成虚拟数据129的计算量，能实现本步骤s122的处理成
本的下降。
[0163]
需要说明的是，生成虚拟数据129的方法可以不限于这种例子，可以根据实施方式适当地决定。除上述之外，例如控制部11也可以通过将第二正解数据123的值反转来生成虚拟数据129。另外，例如控制部11也可以为了与第二正解数据123的值不同而生成由用随机(例如随机数)等机器方法得到的值构成的数据，获取所生成的数据作为虚拟数据129。可以存在多个学习数据集120中的虚拟数据129与第二正解数据123一致的学习数据集120。在这种情况下，可以将该学习数据集120原样用于训练，或者也可以适当地变更该学习数据集120的虚拟数据129。
[0164]
利用虚拟数据129的训练处理例如能如下面这样实施。首先，控制部11关于各学习数据集120与上述步骤s121同样地执行编码器51和第二推断器53的正向传播的运算处理。由此，控制部11从第二推断器53的输出层533获取与从特征量推断出训练数据121所包含的第二特征的结果对应的输出值。接下来，控制部11关于各学习数据集120，算出通过以上的运算处理从第二推断器53的输出层533得到的输出值与虚拟数据129的误差。误差的算出可以使用与步骤s121同样的损失函数。控制部11通过误差反向传播法将算出的输出值的误差的梯度经由第二推断器53反向传播到编码器51的各运算参数，算出编码器51的各运算参数的值的误差。然后，控制部11基于算出的各误差，更新编码器51的各运算参数的值。更新各运算参数的值的程度可以通过学习率来调节。
[0165]
控制部11在将第二推断器53的各运算参数的值固定后，以通过上述一系列的更新处理算出的误差之和变小的方式来调节编码器51的各运算参数的值。控制部11可以与步骤s121同样地反复进行基于上述一系列的处理的编码器51的各运算参数的值的调节，直至满足规定的条件为止。由此，控制部11能关于各学习数据集120训练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数据123。当该编码器51的训练处理完成时，控制部11将处理前进至下一步骤s123。
[0166]
需要说明的是，训练编码器51使得从第二推断器53得到的第二特征的推断结果不适合于第二正解数据123的方法可以不限于该利用虚拟数据129的方法。例如在训练处理中，控制部11可以关于各学习数据集120算出从第二推断器53的输出层533得到的输出值与第二正解数据123的误差。控制部11可以在算出的误差变大的方向上算出该误差的梯度，通过误差反向传播法将算出的梯度反向传播到编码器51的输入层511。在该过程中，控制部11可以算出编码器51的各运算参数的值的误差。然后，控制部11可以基于算出的各误差来更新编码器51的各运算参数的值。通过该方法，控制部11也能关于各学习数据集120训练编码器51，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果不适合于第二正解数据123。
[0167]
(步骤s123)
[0168]
在步骤s123中，控制部11关于各学习数据集120训练编码器51和第一推断器52，使得通过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合于第一正解数据122。步骤s123是第三训练步骤的一例。
[0169]
作为训练处理的一例，首先，控制部11关于各学习数据集120将训练数据121输入到编码器51的输入层511，从输入侧起按顺序进行各层511～513所包含的各神经元的点火判定。通过该运算处理，控制部11从编码器51的输出层513获取与通过将训练数据121转换
而得到的特征量对应的输出值。接着，控制部11将获取到的特征量输入第一推断器52的输入层521，从输入侧起按顺序进行各层521～523所包含的各神经元的点火判定。根据该运算结果，控制部11从第一推断器52的输出层523获取与从特征量推断出训练数据121所包含的第一特征的结果对应的输出值。
[0170]
控制部11关于各学习数据集120用以上的运算处理算出从第一推断器52的输出层523得到的输出值与第一正解数据122的误差。误差的算出可以使用任意的损失函数。控制部11通过误差反向传播法，使用算出的输出值的误差的梯度来算出编码器51和第一推断器52的各运算参数的值的误差。控制部11基于算出的各误差，更新编码器51和第一推断器52的各运算参数的值。更新各运算参数的值的程度可以通过学习率来调节。
[0171]
控制部11通过上述一系列的更新处理，以算出的误差之和变小的方式来调节编码器51和第一推断器52的各运算参数的值。与步骤s121等同样，控制部11可以反复进行基于上述一系列的处理的编码器51和第一推断器52的各运算参数的值的调节，直至满足规定的条件为止。由此，控制部11能关于各学习数据集120训练编码器51和第一推断器52，使得通过将训练数据121提供给编码器51而从第一推断器52得到的第一特征的推断结果适合于第一正解数据122。当该编码器51和第一推断器52的训练处理完成时，控制部11将处理前进至下一步骤s124。
[0172]
(步骤s124)
[0173]
在步骤s124中，控制部11判定是否反复进行步骤s121～步骤s123的处理。控制部11可以根据规定的基准来判定是否反复进行处理。该规定的基准可以根据实施方式适当地决定。例如可以设定反复进行处理的规定次数。规定次数例如可以通过操作人员的指定被提供，也可以被提供为程序内的设定值。在这种情况下，控制部11判定执行了步骤s121～步骤s123的处理的次数是否达到规定次数。在判定为执行次数没有达到规定次数的情况下，控制部11将处理返回至步骤s121，再次执行步骤s121～步骤s123的处理。由此，交替地反复执行步骤s121和步骤s122。另外，在本实施方式中，在循环内也包括步骤s123，因此步骤s123也与步骤s121和步骤s122一起被反复执行。另一方面，在判定为执行次数达到了规定次数的情况下，控制部11将学习模型5的机器学习的处理完成，将处理前进至下一步骤s103。
[0174]
需要说明的是，学习模型5的机器学习中的基于步骤s121～步骤s123的各训练的处理顺序可以不限于上述的例子，可以是任意的。例如步骤s123也可以与上述步骤s122并行执行。在这种情况下，关于步骤s122和步骤s123的正向传播的运算，编码器51的运算处理也可以共用地被执行。另外，例如也可以在循环内，在步骤s123的处理被执行后，执行步骤s121和步骤s122的处理。也可以替换步骤s121和步骤s122的处理顺序。
[0175]
另外，例如控制部11也可以在交替地反复执行步骤s121和步骤s122的训练前，执行步骤s123中的至少编码器51的训练。在这种情况下，控制部11可以与上述同样地在交替地反复进行步骤s121和步骤s122的训练时，或者在交替地反复进行步骤s121和步骤s122的训练后，执行步骤s123中的至少第一推断器52的训练。而且，控制部11也可以在执行上述各训练前，作为预先学习，关于各学习数据集120执行编码器51和第二推断器53中的至少编码器51的训练，使得通过将训练数据121提供给编码器51而从第二推断器53得到的第二特征的推断结果适合于第二正解数据123。
[0176]
(步骤s103)
[0177]
回到图7，在步骤s103中，控制部11作为保存处理部113而动作，将示出通过机器学习构建的训练完毕的编码器51和第一推断器52各自的结构和运算参数的值的信息生成为学习结果数据125。然后，控制部11将所生成的学习结果数据125保存到规定的存储区域。
[0178]
规定的存储区域例如可以是控制部11内的ram、存储部12、外部存储装置、存储介质或者它们的组合。存储介质例如可以是cd、dvd等，控制部11可以将学习结果数据125经由驱动器17保存到存储介质。外部存储装置例如可以是nas(network attached storage：网络附加存储)等数据服务器。在这种情况下，控制部11可以利用通信接口13将学习结果数据125经由网络保存到数据服务器。另外，外部存储装置例如可以是经由外部接口14连接到模型生成装置1的外置的存储装置。当学习结果数据125的保存完成时，控制部11将本动作例所涉及的处理顺序结束。
[0179]
需要说明的是，生成的学习结果数据125可以按任意的定时被提供给推断装置2。例如控制部11可以作为步骤s103的处理或者与步骤s103的处理独立地转发学习结果数据125。推断装置2可以通过接收该转发来获取学习结果数据125。另外，推断装置2也可以通过利用通信接口23经由网络访问模型生成装置1或数据服务器来获取学习结果数据125。另外，例如推断装置2也可以经由存储介质92来获取学习结果数据125。另外，例如学习结果数据125也可以预先组装到推断装置2中。
[0180]
而且，控制部11可以通过定期或不定期地反复进行上述步骤s101～步骤s103的处理来更新或者新生成学习结果数据125。在进行该反复时，可以适当地执行多个学习数据集120中的至少一部分的变更、修改、追加、删除等。并且，控制部11可以通过将更新或新生成了的学习结果数据125用任意的方法提供给推断装置2来更新推断装置2所保持的学习结果数据125。
[0181]
[推断装置]
[0182]
接下来，使用图9对推断装置2的动作例进行说明。图9是示出本实施方式所涉及的推断装置2的处理顺序的一例的流程图。以下说明的处理顺序是推断方法的一例。不过，以下说明的处理顺序仅为一例，各步骤可以尽可能地变更。而且，关于以下说明的处理顺序，能根据实施方式适当地进行步骤的省略、置换以及追加。
[0183]
(步骤s201)
[0184]
在步骤s201中，控制部21作为数据获取部211而动作，获取对象数据221。对象数据221是成为推断任务的执行对象的规定种类的数据的样本。获取对象数据221的方法可以根据数据的种类适当地决定。在对象数据221为传感数据的情况下，通过传感器观测与第一特征相关的推断的对象，从而能获取对象数据221。当获取对象数据221时，控制部21将处理前进至下一步骤s202。
[0185]
(步骤s202)
[0186]
在步骤s202中，控制部21作为推断部212而动作，参照学习结果数据125进行训练完毕的编码器51和第一推断器52的设定。控制部21将获取的对象数据221输入到训练完毕的编码器51的输入层511，执行训练完毕编码器51和第一推断器52的正向传播的运算处理。由此，控制部11能从训练完毕的第一推断器52的输出层523获取与推断出对象数据221所包含的第一特征的结果对应的输出值。即，在本实施方式中，推断对象数据221所包含的第一
特征是通过将对象数据221提供给训练完毕的编码器51并执行训练完毕编码器51和第一推断器52的正向传播的运算处理来达成的。当第一特征的推断处理完成时，控制部21将处理前进至下一步骤s203。
[0187]
(步骤s203)
[0188]
在步骤s203中，控制部21作为输出部213而动作，输出与推断出第一特征的结果相关的信息。
[0189]
输出目的地和输出的信息的内容分别可以根据实施方式适当地决定。例如控制部21可以将通过步骤s202针对对象数据221推断出第一特征的结果原样输出到输出装置26。另外，例如控制部21也可以基于推断出第一特征的结果来执行一些信息处理。然后，控制部21也可以将执行了该信息处理的结果作为与推断的结果相关的信息输出。该执行了信息处理的结果的输出可以包括根据推断结果来输出特定的消息、根据推断结果来控制控制对象装置的动作等。输出目的地例如可以是输出装置26、其它计算机的输出装置、控制对象装置等。
[0190]
当与推断结果相关的信息的输出完成时，控制部21将本动作例所涉及的处理顺序结束。需要说明的是，在规定期间内，控制部21可以继续反复执行步骤s201～步骤s203的一系列的信息处理。反复的定时可以是任意的。由此，推断装置2可以继续实施与第一特征相关的推断任务。
[0191]
[特征]
[0192]
如上所示，在本实施方式中，通过上述步骤s121，第二推断器53被训练成获得根据与通过编码器51得到的特征量所包含的第二特征对应的成分来执行与该第二特征相关的推断任务的能力。另一方面，通过上述步骤s122，编码器51被训练成获得根据第二推断器53的推断性能将输入数据转换为由该第二推断器53进行的与第二特征相关的推断任务失败这样的特征量的能力。通过交替地反复执行该步骤s121和步骤s122的训练处理，第二推断器53的推断性能提高，与此对应地，通过编码器51得到的特征量能难以包含与第二特征对应的成分，使得由第二推断器53进行的推断任务失败。而且，通过步骤s123，第一推断器52被训练成获得根据通过编码器51得到的特征量来执行与第一特征相关的推断任务的能力。与此同时，编码器51被训练成获得将输入数据转换为包括与第一特征对应的成分的特征量的能力，使得第一推断器52能适当地执行与第一特征相关的推断任务。
[0193]
因而，根据上述步骤s102的机器学习，通过训练完毕的编码器51得到的特征量能包含与第一特征对应的成分，并且难以包含与第二特征对应的成分，由此，在由第一推断器52进行的与第一特征相关的推断任务的执行中能难以考虑与第二特征相关的信息。因而，根据本实施方式所涉及的模型生成装置1，能生成针对第二特征的差异能稳健地执行与第一特征相关的推断任务的训练完毕的编码器51和第一推断器52。本实施方式所涉及的推断装置2通过在上述步骤s202中利用训练完毕的编码器51和第一推断器52，从而能期待以高精度执行与第一特征相关的推断任务。
[0194]
另外，在本实施方式中，步骤s123的处理与步骤s121和步骤s122一起被反复执行。由此，通过步骤s122的处理来调节编码器51的各运算参数的值，与此对应地，能通过步骤s123的处理来调节编码器51和第一推断器52的各运算参数的值，以获得根据通过编码器51得到的特征量来推断第一特征的能力。由此，能得到能以高精度执行与第一特征相关的推
断任务的训练完毕的编码器51和第一推断器52。
[0195]
§
4变形例
[0196]
以上，详细地说明了本发明的实施方式，但到上述为止的说明在所有方面仅为本发明的例示。当然能不脱离本发明的范围地进行各种改进或变形。例如能进行以下这样的变更。需要说明的是，以下，关于与上述实施方式相同的构成要素使用相同的附图标记，针对与上述实施方式相同的点，适当地省略了说明。以下的变形例能适当地进行组合。
[0197]
＜4.1＞
[0198]
上述实施方式所涉及的推断系统100可以应用于针对规定种类的数据执行与对象的特征相关的推断任务的所有场景。例如上述实施方式所涉及的推断系统100能应用于推断图像数据所包含的前景的场景。推断前景例如可以由推断图像数据中映现的对象物的属性来构成。另外，例如上述实施方式所涉及的推断系统100能应用于根据通过传感器来观测对象而得到的传感数据来推断对象的属性的场景。以下，例示限定了应用场景的变形例。
[0199]
(a)外观检查的场景
[0200]
图10示意性地例示第一变形例所涉及的检查系统100a的应用场景的一例。本变形例是将上述实施方式应用于利用映现产品的图像数据来实施产品的外观检查的场景的例子。本变形例所涉及的检查系统100a具备模型生成装置1和检查装置2a。与上述实施方式同样，模型生成装置1和检查装置2a可以经由网络被相互连接。
[0201]
在本变形例中处理的规定种类的数据(即，后述的训练数据121a和对象图像数据221a)是映现产品ra的图像数据。图像数据的样本p10可以通过用相机sa拍摄产品ra而得到。第一特征与产品ra的缺陷p12相关。另一方面，第二特征可以从映现产品ra的图像数据中可能出现的、缺陷p12以外的其它特征适当地选择。例如第二特征可以与包括产品ra的外包装、输送机的座部等的背景p11相关。第二特征例如可以是产品ra的类别、制造工厂的识别码、生产线的类别等背景p11的属性。除了这些限定之外，本变形例所涉及的检查系统100a可以与上述实施方式所涉及的推断系统100同样地构成。
[0202]
需要说明的是，产品ra例如可以是电子设备、电子部件、汽车部件、药品、食品等由生产线搬运的产品。电子部件例如可以是基板、片状电容器、液晶、继电器的绕组等。汽车部件例如可以是连杆、转轴、发动机组、电动车窗开关、面板等。药品例如可以是包装完毕的片剂、未包装的片剂等。产品ra既可以是在制造过程完成后生成的最终品，也可以是在制造过程的中途生成的中间品，还可以是在经过制造过程之前准备的初始品。缺陷p12例如可以是划痕、污渍、裂纹、凹痕、毛刺、颜色不均、异物混入等。与缺陷p12相关的推断例如可以通过判定产品ra是否包含缺陷p12、判定产品ra包含缺陷p12的概率、识别产品ra所包含的缺陷p12的种类、确定产品ra所包含的缺陷p12的范围、或者它们的组合来表现。
[0203]
(模型生成装置)
[0204]
在本变形例中，模型生成装置1在上述步骤s101中获取多个学习数据集120a。各学习数据集120a的训练数据121a是映现产品ra的图像数据。第一正解数据122a例如示出有无缺陷p12、缺陷p12的类别、缺陷p12所存在的范围等、与映现于训练数据121a的产品ra的缺陷p12相关的信息(正解)。与缺陷p12相关的信息可以根据上述与缺陷p12相关的推断的内容适当地决定。第二正解数据123a例如示出与背景p11的属性等缺陷p12以外的其它特征相关的信息(正解)。
[0205]
模型生成装置1使用通过上述步骤s102的处理而获取到的多个学习数据集120a来实施学习模型5的机器学习。由此，能构建获得了针对映现产品ra的图像数据的输入而输出与缺陷p12相关的推断的结果的能力的训练完毕的编码器51和第一推断器52。模型生成装置1通过上述步骤s103的处理，将与训练完毕的编码器51和第一推断器52相关的信息作为学习结果数据125a适当地保存到规定的存储区域。生成的学习结果数据125a可以按任意的定时提供给检查装置2a。
[0206]
(检查装置)
[0207]
图11a示意性地例示本变形例所涉及的检查装置2a的硬件构成的一例。如图11a所示，本变形例所涉及的检查装置2a可以与上述推断装置2同样地由控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27被电连接而成的计算机构成。
[0208]
在本变形例中，存储部22存储检查程序82a、学习结果数据125a等各种信息。检查程序82a与上述实施方式所涉及的推断程序82对应。另外，在本变形例中，检查装置2a经由外部接口24连接到相机sa。相机sa例如可以是一般的rgb相机、深度相机、红外线相机等。相机sa可以适当地配置在能拍摄产品ra的场所。例如相机sa可以配置在搬运产品ra的输送装置的附近。
[0209]
需要说明的是，检查装置2a的硬件构成可以不限于这种例子。关于检查装置2a的具体的硬件构成，能根据实施方式适当地进行构成要素的省略、置换以及追加。检查装置2a除了所提供的设计成服务专用的信息处理装置之外，也可以是通用的服务器装置、通用的pc、plc等。
[0210]
图11b示意性地例示本变形例所涉及的检查装置2a的软件构成的一例。与上述实施方式同样地，检查装置2a的软件构成通过基于控制部21的检查程序82a的执行来实现。除了所处理的数据如上述那样被限定这一点之外，检查装置2a的软件构成与上述推断装置2相同。检查部212a通过保持学习结果数据125a而具备训练完毕的编码器51和第一推断器52。检查部212a与上述推断部212对应。由此，检查装置2a能与上述推断装置2的推断处理同样地执行与外观检查相关的一系列的信息处理。
[0211]
即，在步骤s201中，控制部21从相机sa获取映现检查对象的产品ra的对象图像数据221a。在步骤s202中，控制部21作为检查部212a而动作，参照学习结果数据125a来进行训练完毕的编码器51和第一推断器52的设定。控制部21将获取到的对象图像数据221a提供给训练完毕的编码器51，执行训练完毕的编码器51和第一推断器52的正向传播的运算处理。由此，控制部11从训练完毕的第一推断器52获取关于对象图像数据221a中映现的产品ra的缺陷p12而推断出的结果所对应的输出值。
[0212]
在步骤s203中，控制部21输出与关于产品ra的缺陷p12推断出的结果相关的信息。例如控制部21可以将关于产品ra的缺陷p12推断出的结果原样输出到输出装置26。另外，例如在判定为产品ra包含缺陷p12的情况下，控制部21也可以将用于通知该情况的警告输出到输出装置26。另外，例如在搬运产品ra的输送装置连接检查装置2a的情况下，控制部21可以基于关于缺陷p12推断出的结果来控制输送装置，使得用不同的生产线搬运有缺陷p12的产品ra和没有缺陷p12的产品ra。
[0213]
(特征)
[0214]
根据本变形例，通过模型生成装置1的机器学习，训练完毕的编码器51所输出的特征量能包含与缺陷p12相关的信息所对应的成分，并且能难以包含与背景p11相关的信息的缺陷p12以外的其它特征所对应的成分。因而，能生成针对背景p11等其它特征的差异能稳健地执行与缺陷p12相关的推断任务的训练完毕的编码器51和第一推断器52。在本变形例所涉及的检查装置2a中，通过利用训练完毕的编码器51和第一推断器52，能期待以高精度执行与缺陷p12相关的推断任务(即外观检查)。
[0215]
[其它方式]
[0216]
在上述第一变形例中，产品ra是对象物的一例，与缺陷p12相关的信息是对象物的属性的一例。背景p11的属性是对象物的属性以外的其它特征的一例。对象物的属性和其它特征可以不限于产品ra的缺陷p12和背景p11的例子，可以根据实施方式适当地选择。即，上述实施方式所涉及的推断系统100可以应用于推断图像数据中出现的任意的对象物的属性的各种场景。在这种情况下，规定种类的数据可以是映现对象物的图像数据。与此对应地，第一特征可以是对象物的属性，第二特征可以是对象物的属性以外的其它特征。由此，能生成针对对象物的属性以外的其它特征的差异能稳健地执行与对象物的属性相关的推断任务的训练完毕的编码器51和第一推断器52。
[0217]
另外，在将产品ra以外的部分视为背景p11的情况下，映现产品ra的部分是前景的一例。或者，在将产品ra的缺陷p12以外的部分视为背景p11的情况下，映现缺陷p12的范围是前景的一例。前景和背景可以不限于这种例子，可以根据实施方式适当地选择。即，上述实施方式所涉及的推断系统100可以应用于进行与映现于图像数据的任意的前景所包含的特征相关的推断的各种场景。在这种情况下，规定种类的数据可以是包含前景和背景的图像数据。与此对应地，第一特征可以与前景相关，第二特征可以与背景相关。在前景中，可以选择能从图像数据提取的任意的要素。由此，能生成针对背景的差异能稳健地执行与前景相关的推断任务的训练完毕的编码器51和第一推断器52。
[0218]
需要说明的是，前景可以由能与背景区分地从图像数据提取的任意的成分构成。第一特征可以是能从前景直接或间接地导出的一些信息。推断前景所包含的特征例如可以由推断映现于上述图像数据的对象物的属性来构成。在这种情况下，参与对象物的属性的导出的成分是前景的一例。前景的范围可以以能导出对象物的属性的方式被适当地决定。例如前景可以是映现对象物的范围。或者，前景可以是包括对象物和对象物的周围在内的范围。或者，前景可以是出现推断对象的属性的对象物的一部分范围。
[0219]
(a-1)识别车牌的符号的场景
[0220]
图12示意性地例示推断图像数据中映现的对象物的属性的另一场景的一例。图12中例示的识别系统具备模型生成装置1和识别装置2a1。识别装置2a1与上述检查装置2a对应。识别装置2a1的构成可以与上述检查装置2a相同。在图12的例子中处理的规定种类的数据可以是映现车牌ra1的图像数据。该图像数据的获取可以与上述检查系统100a同样地使用相机sa1
[0221]
在这种情况下，第一特征可以与赋予车牌ra1的符号p20相关。车牌ra1是对象物的一例，符号p20所映现的区域是前景的一例。第二特征可以与被赋予了符号p20的区域以外的背景相关。符号p20例如可以由数字、文字、标识、图形、或者它们的组合构成。车牌ra1的背景可以被施加图案、花纹等装饰。与第一特征相关的推断可以是识别符号p20。
[0222]
由此，模型生成装置1能生成针对背景的差异能稳健地识别赋予车牌ra1的符号p20的训练完毕的编码器51和第一推断器52。识别装置2a1能通过与上述检查装置2a同样的顺序从映现车牌ra1的对象数据识别符号p20。本变形例所涉及的识别系统可以用于识别车牌ra1的符号p20的所有场景。例如本变形例所涉及的识别系统可以用于根据通过用于监视在道路上行驶的车辆的监视相机得到的图像数据来识别在该道路上行驶的车辆。
[0223]
需要说明的是，在监视在道路上行驶的车辆的场景中，识别装置2a1可以通过上述步骤s201和步骤s202的处理对按时间序列得到的图像数据识别车牌ra1的符号p20。然后，识别装置2a1可以通过上述步骤s203的处理来创建以时间序列示出基于符号p20识别出在对象道路上行驶的车辆的结果的历史信息。
[0224]
(a-2)识别赋予产品的包装的符号的场景
[0225]
图13示意性地例示推断图像数据中映现的对象物的属性的另一场景的一例。图13中例示的识别系统具备模型生成装置1和识别装置2a2。识别装置2a2与上述检查装置2a对应。识别装置2a2的构成可以与上述检查装置2a相同。在图13的例子中处理的规定种类的数据可以是映现产品的包装ra2的图像数据。该图像数据的获取与上述检查系统100a同样地可以使用相机sa2。
[0226]
在这种情况下，第一特征可以与赋予包装ra2的符号p30相关。包装ra2是对象物的一例，映现符号p30的区域是前景的一例。第二特征可以与赋予符号p30的区域以外的背景相关。符号p30例如可以由数字、文字、标识、图形、代码、或者它们的组合构成。代码例如可以是一维代码、二维代码等。包装ra2的背景可以被施加图案、花纹等装饰。与第一特征相关的推断可以是识别符号p30。
[0227]
由此，模型生成装置1能生成针对背景的差异能稳健地识别赋予包装ra2的符号p30的训练完毕的编码器51和第一推断器52。识别装置2a2能通过与上述检查装置2a同样的顺序来识别赋予包装ra2的符号p30。本变形例所涉及的识别系统可以用于识别赋予包装ra2的符号p30的所有场景。例如本变形例所涉及的识别系统可以为了识别由生产线搬运的产品而被利用。
[0228]
(a-3)推断移动体的属性的场景
[0229]
图14示意性地例示推断图像数据中映现的对象物的属性的另一场景的一例。图14中例示的监视系统具备模型生成装置1和监视装置2a3。监视装置2a3与上述检查装置2a对应。监视装置2a3的构成可以与上述检查装置2a相同。在图14的例子中处理的规定种类的数据可以是通过拍摄移动体ra3可能存在的范围而得到的图像数据。移动体ra3例如可以是车辆、人物等。图像数据的获取可以使用为了拍摄监视对象的范围而配置的相机sa3。监视对象的范围例如可以从道路、建筑物内等的任意的场所来决定。监视装置2a3例如可以经由网络等适当地连接到相机sa3。由此，监视装置2a3能获取映现监视对象的范围的图像数据。
[0230]
在这种情况下，第一特征可以与移动体ra3的属性相关，第二特征也可以与道路、建筑物等背景相关。移动体ra3是对象物的一例。前景可以是映现移动体ra3的区域。或者，前景可以是包括移动体ra3和移动体ra3的周围的区域。在这种情况下，背景可以是移动体ra3的周围的外侧的区域。移动体ra3的属性例如可以包括映现移动体ra3的范围(边界框)、移动体ra3的识别信息、移动体ra3的状态等。移动体ra3的状态例如可以包括位置、数量、混合程度(混杂度、密度)、速度、加速度等。除此以外，移动体ra3的状态例如可以包括移动体
ra3遭遇事故、犯罪等危险的可能性(危险度)。移动体ra3可能遭遇的危险的种类可以任意决定。而且除此以外，在移动体ra3为人物的情况下，移动体ra3的识别信息例如可以包括人物的识别码、姓名、性别、年龄、体格等。另外，移动体ra3的状态例如可以包括人物的行动、人物的姿势等。
[0231]
由此，模型生成装置1能生成针对背景的差异能稳健地推断移动体ra3的属性的训练完毕的编码器51和第一推断器52。监视装置2a3能通过与上述检查装置2a相同的顺序来推断相机sa3的拍摄范围中的移动体ra3的属性。本变形例所涉及的监视系统可以用于监视移动体ra3的所有场景。例如本变形例所涉及的监视系统可以用于监视道路、建筑物内的移动体ra3的混雑度的场景、监视人物从车站的站台跌落的预兆的场景、监视在道路上步行的人物遭遇犯罪的预兆的场景等。需要说明的是，输出推断结果的方式可以被任意决定。例如在推断移动体ra3的危险度的场景中，监视装置2a3可以在上述步骤s203中输出与被推断的危险度相应的警告。
[0232]
(a-4)监视驾驶员的状态的场景
[0233]
图15示意性地例示推断图像数据中映现的对象物的属性的另一场景的一例。图15中例示的监视系统具备模型生成装置1和监视装置2a4。监视装置2a4与上述检查装置2a对应。监视装置2a4的构成可以与上述检查装置2a相同。在图15的例子中处理的规定种类的数据可以是映现驾驶员ra4的图像数据。该图像数据的获取与上述检查系统100a同样地可以使用相机sa4。相机sa4可以被适当地配置以拍摄假定为存在于驾驶座的驾驶员ra4。
[0234]
在这种情况下，第一特征可以与驾驶员ra4的状态相关，第二特征可以与车内风景等背景相关。驾驶员ra4是对象物的一例。前景可以是参与驾驶员ra4的状态的区域。参与驾驶员ra4的状态的区域例如可以是映现驾驶员ra4的区域、进一步包括驾驶员ra4的周围的区域、映现驾驶员ra4的一部分(例如任意的身体部位)的区域、映现与驾驶相关的工具(方向盘等)的区域等。驾驶员ra4的状态例如可以包括健康状态、困倦度、疲劳度、余裕度等。健康状态例如可以通过规定的疾病的发病概率、发生身体状况变化的概率等来表现。困倦度示出驾驶员ra4的困倦的程度。疲劳度示出驾驶员ra4的疲劳的程度。充裕度示出驾驶员ra4对驾驶的充裕的程度。
[0235]
由此，模型生成装置1能生成对于背景的差异能稳健地推断驾驶员ra4的状态的训练完毕的编码器51和第一推断器52。监视装置2a4通过与上述检查装置2a相同的顺序，能推断驾驶员ra4的状态。本变形例所涉及的监视系统可以用于监视驾驶员ra4的状态的所有场景。而且，本变形例所涉及的监视系统可以还用于驾驶员ra4以外的对象者。作为驾驶员ra4以外的例子，对象者例如可以是在办公室、工厂等处进行作业的作业者。
[0236]
需要说明的是，在上述步骤s203中，输出推断出驾驶员ra4的状态的结果的方式是可以任意决定的。作为一例，在推断出困倦度和疲劳度中的至少一方的情况下，监视装置2a4可以判定推断出的困倦度和疲劳度中的至少一方是否超过阈值。并且，在困倦度和疲劳度中的至少一方超过阈值的情况下，监视装置2a4可以将提醒驾驶员ra4的警告输出到输出装置以在停车场等处将车辆停车并进行休息。这样，监视装置2a4可以根据被推断的驾驶员ra4的状态而将警告等特定的消息输出到输出装置。
[0237]
作为其它例子，在车辆具备控制自动驾驶的动作的控制装置(未图示)的情况下，监视装置2a4也可以基于推断出驾驶员ra4的状态的结果，将用于指示车辆的自动驾驶的动
作的指令发送到控制装置。作为具体例，假定为控制装置构成为能进行控制车辆的行驶的自动驾驶模式和通过驾驶员ra4的操纵来控制车辆的行驶的手动驾驶模式的切换。在该例子中，车辆以自动驾驶模式行驶，在从驾驶员ra4或系统受理到从自动驾驶模式向手动驾驶模式的切换时，监视装置2a4可以判定推断出的驾驶员ra4的充裕度是否超过阈值。并且，在驾驶员ra4的充裕度超过阈值的情况下，监视装置2a4可以将允许从自动驾驶模式向手动驾驶模式的切换的指令发送到控制装置。另一方面，在驾驶员ra4的充裕度为阈值以下的情况下，监视装置2a4可以将不允许从自动驾驶模式向手动驾驶模式的切换的通知发送到控制装置，维持自动驾驶模式下的行驶。
[0238]
另外，当车辆通过手动驾驶模式正在行驶时，监视装置2a4可以判定推断出的困倦度和疲劳度中的至少一方是否超过阈值。并且，在困倦度和疲劳度中的至少一方超过阈值的情况下，监视装置2a4将进行指示以从手动驾驶模式切换为自动驾驶模式后在停车场等安全的场所停车的指令发送到控制装置。另一方面，在困倦度和疲劳度中的至少一方没有超过阈值的情况下，监视装置2a4可以维持基于手动驾驶模式的车辆的行驶。
[0239]
另外，在车辆通过手动驾驶模式正在行驶时，监视装置2a4可以判定推断出的充裕度是否是阈值以下。并且，在充裕度为阈值以下的情况下，监视装置2a4可以将减速的指令发送到控制装置。另一方面，在充裕度不是阈值以下的情况下，监视装置2a4可以维持基于驾驶员ra4的操作的车辆的行驶。需要说明的是，车辆的控制装置与监视装置2a4可以由一体的计算机构成。
[0240]
(b)监视车辆状况的场景
[0241]
图16示意性地例示第二变形例所涉及的监视系统100b的应用场景的一例。本变形例是将上述实施方式应用于利用通过车载传感器sb得到的传感数据来监视车辆的状况的场景的例子。本变形例所涉及的监视系统100b具备模型生成装置1和监视装置2b。模型生成装置1和监视装置2b可以与上述实施方式同样地经由网络被相互连接。
[0242]
在本变形例中处理的规定种类的数据(后述的训练数据121b和对象传感数据221b)是通过车载传感器sb得到的传感数据。车载传感器sb的种类也可以任意选择。车载传感器sb例如可以是图像传感器、lidar传感器、毫米波雷达、超声波传感器、加速度传感器等。第一特征与车辆的状况相关。车辆的状况可以与车辆的外部和内部中的至少一方相关。车辆外部的状况例如可以通过存在于车辆周围的物体的属性、混雑度、事故的风险等来表现。存在于车辆周围的物体例如可以是道路、信号灯、障碍物(人、物体)等。道路的属性例如可以包括行驶车道的类别、道路的类别(例如十字路口、高速道路)、路面状态等。信号灯的属性例如可以包括信号灯的点亮状态等。障碍物的属性例如可以包括有无障碍物、障碍物的类别、障碍物的大小、障碍物的速度，与障碍物相关的事件等。与障碍物相关的事件例如可以包括人或车辆的冲出、突然起步、急停车、车道变更等。事故的风险例如可以通过事故的类别和该事故的发生概率来表现。车辆内部的状况例如可以通过车辆的行驶状态、乘坐车辆的乘客的属性等来表现。行驶状态例如可以通过速度、加速度、转向角等行驶动作的转型来表现。乘客的属性例如可以包括乘客的状态、人数、位置、数量、识别信息等。与车辆的状况相关的推断除了仅推断车辆的状况之外，还可以包括推断与车辆的状况相应的针对车辆的动作指令。动作指令例如可以通过加速量、制动量、方向盘转向角、灯的点亮、喇叭的使用等来规定。相对于此，第二特征可以从成为推断任务的对象的车辆的状况以外的其它特
征适当地选择。例如第二特征可以从上述车辆的状况的一例中的、未被选择为推断任务的对象的状态选择。或者，第二特征例如可以从观测环境等上述车辆的状况以外的要素选择。作为具体例，第一特征可以选择有无障碍物、道路的属性、混雑度、或者它们的组合，第二特征可以选择气候、时间、道路所存在的场所的属性，或者它们的组合。时间可以通过固定的时间段来表现。时间段的表现可以使用时间段的长度可以根据早晨、中午、夜晚等这样的时期而变动的表现方法，或者可以使用1点到2点等这样的固定的表现方法。场所的属性例如可以包括城市、农村等该场所的人口密集度的类别。除了这些限定之外，本变形例所涉及的监视系统100b可以与上述实施方式所涉及的推断系统100同样地构成。
[0243]
(模型生成装置)
[0244]
在本变形例中，模型生成装置1在上述步骤s101中获取多个学习数据集120b。各学习数据集120b的训练数据121b是通过车载传感器sb得到的传感数据。第一正解数据122b示出训练数据121b中出现的车辆的状况中的与成为推断任务的对象的车辆的状况相关的信息(正解)。在与车辆的状况相关的推断由推断与车辆的状况相应的针对车辆的动作指令构成的情况下，第一正解数据122b示出训练数据121b中表现的与车辆的状况相应的针对车辆的动作指令(正解)。第二正解数据123b示出与成为该推断任务的对象的车辆的状况以外的其它特征相关的信息(正解)。
[0245]
模型生成装置1使用通过上述步骤s102的处理而获取到的多个学习数据集120b来实施学习模型5的机器学习。由此，能构建获得了针对通过车载传感器sb得到的传感数据的输入而输出与车辆的状况相关的推断的结果的能力的训练完毕的编码器51和第一推断器52。模型生成装置1通过上述步骤s103的处理，将与训练完毕的编码器51和第一推断器52相关的信息作为学习结果数据125b适当地保存到规定的存储区域。生成的学习结果数据125b可以按任意的定时提供给监视装置2b。
[0246]
(监视装置)
[0247]
图17a示意性地例示本变形例所涉及的监视装置2b的硬件构成的一例。如图17a所示，本变形例所涉及的监视装置2b可以与上述推断装置2同样地由控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27被电连接而成的计算机构成。
[0248]
在本变形例中，存储部22存储监视程序82b、学习结果数据125b等各种信息。监视程序82b与上述实施方式所涉及的推断程序82对应。另外，在本变形例中，监视装置2b经由外部接口24连接到车载传感器sb。车载传感器sb可以被适当地配置成观测监视对象的车辆状况。
[0249]
需要说明的是，监视装置2b的硬件构成也可以不限于这种例子。关于监视装置2b的具体的硬件构成，能根据实施方式适当地进行构成要素的省略、置换以及追加。监视装置2b除了所提供的设计成服务专用的信息处理装置之外，也可以是通用的计算机、包括智能手机的便携电话、车载装置等。
[0250]
图17b示意性地例示本变形例所涉及的监视装置2b的软件构成的一例。与上述实施方式同样地，监视装置2b的软件构成能通过由控制部21进行的监视程序82b的执行来实现。除了所处理的数据如上述那样被限定这一点之外，监视装置2b的软件构成与上述推断装置2相同。监视部212b通过保持学习结果数据125b而具备训练完毕的编码器51和第一推
断器52。监视部212b与上述推断部212对应。由此，监视装置2b与上述推断装置2的推断处理同样地能执行与车辆状况的推断相关的一系列的信息处理。
[0251]
即，在步骤s201中，控制部21关于监视对象的车辆状况从车载传感器sb获取对象传感数据221b。在步骤s202中，控制部21作为监视部212b而动作，参照学习结果数据125b来进行训练完毕的编码器51和第一推断器52的设定。控制部21将获取到的对象传感数据221b提供给训练完毕的编码器51，执行训练完毕的编码器51和第一推断器52的正向传播的运算处理。由此，控制部11从训练完毕的第一推断器52获取与推断出车辆的状况的结果对应的输出值。
[0252]
在步骤s203中，控制部21输出与推断出车辆的状况的结果相关的信息。例如控制部21可以将推断出车辆的状况的结果原样输出到输出装置26。另外，例如控制部21也可以基于推断的车辆的状况来判定车辆的行驶是否有产生危险的可能性。判定的基准可以被任意设定。在判定为车辆的行驶有产生危险的可能性的情况下，控制部21可以将用于通知该危险的警告输出到输出装置26。另外，例如在与车辆的状况相关的推断由推断与车辆的状况相应的针对车辆的动作指令来构成的情况下，在步骤s202中，控制部21作为推断出车辆的状况的结果，能从训练完毕的第一推断器52获取与车辆的状况相应的针对车辆的动作指令。在这种情况下，控制部21可以基于获取到的动作指令来控制车辆的动作。
[0253]
(特征)
[0254]
根据本变形例，通过模型生成装置1的机器学习，训练完毕的编码器51所输出的特征量能包含与成为推断任务的对象的车辆的状况相关的信息所对应的成分并难以包含与其以外的其它特征对应的成分。因而，能生成针对其它特征的差异能稳健地执行与车辆的状况相关的推断任务的训练完毕的编码器51和第一推断器52。在本变形例所涉及的监视装置2b中，通过利用训练完毕的编码器51和第一推断器52，能期待以高精度执行与车辆的状况相关的推断任务。
[0255]
(c)诊断健康状态的场景
[0256]
图18示意性地例示第三变形例所涉及的诊断系统100c的应用场景的一例。本变形例是将上述实施方式应用于利用通过传感器sc得到的传感数据来诊断对象者的健康状态的场景的例子。本变形例所涉及的诊断系统100c具备模型生成装置1和诊断装置2c。与上述实施方式同样地，模型生成装置1和诊断装置2c可以经由网络被相互连接。
[0257]
本变形例中处理的规定种类的数据(后述的训练数据121c和对象传感数据221c)是通过传感器sc得到的传感数据。传感器sc只要能观测对象者的状态即可，其种类可以不做特别限定，可以根据实施方式适当地选择。传感器sc例如可以是生命传感器、医疗检查装置等。生命传感器例如可以是血压计、脉搏计、心率计、心电仪、肌电仪、体温计、皮肤电反应计、微波传感器、脑电图仪、脑磁图仪、活动量计、血糖值测定器、眼电位传感器、眼球运动测量器等。医疗检查装置例如可以是ct装置、mri装置等。第一特征与对象者的健康状态相关。与健康状态相关的信息例如可以通过是否健康、是否有生病的预兆、健康状态的类别、对象的生病的概率、生命值(例如血压、体温等)等来表现。第二特征可以从成为推断任务的对象的健康状态以外的其它特征适当地选择。例如第一特征选择示出是否健康的信息、生命值、或者它们的组合，而第二特征可以选择对象者的年龄、性别、人种、国籍、職业、居住地、有无运动习惯、用药史或者它们的组合。除了这些限定之外，本变形例所涉及的诊断系统100c可
以与上述实施方式所涉及的推断系统100同样地构成。
[0258]
(模型生成装置)
[0259]
在本变形例中，模型生成装置1在上述步骤s101中获取多个学习数据集120c。各学习数据集120c的训练数据121c是通过传感器sc得到的传感数据。第一正解数据122c示出训练数据121c中出现的对象者(受检者)的健康状态中的与成为推断任务的对象的健康状态相关的信息(正解)。第二正解数据123c示出与成为该推断任务的对象的健康状态以外的其它特征相关的信息(正解)。
[0260]
模型生成装置1使用通过上述步骤s102的处理而获取到的多个学习数据集120c来实施学习模型5的机器学习。由此，能构建获得了能针对通过传感器sc得到的传感数据的输入而输出与对象者的健康状态相关的推断的结果的能力的训练完毕的编码器51和第一推断器52。模型生成装置1通过上述步骤s103的处理将与训练完毕的编码器51和第一推断器52相关的信息作为学习结果数据125c适当地保存到规定的存储区域。生成的学习结果数据125c可以按任意的定时提供给诊断装置2c。
[0261]
(诊断装置)
[0262]
图19a示意性地例示本变形例所涉及的诊断装置2c的硬件构成的一例。如图19a所示，本变形例所涉及的诊断装置2c与上述推断装置2同样地可以由控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27被电连接而成的计算机构成。
[0263]
在本变形例中，存储部22存储诊断程序82c、学习结果数据125c等各种信息。诊断程序82c与上述实施方式所涉及的推断程序82对应。另外，在本变形例中，诊断装置2c经由外部接口24连接到传感器sc。
[0264]
需要说明的是，诊断装置2c的硬件构成也可以不限于这种例子。关于诊断装置2c的具体的硬件构成，能根据实施方式适当地进行构成要素的省略、置换以及追加。诊断装置2c除了所提供的设计成服务专用的信息处理装置之外，也可以是通用的服务器装置、通用的pc等。
[0265]
图19b示意性地例示本变形例所涉及的诊断装置2c的软件构成的一例。与上述实施方式同样地，诊断装置2c的软件构成能通过基于控制部21的诊断程序82c的执行来实现。除了所处理的数据如上述那样被限定这一点之外，诊断装置2c的软件构成与上述推断装置2相同。诊断部212c通过保持学习结果数据125c而具备训练完毕的编码器51和第一推断器52。诊断部212c与上述推断部212对应。由此，诊断装置2c能与上述推断装置2的推断处理同样地执行与对象者的健康状态的推断相关的一系列的信息处理。
[0266]
即，在步骤s201中，控制部21关于诊断对象的对象者从传感器sc获取对象传感数据221c。在步骤s202中，控制部21作为诊断部212c而动作，参照学习结果数据125c进行训练完毕的编码器51和第一推断器52的设定。控制部21将获取到的对象传感数据221c提供给训练完毕的编码器51，执行训练完毕的编码器51和第一推断器52的正向传播的运算处理。由此，控制部11从训练完毕的第一推断器52获取与推断出对象者的健康状态的结果对应的输出值。
[0267]
在步骤s203中，控制部21输出与推断出对象者的健康状态的结果相关的信息。例如控制部21可以将推断出对象者的健康状态的结果原样输出到输出装置26。另外，例如在
推断出的对象者的健康状态示出规定的疾病的预兆的情况下，控制部21也可以将催促去医院诊查的消息输出到输出装置26。另外，例如控制部21也可以对登记过的医院的终端发送推断出对象者的健康状态的结果。需要说明的是，成为发送目的地的终端的信息可以存储到ram、rom、存储部22、存储介质92、外部存储装置等规定的存储区域。
[0268]
(特征)
[0269]
根据本变形例，通过模型生成装置1的机器学习，训练完毕的编码器51所输出的特征量能包含与成为推断任务的对象的健康状态相关的信息所对应的成分，难以包含与其以外的其它特征对应的成分。因而，能生成针对其它特征的差异能稳健地执行与对象者的健康状态相关的推断任务的训练完毕的编码器51和第一推断器52。在本变形例所涉及的诊断装置2c中，通过利用训练完毕的编码器51和第一推断器52，能期待以高精度执行与健康状态相关的推断任务。
[0270]
(d)监视栽培状况的场景
[0271]
图20示意性地例示第四变形例所涉及的监视系统100d的应用场景的一例。本变形例是将上述实施方式应用于利用通过环境传感器sd得到的传感数据来监视植物rd的栽培状况的场景的例子。本变形例所涉及的监视系统100d具备模型生成装置1和监视装置2d。与上述实施方式同样地，模型生成装置1和监视装置2d可以经由网络被相互连接。
[0272]
在本变形例中处理的规定种类的数据(后述的训练数据121d和对象传感数据221d)是通过环境传感器sd得到的传感数据。环境传感器sd只要能观测植物rd的栽培状况即可，其种类可以不做特别限定，可以根据实施方式适当地选择。环境传感器sd例如可以是气压计、温度计、湿度计、声压计、声音传感器、紫外线传感器、照度计、雨量计、气体传感器等。植物rd的种类可以任意选择。第一特征与植物rd的栽培状况相关。栽培状况可以与栽培植物rd的任意的要素相关。栽培状况例如可以通过到栽培时间点为止的生长环境、生长状态等来确定。生长环境与使植物rd生长的状况相关，例如可以通过对植物rd照射光的时间、植物rd周围的温度、提供给植物rd的水量等来规定。生长状态例如可以通过植物rd的生长度等来规定。第二特征可以从成为推断任务的对象的栽培状况以外的其它特征适当地选择。例如第二特征可以选择生长场所、环境传感器sd的类别、环境传感器sd的设置位置、环境传感器sd的设置角度、传感数据的获取时刻、季节、气候或者它们的组合。
[0273]
另外，在本变形例中，监视装置2d也可以连接到栽培装置cd。栽培装置cd构成为控制植物rd的生长环境。栽培装置cd只要能控制植物rd的生长环境即可，其种类可以不做特别限定，可以根据实施方式适当地选择。栽培装置cd例如可以是窗帘装置、照明装置、空调设备、洒水装置等。窗帘装置构成为对安装于建筑物的窗户的窗帘进行开闭。照明装置例如是led(light emitting diode：发光二极管)照明、荧光灯等。空调设备例如是空调器等。洒水装置例如是喷洒头等。窗帘装置和照明装置被用于控制向植物rd照射光的时间。空调设备被用于控制植物rd周围的温度。洒水装置被用于控制赋予给植物rd的水量。除了这些限定之外，本变形例所涉及的监视系统100d可以与上述实施方式所涉及的推断系统100同样地构成。
[0274]
(模型生成装置)
[0275]
在本变形例中，模型生成装置1在上述步骤s101中获取多个学习数据集120d。各学习数据集120d的训练数据121d是通过环境传感器sd得到的传感数据。第一正解数据122d示
出训练数据121d中出现的植物rd的栽培状况中的与成为推断任务的对象的植物rd的栽培状况相关的信息(正解)。第二正解数据123d示出与成为该推断任务的对象的栽培状况以外的其它特征相关的信息(正解)。
[0276]
模型生成装置1使用通过上述步骤s102的处理而获取到的多个学习数据集120d来实施学习模型5的机器学习。由此，能构建获得了针对通过环境传感器sd得到的传感数据的输入而输出与植物rd的栽培状况相关的推断的结果的能力的训练完毕的编码器51和第一推断器52。模型生成装置1通过上述步骤s103的处理，将与训练完毕的编码器51和第一推断器52相关的信息作为学习结果数据125d适当地保存到规定的存储区域。生成的学习结果数据125d可以按任意的定时提供给监视装置2d。
[0277]
(监视装置)
[0278]
图21a示意性地例示本变形例所涉及的监视装置2d的硬件构成的一例。如图21a所示，本变形例所涉及的监视装置2d与上述推断装置2同样地可以由控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27被电连接而成的计算机构成。
[0279]
在本变形例中，存储部22存储监视程序82d、学习结果数据125d等各种信息。监视程序82d与上述实施方式所涉及的推断程序82对应。另外，在本变形例中，监视装置2d经由外部接口24连接到环境传感器sd和栽培装置cd。
[0280]
需要说明的是，监视装置2d的硬件构成也可以不限于这种例子。关于监视装置2d的具体的硬件构成，能根据实施方式适当地进行构成要素的省略、置换以及追加。监视装置2d除了所提供的设计成服务专用的信息处理装置之外，也可以是通用的服务器装置、通用的pc、plc等。
[0281]
图21b示意性地例示本变形例所涉及的监视装置2d的软件构成的一例。与上述实施方式同样，监视装置2d的软件构成能通过基于控制部21的监视程序82d的执行来实现。除了所处理的数据如上述那样被限定这一点之外，监视装置2d的软件构成与上述推断装置2相同。监视部212d通过保持学习结果数据125d而具备训练完毕的编码器51和第一推断器52。监视部212d与上述推断部212对应。由此，监视装置2d与上述推断装置2的推断处理同样地能执行与植物rd的栽培状况的推断相关的一系列的信息处理。
[0282]
即，在步骤s201中，控制部21关于监视对象的植物rd获取对象传感数据221d。在步骤s202中，控制部21作为监视部212d而动作，参照学习结果数据125d进行训练完毕的编码器51和第一推断器52的设定。控制部21将获取到的对象传感数据221d提供给训练完毕的编码器51，执行训练完毕的编码器51和第一推断器52的正向传播的运算处理。由此，控制部11从训练完毕的第一推断器52获取与推断出植物rd的栽培状况的结果对应的输出值。需要说明的是，推断栽培状况可以包括推断收获量为最大这样的生长环境和作业内容中的至少一方、推断在被观测的当前的生长环境中最佳的作业内容等。
[0283]
在步骤s203中，控制部21将与推断出植物rd的栽培状况的结果相关的信息输出。例如控制部21可以将推断出植物rd的栽培状况的结果原样输出到输出装置26。在这种情况下，控制部21可以通过将收获量为最大这样的生长环境和作业内容中的至少一方、观测的当前的生长环境中最佳的作业内容等的推断结果输出到输出装置，来提醒作业者改善植物rd的栽培状况。另外，例如控制部21也可以根据推断出的栽培状况来决定提供给栽培装置
cd的控制指令。栽培状况与控制指令的对应关系可以通过表格格式等的参照信息而被提供。该参照信息既可以保存到ram、rom、存储部22、存储介质92、外部存储装置等，也可以是控制部21根据通过参照该参照信息而推断出的栽培状况来决定控制指令。并且，控制部21可以通过将决定后的控制指令提供给栽培装置cd来控制栽培装置cd的动作。另外，例如控制部21可以将示出决定后的控制指令的信息输出到输出装置26，提醒植物rd的管理者控制栽培装置cd的动作。
[0284]
(特征)
[0285]
根据本变形例，通过模型生成装置1的机器学习，训练完毕的编码器51所输出的特征量能包含与成为推断任务的对象的植物rd的栽培状况相关的信息所对应的成分，而难以包含与其以外的其它特征对应的成分。因而，能生成针对其它特征的差异能稳健地执行与植物rd的栽培状况相关的推断任务的训练完毕的编码器51和第一推断器52。在本变形例所涉及的监视装置2d中，通过利用训练完毕的编码器51和第一推断器52，能期待以高精度执行与栽培状况相关的推断任务。
[0286]
需要说明的是，通过环境传感器sd观测植物rd的状态从而得到的传感数据是能用于植物rd的栽培状况的监视的观测数据的一例。与植物rd相关的观测数据可以不限于该传感数据的例子。与植物rd相关的观测数据例如可以由通过环境传感器sd得到的传感数据、通过作业者的输入得到的植物rd的观察数据、或者它们的组合构成。观察数据例如可以由作业记录数据、环境记录数据、或者它们的组合构成。作业记录数据例如可以由示出有无摘花、摘叶、摘芽等作业、执行日期时间、量等的信息构成。另外，环境记录数据也可以由示出作业者观测到植物rd周围的环境(例如气候、气温、湿度等)的结果的信息构成。在上述第四变形例中，这种观测数据可以被处理为规定种类的数据。
[0287]
(e)其它
[0288]
上述各变形例是从通过传感器得到的传感数据推断观测的对象的属性的场景的一例。传感器和观测的对象可以不限于上述的例子，可以根据实施方式适当地选择。即，上述实施方式所涉及的推断系统100可以应用于进行与传感数据中出现的任意的对象的属性相关的推断的各种场景。在这种情况下，第一特征可以是通过传感器观测的对象的属性，第二特征可以是传感数据中可能表现的对象的属性以外的其它特征。由此，能生成针对其它特征的差异能稳健地执行与观测对象的属性相关的推断任务的训练完毕的编码器51和第一推断器52。
[0289]
图22示意性地例示推断传感数据中出现的对象的属性的另一场景的一例。图22中例示的监视系统具备模型生成装置1和监视装置2e。监视装置2e的构成可以与上述检查装置2a等相同。在图22的例子中处理的规定种类的数据可以是通过用于监视机器re的状态的传感器se而得到的传感数据。传感器se例如可以是麦克风、加速度传感器、振动传感器等。与此相应地，得到的传感数据可以与机器re的振动(包含声音)相关。
[0290]
在这种情况下，第一特征可以与机器re的经年劣化、故障、动作不良等机器re的异常相关。另一方面，第二特征也可以是机器re的异常以外的其它特征，例如与机器re的通常运转时产生的振动、机器re周围的振动等在应用环境中通常会产生的振动相关。机器re和异常的种类可以不做特别限定，可以根据实施方式适当地选择。机器re例如可以是输送装置、工业用机器人、成型机、半导体制造装置、基板安装机等构成生产线的装置。生产线可以
包括组装线。机器re可以是装置整体，也可以是开关、电机等装置的一部分。在机器re是构成生产线的装置的情况下，机器re的异常例如可以是位置偏移、压力的过不足、部件或产品的啮入、褶皱的产生、线速度的异常、部件或产品中产生缺陷等装置的动作不良。在机器re为电机的情况下，异常例如可以是与转矩、转速等相关的电机的动作不良。与第一特征相关的推断例如可以通过判定在机器re是否产生异常、判定在机器re产生了异常的概率、识别在机器re产生的或者有预兆的异常的种类、确定产生了异常的部位或者它们的组合来表现。
[0291]
由此，模型生成装置1能生成针对在应用环境下通常会产生的振动等其它特征的差异能稳健地执行与机器re的异常相关的推断任务的训练完毕的编码器51和第一推断器52。监视装置2e能通过与上述检查装置2a同样的顺序来执行与机器re的异常相关的推断任务。本变形例所涉及的监视系统可以应用于监视机器re的状态的所有场景。
[0292]
作为另一例，规定种类的数据可以是通过家庭安防传感器得到的传感数据。家庭安防传感器例如可以是图像传感器、红外线传感器、活性度(声音)传感器、气体(co2等)传感器、电流传感器、智能电表(测量家电、照明等的电力使用量的传感器)等。在这种情况下，第一特征可以与是否存在侵入者等监视范围的安全状态相关。第二特征可以是安全状态以外的其它特征，例如可以与在应用环境下通常会产生的成分等相关。
[0293]
＜4.2＞
[0294]
在上述实施方式中，在编码器51、第一推断器52以及第二推断器53各者中使用全耦合型的神经网络。但是，构成各者的神经网络的种类可以不限于这种例子。在编码器51、第一推断器52以及第二推断器53各者中例如可以使用卷积神经网络、递归型神经网络等。
[0295]
另外，在上述实施方式中，分别构成编码器51、第一推断器52以及第二推断器53的机器学习模型的种类可以不限于神经网络。在编码器51、第一推断器52以及第二推断器53各者中，除了神经网络以外，例如可以使用支持向量机、回归模型等。机器学习的方法可以根据各自的机器学习模型的种类适当地选择。
[0296]
另外，在上述实施方式中，编码器51、第一推断器52以及第二推断器53各自的输入和输出的格式可以不做特别限定，可以根据实施方式适当地决定。例如第一推断器52可以构成为还受理特征量以外的信息的输入。另外，第一推断器52的输出可以构成为直接示出第一特征的推断结果。或者，第一推断器52的输出例如可以构成为如为了判定是否处于对象的状态而示出处于对象的状态的概率等那样间接地示出第一特征的推断结果。关于其它内容也是同样的。
[0297]
＜4.3＞
[0298]
在上述实施方式中，步骤s123的处理与步骤s121和步骤s122的处理一起被反复执行。但是，学习模型5的机器学习的处理顺序可以不限于这种例子。步骤s123的处理可以在交替地反复执行步骤s121和步骤s122的处理前后的至少任意一者中执行。
[0299]
附图标记说明
[0300]1…
模型生成装置、
[0301]
11
…
控制部、12
…
存储部、
[0302]
13
…
通信接口、14
…
外部接口、
[0303]
15
…
输入装置、16
…
输出装置、17
…
驱动器、
[0304]
111
…
数据获取部、112
…
学习处理部、
[0305]
113
…
保存处理部、
[0306]
120
…
学习数据集、
[0307]
121
…
训练数据、
[0308]
122
…
第一正解数据、123
…
第二正解数据、
[0309]
125
…
学习结果数据、
[0310]
81
…
模型生成程序、91
…
存储介质、
[0311]2…
推断装置、
[0312]
21
…
控制部、22
…
存储部、
[0313]
23
…
通信接口、24
…
外部接口、
[0314]
25
…
输入装置、26
…
输出装置、27
…
驱动器、
[0315]
211
…
数据获取部、212
……
推断部、
[0316]
213
…
输出部、
[0317]
221
…
对象数据、
[0318]5…
学习模型、
[0319]
51
…
编码器、52
…
第一推断器、
[0320]
53
…
第二推断器。