概率分布学习装置、自编码器学习装置、数据变换装置的制作方法

本发明涉及异常探测技术以及域变换技术。

背景技术：

1、例如，如果由于故障造成工厂中设置的大型的制造机·造型机等业务用机器的运转停止，则对业务带来很大障碍。因此，需要日常对操作状况进行监视，在发生了异常的情况下立即进行应对。作为应对该问题的方法，有业务用机器的管理业者定期地向现场派遣维护人员、由维护人员确认零部件的磨损等的方法。但是，该方法耗费很大的费用(例如，人工费或移动费)以及劳力，因此难以将全部业务用机器或工厂作为对象来实施。因此，作为代替手段，有基于在机器的内部设置的麦克风所收音的操作音来日常地对操作状况进行监视的方法。具体而言，对该操作音进行分析，在探测到认为异常的声音(异常音)的情况下发出警报。将像这样利用声音来判定作为监视对象的机器是处于正常状态还是处于异常状态的技术，称为异常音探测技术。

2、在异常音探测技术中，按机器的每个种类或个体，设定异常音的种类和检测方法，因此耗费成本。因此，需要自动设计用于对异常音进行探测的规则。作为其解决方法之一，基于统计方法的异常音探测广为人知(非专利文献1)。该基于统计方法的异常音探测能够大致分为有教师的异常音探测和无教师的异常音探测。在有教师的异常音探测中，大量地收集正常音和异常音作为学习数据，学习识别器以使识别率(能够识别正常音与异常音的比例)最大。另一方面，在无教师的异常音探测中，仅大量地收集正常音作为学习数据，学习与正常音的发生相关的概率分布(以下称为正常模型)。并且，使用正常模型，在判定为新收集的声音(也就是说，成为异常探测对象的声音)与正常音类似(似然高)的情况下判定为正常，在判定为不类似(似然低)的情况下判定为异常。

3、在产业的应用领域中，难以大量地收集异常音的学习数据，因此多采用无教师的异常音探测。此外，在产业的应用领域中，对于大量的同种机器，有时希望将各个机器设为异常探测的对象。例如，有时希望对数据中心中存在的庞大数量的服务器的异常音进行监视。在该情况下，对于各服务器分别应用异常探测系统，但设想为从各服务器发出的声音的分布由于设置地点或装配误差而微妙地不同。因此，作为对于这样的大量的同种机器应用异常探测系统的方法，可以考虑以下那样的方法。

4、(1)使用从一些机器收集的正常音，学习对这些机器而言公共的正常模型。并且，使用该公共的模型，进行全部机器的异常探测。

5、(2)使用按每台机器收集的正常音，学习按每台机器不同的正常模型。并且，使用该各个模型，进行各机器的异常探测。

6、(1)的方法不按每台机器进行学习，因此即使希望监视的机器增加，也无需进行学习数据收集或模型学习，能够抑制数据收集或学习所涉及的成本，但另一方面，无法理解每台机器的与正常音发生相关的微妙的差异，因此有可能无法进行高精度的异常探测。此外，(2)的方法仅使用从各机器得到的正常音来进行学习，因此期待生成高精度的正常模型，但另一方面，不得不按每台机器收集学习数据并进行模型学习，因此伴随着希望监视的机器增加，存在产生数据收集或学习所涉及的成本这样的问题。

7、接着，针对域变换进行说明。域变换是指将某个域的数据变换为与该域不同的域的数据的技术。在此，作为对象的数据例如是图像或声音。例如，如参考非专利文献1所述，将“风景照片的图像”变换为“风景画的图像”，或者将“马的照片的图像”变换为“斑马的照片的图像”。

8、(参考非专利文献1：jun-yan zhu，taesung park，phillip isola，alexeia.efros，“unpaired image-to-image translation using cycle-consistentadversarial networks”，arxiv:1703.10593v5，https://arxiv.org/abs/1703.10593v5)

9、为了实现域变换，制作从域d向域d’的数据变换器即可。为了制作这样的数据变换器，能够考虑如下方法：例如大量地收集“风景照片”与对其进行写实而成的“风景画”的对作为学习数据，使用神经网络学习从“风景照片”向“风景画”的变换。以下，将这样使用两个域的数据的对来学习数据变换器的构架，称为有成对数据的域变换。有成对数据的域变换具有如下优点：将输入和作为对于输入的正确答案这两个域的数据的对作为学习数据，能够比较简单地通过学习来构成数据变换器。但是，不得不大量地收集学习数据。在刚才的“风景照片”和“风景画”的例子中，需要首先收集“风景照片”，在此基础上(例如委托画家制成等)制成对“风景照片”进行写实而成的“风景画”。此外，在“马的照片”和“斑马的照片”的例子中，难以拍摄相同的构图的照片，因此收集学习数据在现实中是不可能的。

10、因此，近年来，为了解决与学习数据收集相关的问题，提出了不使用成对数据而能够学习数据变换器的构架。将该构架称为无成对数据的域变换。在无成对数据的域变换中，使用域d的数据和域d’的数据，学习从域d的数据向域d’的数据变换的数据变换器。在此，在学习中使用的域d的数据和域d’的数据不需要成对。从而，即使是“马的照片”和“斑马的照片”那样的难以收集成对数据的域间的变换，也能够学习数据变换器。

11、作为无成对数据的域变换的例子，例如提出了非专利文献2所记载的stargan这样的方法。

12、[现有技术文献]

13、[非专利文献]

14、[非专利文献1]井出刚、杉山将，“异常探测和变化探测(異常検知と変化検知)”，讲谈社，pp.6-7，2015.

15、[非专利文献2]yunjey choi，minje choi，munyoung kim，jung-woo ha，sunghunkim，jaegul choo，“stargan:unified generative adversarial networks for multi-domain image-to-image translation”，ieee conference on computer vision andpattern recognition(cvpr)2018，pp.8789-8797，2018.

技术实现思路

1、发明要解决的课题

2、首先，针对第一课题进行说明。

3、如上所述，在(1)、(2)的方法中，存在数据收集或学习所涉及的成本与异常探测的精度的权衡的问题。因此，作为第三方法，也可以考虑以下那样的方法。

4、(3)使用从一些机器收集的正常音，学习对这些机器而言公共的正常模型。接着，使用按每台机器收集的正常音，根据该公共的模型自适应地学习按每台机器不同的正常模型。并且，使用该各个自适应完毕正常模型，进行各机器的异常探测。

5、(3)的方法虽然有可能能够解决上述权衡的问题，但在实际上为了实现这样的方法，需要按每台作为异常探测的对象的机器收集较少量的正常音即可，而且需要能够使用该正常音根据公共的正常模型高效地学习自适应于各机器的正常模型。但是，至此为止尚未开发像那样的方法。

6、这是第一课题。

7、接着，针对第二课题进行说明。

8、在非专利文献2的stargan中，利用参考非专利文献2所记载的生成对抗网络(generative adversarial networks、gan)这样的方法来实现无成对数据的域变换，但存在学习不稳定这样的问题。

9、(参考非专利文献2：ian j.goodfellow，jean pouget-abadie，mehdi mirza，bingxu，david warde-farley，sherjil ozair，aaron courville，yoshua bengio，“generativeadversarial nets”，advances in neural information processing systems 27(nips2014)，2018.)

10、这是第二课题。

11、因此在本发明中，其目的在于，提供抑制正常模型学习所需的成本并且高精度的异常探测技术、以及使得稳定的无成对数据的学习成为可能的域变换技术。

12、用于解决课题的手段

13、本发明的一方式包含：异常度估计单元，基于表示从与异常探测对象机器不同的1个以上的机器发出的正常音的分布的第一概率分布、与从所述异常探测对象机器发出的正常音(以下称为自适应学习用正常音)的关联，根据从所述异常探测对象机器发出的声音(以下称为异常探测对象音)，对表示该机器的异常的程度的异常度进行估计。

14、本发明的一方式是一种概率分布学习装置，包含：学习单元，根据从与异常探测对象机器不同的1个以上的机器发出的正常音(以下称为学习用正常音)，学习表示从与所述异常探测对象机器不同的1个以上的机器发出的正常音的分布的第一概率分布，所述第一概率分布q1(x；θ)的变量x是表示根据从与所述异常探测对象机器不同的1个以上的机器发出的正常音而生成的输入数据的变量，所述变量x通过使用变换fi(i＝1，…，k，k为1以上的整数，相对于变换fi存在逆变换fi-1)以及潜在变量z0被表现为x＝fk(fk-1(…(f1(z0))…))，将q0(z0)作为潜在变量z0的概率分布，输入数据x的概率密度q1(x；θ)通过使用与输入数据x对应的潜在变量z0＝f1-1(f2-1(…(fk-1(x))…))的概率密度q0(z0)被计算，对于所述变换fi(i＝1，…，k)之中的至少一个变换，其逆变换是自适应批标准化。

15、本发明的一方式包含：异常度估计单元，基于对从与异常探测对象机器不同的1个以上的机器发出的正常音进行复原的第一自编码器、与从所述异常探测对象机器发出的正常音(以下称为自适应学习用正常音)的关联，根据从所述异常探测对象机器发出的声音(以下称为异常探测对象音)，对表示该机器的异常的程度的异常度进行估计。

16、本发明的一方式是一种自编码器学习装置，包含：学习单元，根据从与异常探测对象机器不同的1个以上的机器发出的正常音(以下称为学习用正常音)，学习对从与所述异常探测对象机器不同的1个以上的机器发出的正常音进行复原的第一自编码器，所述第一自编码器作为包含用于执行自适应批标准化的计算的adabn层的神经网络而构成。

17、本发明的一方式包含：异常度估计单元，基于从与异常探测对象机器不同的1个以上的机器发出的正常音的集合、与从所述异常探测对象机器发出的正常音(以下称为自适应学习用正常音)的关联，根据从所述异常探测对象机器发出的声音(以下称为异常探测对象音)，对表示该机器的异常的程度的异常度进行估计。

18、本发明的一方式是一种数据变换装置，包含：潜在变量计算单元，根据与第一域的域数据对应的输入数据，计算潜在变量；以及输出数据计算单元，根据所述潜在变量，计算与第二域的域数据对应的输出数据，所述潜在变量计算单元使用具有逆函数的特定的函数(以下称为第一函数)来进行计算，所述输出数据计算单元使用具有逆函数的特定的函数(以下称为第二函数)来进行计算，第一函数和第二函数被从将潜在变量z0变换为变量x的特定的函数导出。

19、发明效果

20、根据本发明，能够抑制正常模型学习所需的成本，并且进行高精度的异常探测。此外，根据本发明，能够实现使得稳定的无成对数据的学习成为可能的域变换。