信息处理装置、程序和信息处理方法与流程

1.本发明涉及信息处理装置、程序和信息处理方法。


背景技术：

2.由于深层学习及其关联技术的进步，能够进行与图像或声音有关的复杂的识别任务的系统已经成为一般的系统。在这种系统中，能够根据大量的学习数据自动地发现其潜在构造，由此，实现在深层学习以前的传统方法中无法实现的高通用性能。
3.但是，这种系统在未得到学习中能够利用的丰富的带标签数据的状况下不发挥功能。另一方面，在现实存在的各种任务中，得到丰富的学习数据的状况非常稀少。因此，在绝大多数情况下，实际情况是以深层学习为首的非传统方法不发挥作用。
4.例如，很早就开始研究根据从设备产生的声音或振动自动地诊断该设备的健全性的方法，迄今为止已开发出各种方法。例如，非专利文献1记载的mt(马氏田口)法是其中最具代表性的方法之一。在mt法中，事先学习正常样本分布的特征空间作为基准空间，根据诊断时观测到的特征向量从基准空间偏离何种程度，进行正常或异常的判定。
5.在mt法等传统方法中，在特征的提取中加入经验性的知识和见解，进行与特征向量的分布有关的假设，由此，能够容易地对被学习的模型施加适当的制约。因此，在这种方法中，不需要深层学习所需要的大量数据。
6.现有技术文献
7.非专利文献
8.非专利文献1：立林和夫著、“入门田口方法”、株式会社日科技连出版社、2004年、p.167-185


技术实现要素：

9.发明要解决的课题
10.但是，在传统方法中，学习所需要的数据为少量即可，相应地，存在如果其质量不高则不发挥功能这样的问题。但是，在这种领域中，提高要测定的数据的质量这样的观点的技术非常少。特别地，几乎不存在不需要作为对象的任务固有的知识的一般方法，而且，在测定出的数据的质量差的情况下，无法确定使数据的质量变差的原因。
11.因此，本发明的一个或多个方式的目的在于，能够确定被使用的数据集合的质量变差的原因。
12.用于解决课题的手段
13.本发明的第1方式的信息处理装置的特征在于，所述信息处理装置具有：存储部，其存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的
质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应；非质量标签聚类部，其针对所述多个非质量标签集合中的各个非质量标签集合计算平均聚类精度，由此计算分别与所述多个非质量标签集合中的各个非质量标签集合对应的多个所述平均聚类精度，所述平均聚类精度是使用所述质量标签集合对通过由所述多个非质量标签分别表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度的平均值；以及处理部，其生成能够使用所述多个平均聚类精度确定对所述多个数字数据的质量造成不良影响的至少一个非质量标签的种类的画面图像。
14.本发明的第2方式的信息处理装置的特征在于，所述信息处理装置具有：存储部，其存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应；非质量标签聚类部，其针对与从所述多个非质量标签中选择出的一个种类的非质量标签对应的非质量标签集合计算聚类精度，由此计算多个所述聚类精度，所述聚类精度是使用所述质量标签集合对通过由所述多个非质量标签表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度；以及处理部，其生成能够使用所述多个聚类精度确定对所述多个数字数据的质量造成不良影响的至少一个要素的画面图像。
15.本发明的第3方式的信息处理装置的特征在于，所述信息处理装置具有：存储部，其存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应；非质量标签聚类部，其针对所述多个非质量标签集合中的各个非质量标签集合计算聚类精度的方差，由此计算分别与所述多个非质量标签集合中的各个非质量标签集合对应的多个所述方差，所述聚类精度是使用所述质量标签集合对通过由所述多个非质量标签分别表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度；以及处理部，其生成能够使用所述多个方差确定对所述多个数字数据的质量造成不良影响的至少一个非质量标签的种类的画面图像。
16.本发明的第1方式的程序的特征在于，所述程序使计算机作为以下部分发挥功能：存储部，其存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应；非质量标签聚类部，其针对所述多个非质量标签集合中的各
个非质量标签集合计算平均聚类精度，由此计算分别与所述多个非质量标签集合中的各个非质量标签集合对应的多个所述平均聚类精度，所述平均聚类精度是使用所述质量标签集合对通过由所述多个非质量标签分别表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度的平均值；以及处理部，其生成能够使用所述多个平均聚类精度确定对所述多个数字数据的质量造成不良影响的至少一个非质量标签的种类的画面图像。
17.本发明的第2方式的程序的特征在于，所述程序使计算机作为以下部分发挥功能：存储部，其存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应；非质量标签聚类部，其针对与从所述多个非质量标签中选择出的一个种类的非质量标签对应的非质量标签集合计算聚类精度，由此计算多个所述聚类精度，所述聚类精度是使用所述质量标签集合对通过由所述多个非质量标签表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度；以及处理部，其生成能够使用所述多个聚类精度确定对所述多个数字数据的质量造成不良影响的至少一个要素的画面图像。
18.本发明的第3方式的程序的特征在于，所述程序使计算机作为以下部分发挥功能：存储部，其存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应；非质量标签聚类部，其针对所述多个非质量标签集合中的各个非质量标签集合计算聚类精度的方差，由此计算分别与所述多个非质量标签集合中的各个非质量标签集合对应的多个所述方差，所述聚类精度是使用所述质量标签集合对通过由所述多个非质量标签分别表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度；以及处理部，其生成能够使用所述多个方差确定对所述多个数字数据的质量造成不良影响的至少一个非质量标签的种类的画面图像。
19.本发明的第1方式的信息处理方法的特征在于，存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应，针对所述多个非质量标签集合中的各个非质量标签集合计算平均聚类精度，由此计算分别与所述多个非质量标签集合中的各个非质量标签集合对应的多个所述平均聚类精度，所述平均聚类精度是使用所述质量标签集合对通过由所述多个非质量标签分别表示的多个要素中的各个要
素分割所述多个特征向量而成的子集进行了聚类时的聚类精度的平均值，生成能够使用所述多个平均聚类精度确定对所述多个数字数据的质量造成不良影响的至少一个非质量标签的种类的画面图像。
20.本发明的第2方式的信息处理方法的特征在于，存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应，针对与从所述多个非质量标签中选择出的一个种类的非质量标签对应的非质量标签集合计算聚类精度，由此计算多个所述聚类精度，所述聚类精度是使用所述质量标签集合对通过由所述多个非质量标签表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度，生成能够使用所述多个聚类精度确定对所述多个数字数据的质量造成不良影响的至少一个要素的画面图像。
21.本发明的第3方式的信息处理方法的特征在于，存储特征向量集合、质量标签集合和多个非质量标签集合，所述特征向量集合包含通过从表示从对象计测出的计测值的多个数字数据中分别提取预定的特征而生成的多个特征向量，所述质量标签集合包含分别与所述多个数字数据中的各个数字数据对应的、表示所述对象的质量好坏的多个质量标签，所述多个非质量标签集合分别包含期待与所述对象的质量好坏无关的种类的多个非质量标签，所述多个非质量标签分别与所述多个数字数据中的各个数字数据对应，针对所述多个非质量标签集合中的各个非质量标签集合计算聚类精度的方差，由此计算分别与所述多个非质量标签集合中的各个非质量标签集合对应的多个所述方差，所述聚类精度是使用所述质量标签集合对通过由所述多个非质量标签分别表示的多个要素中的各个要素分割所述多个特征向量而成的子集进行了聚类时的聚类精度，生成能够使用所述多个方差确定对所述多个数字数据的质量造成不良影响的至少一个非质量标签的种类的画面图像。
22.发明效果
23.根据本发明的一个或多个方式，能够确定被使用的数据集合的质量变差的原因。
附图说明
24.图1是概略地示出实施方式1的信息处理装置的结构的框图。
25.图2是概略地示出实施方式1的信息处理装置的利用例的框图。
26.图3的(a)～(c)是用于说明在检查员的非质量标签中每个子集的聚类和整体的聚类的精度的曲线图。
27.图4是用于说明利用某种方法消除了由于检查员的差异而引起的不均匀性的情况下的、针对数据整体的聚类精度的曲线图。
28.图5的(a)和(b)是示出硬件结构例的框图。
29.图6是示出信息处理装置显示标签种类评价画面图像的处理的流程图。
30.图7是示出信息处理装置显示精度改善量画面图像的处理的流程图。
31.图8是示出信息处理装置显示精度影响要素评价画面图像的处理的流程图。
具体实施方式
32.下面，作为实施方式，以根据作为对象的马达的振动判定该马达的健全性的情况为例进行说明。
33.图1是概略地示出实施方式1的信息处理装置100的结构的框图。
34.图2是概略地示出实施方式1的信息处理装置100的利用例的框图。
35.如图2所示，例如，信息处理装置100经由互联网等网络201而与第1工厂200a、第2工厂200b、
…
这样的配置于不同场所的据点连接。
36.第1工厂200a、第2工厂200b、
…
这样的工厂利用相同的机器设备制造作为对象的马达，与信息处理装置100之间的连接内容也相同，因此，下面对第1工厂200a进行说明。
37.在第1工厂200a设置有制造马达202的多个制造线203a、203b、203c、
…
。
38.配属于各个制造线203a、203b、203c、
…
的检查员使用配置于各个制造线203a、203b、203c、
…
的检查装置204a、204b、204c、
…
进行由各个制造线203a、203b、203c、
…
制造出的马达202的检查。
39.例如，各个检查装置204a、204b、204c、
…
计测驱动马达202时的振动的振幅，生成数字数据dd，该数字数据dd包含作为识别进行了检查的马达202的马达识别信息的马达编号和表示作为其计测值的振幅的检查数据。
40.此外，各个检查装置204a、204b、204c、
…
生成非质量标签数据nd，该非质量标签数据nd示出进行了检查的马达202的马达编号、该检查中取得的数字数据dd的数据编号、以及期待与马达202的质量无关的种类的非质量标签。另外，在本实施方式中，各个检查装置204a、204b、204c、
…
生成包含多个种类的非质量标签的非质量标签数据nd。
41.这里，作为非质量标签的种类，存在检查员、日期时间、制造线、场所和检查装置。
42.此外，检查员的非质量标签将作为用于识别检查员的检查员识别信息的检查员编号作为其要素。
43.日期时间的非质量标签将进行了检查的日期时间即测定日期时间作为其要素。
44.制造线的非质量标签将作为识别制造线的线识别信息的线编号作为其要素。
45.场所的非质量标签将作为用于识别工厂的工厂识别信息的场所id作为其要素。
46.检查装置的非质量标签将作为用于识别检查装置的检查装置识别编号的装置编号作为其要素。
47.具体而言，生成第1非质量标签数据nd#1～第5非质量标签数据nd#5等，第1非质量标签数据nd#1示出进行了检查的马达202的马达编号、该检查中取得的数字数据dd的数据编号和进行了该检查的检查员的检查员编号，第2非质量标签数据nd#2示出进行了检查的马达202的马达编号、该检查中取得的数字数据dd的数据编号和进行了该检查的测定日期时间，第3非质量标签数据nd#3示出进行了检查的马达202的马达编号、该检查中取得的数字数据dd的数据编号和制造了该马达202的制造线的线编号，第4非质量标签数据nd#4示出进行了检查的马达202的马达编号、该检查中取得的数字数据dd的数据编号和进行了该马达202的制造的工厂的场所id，第5非质量标签数据nd5示出进行了检查的马达202的马达编号、该检查中取得的数字数据dd的数据编号和进行了该马达202的检查的检查装置的装置编号。
48.另外，各个非质量标签数据nd包含有表示对应的非质量标签的种类的信息。
49.而且，各个检查装置204a、204b、204c、
…
将如上所述生成的数字数据dd和非质量标签数据nd经由网络201发送到信息处理装置100。
50.另外，非质量标签是期待与质量好坏无关的种类的标签。换言之，非质量标签是进行质量管理的人不希望表现质量好坏的种类的标签。这里，根据检查员、日期时间、制造线、场所和检查装置，在马达202的质量中不希望表现好坏，因此，利用这些种类进行贴标签。
51.此外，在第1工厂200a设置有质量标签赋予装置205。
52.例如，由第1工厂200a制造出的马达202由老练的检查员等进行最终检查，将作为其检查结果的正常或异常以及被检查的马达202的马达编号输入到质量标签赋予装置205。
53.质量标签赋予装置205生成表示被输入的马达编号和正常或异常的质量标签数据cd，将生成的质量标签数据cd经由网络201发送到信息处理装置100。这里，质量标签是表示质量好坏(这里为正常或异常)的标签。
54.接收如上所述送来的数字数据dd、质量标签数据cd和非质量标签数据nd，信息处理装置100进行处理。
55.如图1所示，信息处理装置100具有通信部101、存储部102、特征提取部103、输入部104、选择部105、质量标签聚类部106、非质量标签聚类部107、处理部108和显示部109。
56.通信部101与网络201进行通信。例如，通信部101经由网络201从多个工厂接收多个数字数据dd、多个质量标签数据cd和多个非质量标签数据nd。
57.存储部102存储信息处理装置100中的处理所需要的数据和程序。例如，存储部102存储由通信部101接收到的多个数字数据dd、多个质量标签数据cd和多个非质量标签数据nd，分别作为数字数据集合dg、质量标签集合cg和非质量标签集合ng。
58.此外，如后所述，存储部102存储由特征提取部103生成的特征向量集合bg。
59.另外，在本实施方式中，作为非质量标签数据nd，例如，与非质量标签的种类对应地存储有第1非质量标签数据nd#1～第5非质量标签数据nd#5。
60.特征提取部103读出存储部102中存储的数字数据集合dg，从读出的数字数据集合dg中的数字数据dd中包含的检查数据中提取预定的特征，生成表示提取出的特征和数字数据dd中包含的马达编号的特征向量数据bd。然后，特征提取部103将多个特征向量数据bd作为特征向量集合bg存储于存储部102。作为从检查数据进行特征提取的方法，例如存在滤波器组分析、小波解析、lpc(linear predictive coding：线性预编码)分析或倒谱分析等。此外，这里提取的特征用特征向量表示。
61.输入部104受理来自信息处理装置100的操作员的指示的输入。
62.例如，输入部104受理处理模式的选择的输入。在本实施方式中，处理模式是标签种类评价模式、精度改善量计算模式和精度影响要素评价模式。
63.另外，输入部104在选择了精度影响要素评价模式的情况下，还受理用于评价对精度造成影响的要素的非质量标签的种类的输入。
64.然后，输入部104将被输入的处理模式和选择了精度影响要素评价模式的情况下的选择出的非质量标签的种类通知给选择部105和处理部108。
65.选择部105根据输入到输入部104的选择，选择并读出存储部102中存储的数据。
66.例如，选择部105在选择了标签种类评价模式的情况下，从存储部102读出特征向量集合bg、质量标签集合cg和全部种类的非质量标签集合ng，将读出的数据提供给非质量
标签聚类部107。
67.此外，选择部105在选择了精度改善量计算模式的情况下，从存储部102读出特征向量集合bg和质量标签集合cg，将读出的数据提供给质量标签聚类部106，并且，从存储部102读出特征向量集合bg、质量标签集合cg和全部种类的非质量标签集合ng，将读出的数据提供给非质量标签聚类部107。
68.进而，选择部105在选择了精度影响要素评价模式的情况下，从存储部102读出特征向量集合bg、质量标签集合cg和与由输入部104选择出的种类的非质量标签对应的非质量标签集合ng，将读出的数据提供给非质量标签聚类部107。
69.质量标签聚类部106根据从选择部105提供的特征向量集合bg执行聚类，对基于该聚类的质量的判定结果(例如正常或异常)和由质量标签集合cg表示的检查结果(例如正常或异常)进行比较，计算聚类精度。这里计算出的聚类精度也称作基准聚类精度。
70.设聚类精度为聚类成功的比例或聚类失败的比例。
71.在本实施方式中，设聚类精度为基于聚类的质量的判定结果相对于由质量标签集合cg表示的检查结果的正解率，但是，本实施方式不限于这种例子。
72.例如，聚类精度也可以是基于聚类的质量的判定结果相对于由质量标签集合cg表示的检查结果的错误率、f值、真阳性率(tpr)或真阴性率(tnr)。
73.非质量标签聚类部107在从选择部105接收到非质量标签的全部种类的非质量标签集合ng的情况下，将从选择部105提供的特征向量集合bg中包含的特征向量数据bd分割成非质量标签集合ng的各个种类中的非质量标签的每个要素的子集。例如，在非质量标签集合ng的种类是检查员编号的情况下，按照每个检查员编号对特征向量集合bg中包含的特征向量数据bd进行分割。
74.接着，非质量标签聚类部107根据分割后的特征向量数据bd执行聚类，对基于该聚类的质量的判定结果和由质量标签集合cg表示的检查结果进行比较，计算每个子集(换言之为每个要素)的聚类精度。然后，非质量标签聚类部107按照非质量标签的每个种类，计算已计算出的每个子集的聚类精度的平均值作为平均聚类精度。
75.换言之，非质量标签聚类部107在标签种类评价模式和精度改善量计算模式下，计算非质量标签的全部种类的各个平均聚类精度，将计算出的平均聚类精度提供给处理部108。
76.另一方面，非质量标签聚类部107在从选择部105接收到非质量标签的一个种类的非质量标签集合ng的情况下，将从选择部105提供的特征向量集合bg中包含的特征向量数据bd分割成由该非质量标签集合ng表示的一个种类的非质量标签中的每个要素的子集。
77.接着，非质量标签聚类部107根据分割后的特征向量数据bd执行聚类，对基于该聚类的质量的判定结果和由质量标签集合cg表示的检查结果进行比较，计算每个子集(换言之为每个要素)的聚类精度。
78.换言之，非质量标签聚类部107在精度影响要素评价模式下，在非质量标签的选择出的种类中计算每个子集的聚类精度，将计算出的每个子集的聚类精度提供给处理部108。
79.处理部108按照输入部104受理了输入的处理模式，使用由质量标签聚类部106计算出的聚类精度和由非质量标签聚类部107计算出的平均聚类精度中的至少任意一方进行处理。
80.这里，处理部108生成能够使用多个平均聚类精度确定对多个数字数据dd的质量造成不良影响的至少一个非质量标签的种类的画面图像，或者，生成能够使用多个聚类精度确定对多个数字数据dd的质量造成不良影响的至少一个要素的画面图像。
81.例如，在标签种类评价模式下，处理部108生成标签种类评价画面图像，该标签种类评价画面图像按照该平均聚类精度从高到低的顺序，与该平均聚类精度一起显示多个非质量标签的种类的至少一部分。
82.在精度改善量计算模式下，处理部108从由非质量标签聚类部107计算出的多个平均聚类精度分别减去由质量标签聚类部106计算出的聚类精度，由此，按照非质量标签的每个种类计算聚类精度的改善量。然后，处理部108生成表示多个非质量标签的种类的至少一部分和对应地计算出的改善量的精度改善量画面图像。
83.在精度影响要素评价模式下，处理部108生成精度影响要素评价画面图像，该精度影响要素评价画面图像按照由非质量标签聚类部107计算出的非质量标签的一个种类中的每个子集的聚类精度从低到高的顺序，与该聚类精度一起示出对应的要素的至少一部分。
84.显示部109显示各种画面图像。例如，显示部109显示由处理部108生成的标签种类评价画面图像、精度改善量画面图像或精度影响要素评价画面图像。
85.下面，对信息处理装置100中的处理的基本思路进行说明。
86.在通过期待与质量好坏无关的非质量标签分割特征向量时，在按照分割后的每个子集进行聚类时，与对数据集整体进行同样的聚类的情况相比，期待该平均的聚类精度较高。
87.图3的(a)～(c)是用于说明在检查员的非质量标签中每个子集的聚类和整体的聚类的精度的曲线图。
88.例如，图3的(a)是根据检查员a测定出的检查数据描绘马达202的正常或异常的直方图而成的曲线图。
89.同样，图3的(b)是根据检查员b测定出的检查数据描绘马达202的正常或异常的直方图而成的曲线图。
90.图3的(c)是重叠显示图3的(a)所示的直方图和图3的(b)所示的直方图的曲线图。
91.如图3的(c)所示，可知检查员a测定出的异常数据的分布与检查员b测定出的正常数据的分布重叠，在这些数据整体，无法高精度地对正常和异常进行聚类。
92.但是，如图3的(a)所示，在仅考虑检查员a的数据的情况下，通过设定决定正常和异常的边界300，能够进行正常和异常的聚类。同样，如图3的(b)所示，关于检查员b的数据，通过设定决定正常和异常的边界301，也能够进行正常和异常的聚类。
93.此时，如图4所示，能够期待以上这种针对检查员的单独子集的聚类的平均聚类精度与利用某种方法消除了由于检查员的差异而引起的不均匀性的情况下的针对数据整体的聚类精度一致。因此，针对检查员的单独子集的聚类的平均聚类精度，能够用作能够消除由于测定者的差异而引起的不均匀性的情况下得到的精度的期待值。
94.如上所述，在标签种类评价画面图像中，通过按照平均聚类精度从高到低的顺序排列非质量标签的种类，改善取得检查数据时的取得方法的偏差，由此，能够掌握能够提高聚类精度的要因，换言之，能够掌握数据整体的聚类精度变差的原因。即，能够掌握平均聚类精度越高的非质量标签的种类，对检查数据的质量影响越大，成为对检查数据的质量造
成不良影响的原因的可能性越高。
95.此外，在精度改善量画面图像中，通过与非质量标签的种类一起显示聚类精度的改善量，在该非质量标签的种类中，利用某种方法改善取得检查数据时的取得方法，由此，能够掌握能够以何种程度改善整体的聚类精度。与此相伴，聚类精度的改善量越大，越能够估计成成为使数据整体的聚类精度变差的原因。即，能够掌握聚类精度的改善量越大的非质量标签的种类，对检查数据的质量影响越大，成为对检查数据的质量造成不良影响的原因的可能性越高。
96.进而，在精度影响要素评价画面图像中，通过与该聚类精度一起示出对应的要素，在取得检查数据时，能够掌握必须改善哪个要素的取得方法。与此相伴，能够确定使数据整体的聚类精度恶化的要素。即，能够掌握聚类精度越低的要素，对检查数据的质量影响越大，成为对检查数据的质量造成不良影响的原因的可能性越高。
97.例如如图5的(a)所示，以上记载的特征提取部103、选择部105、质量标签聚类部106、非质量标签聚类部107和处理部108的一部分或全部能够通过存储器10和执行存储器10中存储的程序的cpu(central processing unit：中央处理单元)等处理器11构成。这种程序可以通过网络来提供，此外，也可以记录于记录介质来提供。即，这种程序例如可以作为程序产品来提供。
98.此外，例如如图5的(b)所示，特征提取部103、选择部105、质量标签聚类部106、非质量标签聚类部107和处理部108的一部分或全部还能够通过单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(application specific integrated circuit：专用集成电路)或fpga(field programmable gate array：现场可编程门阵列)等处理电路12构成。
99.另外，通信部101能够通过nic(network interface card：网络接口卡)等通信装置实现。
100.另外，存储部102能够通过hdd(hard disk drive：硬盘驱动器)等存储装置实现。
101.输入部104能够通过鼠标或键盘等输入装置实现。
102.显示部109能够通过液晶显示器等显示装置实现。
103.如上所述，信息处理装置100能够通过所谓的计算机实现。
104.图6是示出信息处理装置100显示标签种类评价画面图像的处理的流程图。
105.例如，信息处理装置100的操作员在输入部104输入选择标签种类评价模式的指示，由此，图6所示的流程图开始。该情况下，输入部104向选择部105和处理部108通知选择了标签种类评价模式。
106.首先，选择部105读出存储部102中存储的特征向量集合bg、质量标签集合cg和与全部种类的非质量标签对应的非质量标签集合ng，将读出的数据提供给非质量标签聚类部107(s10)。
107.接着，非质量标签聚类部107选择从选择部105接收到的非质量标签集合ng中的、与还未执行聚类的一个种类的非质量标签对应的非质量标签集合ng(s11)。
108.接着，非质量标签聚类部107将从选择部105提供的特征向量集合bg分割成由选择出的非质量标签集合ng表示的非质量标签的每个要素的子集，按照分割后的每个子集执行聚类(s12)。
109.接着，非质量标签聚类部107对基于在步骤s12中执行的聚类的质量判定结果和由质量标签集合cg表示的检查结果进行比较，计算每个子集的聚类精度，计算其平均值即平均聚类精度(s13)。计算出的平均聚类精度与该非质量标签的种类一起通知给处理部108。
110.接着，非质量标签聚类部107判断在与全部种类的非质量标签对应的非质量标签集合ng中是否执行了聚类(s14)。在全部种类的非质量标签集合ng中执行了聚类的情况下(s14：是)，处理进入步骤s15，在残留有还未执行聚类的种类的非质量标签集合ng的情况下(s14：否)，处理返回步骤s11。
111.在步骤s15中，处理部108生成标签种类评价画面图像，该标签种类评价画面图像按照由非质量标签聚类部107计算出的平均聚类精度从高到低的顺序，与该平均聚类精度一起显示非质量标签的种类的至少一部分(s15)。
112.接着，显示部109显示由处理部108生成的标签种类评价画面图像(s16)。
113.图7是示出信息处理装置100显示精度改善量画面图像的处理的流程图。
114.例如，信息处理装置100的操作员在输入部104输入选择精度改善量计算模式的指示，由此，图7所示的流程图开始。该情况下，输入部104向选择部105和处理部108通知选择了精度改善量计算模式。
115.首先，选择部105从存储部102读出特征向量集合bg和质量标签集合cg，将读出的数据提供给质量标签聚类部106(s20)。
116.接着，质量标签聚类部106根据从选择部105提供的特征向量集合bg执行聚类(s21)。
117.接着，质量标签聚类部106对基于在步骤s21中进行的聚类的质量判定结果和由质量标签集合cg表示的检查结果进行比较，计算聚类精度(s22)。这里计算出的聚类精度被提供给处理部108。
118.接着，选择部105读出存储部102中存储的特征向量集合bg、质量标签集合cg和与全部种类的非质量标签对应的非质量标签集合ng，将读出的数据提供给非质量标签聚类部107(s23)。
119.接着，非质量标签聚类部107选择从选择部105接收到的非质量标签集合ng中的、与还未执行聚类的一个种类的非质量标签对应的非质量标签集合ng(s24)。
120.接着，非质量标签聚类部107将从选择部105提供的特征向量集合bg分割成由选择出的非质量标签集合ng表示的非质量标签的每个要素的子集，按照分割后的每个子集执行聚类(s25)。
121.接着，非质量标签聚类部107对基于在步骤s12中执行的聚类的质量判定结果和由质量标签集合cg表示的检查结果进行比较，计算每个子集的聚类精度，计算其平均值即平均聚类精度(s26)。计算出的平均聚类精度与该非质量标签的种类一起通知给处理部108。
122.接着，非质量标签聚类部107判断在与全部种类的非质量标签对应的非质量标签集合ng中是否执行了聚类(s27)。在全部种类的非质量标签集合ng中执行了聚类的情况下(s27：是)，处理进入步骤s28，在残留有还未执行聚类的种类的非质量标签集合ng的情况下(s27：否)，处理返回步骤s24。
123.接着，处理部108从由非质量标签聚类部107计算出的非质量标签的全部种类的平均聚类精度分别减去由质量标签聚类部106计算出的聚类精度，由此，按照每个该种类计算
聚类精度的精度改善量。
124.接着，处理部108生成精度改善量画面图像，该精度改善量画面图像示出非质量标签的种类的至少一个种类和对应地计算出的精度改善量。
125.接着，显示部109显示由处理部108生成的精度改善量画面图像(s30)。
126.另外，在图7中，步骤s20～s22的处理和步骤s23～s27的处理也可以并行地进行。
127.图8是示出信息处理装置100显示精度影响要素评价画面图像的处理的流程图。
128.例如，信息处理装置100的操作员在输入部104输入选择精度影响要素评价模式的指示，由此，图8所示的流程图开始。该情况下，输入部104向选择部105和处理部108通知选择了精度影响要素评价模式。
129.首先，选择部105从存储部102读出特征向量集合bg、质量标签集合cg和与由输入部104选择出的种类对应的非质量标签集合ng，将读出的数据提供给非质量标签聚类部107(s40)。
130.接着，非质量标签聚类部107将从选择部105提供的特征向量集合bg分割成由非质量标签集合ng表示的非质量标签的每个要素的子集，按照分割后的每个子集执行聚类(s41)。
131.接着，非质量标签聚类部107对基于在步骤s41中执行的聚类的质量判定结果和由质量标签集合cg表示的检查结果进行比较，计算每个子集的聚类精度(s42)。这里计算出的每个子集的聚类精度被提供给处理部108。
132.接着，处理部108生成精度影响要素评价画面图像，该精度影响要素评价画面图像按照由非质量标签聚类部107计算出的非质量标签的一个种类中的每个子集的聚类精度从低到高的顺序，与该聚类精度一起示出对应的要素中的至少一方(s43)。
133.接着，显示部109显示由处理部108生成的精度影响要素评价画面图像(s44)。
134.根据以上的实施方式，能够生成示出对数字数据dd的质量造成不良影响的至少一个非质量标签的种类或要素的画面图像，进行其显示。
135.在以上记载的实施方式中，作为能够使用多个平均聚类精度确定对多个数字数据dd的质量造成不良影响的至少一个非质量标签的种类的画面图像，处理部108在标签种类评价模式下生成标签种类评价画面图像，该标签种类评价画面图像按照该平均聚类精度从高到低的顺序，与该平均聚类精度一起显示多个非质量标签的种类的至少一部分，但是，实施方式不限于这种例子。
136.例如，处理部108也可以生成标签种类评价画面图像，该标签种类评价画面图像按照多个方差从大到小的顺序示出多个种类中的至少一方。
137.该情况下，非质量标签聚类部107按照非质量标签的每个种类计算如上所述计算出的每个子集的聚类精度的方差即可。
138.通过显示每个非质量标签的聚类精度的方差，能够确定每个要素的聚类精度的偏差大的非质量标签。而且，通过修正偏差大的非质量标签的检查方法，能够提高数字数据dd的质量。
139.标号说明
140.100：信息处理装置；101：通信部；102：存储部；103：特征提取部；104：输入部；105：选择部；106：质量标签聚类部；107：非质量标签聚类部；108：处理部；109：显示部。