面向神经网络的无监督聚类算法、装置及其电子设备

1.本发明属于网络技术领域，具体涉及一种面向神经网络的无监督聚类算法及其装置。


背景技术：

2.随着物联网的不断发展，移动电话、可穿戴设备和自主车辆等均使用分布式网络；其中，分布式网络中的设备会产生大量数据，并产生了多种任务处理的需求，对设备的计算能力提出挑战。
3.现有技术中，由多个客户端参与的协同学习随之兴起，使得设备计算能力不断提升，使得设备在本地存储数据并完成计算成为可能；其中，协同学习作为可以在产生数据的设备上进行大规模训练的学习框架得到广泛的应用；但分布式网络中的设备会产生大量数据，将本地的大量数据通过神经网络进行及时处理是目前亟需解决的问题，使用协同学习不能有效利用各客户端之间的联系，不能得到较高的聚类精度。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种面向神经网络的无监督聚类算法及其装置。本发明要解决的技术问题通过以下技术方案实现：
5.第一方面，本技术提供一种面向神经网络的无监督聚类算法，包括：
6.获取多个神经网络，并从中选取基准网络；
7.获取基准网络和除基准网络之外的神经网络的隐含元素相似度；
8.基于基准网络的隐含元素相似度和除基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果；
9.按照匹配结果，调整除基准网络之外的神经网络的各层的权重连接顺序。
10.可选地，获取多个神经网络，并从中选取基准网络，包括两种方式，分别为：通过模型性能选取和通过区分度选取；
11.通过模型性能选取的过程包括：分别采用不同的神经网络对同一测试数据进行分类，将分类准确度最高的神经网络作为基准网络；
12.通过区分度选取的过程包括：分别获取多个神经网络的方差，根据神经网络的方差选取基准网络。
13.可选地，基于基准网络的隐含元素相似度和除所述基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果的过程包括：
14.选取基准网络和除基准网络之外的神经网络的对应层，构建多个二分图；
15.利用匈牙利算法获取构建的所有二分图的最大匹配；
16.基于构建的所有二分图的最大匹配，利用km算法获取构建的所有二分图的最大权匹配；
17.逐层获取基准网络和除基准网络之外的神经网络的对应层，每层构建多个二分
图，并获取构建的所有二分图的最大权匹配，即得到匹配结果。
18.可选地，获取基准网络的隐含元素相似度的方法包括欧式距离、汉明距离或余弦相似度。
19.第二方面，本技术还提供一种面向神经网络的无监督聚类装置，包括：
20.选择模块，用于获取多个神经网络，并从中选取基准网络；
21.获取模块，用于获取基准网络和除基准网络之外的神经网络的隐含元素相似度；
22.匹配模块，用于基于基准网络的隐含元素相似度和除基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果；
23.权重连接模块，用于按照所述匹配结果，调整除基准网络之外的神经网络的各层的权重连接顺序。
24.第三方面，本技术还提供一种电子设备，包括：处理器和机器可读存储介质；
25.机器可读存储介质存储有能够被处理器执行的机器可执行指令；
26.处理器用于执行机器可执行指令，以实现上述实施例中的算法步骤。
27.本发明的有益效果：
28.本发明提供的一种面向神经网络的无监督聚类算法、装置及其电子设备，从多个神经网络中获取基准网络，以及获取神经网络各层隐含元素的相似度，并逐层进行最大二分权匹配，消除了神经网络中隐含元素的置换不变性的影响；此外，对于分布式学习中的不同网络，通过实现各层隐含元素的匹配，大幅提高聚类准确度和聚合后的模型性能。
29.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
30.图1是本发明实施例提供的面向神经网络的无监督聚类算法的一种流程图；
31.图2是本发明实施例提供的一种二分图；
32.图3是本发明实施例提供的面向神经网络的无监督聚类装置的一种结构示意图；
33.图4是本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
34.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
35.现有技术中，聚类是将物理或者抽象对象的集合分成由类似的对象组成的多个类的过程，由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。由于客户端上传的是神经网络而不是原始训练数据，如何对具有百万或千万个参数的超高维数据进行聚类成为难点。此外，神经网络中隐含元素(如卷积神经网络中的卷积核和长短期记忆网络中的隐状态)的关系是并列的，即对同一特征的提取在不同网络上可能由不同位置的元素负责，这也阻碍了聚类或聚合方法的实现。
36.有鉴于此，本技术提供一种面向神经网络的无监督聚类算法及其装置，对分布式学习中的神经网络设计无监督聚类算法，更好地挖掘网络间的内在联系。
37.请参见图1，图1是本发明实施例提供的面向神经网络的无监督聚类算法的一种流程图，本技术所提供的一种面向神经网络的无监督聚类算法，包括：
38.s101、获取多个神经网络，并从中选取基准网络；
39.s102、获取基准网络和除基准网络之外的神经网络的隐含元素相似度；
40.s103、基于基准网络的隐含元素相似度和除基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果；
41.s104、按照匹配结果，调整除基准网络之外的神经网络的各层的权重连接顺序。
42.具体而言，本实施例中提供的面向神经网络的无监督聚类算法，针对分布式网络中的客户端所上传的神经网络参数多、维度高，且不同神经网络中的隐含元素可能会对同一特征的提取产生不利影响的缺陷，设计了一种无监督聚类算法，能够更好的挖掘网络间的内在联系，以及消除神经网络隐含元素的置换不变性，提高聚类准确度和模型性能。
43.在本技术的一种可选地实施例中，获取多个神经网络，并从中选取基准网络包括两种方式，分别为：通过模型性能选取和通过区分度选取；
44.通过模型性能选取的过程包括：分别采用不同的神经网络对同一测试数据进行分类，将分类准确度最高的神经网络作为基准网络；
45.通过区分度选取的过程包括：分别获取多个神经网络的方差，选择方差合适的神经网络作为基准网络。
46.在本技术的一种可选地实施例中，请参见图2，图2是本发明实施例提供的一种二分图，基于基准网络的隐含元素相似度和除基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果的过程包括：
47.选取基准网络和除基准网络之外的神经网络的对应层，构建多个二分图；
48.利用匈牙利算法获取构建的所有二分图的最大匹配；
49.基于构建的所有二分图的最大匹配，利用km算法获取构建的所有二分图的最大权匹配；
50.逐层获取基准网络和除基准网络之外的神经网络的对应层，每层构建多个二分图，并获取构建的所有二分图的最大权匹配，即得到匹配结果。
51.需要说明的是，图2所示中，其他网络即为除基准网络之外的神经网络，其中，a、b、c分别为基准网络的层数，a、b、c为其他神经网络。
52.在本技术的一种可选地实施例中，获取基准网络的隐含元素相似度的方法包括欧式距离、汉明距离或余弦相似度。
53.请继续参考图1和图2所示，在本技术的一种可选地实施例中，本实施例提供的一种面向神经网络的无监督聚类算法，包括：
54.s101、搭建基准网络的选择框架，通过基准网络的选择框架从客户端上传的多个神经网络中选取基准网络。
55.可选地，客户端上传的神经网络一般为卷积神经网络(cnn)或长短期记忆网络(lstm)；其中，cnn由卷积层、池化层和全连接层等组成，以一定的模型对某种事物进行特征提取，再根据提取到的特征对事物进行分类、识别、决策或预测等；lstm是一类反馈神经网络(rnn)，主要用于处理时间序列数据，在股票趋势预测、nlp中的关系分类和语音识别等场景中有着广泛的应用。
56.本实施例中通过分布式学习任务需要来选取基准网络，根据需要的不同，选取标准分为两类，分别为通过模型性能选取和通过区分度选取。
57.其中，通过模型性能选取基准网络，模型性能的高低由神经网络完成分布式学习任务的准确度来体现；例如，多个客户端均使用cnn进行图像分类任务，通过比较各客户端模型对同一测试数据分类的准确度选取基准网络，选取准确度最高的神经网络作为无监督神经网络聚类算法的基准网络。
58.通过区分度选取基准网络，区分度的高低由神经网络的方差体现，在一定范围内方差越高，网络的区分度就越高；例如，使用一个深度很深，隐藏节点很多的复杂分类器去拟合数据集，大而深的神经网络能充分学习到样本的特征，但如果设置不好就会得到过高的方差，导致出现错分类；可以通过使用正则化或增加样本数量等方法得到较为合适的方差；可以理解的是，对神经网络分类标准有较为严格要求的时候需要选择方差合适的网络作为基准网络。
59.本实施例通过从客户端上传的多个神经网络中选取基准网络，以此进行特征匹配来消除神经网络隐含元素的置换不变性；基准网络的选取方式本实施例不作限定，本领域技术人员可以根据分布式学习任务的需求进行选择。
60.s102、计算基准网络和除基准网络之外的神经网络的隐含元素相似度。
61.可选地，隐含元素根据用户上传网络不同所指不同，例如，卷积神经网络中的卷积核和长短期记忆网络中的隐状态，神经网络中隐含元素的关系是并列的，即对同一特征的提取在不同网络上可能由不同位置的元素负责，如此，会阻碍聚类或聚合方法的实现。
62.本实施例通过计算基准网络和除基准网络之外的神经网络的隐含元素的相似度，相似度越高的隐含元素表示负责同一特征提取的概率就越高，计算出的相似度用于进行二分最大权匹配提供权重值参考；可选地，计算相似度的方法包括但不限于欧式距离、汉明距离或余弦相似度等。
63.s103、基于基准网络的隐含元素相似度和除基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果。
64.s1031、选取基准网络和除基准网路之外的神经网络的对应层，构建多个二分图。
65.基准网络是通过基准网络选择框架选出的客户端上传的n个神经网络之一，根据基准网络和除基准网络之外的神经网络的对应层的隐含元素与提取特征之间的对应关系，构建n-1个二分图，选取基准网络和除基准网络之外的神经网络对应层的隐含元素构建二分图，其中，隐含元素之间的连线根据步骤s102中获取的各隐含元素之间的相似度大小而定，本实施例中相似度的阈值设定为0.6，如果两个隐含元素之间的相似度大于等于0.6，则两个隐含元素提取特征一致或相关；如果两个隐含元素之间的相似度小于0.6，则两个隐含元素特征提取不一致，两个隐含元素之间不能连线；二分图之间连线阈值由本领域技术人员按照业务需要进行设定，本实施例在此不作限定。
66.s1032、利用匈牙利算法获取构建的所有二分图的最大匹配。
67.匹配是一个边(即上述步骤中的连线)的集合，其中，任意两条边都没有公共顶点；最大匹配指在所有匹配中所含匹配边数最大的匹配，其中，最大匹配涉及到两个概念，即交替路径和增广路径，从一个匹配点出发，依次经过非匹配边、匹配边、非匹配边等形成的路径，即交替路径；从一个未匹配点出发，走交替路径，如果途径另一个未匹配点(非出发点)，则这条交替路为增广路径。
68.本实施例中利用匈牙利算法，通过不断找构建的二分图的增广路径，经过多次迭
代后，最终找到匹配边数最大的匹配，得到的最大匹配结果是进行km算法得到最大二分权匹配的前提。
69.s1033、基于构建的所有二分图的最大匹配，利用km算法获取构建的所有二分图的最大权匹配。
70.为方便使用km算法进行处理，将上述步骤s102中得到的隐私元素相似度值扩大；其中，扩大倍数根据实际情况而定，本技术在此不作限定。
71.本实施例利用km算法，在上述步骤s1032得到的最大匹配的基础上，在二分图上增加边权，通过计算匹配边权和的最大值得到最大权匹配；将左边点的点权设为最大边权，右边点边权设为0，当左右点的边权和等于两点相连边的边权，则可以进行匹配；每次按照匈牙利匹配，当发生冲突时，撤回到最后一个点没有可以匹配的边时，左边点边权-1，右边点边权 1，再次进行匹配，如果无法匹配，则继续左边点边权-1、右边点边权 1，直至匹配成功。
72.s1034、逐层重复步骤s1031～s1033，直到完成基准网络和除基准网络之外的神经网络的最后的对应层的匹配，得到匹配结果。
73.通过逐层进行km算法找到最大权匹配，调整除基准网络之外的神经网络的整体结构，实现除基准网络之外的神经网络与基准网络的整体匹配。
74.本实施例中通过计算神经网络中隐含元素求相似度，并采用km算法进行逐层最大二分权匹配，将除基准网络之外的神经网络结构调整到与基准网络匹配，即将其他结构调整至更满足分布式学习任务需求，从而可以大幅提高聚类准确度和聚合后的模型性能。
75.s104、按照匹配结果，调整除基准网络之外的神经网络的各层的权重连接顺序。
76.按照最大权匹配的结果，调整除基准网络之外的神经网络的权重连接顺序，消除神经网络中隐含元素置换不变性的影响，大幅提高聚类准确度和聚合后的模型性能。
77.通过以上步骤，本实施例能够在分布式学习的场景下，通过建立一套完整的无监督神经网络聚类算法的规则，获取客户端上传的各神经网络，并通过基准网络选择框架，按照需要选取基准网络，计算神经网络隐含元素的相似度，并通过km算法进行逐层最大二分权匹配，消除神经网络中隐含元素置换不变性的影响，从而大幅提高聚类准确度和聚合后的模型性能。
78.基于同一发明构思，请参见图3，图3是本发明实施例提供的面向神经网络的无监督聚类装置的一种结构示意图，本技术还提供一种面向神经网络的无监督聚类装置，应用于本技术上述实施例提供的一种面向神经网络的无监督聚类算法，该算法可以参考上述实施例，在此不在赘述；该装置包括：
79.选择模块201，用于获取多个神经网络，并从中选取基准网络；
80.获取模块202，用于获取基准网络和除所述基准网络之外的神经网络的隐含元素相似度；
81.匹配模块203，用于基于基准网络的隐含元素相似度和除基准网络之外的神经网络的隐含元素相似度，逐层进行最大二分权匹配，得到匹配结果；
82.权重连接模块204，用于按照所述匹配结果，调整除所述基准网络之外的所述神经网络的各层的权重连接顺序。
83.具体而言，本实施例提供的一种面向神经网络的无监督聚类装置，能够面向使用
分布式学习日益增多的场景，根据任务需求先进行基准网络的选取，再对模型隐含元素求相似度，并采用km算法进行逐层最大二分权分配，极大地消除了神经网络中隐含元素置换不变性的影响，通过无监督神经网络聚类算法，能够大幅提高聚类准确度和聚合后的模型性能。
84.基于同一发明构思，请参见图4，图4是本发明实施例提供的电子设备的一种结构示意图，本技术还提供有一种电子设备，包括：处理器301和机器可读存储介质303；
85.机器可读存储介质303存储有能够被处理器301执行的机器可执行指令；
86.处理器301用于执行机器可执行指令，以实现上述实施例提供的一种面向神经网络的无监督聚类算法。
87.具体而言，请继续参考图4所示，本实施例中提供的一种电子设备还包括通信接口302和通信总线304，其中，处理器301、通信接口302、机器可读存储介质303通过通信总线304实现相互之间的通信。处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等，处理器301可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现；处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(central processing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。可选地，处理器301可以为集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。
88.机器可读存储介质303可以包括一个或多个计算机可读存储介质，该机器可读存储介质可以是非暂态的。机器可读存储介质303还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。可选地，机器可读存储介质303至少用于存储计算机程序，其中，该计算机程序被处理器加载并执行之后，能够实现上述实施例提供的无监督神经网络聚类算法。此外，机器可读存储介质303所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储；其中，操作系统可以包括windows、unix、linux等；数据可以包括但不限于面向动态数据的网络行为分析及态势感知方法中涉及的数据等。
89.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
90.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
91.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计
算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
92.本发明提供的一种面向神经网络的无监督聚类算法、装置及其电子设备，从多个神经网络中获取基准网络，以及获取神经网络各层隐含元素的相似度，并逐层进行最大二分权匹配，消除了神经网络中隐含元素的置换不变性的影响；此外，对于分布式学习中的不同网络，通过实现各层隐含元素的匹配，大幅提高聚类准确度和聚合后的模型性能。
93.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。