剪裁神经网络的方法、设备、装置及存储介质与流程

技术特征：
1.一种剪裁神经网络的方法，其特征在于，包括：基于已完成训练的第一神经网络模型及其对应的数据集获取所述第一神经网络模型中每个网络层模块的输出值；基于所述每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵，并且对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值；基于所述每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离；获取所述各个流形度量距离中的较小流形度量距离，并将其对应的非最后一个网络层模块与所述最后一个网络层模块之后的模块连接而形成剪裁后的第二神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵包括：对所述每个网络层模块的输出值分别计算对应的无向图g＝(v,e)，其中，v和e分别为所述无向图中的节点集合和边集合；对所述无向图g计算归一化的图拉普拉斯矩阵l，其包括：计算所述无向图g的邻接矩阵a、基于所述邻接矩阵a计算对角矩阵d、以及基于所述对角矩阵d计算所述每个网络层模块对应的、归一化的图拉普拉斯矩阵l。3.根据权利要求2所述的方法，其特征在于，所述对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值包括通过如下公式计算所述归一化的图拉普拉斯矩阵l的热核：l＝φλφ
t
，φ＝(φ1,φ2…
,φ
n
)，其中，h
t
为所述归一化的图拉普拉斯矩阵l的热核，t为时刻，φ为所述归一化的图拉普拉斯矩阵l分解后的特征向量矩阵，φ
i
为φ中的第i个特征向量，φ
it
是φ
i
的转置矩阵，λ为对角矩阵，其特征值(λ1,λ2,
…
,λ
n
)从小到大排序为λ1≤λ2…
≤λ
n
，λ
i
为其中的第i个特征值。4.根据权利要求3所述的方法，其特征在于，所述对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值包括使用slq估计公式计算所述任一个网络层模块的流形度量数值，其通过如下公式表示：其中，x为任一个网络层模块的输出值，s(x)为任一个网络层模块的流形度量数值，tr()为计算矩阵的迹的算符。5.根据权利要求4所述的方法，其特征在于，所述基于所述每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离包括通过如下公式计算各个流形度量距离：其中，xm为任一个非最后一个网络层模块的输出值，xn为所述最后一个网络层模块的
输出值，d(xm,xn)为所述任一个非最后一个网络层模块与所述最后一个网络层模块之间的流形度量距离，s(xm)和s(xn)分别为所述任一个非最后一个网络层模块和所述最后一个网络层模块的流形度量数值，t为时刻。6.根据权利要求5所述的方法，其特征在于，所述计算各个流形度量距离包括：对t进行若干次采样并分别计算d(xm,xn)，取其中的最大距离作为所述任一个非最后一个网络层模块与所述最后一个网络层模块之间的流形度量距离，其中，t∈(0.1,10)。7.根据权利要求1所述的方法，其特征在于，所述获取所述各个流形度量距离中的较小流形度量距离包括：将所述第一神经网络模型中的网络层模块依次分为n组，每组中包括至少一个网络层模块，其中，n为大于或等于2的整数；在所述最后一个网络层模块所位于的组之外的所有网络层模块中获取其与所述最后一个网络层模块之间的各个流形度量距离中的最小流形度量距离，并且将其作为所述较小流形度量距离。8.一种剪裁神经网络的设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7中任一项所述方法的步骤。9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7中任一项所述方法的步骤。10.一种剪裁神经网络的装置，其特征在于，包括：获取模块，其适于基于已完成训练的第一神经网络模型及其对应的数据集获取所述第一神经网络模型中每个网络层模块的输出值；第一计算模块，其适于基于所述每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵，并且对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值；第二计算模块，其适于基于所述每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离；连接模块，其适于获取所述各个流形度量距离中的较小流形度量距离，并将其对应的非最后一个网络层模块与所述最后一个网络层模块之后的模块连接而形成剪裁后的第二神经网络模型。11.根据权利要求10所述的装置，其特征在于，所述第一计算模块适于：对所述每个网络层模块的输出值分别计算对应的无向图g＝(v,e)，其中，v和e分别为所述无向图中的节点集合和边集合；对所述无向图g计算归一化的图拉普拉斯矩阵l，其包括：计算所述无向图g的邻接矩阵a、基于所述邻接矩阵a计算对角矩阵d、以及基于所述对角矩阵d计算所述每个网络层模块对应的、归一化的图拉普拉斯矩阵l。12.根据权利要求11所述的装置，其特征在于，所述第一计算模块适于通过如下公式计算所述归一化的图拉普拉斯矩阵l的热核：l＝φλφ
t
，
φ＝(φ1,φ2…
,φ
n
)，其中，h
t
为所述归一化的图拉普拉斯矩阵l的热核，t为时刻，φ为所述归一化的图拉普拉斯矩阵l分解后的特征向量矩阵，φ
i
为φ中的第i个特征向量，φ
it
是φ
i
的转置矩阵，λ为对角矩阵，其特征值(λ1,λ2,
…
,λ
n
)从小到大排序为λ1≤λ2…
≤λ
n
，λ
i
为其中的第i个特征值。13.根据权利要求12所述的装置，其特征在于，所述第一计算模块适于使用slq估计公式计算所述任一个网络层模块的流形度量数值，其通过如下公式表示：其中，x为任一个网络层模块的输出值，s(x)为任一个网络层模块的流形度量数值，tr()为计算矩阵的迹的算符。14.根据权利要求13所述的装置，其特征在于，所述第二计算模块适于通过如下公式计算各个流形度量距离：其中，xm为任一个非最后一个网络层模块的输出值，xn为所述最后一个网络层模块的输出值，d(xm,xn)为所述任一个非最后一个网络层模块与所述最后一个网络层模块之间的流形度量距离，s(xm)和s(xn)分别为所述任一个非最后一个网络层模块和所述最后一个网络层模块的流形度量数值，t为时刻。15.根据权利要求14所述的装置，其特征在于，所述第二计算模块适于：对t进行若干次采样并分别计算d(xm,xn)，取其中的最大距离作为所述任一个非最后一个网络层模块与所述最后一个网络层模块之间的流形度量距离，其中，t∈(0.1,10)。16.根据权利要求10所述的装置，其特征在于，所述连接模块适于：将所述第一神经网络模型中的网络层模块依次分为n组，每组中包括至少一个网络层模块，其中，n为大于或等于2的整数；在所述最后一个网络层模块所位于的组之外的所有网络层模块中获取其与所述最后一个网络层模块之间的各个流形度量距离中的最小流形度量距离，并且将其作为所述较小流形度量距离。

技术总结
本发明实施例提供一种剪裁神经网络的方法、设备、装置及存储介质，该方法包括：基于已完成训练的第一神经网络模型及其对应的数据集获取第一神经网络模型中每个网络层模块的输出值；基于每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵以及每个网络层模块的流形度量数值；基于每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离；获取各个流形度量距离中的较小流形度量距离，并将其对应的非最后一个网络层模块与最后一个网络层模块之后的模块连接而形成剪裁后的第二神经网络模型。这不仅降低了剪裁的计算量和计算时间，还使得剪裁后的第二神经网络模型仍具有较高的测试精度。型仍具有较高的测试精度。型仍具有较高的测试精度。


技术研发人员：曹永全 罗杨晓璇
受保护的技术使用者：上海复旦微电子集团股份有限公司
技术研发日：2020.10.28
技术公布日：2022/4/29