一种加速神经网络验证的抽象神经网络方法

本发明涉及一种优化神经网络的方法，具体地说是一种加速神经网络验证的抽象神经网络方法。

背景技术：

1、在深度学习领域，神经网络已经广泛用于图像识别、自然语言处理等领域。然而，神经网络本身是比较脆弱的，在受到攻击时，神经网络很容易表现出危险的行为。例如，对神经网络的输入进行微小的扰动，可以显著影响神经网络的输出，从而使神经网络做出错误的决定。因此，如何确保神经网络的行为和输出的可信性也是一个值得探索的挑战性问题。

2、形式验证作为一种严格的数学方法，可以在一定程度上解决这些问题，确保神经网络的行为符合预期，并且经过验证的神经网络将更加鲁棒，但是，神经网络的数据高维性导致了验证技术的使用更加耗时，对于一些只有几百个神经元的网络进行形式化验证有时都会出现严重超时而无法得到验证。

技术实现思路

1、本发明的目的就是提供一种加速神经网络验证的抽象神经网络方法，以解决现有方法对神经网络的验证耗时较长的问题。

2、本发明目的是这样实现的：

3、一种加速神经网络验证的抽象神经网络方法，包括如下步骤：

4、s1.将数据集中的图片输入待抽象的神经网络，计算待抽象的神经网络的隐藏层中每个神经元输出每个图片的激活值，生成每个隐藏层所对应的激活值矩阵；所述待抽象的神经网络为全连接网络，所述激活值矩阵的行数为每个隐藏层中神经元的个数，所述激活值矩阵的列数为输入神经网络的图片的数量；

5、s2.利用激活值矩阵计算每两个神经元之间的余弦相似度，生成每个隐藏层所对应的相似度矩阵；

6、s3.根据每个隐藏层所对应的相似度矩阵对每个隐藏层中的神经元进行凝聚层次聚类，生成聚类结果，所述聚类结果包括单神经元簇和多神经元簇；

7、s4.根据聚类结果对神经元进行合并，生成抽象后的神经网络，所述合并为将神经元的输出权重进行合并；

8、s5.将验证集输入抽象后的神经网络进行验证。

9、本发明使用层次聚类的方法，动态调整聚类数量，有效识别和聚类相似的神经元，提高了抽象过程的灵活性和效率。能够更好地适应不同数据和网络结构，特别是在处理复杂网络结构时效果显著。

10、进一步地，步骤s4中根据聚类结果进行神经元合并的具体方式为：

11、s4-1.对多神经元簇进行神经元的输出权重合并，生成新的单神经元簇；

12、s4-2.对所有的单神经元簇进行神经元的输出权重合并，生成抽象后的神经网络。

13、进一步地，步骤s4-1中对多神经元簇进行神经元的输出权重合并的具体方式为：

14、s4-1-1.根据神经元的输出权重，计算每个多神经元簇中每个神经元的分数；

15、s4-1-2.将每个多神经元簇中，分数小的神经元的输出权重合并到分数大的神经元的输出权重中，删除所述分数小的神经元及其输入权重，直至合并到所述多神经元簇中只有一个神经元。

16、进一步地，步骤s4-2中对所有的单神经元聚类进行神经元的输出权重合并的具体方式为：

17、s4-2-1.遍历隐藏层的每个神经元，根据神经元的激活值计算每个神经元的knn值；

18、s4-2-2.基于相似度矩阵找到与knn值大于1的神经元所对应的目标神经元；

19、s4-2-3.将knn值大于1的神经元的输出权重合并至所对应的目标神经元的输出权重中，删除所述knn值大于1的神经元及其输入权重，生成新的神经网络，并记录新的神经网络的参数；

20、s4-2-4.测试新的神经网络的准确性，如果合并导致新的神经网络的误差超过阈值α，则取消合并操作；继续对其他knn值大于1的神经元的输出权重进行合并，直至对最后一个knn值大于1的神经元进行合并操作，并测试神经网络的准确性。

21、本发明利用评分标准和knn值确定神经元的合并顺序，减少了网络的复杂性，同时尽量保持网络性能，提高了抽象操作的有效性，减少了神经网络的计算量。

22、本发明在每一步合并操作之后，测试新的神经网络的准确性，通过这种误差控制方法对误差进行实时监控，确保每次合并操作都在可接受的误差范围内进行，从而避免了因过度抽象导致的性能下降。

23、本发明提高了网络的验证速度，通过对神经网络中的多神经元和单神经元进行聚类和抽象处理，减少了网络中的冗余计算。尤其在多神经元聚类中，通过层次聚类和评分标准，有效地合并相似的神经元，简化了网络结构，从而加速了网络的验证。

24、本发明保持了网络的准确性和鲁棒性，在进行神经元合并时，使用了严谨的评分标准和合并策略，确保合并操作不会显著影响网络的性能。通过计算和比较神经元的评分，确保高评分的神经元保留，低评分的神经元合并到高评分神经元，从而最大限度地保持了网络的准确性和鲁棒性。在单神经元聚类中，通过使用knn密度判断和相似性矩阵，确保了神经元的合并不会导致显著的性能下降。同时，提供了误差分析和误差范围的理论支持，保证了网络在抽象后的鲁棒性。

25、本发明增强网络的可解释性，通过对神经网络进行抽象处理，可以更清晰地理解网络的内部结构和工作机制。通过对神经元的聚类和评分标准，可以明确哪些神经元在网络中起到了关键作用，有助于提升网络的可解释性。

26、综上所述，本发明旨在提供一种高效、鲁棒且自动化的神经网络抽象方法，通过抽象神经网络减小网络的规模加速验证过程，解决现有技术中存在的计算复杂度高、鲁棒性不足和人工干预多的问题。

技术特征：

1.一种加速神经网络验证的抽象神经网络方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的加速神经网络验证的抽象神经网络方法，其特征在于，步骤s4中根据聚类结果进行神经元合并的具体方式为：

3.根据权利要求2所述的加速神经网络验证的抽象神经网络方法，其特征在于，步骤s4-1中对多神经元簇进行神经元的输出权重合并的具体方式为：

4.根据权利要求2所述的加速神经网络验证的抽象神经网络方法，其特征在于，步骤s4-2中对所有的单神经元聚类进行神经元的输出权重合并的具体方式为：

技术总结本发明公开了一种加速神经网络验证的抽象神经网络方法，包括如下步骤：S1.将数据集中的图片输入待抽象的神经网络，计算待抽象的神经网络的隐藏层中每个神经元输出每个图片的激活值，生成每个隐藏层所对应的激活值矩阵；S2.利用激活值计算余弦相似度，生成每个隐藏层所对应的相似度矩阵；S3.根据相似度矩阵对神经元进行凝聚层次聚类，生成聚类结果，聚类结果包括单神经元簇和多神经元簇；S4.根据聚类结果对神经元进行合并，生成抽象后的神经网络，合并为将神经元的权重进行合并；S5.将验证集输入抽象后的神经网络进行验证。本发明通过将低评分的神经元合并到高评分的神经元，不会影响神经网络的准确性，降低神经网络的验证时间。技术研发人员：王猛,刘嘉奇受保护的技术使用者：河北大学技术研发日：技术公布日：2024/10/17