基于可信高阶知识的轻量化超图神经网络方法及装置

本技术涉及数据信息处理，特别涉及一种基于可信高阶知识的轻量化超图神经网络方法及装置。

背景技术：

1、由于超图在高阶相关建模方面的优势，超图神经网络模型引起了广泛关注，在工业部署中的使用场景逐渐增加，并展现出了令人满意的性能。

2、相关技术中，能够构建超图模型，获得超图关联矩阵，利用卷积神经网络轻量化原理，对卷积神经网络进行轻量化优化。

3、然而，相关技术中，超图的高阶建模能力增加了计算的复杂性，阻碍了其在实际产业应用中的部署，推断过程中的高阶结构依赖性较强，超图神经网络模型无法保证可信知识的学习，易出现过拟合现象，不利于实际推理任务，且轻量化超图神经网络模型单独用作部署的准确度较低，亟待改善。

技术实现思路

1、本技术提供一种基于可信高阶知识的轻量化超图神经网络方法及装置，以解决相关技术中，超图的高阶建模能力增加了计算的复杂性，阻碍了其在实际产业应用中的部署，推断过程中的高阶结构依赖性较强，超图神经网络模型无法保证可信知识的学习，易出现过拟合现象，不利于实际推理任务，且轻量化超图神经网络模型单独用作部署的准确度较低等问题。

2、本技术第一方面实施例提供一种基于可信高阶知识的轻量化超图神经网络方法，包括以下步骤：将教师超图神经网络模型进行初始化，得到初始化后的教师超图神经网络模型，并利用训练测试集训练所述初始化后的教师超图神经网络模型，得到超图神经网络模型；基于所述超图神经网络模型，对超图的每个节点进行可信量化，得到每个超边的可信值，根据所述可信值从所述每个超边的节点特征中获取高阶关联聚合函数，以根据所述高阶关联聚合函数生成软标签语义表示；构建轻量化端边超图神经网络，并以所述软标签语义表示进行超图概率采样，得到轻量化端边超图神经网络软标签组；以及基于所述轻量化端边超图神经网络软标签组，训练所述轻量化端边超图神经网络，得到训练后的轻量化端边超图神经网络。

3、可选地，在本技术的一个实施例中，所述将教师超图神经网络模型进行初始化，得到初始化后的教师超图神经网络模型，并利用训练测试集训练所述初始化后的教师超图神经网络模型，得到超图神经网络模型，包括：获取所述教师超图神经网络模型的训练数据，并对所述训练数据进行预处理，得到预处理后的训练数据；选择对应的超图神经网络模型对所述预处理后的训练数据进行迭代学习，直至达到预设收敛停止条件，得到收敛结果，以根据所述收敛结果生成所述超图神经网络模型。

4、可选地，在本技术的一个实施例中，所述对超图的每个节点进行可信量化，得到每个超边的可信值，包括：对所述训练数据的特征矩阵进行复制，得到复制后的特征矩阵，以根据所述复制后的特征矩阵和噪声生成微扰矩阵；分别计算所述特征矩阵的特征结果标签向量的熵和所述微扰矩阵的微扰结果标签向量的熵，得到所述每个超边的超边可信度，并根据所述超边可信度得到所述每个超边的可信值。

5、可选地，在本技术的一个实施例中，所述构建轻量化端边超图神经网络，并以所述软标签语义表示进行超图概率采样，得到轻量化端边超图神经网络软标签组，包括：对所述轻量化端边超图神经网络进行初始化，得到初始化后的轻量化端边超图神经网络；基于所述初始化后的轻量化端边超图神经网络，以所述每个超边的可信值为参数对所述每个超边进行所述超图概率采样，得到所述轻量化端边超图神经网络软标签组。

6、可选地，在本技术的一个实施例中，所述训练所述轻量化端边超图神经网络，得到训练后的轻量化端边超图神经网络，包括：计算所述轻量化端边超图神经网络的总损失函数；根据所述总损失函数对所述轻量化端边超图神经网络进行优化，直至达到预设收敛停止条件，得到所述训练后的轻量化端边超图神经网络。

7、可选地，在本技术的一个实施例中，在得到所述训练后的轻量化端边超图神经网络之后，还包括：根据所述训练后的轻量化端边超图神经网络对学生超图模型进行优化，得到优化结果；根据所述优化结果将所述训练后的轻量化端边超图神经网络部署至线上。

8、本技术第二方面实施例提供一种基于可信高阶知识的轻量化超图神经网络装置，包括：训练模块，用于将教师超图神经网络模型进行初始化，得到初始化后的教师超图神经网络模型，并利用训练测试集训练所述初始化后的教师超图神经网络模型，得到超图神经网络模型；获取模块，用于基于所述超图神经网络模型，对超图的每个节点进行可信量化，得到每个超边的可信值，根据所述可信值从所述每个超边的节点特征中获取高阶关联聚合函数，以根据所述高阶关联聚合函数生成软标签语义表示；构建模块，用于构建轻量化端边超图神经网络，并以所述软标签语义表示进行超图概率采样，得到轻量化端边超图神经网络软标签组；以及生成模块，用于基于所述轻量化端边超图神经网络软标签组，训练所述轻量化端边超图神经网络，得到训练后的轻量化端边超图神经网络。

9、可选地，在本技术的一个实施例中，所述训练模块包括：获取单元，用于获取所述教师超图神经网络模型的训练数据，并对所述训练数据进行预处理，得到预处理后的训练数据；学习单元，用于选择对应的超图神经网络模型对所述预处理后的训练数据进行迭代学习，直至达到预设收敛停止条件，得到收敛结果，以根据所述收敛结果生成所述超图神经网络模型。

10、可选地，在本技术的一个实施例中，所述获取模块包括：第一生成单元，用于对所述训练数据的特征矩阵进行复制，得到复制后的特征矩阵，以根据所述复制后的特征矩阵和噪声生成微扰矩阵；第一计算单元，用于分别计算所述特征矩阵的特征结果标签向量的熵和所述微扰矩阵的微扰结果标签向量的熵，得到所述每个超边的超边可信度，并根据所述超边可信度得到所述每个超边的可信值。

11、可选地，在本技术的一个实施例中，所述构建模块包括：初始化单元，用于对所述轻量化端边超图神经网络进行初始化，得到初始化后的轻量化端边超图神经网络；采样单元，用于基于所述初始化后的轻量化端边超图神经网络，以所述每个超边的可信值为参数对所述每个超边进行所述超图概率采样，得到所述轻量化端边超图神经网络软标签组。

12、可选地，在本技术的一个实施例中，所述生成模块包括：第二计算单元，用于计算所述轻量化端边超图神经网络的总损失函数；第二生成单元，用于根据所述总损失函数对所述轻量化端边超图神经网络进行优化，直至达到预设收敛停止条件，得到所述训练后的轻量化端边超图神经网络。

13、可选地，在本技术的一个实施例中，还包括：优化模块，用于在得到所述训练后的轻量化端边超图神经网络之后，根据所述训练后的轻量化端边超图神经网络对学生超图模型进行优化，得到优化结果；部署模块，用于根据所述优化结果将所述训练后的轻量化端边超图神经网络部署至线上。

14、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于可信高阶知识的轻量化超图神经网络方法。

15、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于可信高阶知识的轻量化超图神经网络方法。

16、本技术实施例可以同时兼顾高精度超图神经网络模型和轻量化端边超图神经网络的优点，消除基于超图的学习中处理大规模数据时对超图进行的复杂计算的依赖性，提升整体计算效率，且融合传统超图学习、可信量化与高阶知识蒸馏等方法，改进在工业部署时的学习可信度，同时提升大批次数据下的执行效率，从而拓宽可用于超图领域的工业场景。由此，解决了相关技术中，超图的高阶建模能力增加了计算的复杂性，阻碍了其在实际产业应用中的部署，推断过程中的高阶结构依赖性较强，超图神经网络模型无法保证可信知识的学习，易出现过拟合现象，不利于实际推理任务，且轻量化超图神经网络模型单独用作部署的准确度较低等问题。

17、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。