一种基于深度学习的视觉检测系统的制作方法

本发明属于视觉检测领域，具体地说，涉及一种基于深度学习的视觉检测系统。

背景技术：

1、视觉检测系统的主要目的是找出产品中的缺陷，以确保产品的质量和性能。然而，现代产品(如多层电路板)通常具有复杂的内部结构和层间关系，这给检测系统带来了新的挑战。传统的单层或简单的多层建模方法往往无法充分捕捉这种复杂性，导致模型在处理这些复杂结构时性能不足。

2、多层电路板通常由多个电路层叠加而成，每一层之间通过导电通道(如过孔)相互连接。这些层间连接和叠加结构使得电路板的整体拓扑变得非常复杂。此外，每一层电路板上还分布着不同的电子元件和导线，这些元件和导线之间的连接关系也非常复杂。传统的建模方法通常只能处理单层或简单的多层结构，无法全面地捕捉和表达这种复杂的多层次、多维度的关系。

3、具体来说，单层建模方法只能在一个平面内分析节点和边的关系，无法处理跨层的连接和互动。而简单的多层建模方法虽然能够在一定程度上考虑多层结构，但其往往采用层与层之间简单的连接，忽略了层间复杂的互动和依赖关系。这些方法在面对多层电路板等复杂结构时，容易产生信息丢失或信息传递不充分的问题，进而影响模型的检测性能和准确性。

4、此外，多层电路板在制造过程中可能会出现各种缺陷，如焊点不良、过孔缺陷、层间短路或断路等。这些缺陷可能分布在不同的层上，且具有复杂的表现形式。如果检测系统无法充分理解和建模这些复杂的结构和关系，便很难准确地检测和定位这些缺陷。

5、有鉴于此特提出本发明。

技术实现思路

1、本发明要解决的技术问题在于克服现有技术的不足，提供一种基于深度学习的视觉检测系统，解决了上述背景技术中提出的问题。

2、为解决上述技术问题，本发明采用技术方案的基本构思是：

3、一种基于深度学习的视觉检测系统，包括图像获取单元，图像获取单元用于获取产品的原始图像数据并提取图像中的节点和边信息，根据获取的数据生成包含节点和边特征的图数据结构；

4、噪声过滤模块，噪声过滤模块获取图像获取单元的图像数据并消除图像数据中的噪声节点和边；

5、网络建立模块，建立产品各层的局部图神经网络和时序图神经网络，每层独立建模并通过跨层连接将不同层的图神经网络连接起来，形成整体图神经网络模型，最后，在跨层连接中使用注意力机制，动态调整层间信息传递的权重；

6、环境适应模块，环境适应模块用于环境数据并根据环境数据调整gnn模型的参数；

7、处理模块，使稀少节点类型在训练过程中得到更高的权重并使用生成对抗网络，生成稀少节点类型的合成样本，增加训练数据量。

8、可选的，图像获取单元用于获取产品的原始图像数据并提取图像中的节点和边信息，根据获取的数据生成包含节点和边特征的图数据结构的步骤为：

9、使用高分辨率工业相机捕捉产品的高清图像，对获取的原始图像进行去噪处理，使用图像去噪算法去除图像中的噪声，提高图像的质量；

10、对图像进行增强处理，提升图像的对比度和细节，使节点和边信息更加清晰；

11、将预处理后的图像进行分割，使用图像分割算法将图像分割成不同的区域，每个区域对应一个节点或边。

12、可选的，根据提取的节点和边特征信息，图像获取单元在生成图数据结构的步骤为：

13、为每个节点分配一个唯一标识符，并记录其特征信息；

14、为每条边分配一个唯一标识符，并记录其连接的节点对及其特征信息；

15、将节点和边的特征信息组织成图数据结构，常用的数据结构包括邻接矩阵和邻接表。

16、可选的，噪声过滤模块获取图像获取单元的图像数据并消除图像数据中的噪声节点和边的步骤为：

17、计算每个节点的中心性指标，判断节点的重要性，其表达式为：其中，c(v)表示节点v的中心性，表示节点v的邻居节点集合，d(u)表示节点u的度；

18、对初步检测出的噪声节点进行进一步分析，使用基于特征的噪声识别算法确定噪声节点；

19、通过公式计算每条边的权重或置信度，识别出可能的噪声边，其中，w(evu)表示边evu的权重，w是权重向量，xvu是边evu的特征向量；

20、移除被识别为噪声的节点和边，更新图结构并使用图修复算法对移除噪声后的图进行修复。

21、可选的，建立产品各层的局部图神经网络和时序图神经网络，每层独立建模并通过跨层连接将不同层的图神经网络连接起来，形成整体图神经网络模型，最后，在跨层连接中使用注意力机制，动态调整层间信息传递的权重的步骤为：

22、将每层产品的节点和边信息构成一个局部图其中和εl分别表示第l层的节点集合和边集合。时序图神经网络模型用于捕捉电路板随时间变化的特征；

23、利用时序图神经网络模型用于捕捉电路板随时间变化的特征，时序依赖关系可以通过递归公式表示：其中，σ是激活函数，wl是第l层的权重矩阵，avu，l是邻接矩阵中的权重，bl是偏置项；

24、使用跨层连接用于将不同层的局部图神经网络连接起来，跨层连接的公式为：

25、其中，cvw是跨层连接的权重矩阵，表示节点v在其他层的连接节点集合；

26、注意力机制用于动态调整层间信息传递的权重，使用多头注意力机制，头数为k，表示为：其中，和分别是邻接节点和跨层节点的注意力权重。

27、可选的，环境适应模块用于环境数据并根据环境数据调整gnn模型的参数的步骤为：

28、环境数据表示为一个向量e＝[e1，e2，...，em]，其中，ei表示第i个环境变量；

29、使用一个函数将环境数据映射到gnn模型参数调整上，其表达式为：其中，θ表示原始gnn模型的参数，θ′表示经过环境适应后的模型参数。

30、可选的，使稀少节点类型在训练过程中得到更高的权重并使用生成对抗网络，生成稀少节点类型的合成样本，增加训练数据量的步骤为：

31、使稀少节点类型在训练过程中得到更高的权重，使用生成对抗网络，生成稀少节点类型的合成样本；

32、在训练过程中，对于每种节点类型分配不同的权重，使得稀少节点类型得到更高的权重，定义节点类型集合为其中n为节点类型数量，为每种节点类型分配权重其中，表示节点类型ti的权重，定义加权损失函数其中，表示所有节点的集合，t(v)表示节点v的类型，表示节点v的预测值与真实值yv之间的损失函数。

33、可选的，使用gan生成稀少节点类型的合成样本，以增加训练数据量，使用生成器g接受随机噪声向量z作为输入，生成合成样本xfake，其中，生成器ggg接受随机噪声向量z作为输入，生成合成样本xfake，其表达式为：xfake＝g(z)；

34、判别器d接受真实样本xreal和生成样本xfake，输出样本为真实的概率：d(x)＝preal(x)，gan的损失函数包括生成器损失和判别器损失，通过交替优化生成器损失和判别器损失，训练gan模型，生成逼真的稀少节点类型样本。

35、采用上述技术方案后，本发明与现有技术相比具有以下有益效果，当然，实施本发明的任一产品并不一定需要同时达到以下所述的所有优点：

36、本技术通过建立产品各层的局部图神经网络和时序图神经网络，实现每层独立建模，并通过跨层连接将不同层的图神经网络连接起来，形成整体图神经网络模型。跨层连接中使用注意力机制，动态调整层间信息传递的权重，使得模型能够捕捉到产品内部复杂的层间关系和动态变化，提升了模型的表达能力和准确性。

37、下面结合附图对本发明的具体实施方式做进一步详细的描述。