一种基于GCN-ResNet的滚动轴承故障诊断方法及装置

本发明工业轴承状态监测，尤其涉及一种基于gcn-resnet的滚动轴承故障诊断方法及装置。

背景技术：

1、目前，着重推动制造业向数字化、网络化、智能化、高端化、绿色化发展已成趋势。通过推进新型工业化、发展数字经济，加速人工智能技术的发展，以推动传统制造业向智能制造转型升级。智能制造通过传感器实时获取关键数据，并将其传输到上位机进行数据融合分析，目的是及时发现异常、优化生产流程、预测设备故障，从而提高生产效率和产品质量。工业物联网将工业制造业与物联网、人工智能、云计算和大数据分析等技术深度融合，实现了设备、生产线和管理系统的互联互通，推动了智能制造的发展。

2、在智能制造环境下，部署在工业现场的先进制造装备和感知设备日益增多，工业网络协议复杂多样，数据具有数据量大、价值密度低、多源多维度等多模态特征。由于生产环境复杂和设备能耗受限等因素，传统单一模态分析方法会出现关键状态数据采集缺失并且包含大量的错误和冗余信息，导致设备实际状态曲线失真、数据可靠性低等问题，难以全面监测物理世界变化特征。多模态数据分析方法兼顾多个方面信息，可以更准确反映设备的真实状态，但多模态数据难以有效进行融合，导致处理和分析复杂性增加，进而影响实时监测和决策的准确性。此外，多模态数据的异构性和不一致性可能引发数据冲突和冗余，进一步加大了数据清洗和融合的难度。这些问题使得在复杂的工业环境中，通过多模态数据来全面反映设备的真实状态和变化特征变得更加困难，给智能制造的实施带来了挑战。因此，如何有效融合多模态数据，提高数据的准确性和可靠性，进而实时监测加工过程并确保感知数据高质量地映射设备的当前物理状态，成为智能制造领域亟待解决的重要问题。

技术实现思路

1、本发明就是针对现有技术存在的缺陷，提供一种基于gcn-resnet的滚动轴承故障诊断方法及装置。其针对工业物联网应用场景中，数据融合对设备状态诊断能力差，以单一模态诊断设备状态准确率低、模型复杂度高等问题，提高了轴承状态监测的实时性与准确性。

2、为实现上述目的，本发明采用如下技术方案，基于gcn-resnet的滚动轴承故障诊断装置，包括数据采集单元、数据转发单元以及数据融合分析单元；所述数据采集单元用于实现传感器多模态数据的采集并将数据传输至服务器；所述数据转发单元负责服务器与客户端之间的协同通信；所述数据融合分析单元用于融合分析多模态传感器数据，并用于实时监测轴承状态。

3、进一步地，所述数据采集单元包括数据传输组件及数据采集模块。

4、所述数据传输组件用于将rs485温振传感器采集轴承转动产生的振动数据，通过rs485转usb转换器传输至数据采集模块。

5、所述数据采集模块用于实现传感器设备与数据采集部分之间的通信，并通过rs485转usb装置接收来自数据传输组件的数据。

6、所述数据采集模块还将接收到的数据转发至上位机，并且上位机能够通过数据转发单元中的数据转发模块向数据采集模块发出问询请求，数据采集模块响应于该请求进行应答，从而实现数据采集模块与数据转发部分之间的交互，以保证传感器多模态数据传输的实时性。

7、进一步地，所述数据转发单元包括网络配置模块、数据转发模块、数据采样模块、数据存储模块、数据可视化显示模块、消息映射模块。

8、所述网络配置模块完成服务器网络与客户端网络之间的互连配置，确保数据转发模块能够实时地发送问询指令到数据采集模块，并使数据采集模块能够即时应答数据到数据转发模块。

9、所述数据转发模块在完成网络配置后，能够向数据采集模块发送问询指令，数据采集模块则将采集到的数据应答给数据转发模块，从而实现服务器与客户端之间的实时通信。

10、所述数据采样模块用于客户端配置服务器的数据采样率，通过快、中、慢三种不同的采样频率来控制数据转发模块发送问询指令的速率，采样率越高，则在单位时间内采集的数据量越大。

11、所述数据存储模块用于将通过不同采样频率采样得到的数据存储到客户端本地，并且存储的数据需要进行数据清洗，筛选掉低质量的数据以便进行数据融合分析。

12、所述数据可视化模块用于将不同采样频率采样得到的数据进行动态可视化显示，这些数据可以通过动态折线图进行消息映射，以及时反映数据的变化。

13、所述消息映射模块用于将数据映射为动态折线图，便于研究人员实时观察振动数据的变化，并且还能反映服务器与客户端的连接情况，分析网络连接状态。

14、进一步地，所述数据融合分析单元包括数据清洗模块、数据转换模块、特征提取模块、特征融合模块、模型训练模块。

15、所述数据清洗模块用于对存储到本地的数据进行清洗，去除振动开始阶段和结束阶段的低质量数据，保留轴承充分转动的高质量振动数据。

16、所述数据转换模块用于将清洗完成的时序数据转换为视觉数据。

17、所述特征提取模块利用resnet152和wide_resnet50-2从数据转换模块转换后的视觉数据中提取特征。

18、所述特征融合模块构建图结构数据集，为将特征提取模块提取到的不同特征基于gcn(图卷积网络)模型进行特征融合训练做准备。

19、所述模型训练模块使用特征融合模块构建的图结构数据集进行训练，以达到对轴承故障类型进行准确分类的目的。

20、进一步地，所述故障诊断方法基于数据融合分析单元，并具体包括以下步骤：

21、s1:数据清洗：

22、采集时长不超过三分钟，以保证故障轴承的工作时间不会过长。

23、将存储到本地的数据进行数据清洗，删除振动不充分的数据，保留轴承工作充分振动时的数据，以便在正常工作条件下提取振动数据的特征。

24、s2:数据编码为图像：即将清理完的数据基于gaf(格拉姆角场)算法将时间序列数据编码为图像；将传感器振动信号转换为图像数据，以满足预训练模型提取特征的需求；包括：

25、数据类型识别：识别温振传感器收集的十类多模态数据，其中包括温度模态数据、三轴模态数据；其中，三轴模态数据包括三轴(x、y、z)速度、三轴位移、三轴加速度。

26、数据映射：对于温度模态数据映射为灰度图像，对于三轴模态数据映射为rgb图像，最终得到四张图像数据。

27、s3:将编码后的四张图像数据使用resnet152和wide_resnet50-2分别进行特征提取，每张图像数据被提取成两个1024维的抽象特征表示。

28、s4:使用星型拓扑结构分析法构建图结构，将特征表示为图的形式，以表示各模态之间的互相影响。

29、s5：建立两层gcn(图卷积网络)模型，对图结构数据集进行模型训练，训练完成后，使用该模型对轴承状态进行实时监控。

30、进一步地，由于故障轴承采集时长不超过三分钟，因此，每次开始采样和结束采样时会遇到轴承不充分转动的情况，对于此情况需要将存储到本地的数据进行数据清洗，来删除不充分振动的数据。

31、第一步，将时间序列数据进行三等分处理，取中间部分进行计算。

32、第二步，将中间部分数据基于iqr(四分位距)方法计算下边距，具体方法为：

33、将中间部分数据按照单模态从小到大的顺序排序，以x轴速度为例，计算第一四分位数q1和第三四分位数q3，中间数据分为偶数个(2n)或奇数个(2n+1)个值时。

34、第一四分位数q1为由小至大的n个值的中位数。第三四分位数q3为由大至小的n个值的中位数。

35、四分位距iqr的计算公式如下：

36、iqr＝q3-q1

37、下边界的计算公式如下：

38、lower_bound＝q1-1.5×iqr

39、其中lower_bound代表下边界值；

40、如果计算得到的下边界数值小于0，那么下边界更改为为大于0的最小正数；接着，按照此步骤得到各模态的下边界数值。

41、第三步，将两端部分数据进行数据清洗，第一部分按照时间由开始到结束的顺序进行清洗，若有任何一个模态值小于该模态的下边界，则删除这行数据；当出现一行数据满足所有数据均大于下边界值时，停止清洗；第三部分按照时间由结束到开始的顺序进行清洗，若有任何一个模态值小于该模态的下边界，则删除这行数据；当出现一行数据满足所有数据均大于下边界值时，停止清洗。

42、进一步地，s2具体步骤如下：

43、第一步，使用min-max放缩法将清理完的时间序列数据放缩到[-1，1]，计算公式如下：

44、

45、其中，x为该模态数据的值，xmin为该模态一系列时间序列数据的最小值，xmax为该模态一系列时间序列数据的最大值。

46、第二步，将经过min-max放缩法处理后的一系列时间序列数据x′映射到极坐标，具体操作步骤如下：

47、时间序列数据包括两部分，时间序列的值及其对应的时间戳，将这两个变量映射为角度和半径；假设时间序列由n个时间戳和对应的值x组成，gaf使用arccos(x)将时间序列的值映射为角度，角度值的范围是[0，π]；接着，将时间区间[0，1]分成n等份，得到n+1个点{0，…，i，…，1}，然后丢弃0并将这些点连续地关联到时间序列；算法所有参数的函数关系公式如下：

48、

49、其中，公式中xi为刚才处理好的一系列时间序列数据x′的单个数据，如x1为x′中的第一个数据，即i∈n。

50、第三步，通过得到的θi，ri构建类格拉姆矩阵g，具体步骤如下：

51、将整个编码作为双射函数的组合，将时间序列无损的映射到极坐标下，同时通过r坐标保持长时间依赖性；由于在二维极坐标空间中的点积存在局限性，gaf方法自定义了一个类似点积的运算；这种运算只依赖于角度，以解释两个角度上的单个和联合信息；计算公式如下：

52、

53、其中θ1和θ2是x1和x2编码后的角度；于是可以构建如下的类格拉姆矩阵g，计算公式如下：

54、

55、通过g成功将时间序列数据编码为图像，以便于后续使用预训练模型提取图像的抽象特征。

56、第四步，将不同模态根据对其他模态的相关性进行分类处理；由于单模态构建的类格拉姆矩阵g为一维的n阶方阵，因此，将其视为存储灰度图像的单通道矩阵，在工业轴承故障分类任务上，规定：

57、(1)规定对温度这种和其他模态无强烈关联的单模态数据映射为单通道灰度图像，将其通道复制两份，得到三份相同数据的三通道矩阵输入到resnet 152和wide_resnet50-2模型中，以匹配模型的输入数据类型。

58、(2)规定对三轴模态数据，如三轴速度，将这类具有三种模态并且三种模态有着强烈的相关关系的数据映射为rgb图像；具体来说，将x轴速度构建的类格拉姆矩阵视为r通道数据，将y轴速度构建的类格拉姆矩阵视为g通道数据，将z轴速度构建的类格拉姆矩阵视为b通道数据，将具有三个单独通道的矩阵进行合并得到rgb图像的储存形式；这样，能够将这种三通道矩阵输入到resnet152和wide_resnet50-2模型中，以匹配模型的输入数据类型。

59、进一步地，s3中使用resnet152模型提取特征的步骤为：

60、因特征提取算法基于pytorch深度学习框架，因此，当输入图片尺寸不是224×224时，图片会被自适应调整尺寸为224×224。

61、第一步：数据通过第一层卷积层conv1，该卷积层使用了一个7×7的卷积核，意味着每个卷积操作会处理7×7像素块的区域；该卷积层会生成64个输出通道，即64个特征图，最后输出尺寸为112×112。

62、第二步：数据通过3×3、步幅为2的最大池化层，用于减小特征图的空间尺寸，并保留每个区域的显著特征；接着，数据通过第二层卷积层conv2，该层构建了瓶颈残差模块，其中每个模块由以下3个卷积层组成。

63、一个1×1的卷积层，输出通道数为64，用于降维。

64、一个3×3的卷积层，输出通道数为64，用于特征提取。

65、一个1×1的卷积层，输出通道数为256，用于升维。

66、该模块重复3次；最后输出尺寸为56×56。

67、第三步：数据通过第三层卷积层conv3，该层构建了瓶颈残差模块，其中每个模块由以下3个卷积层组成：

68、一个1×1的卷积层，输出通道数为128，用于降维。

69、一个3×3的卷积层，输出通道数为128，用于特征提取。

70、一个1×1的卷积层，输出通道数为512，用于升维。

71、该模块重复8次；最后输出尺寸为28×28。

72、第四步：数据通过第四层卷积层conv4，该层构建了瓶颈残差模块，其中每个模块由以下3个卷积层组成：

73、一个1×1的卷积层，输出通道数为256，用于降维。

74、一个3×3的卷积层，输出通道数为256，用于特征提取。

75、一个1×1的卷积层，输出通道数为1024，用于升维。

76、该模块重复36次；最后输出尺寸为14×14。

77、第五步：数据通过第四层卷积层conv5，该层构建了瓶颈残差模块，其中每个模块由以下3个卷积层组成：

78、一个1×1的卷积层，输出通道数为512，用于降维。

79、一个3×3的卷积层，输出通道数为512，用于特征提取。

80、一个1×1的卷积层，输出通道数为2048，用于升维。

81、该模块重复3次；最后输出尺寸为7×7。

82、第六步：数据通过平均池化层，得到1024维抽象特征；模型共计152层；

83、wide_resnet50-2模型和resnet152模型的区别在于wide_resnet50-2瓶颈残差块3×3的卷积层的输出通道数是原resnet50的两倍，模型共计50层；因此，使用wide_resnet50-2模型提取特征的步骤和resnet152模型提取特征的步骤相同，输出特征的维度相同。

84、不同的是模型的网络结构、模型的层数、通道数和权重不同，得到的特征的数值不同，其具体网络结构图4所示。

85、进一步地，s4中，所述使用星型拓扑结构分析法构建图结构，将特征表示为图的形式，用来表示各模态之间互相影响；其为在输入gcn之前必须要进行的步骤；具体包括：

86、4.1.构建单模态星形子图，将一个中心顶点连接两个叶子顶点，两个叶子顶点之间没有边相连；按照规定，温度模态数据共有1个，三轴模态数据共有3个，因此需要构建4个单模态星形子图。

87、4.2.将两个预训练模型提取到的一个模态的两个1024维特征分配给两个叶子顶点，将具有和叶子顶点相同维度的0向量作为中心顶点的顶点特征，分配给中心顶点。4个子图依次按照该步骤分配特征。

88、4.3.将四个单模态星形子图的中心顶点作全连接操作，即除去叶子顶点外，中心顶点所构成的子图是一个无向完全图。

89、进一步地，s5中，建立两层gcn模型包括步骤：

90、a、设置两层gcn模型：

91、基于gcn特征融合算法，模型设置两层gcn层。

92、b、第一层gcn层特征吸收：

93、第一层gcn层各个中心顶点只吸收其叶子顶点的特征。

94、c、第二层gcn层特征吸收：

95、第二层gcn层各个中心顶点不仅吸收其叶子顶点的特征，还吸收了其他融合了各自叶子顶点的中心顶点的特征。

96、d、计算分层传播规则，计算每层gcn的特征更新。

97、计算公式如下：

98、

99、其中，是添加自连接的无向图g的邻接矩阵。in是单位矩阵。w(l)是lth层的可训练权重矩阵，relu(·)＝max(0，·)。是lth层激活后的特征矩阵。h(0)＝x，为初始传入的节点特征。

100、e、考虑节点邻居信息：每一次迭代都考虑节点的邻居信息，使得模型能够逐步理解图中的局部和全局结构。

101、f、中心顶点吸收所有节点信息：中心顶点在第二次迭代就可以吸收到所有节点的信息。

102、g、特征融合：完成特征融合后，考虑图中所有属性。

103、h、图级分类采用平均池化：取gcn最后一层节点特征的平均值，作为分类层的输入，计算公式如下：

104、

105、i、使用交叉熵损失函数计算模型的损失：

106、将xg通过分类层得到的logits张量x和对应的标签y，损失函数使用交叉熵损失，计算公式如下：

107、

108、j、打包训练样本：

109、在一轮传播时，打包n个训练样本。模型前向传播一轮，得到n个c维的logits张量x＝{x1(c)，x2(c)，x3(c)，…，xn(c)}，c为分类数；

110、k、分类权重与标签：

111、c个类的权重为ω＝{ω1，ω2，ω3，…，ωc}，n个样本的标签为y＝{y1，y2，y3，…，yn}，其中表示第i个样本中维度为j的值，yi代表第i个样本所对应的标签。代表yi类对应的权重。

112、i、使用adam(adaptive moment estimation)优化器通过结合动量优化进行自适应学习率调整，再利用梯度的第一阶矩和第二阶矩来计算各种参数的离散通用学习率。

113、与现有技术相比本发明有益效果。

114、1.本发明利用格拉姆角场对工业传感器时间序列数据进行编码，这种数据驱动方法可以将时间序列信息无损的转化为图像，保留了序列的长时间依赖关系。

115、2.本发明提取特征不需要传统的信号处理技术或图像处理手段，避免了人工特征提取的主观性。

116、3.本发明通过使用迁移学习(transfer learning,tl)方法，将计算机视觉集成到工业加工状态监测和机器故障诊断中。使用预训练模型提取特征的方法对图像具有更好的表述，这样做也可以解决数据较少的工业加工任务中的样本稀疏性和泛化能力问题。

117、4.本发明使用gcn通过对特征的非线性整合和自适应权重学习，可以更好地捕捉不同模态之间隐藏的复杂关系。而且所提方法计算开销非常小，精度非常高，解决了混合模型复杂度高，计算开销大的根本性问题。