结合机器视觉与深度学习的纸袋机故障检测方法及系统与流程

本发明涉及图像检测技术，尤其涉及一种结合机器视觉与深度学习的纸袋机故障检测方法及系统。

背景技术：

1、纸袋机是一种广泛应用于包装行业的自动化设备，其主要功能是将纸张或复合材料制成各种规格和形状的纸袋。

2、纸袋机的工作原理可以概括为"输送-成型-压合-输出"四个阶段。首先，纸张或复合材料通过输送部件被送入机器。输送部件通常包括传送带、导向辊和张力控制装置等，其目的是确保材料以恒定的速度和张力进入下一个工序。在成型阶段，材料经过一系列的折叠、剪切和成型操作，逐步成型为纸袋的基本形状。这一过程通常由机械凸轮、气动或液压驱动的折叠器、刀具等完成。接下来，在压合阶段，袋子的边缘和底部被压合、粘合或热封，使其成为一个完整的纸袋。最后，成品纸袋通过输出部件被送出机器，完成整个制袋过程。

3、尽管现代纸袋机的设计和制造工艺不断改进，但由于其复杂的机械结构和高速运转的特点，在实际生产中仍然存在一些常见的故障类型。例如，输送部件中的传送带磨损或打滑、张力控制不稳定等问题，可能导致纸张进给不均匀或堆积。在成型部分，折叠器和刀具的定位精度下降、刀具磨损等因素，可能引起纸袋尺寸不一致或外观缺陷。压合部件中的胶轮磨损、加热装置故障等，则可能影响纸袋的封合强度和密封性能。此外，纸袋机的电气控制系统，如传感器失灵、伺服电机故障等，也是导致设备停机或产品质量下降的常见原因。

技术实现思路

1、本发明实施例提供一种结合机器视觉与深度学习的纸袋机故障检测方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，

3、提供一种结合机器视觉与深度学习的纸袋机故障检测方法，包括：

4、收集多个传感器采集的多视角的设备运行数据，并对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，所述多个传感器设置于纸张输送部分、成型部分、压合部分中的任一处或多处，所述传感器包括振动传感器、温度传感器、压力传感器、图像传感器长的任一种或多种；

5、构建目标神经网络，所述目标神经网络包括多视角卷积神经网络和长短期记忆网络，针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，基于交叉注意力机制对多个视角的特征图进行融合，得到预设时间步长的融合后的特征图；

6、利用所述长短期记忆网络基于不同时间步的特征之间的长短期依赖关系对所述融合后的特征图进行处理，得到故障检测结果，所述故障检测结果用于指示不同的纸袋机故障类别，所述预设步长与故障的持续时间和采样频率相关联。

7、在一种可选的实施例中，

8、对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，包括：

9、基于基准时钟对多视角的设备运行数据按照时间戳与所述基准时钟进行时间对齐处理，并对不同采样频率的设备运行数据进行插值处理或下采样处理，以对齐多视角的设备运行数据采样频率；

10、利用中值滤波或高斯滤波方法对图像传感器采集的设备运行数据进行平滑处理以去除其中的椒盐噪声，并利用中值滤波或卡尔曼滤波对方法对图像传感器以外的其他传感器采集的设备运行数据进行滤波处理以去除高频噪声，得到预处理后的设备运行数据。

11、在一种可选的实施例中，

12、针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，包括：

13、针对每个视角利用所述多视角卷积神经网络的卷积层和池化层对该视角下预处理后的设备运行数据进行局部特征提取，得到该视角对应的特征图；

14、基于交叉注意力机制对多个视角的特征图进行融合，得到预设时间步长的融合后的特征图，包括：

15、将多个视角的特征图转换为多个特征图组，每个特征图组中包括两个不同视角的特征图，针对每个特征图组计算该特征图组对应的注意力权重；

16、基于每个特征图组对应的注意力权重计算多视角拼接后的加权特征，利用多视角卷积神经网络的卷积层对多视角拼接后的加权特征进行特征融合，并经过归一化处理和激活处理后得到融合后的特征图。

17、在一种可选的实施例中，

18、针对每个特征图组计算该特征图组对应的注意力权重，包括：

19、针对每个特征图组，将该特征图组中的特征图输入多视角卷积神经网络的全连接层得到该特征图组对应的中间特征表示，基于所有特征图组对应的中间特征表示分别进行归一化处理得到每个特征图组对应的注意力权重；

20、基于每个特征图组对应的注意力权重计算多视角拼接后的加权特征，包括：

21、针对每个视角，将该视角的特征图分别与特征图所在的多个特征图组对应的注意力权重相乘得到多个加权特征分量，对该视角下的多个加权特征分量进行求和得到该视角下的加权特征，并将所有视角的加权特征进行拼接后得到多视角拼接后的加权特征；

22、利用多视角卷积神经网络的卷积层对多视角拼接后的加权特征进行特征融合，包括：

23、将多视角拼接后的加权特征与多视角的特征图进行残差连接处理，得到残差连接后的特征图，利用多视角卷积神经网络的卷积层对残差连接后的特征图进行卷积处理，对卷积处理后的特征结合多视角的特征图进行预定次数的残差连接处理，以得到融合后的特征图。

24、在一种可选的实施例中，

25、长短期记忆网络包括存储器和控制器，存储器用于利用存储槽存储上下文信息，控制器用于在每个时间步根据当前的隐藏状态向量从存储器中读取关联的上下文信息，利用所述长短期记忆网络基于不同时间步的特征之间的长短期依赖关系对所述融合后的特征图进行处理，得到故障检测结果，包括：

26、针对预设时间步长的融合后的特征图在每个时间步中基于融合后的特征图确定当前时间步的隐藏状态向量，利用全连接层对当前时间步的隐藏状态向量进行处理得到查询向量，并利用全连接层对存储器的值进行处理得到每个存储槽的键向量和值向量；

27、利用余弦相似度方法或点积方法计算所述查询向量与每个存储槽的键向量之间的相似度得到每个存储槽的注意力权重，对每个存储槽的注意力权重进行归一化处理后，将各存储槽的值向量与该存储槽对应的归一化处理后的注意力权重进行加权求和，得到上下文向量；

28、将所述上下文向量与当前时间步的隐藏状态向量基于门控机制进行融合进行融合得到当前时间步更新后的隐藏状态向量，利用全连接层对更新后的隐藏状态向量进行处理得到写入查询向量，并利用全连接层对存储器的值进行处理得到每个存储槽的写入键向量；

29、计算所述写入查询向量与所述写入键向量之间的相似度得到每个存储槽的写入权重，利用全连接层对更新后的隐藏状态向量进行处理得到写入值向量，针对每个存储槽对所述存储器的值进行归一化处理后与所述写入权重相乘，将相乘后的向量与所述写入值向量相加得到更新后的存储器的值，将所述更新后的存储器的值写入存储器；

30、在最后一个时间步将最后一个时间步对应的更新后的隐藏状态向量发送给输出层，以将最后一个时间步对应的更新后的隐藏状态向量映射为各故障类别的概率分布，基于预设激活函数对各故障类别的概率分布进行归一化处理得到故障检测结果。

31、在一种可选的实施例中，

32、构建目标神经网络，包括：

33、定义初始神经网络的状态空间和行动空间，所述状态空间包括状态向量，状态向量表示初始神经网络的参数配置，所述行动空间包括行动值，不同的行动值表示不同的调整初始神经网络的参数的方式；

34、基于状态空间和行动空间进行组合得到多个状态-行动组，基于多个状态-行动组设置奖励值表，所述奖励值表中包括多个状态-行动组以及各状态-行动组对应的奖励值，所述奖励值表示在给定状态下采取相应行动的长期期望奖励；

35、获取训练集和验证集，基于训练集中训练样本的当前状态，根据第一预设概率随机选择一个第一目标行动或者从奖励值表中选择对应奖励值最大的第一目标行动，基于所述第一目标行动对所述初始神经网络的参数进行调整；

36、基于第一目标行动在验证集上利用预设奖励函数计算调整后的奖励值，并确定调整后的状态向量，基于调整后的状态向量和调整后的奖励值更新奖励值表，其公式如下：

37、；

38、其中，q'(s，a)表示更新后的奖励值表，q(s，a)表示更新前的奖励值表，α为预设学习率，r表示调整后的奖励值，γ表示折扣因子，s'调整后的状态向量，a'表示第一目标行动，maxa'q(s'，a')表示在s'下所有可能行动中对应的最大奖励值；

39、迭代执行基于训练集中训练样本的当前状态，根据第一预设概率随机选择一个第一目标行动或者从奖励值表中选择对应奖励值最大的第一目标行动以及之后的步骤，直到达到预设迭代次数，并基于当前轮迭代训练得到的更新后的奖励值表选择对应奖励值最大的第二目标行动以对神经网络模型的参数进行调整，执行多轮迭代训练以得到目标神经网络。

40、在一种可选的实施例中，

41、所述预设奖励函数包括第一预设奖励函数、第二预设奖励函数和第三预设奖励函数中的任一种，

42、所述第一预设奖励函数的公式如下：

43、；

44、其中，r表示调整后的奖励值，f1new表示采取第一目标行动后神经网络模型在验证集上的f1值，f1old表示采取第一目标行动前神经网络模型在验证集上的f1值，f1值为精确率和召回率的调和平均数；

45、所述第二预设奖励函数的公式如下：

46、；

47、其中，i为神经网络模型的参数表示，wi为参数i对应的预设权重，pi_new表示采取第一目标行动后神经网络模型的参数i在验证集上的指标值，pi_old表示采取第一目标行动前神经网络模型的参数i在验证集上的指标值，||θ||1表示和分别表示两个正则化项，λ1和λ2分别表示两个正则化项对应的权重系数；

48、所述第三预设奖励函数的公式如下：

49、；

50、其中，t表示当前的训练迭代次数，t1和t2分别表示不同阶段的迭代次数阈值，表示预设的放大系数，表示预设的放缓系数。

51、本发明实施例的第二方面，

52、提供一种结合机器视觉与深度学习的纸袋机故障检测方法，包括：

53、第一单元，用于收集多个传感器采集的多视角的设备运行数据，并对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，所述多个传感器设置于纸张输送部分、成型部分、压合部分中的任一处或多处，所述传感器包括振动传感器、温度传感器、压力传感器、图像传感器长的任一种或多种；

54、第二单元，用于构建目标神经网络，所述目标神经网络包括多视角卷积神经网络和长短期记忆网络，针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，基于交叉注意力机制对多个视角的特征图进行融合，得到预设时间步长的融合后的特征图；

55、第三单元，用于利用所述长短期记忆网络基于不同时间步的特征之间的长短期依赖关系对所述融合后的特征图进行处理，得到故障检测结果，所述故障检测结果用于指示不同的纸袋机故障类别，所述预设步长与故障的持续时间和采样频率相关联。

56、本发明实施例的第三方面，

57、提供一种电子设备，包括：

58、处理器；

59、用于存储处理器可执行指令的存储器；

60、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

61、本发明实施例的第四方面，

62、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

63、在本实施例中，通过从纸袋机的不同部件采集多种类型的传感器数据，能够全面了解设备的运行状态，提高故障检测的准确性和可靠性。利用多视角卷积神经网络分别对每个视角的数据进行特征提取，然后基于交叉注意力机制对多视角特征进行融合，可以充分挖掘多源异构数据之间的相关性，获取更加丰富的特征表示。通过长短期记忆网络能够有效捕捉时序数据中的长期依赖关系，通过对融合后的特征序列进行处理，可以更好地发现故障模式并预测故障发展趋势。最终可以输出不同的纸袋机故障类别，为维修保养提供指导，减少停机时间，提高生产效率。通过集成多源异构数据融合、深度特征提取和时序建模等技术，实现了纸袋机故障的精准检测和分类，为设备的智能运维提供有力支撑。