一种纸箱湿度监测方法及系统与流程

本技术涉及纸箱管理的，尤其是涉及一种纸箱湿度监测方法及系统。

背景技术：

1、随着物流行业的快速发展，对于包装材料的保护要求也日益提高。在纸箱生成完成后，通常放置在仓库中进行存放。在存放过程中纸箱容易受潮，导致强度下降，不利于对货物进行打包。

2、因此，如何对纸箱湿度进行自动监控并采取动作是本领域技术人员需要攻克的技术难题。

技术实现思路

1、为了至少部分解决上述技术问题，本技术提供了一种纸箱湿度监测方法及系统。

2、第一方面，本技术提供的一种纸箱湿度监测方法采用如下的技术方案。

3、基于rgb相机获取纸箱表面的颜色信息；

4、基于红外热成像设备获取纸箱表面的温度分布信息；

5、基于3d扫描仪获取纸箱表面的结构变化信息；

6、将所述颜色信息、温度分布信息及结构变化信息输入至多模态融合网络进行特征级融合得到纸箱湿度特征表示；

7、根据温度变化算法及所述纸箱湿度特征表示进行决策融合得到纸箱湿度估计值；

8、判断所述纸箱湿度估计值是否预设值；若是，则生成对应的控制动作。

9、可选的，基于rgb相机获取纸箱表面的颜色信息，包括：

10、控制可调光源工作进行照明；

11、通过环境光照传感器反馈光源亮度信息；

12、基于所述光源亮度信息通过pid算法控制所述可调光源的亮度进行调整至重新得到的反馈光源亮度信息达到预设范围；

13、通过rgb相机获取纸箱表面图像；

14、对采集的纸箱表面图像进行图像质量增强处理；所述图像质量增强处理包括对比度增强及锐化；

15、通过图像分割技术将纸箱表面图像从背景中分离出来；对从背景中分离出来的纸箱表面图像进行颜色信息提取得到纸箱表面的颜色信息。

16、可选的，基于所述光源亮度信息通过pid算法控制所述可调光源的亮度进行调整至重新得到的反馈光源亮度信息达到预设范围,包括：

17、基于所述光源亮度信息得到当前环境亮度；

18、将当前环境亮度与目标亮度进行相减，得到亮度误差；

19、计算pid算法中的比例项、积分项及微分项得到输出值；

20、根据所述输出值控制所述可调光源的亮度进行调整。

21、可选的，将所述颜色信息、温度分布信息及结构变化信息输入至多模态融合网络进行特征级融合得到纸箱湿度特征表示，包括：

22、对所述颜色信息、温度分布信息及结构变化信息进行预处理，所述预处理包括归一化、去噪及特征点提取；

23、将预处理后的信息输入至多模态融合网络的各个分支；

24、在网络内部进行跨模态特征的交互学习，以生成更丰富的特征表示；

25、在网络的输出层进行特征级融合，生成纸箱湿度特征表示；

26、其中，在网络内部进行跨模态特征的交互学习，以生成更丰富的特征表示，包括：

27、从多个数据源获取不同模态的数据样本；

28、使用针对每种模态设计的特征提取器提取出初步特征向量；

29、将初步特征向量输入至跨模态融合模块，所述跨模态融合模块内通过预设的映射关系实现模态间的特征转换与增强；

30、在特征交互阶段，利用注意力机制动态地选择不同模态之间的相关性最强的特征进行融合，从而生成更丰富的特征表示；

31、通过反向传播算法优化模型参数；

32、在训练完成后，使用生成的特征表示对新输入的数据进行预测或决策。

33、可选的，根据温度变化算法及所述纸箱湿度特征表示进行决策融合得到纸箱湿度估计值,b包括:

34、对所述纸箱湿度特征表示进行分析，得到初步湿度估计值；

35、结合温度分布信息，使用温度变化算法修正初步湿度估计值；

36、将修正后的湿度估计值与历史数据进行比对，进行趋势分析；

37、根据趋势分析结果进行决策融合，得到最终的纸箱湿度估计值；

38、其中，所述趋势分析包括：

39、建立湿度估计值的时间序列；

40、计算时间序列的移动平均值；

41、确定移动平均值的变化趋势；

42、根据变化趋势调整湿度估计值。

43、可选的，判断所述纸箱湿度估计值是否预设值；若是，则生成对应的控制动作，包括：

44、设定多级湿度阈值，用于区分不同湿度水平的风险等级；

45、当纸箱湿度估计值超过一级阈值时，记录并标记该纸箱；

46、当纸箱湿度估计值超过二级阈值时，发送警告通知给操作员并启动干燥设备；

47、当纸箱湿度估计值超过三级阈值时，立即启动干燥设备，并发出报警信息。

48、可选的，在网络内部进行跨模态特征的交互学习，以生成更丰富的特征表示,包括：

49、从多个数据源获取不同模态的数据样本；

50、使用针对每种模态设计的特征提取器提取出初步特征向量；

51、将初步特征向量输入至跨模态融合模块，所述跨模态融合模块内通过预设的映射关系实现模态间的特征转换与增强；

52、在特征交互阶段，利用注意力机制动态地选择不同模态之间的相关性最强的特征进行融合，从而生成更丰富的特征表示。

53、可选的，跨模态融合模块具体包括：

54、将不同模态的初步特征向量输入至各自的子网络进行初步特征转换；所述子网络包括全连接层及卷积层；

55、通过映射关系将不同模态的初步特征向量转换为统一的空间表示；

56、将转换后的特征向量输入至跨模态融合模块的门控循环单元，进行特征的交互学习；

57、在门控循环单元内部，通过多层神经网络实现模态间的特征转换与增强；

58、在每一层之后添加残差连接，以减轻梯度消失问题；并在最后一层之后进行特征融合，生成综合特征表示。

59、可选的，注意力机制，包括：

60、计算不同模态特征之间的相似度矩阵；

61、对相似度矩阵应用softmax函数，得到注意力权重矩阵；

62、根据注意力权重矩阵对不同模态的特征进行加权求和，得到综合特征表示；

63、将综合特征表示传递给下一层进行进一步的特征增强。

64、第二方面，本技术提供的一种纸箱湿度监测方法采用如下的技术方案。

65、一种纸箱湿度监测系统，其特征在于，包括：

66、第一处理模块，用于：基于rgb相机获取纸箱表面的颜色信息；

67、第二处理模块，用于：基于红外热成像设备获取纸箱表面的温度分布信息；

68、第三处理模块，用于：基于3d扫描仪获取纸箱表面的结构变化信息；

69、第四处理模块，用于：将所述颜色信息、温度分布信息及结构变化信息输入至多模态融合网络进行特征级融合得到纸箱湿度特征表示；

70、第五处理模块，用于：根据温度变化算法及所述纸箱湿度特征表示进行决策融合得到纸箱湿度估计值；

71、第六处理模块，用于：根据温度变化算法及所述纸箱湿度特征表示进行决策融合得到纸箱湿度估计值。