一种基于360°动态图像检测系统的故障预测方法与流程

本发明涉及图像处理，尤其涉及一种基于360°动态图像检测系统的故障预测方法。

背景技术：

1、360°动态图像检测能够持续、全面地收集大量的车辆异常数据，这些数据详细记录了异常项点的具体位置、所属部件、归属车厢号以及列车号，为车辆故障分析和预测提供了丰富的基础数据。然而，尽管拥有如此庞大的数据资源，现有技术主要局限于故障检测，无法进行有效的故障预测。

2、比如专利公开号cn118464481a、名称为“一种用于城轨第三轨受流车辆的360°智能检测系统”的专利中，包括车辆进出库检测设备、测速仪、车顶线阵扫描模块、车底线阵检测模块、车侧线阵检测模块和受流器检测模块，所述车辆进出口检测设备用于拍摄检测区域进出口区域的图像，实现车辆位置判断和车牌信息识别，所述测速仪用于获取车辆的实行速度，所述车顶线阵扫描模块、车底线阵检测模块和车侧线阵检测模块用于实现车顶、车底和车侧的检测，所述受流器检测模块用于实现第三轨受流器压力检测和受流靴磨耗检测，将车辆运行里程作为横坐标、磨耗量作为纵坐标绘制关系曲线，根据关系曲线来预测后期磨耗量。缺点在于：只能预测后期磨耗量，无法准确预测潜在故障。

技术实现思路

1、针对现有技术中360°动态图像检测只能检测故障而无法进行故障预测的问题，本发明提供一种基于360°动态图像检测系统的故障预测方法，通过准确预测潜在故障，能够显著降低列车运行过程中的安全风险，同时减少因故障导致的运营中断和维修成本，从而提升列车的整体运营效率。

2、为实现上述技术目的，本发明提供的一种技术方案是，一种基于360°动态图像检测系统的故障预测方法，包括以下步骤：

3、s1，获取列车的图像数据，根据图像处理算法，识别图像中的异常项点；

4、s2，构建关联经验模型，根据经验规则，为不同类型的异常项点分配相应的权重；

5、s3，构建历史模型，基于列车的历史数据，识别并分析故障模式和趋势，预测零部件的寿命和更换周期；

6、s4，构建传递模型，用于模拟故障信号的传播过程，通过模型分析，量化评估故障信号在传播过程中对数据的影响程度；

7、s5，根据多模型融合方法，为关联经验模型、历史模型和传递模型生成的关联性值进行量化处理，为不同的关联性值分配权重并进行加权求和，基于多模态数据建立部件故障关联性分析。

8、在本技术方案中，首先通过获取列车的全方位图像数据，并运用图像处理算法，精确识别图像中的异常项点，异常项点往往是故障发生的前兆。接着，方法构建了关联经验模型，根据经验规则，为不同类型的异常项点分配相应的权重，从而实现对故障可能性的量化评估，使得故障预测更加具有针对性和准确性。为了更深入地挖掘故障信息，构建了历史模型，基于列车的海量历史数据，识别并分析故障模式和趋势，进而预测零部件的寿命和更换周期，使得故障预测不仅局限于当前状态，还能够对未来的故障发展进行预测。此外，还构建了传递模型，用于模拟故障信号的传播过程，通过模型分析，量化评估故障信号在传播过程中对数据的影响程度，从而更加准确地判断故障的影响范围和严重程度。采用多模型融合技术，将关联经验模型、历史模型和传递模型生成的关联性值进行量化处理，并为不同的关联性值分配权重并进行加权求和，使得故障预测结果更加全面和准确，为部件故障关联性分析提供了有力的支持。

9、本发明还进一步设置为：在s5步骤中，所述基于多模态数据建立部件故障关联性分析包括：

10、对融合后的多模态数据进行特征提取并进行特征选择；

11、构建机器学习模型，分析部件之间的故障关联性；

12、利用网络分析方法分析故障在部件之间的传播路径和可能性；

13、利用历史故障数据对机器学习模型进行验证。

14、在本技术方案中，通过对融合后的多模态数据进行特征提取和特征选择，有效地挖掘出了与部件故障紧密相关的关键信息。接着，构建机器学习模型，并运用该模型深入分析部件之间的故障关联性，揭示了故障在不同部件之间传播的规律和模式。此外，利用网络分析方法进一步探究了故障在部件之间的传播路径和可能性，为预测和防范故障扩散提供了有力支持。最后，利用历史故障数据对机器学习模型进行了严格的验证，确保了模型的准确性和可靠性。

15、本发明还进一步设置为：所述构建机器学习模型包括：

16、同步收集图像数据、振动信号数据和温度数据；

17、对数据进行处理并进行特征级联，生成具有统一尺寸的多模态数据格式；

18、根据故障信息，为数据制作对应的标签，将处理后的多模态数据和对应的标签组合，生成多模态故障诊断特征提取数据集；

19、根据多模态数据集构建故障诊断神经网络进行模型训练，生成故障预测特征提取模型。

20、在本技术方案中，同步通过收集图像数据、振动信号数据和温度数据，确保了故障预测所需信息的全面性和多样性。同步收集包括对数据进行时间同步和空间同步，确保了不同来源数据之间的一致性和关联性，提高了数据处理的准确性和可靠性。通过处理并级联数据，生成具有同一尺寸的多模态数据格式，简化了数据处理的复杂性，使得数据更易于被模型接受和处理。时间同步通过控制采集指令的触发来实现，确保各传感器几乎同时采集数据，空间同步则通过多传感器联合标定来实现，确保在特定区域内采集的对象在空间位置上一致。在构建神经网络时，输入层接受尺寸大小为640*640*5的32位浮点型数据，特征提取层采用经images公开数据集预训练的resnet152网络，以提取丰富的特征表示，输出层连接一个形状为1*2048的全连接层，用于生成最终的故障预测特征。

21、本发明还进一步设置为：所述网络分析方法包括：

22、将列车中的部件表示为网络中的节点，将部件之间的故障传播关系表示为边，构建故障传播网络；

23、利用最短路径算法，分析故障在网络中的传播路径和关键节点；

24、基于构建的故障传播网络，利用仿真技术模拟故障的传播过程，预测故障可能影响的部件和范围。

25、在本技术方案中，构建故障传播网络，不仅使得列车的故障传播模式变得清晰可见，还为后续的故障分析和预测提供了坚实的基础。在故障传播路径和关键节点的分析上，利用了最短路径算法，能够迅速且准确地分析出故障在网络中的传播路径，以及那些对故障传播具有关键影响的节点，对于理解故障的扩散机制以及制定有效的预防措施具有重要意义。此外，还基于构建的故障传播网络，利用仿真技术模拟了故障的传播过程，不仅能够直观地展示故障如何在网络中蔓延，还能够预测故障可能影响的部件和范围，对于及时制定维修计划、减少故障对列车运行的影响具有显著的价值。

26、本发明还进一步设置为：在s1步骤中，所述图像处理算法包括：

27、对连续获取的列车360°图像进行色彩校正，以消除温度、湿度等物理环境变化以及光源强度衰减对采集图像的色温、色调造成的影响；

28、对色彩校正后的图像进行直方图均衡化以及滤波处理，消除图像中的随机噪声；

29、利用异常检测深度学习网络模型对预处理后的图像进行异常项点检测，并输出异常项点的类别信息以及在图像中的坐标值和异常区域的最小外接矩形的长和宽。

30、本技术方案中，通过对连续获取的列车360°图像进行色彩校正，有效地消除了由于温度、湿度等物理环境变化以及光源强度衰减对图像色温、色调造成的影响，确保了图像色彩的准确性和一致性，为后续处理提供了高质量的图像数据。色彩校正后的图像进一步通过直方图均衡化处理，使得图像的对比度更加均衡，亮区和暗区的细节更加清晰，有利于后续处理中对异常项的准确识别。滤波处理有效地消除了图像中的随机噪声，提高了图像的纯净度，为后续的边缘检测、特征提取等步骤打下了坚实的基础。利用训练好的异常检测深度学习网络模型，对预处理后的图像进行深度分析，能够准确地检测出图像中的异常项点，包括异常项点的类别、精确位置（坐标值）以及异常区域的大小（最小外接矩形的长和宽），为后续的故障分析和预测提供了详尽的数据支持。

31、本发明还进一步设置为：在s3步骤中，所述识别并分析故障模式和趋势，预测零部件的寿命和更换周期包括：

32、利用知识图谱进行路径关联分析，挖掘零部件工艺参数与故障类型之间的潜在关联规律；

33、基于挖掘出的关联规律，构建部件故障二元图模型；

34、采集实时多模态数据，形成多类型运行状态参数数据集，并对数据集进行分析；

35、通过知识图谱的路径关联概率搜索技术和节点间的贝叶斯概率学习方法，实现对潜在故障类型、故障部件以及故障时机的提前预测；

36、构建基于部件、故障类型及系统模态的节点关联图，进行潜在故障类型的故障位置和故障信号的匹配。

37、本技术方案中，首先，利用知识图谱进行路径关联分析，成功挖掘出了零部件工艺参数与故障类型之间的潜在关联规律。其次，基于挖掘出的关联规律，构建了部件故障二元图模型，能够直观地展示故障的传播路径和可能的影响范围，有助于维修人员更准确地定位和排除故障。在数据采集和分析方面，通过采集实时多模态数据，形成了多类型运行状态参数数据集，并运用xgboost算法对数据集进行深入分析，对于图像数据，可以使用卷积神经网络，来提取特征，然后将这些特征作为xgboost的输入，对于振动信号和温度数据，可以进行傅里叶变换，以生成可用于xgboost的一维特征。不仅提高了数据分析的准确性和效率，还为后续的故障预测提供了有力的数据支持。此外，该方法还通过知识图谱的路径关联概率搜索技术和节点间的贝叶斯概率学习方法，实现了对潜在故障类型、故障部件以及故障时机的提前预测。对于及时制定维修计划、减少故障对列车运行的影响具有重要意义。最后，该方法构建了基于部件、故障类型及系统模态的节点关联图，实现了潜在故障类型的故障位置和故障信号的精确匹配。这一匹配过程的实施，不仅提高了故障诊断的准确性，还为维修人员提供了更具体的维修指导。

38、本发明还进一步设置为：所述经验规则基于rgb图像中的零部件外观变化、3d点云中的几何形状变化以及振动信号中的频率、幅值和相位变化。

39、本技术方案中，经验规则融合了多种数据源的信息，包括rgb图像中的零部件外观变化、3d点云中的几何形状变化以及振动信号中的频率、幅值和相位变化。这一综合性的经验规则设计，使得故障预测方法能够更全面地捕捉列车零部件的潜在故障迹象，从而提高预测的准确性和可靠性。通过综合考虑零部件的外观、几何形状以及振动特性，能够更准确地识别出零部件的异常状态，为及时采取维修措施、保障列车安全运行提供有力支持。

40、本发明还进一步设置为：在所述历史模型中，通过监测rgb图像中零部件的外观磨损、3d点云中的尺寸变化以及振动信号中的能量衰减，以预测零部件的寿命和更换周期。

41、本技术方案中，通过监测rgb图像中零部件的外观磨损情况，能够直观地捕捉到零部件表面因长时间使用而产生的磨损迹象。同时，结合3d点云中的尺寸变化分析，能够精确地测量出零部件的尺寸变化，进而判断其是否存在变形或损坏的风险。此外，通过监测振动信号中的能量衰减，还能有效地评估零部件的工作状态和性能衰退情况。

42、本发明还进一步设置为：在s4步骤中，所述量化评估的指标包括rgb图像中的异常区域扩展速度、3d点云中的形变加速率以及振动信号中的能量传递效率，以模拟故障信号的传播过程。

43、本技术方案中，通过引入rgb图像中的异常区域扩展速度这一指标，能够准确地描述故障在零部件表面的扩散情况，为预测故障的进一步发展提供了重要依据。还考虑了3d点云中的形变加速率，能够反映零部件几何形状变化的速率，从而揭示故障对零部件结构的潜在影响。结合振动信号中的能量传递效率这一量化指标，能够更全面地模拟故障信号在列车系统中的传播过程。

44、本发明还进一步设置为：s5后，还包括s6：根据加权融合后的预测结果，生成预警信号和故障信息，并推送给管理人员。

45、本技术方案中，通过生成预警信号，能够在潜在故障发生前提前通知管理人员，使他们有足够的时间做出反应，采取相应的预防措施。同时，详细的故障信息也为管理人员提供了判断故障类型和制定维修计划的重要依据。

46、本发明的有益效果：（1）通过准确预测潜在故障，能够显著降低列车运行过程中的安全风险，同时减少因故障导致的运营中断和维修成本，从而提升列车的整体运营效率；（2）首先通过获取列车的全方位图像数据，并运用图像处理算法，精确识别图像中的异常项点，异常项点往往是故障发生的前兆，接着，方法构建了关联经验模型，根据经验规则，为不同类型的异常项点分配相应的权重，从而实现对故障可能性的量化评估，使得故障预测更加具有针对性和准确性，为了更深入地挖掘故障信息，构建了历史模型，基于列车的海量历史数据，识别并分析故障模式和趋势，进而预测零部件的寿命和更换周期，使得故障预测不仅局限于当前状态，还能够对未来的故障发展进行预测，此外，还构建了传递模型，用于模拟故障信号的传播过程，通过模型分析，量化评估故障信号在传播过程中对数据的影响程度，从而更加准确地判断故障的影响范围和严重程度，采用多模型融合技术，将关联经验模型、历史模型和传递模型生成的关联性值进行量化处理，并为不同的关联性值分配权重并进行加权求和，使得故障预测结果更加全面和准确，为部件故障关联性分析提供了有力的支持。