一种电力设备图像摘要生成方法及装置与流程

本发明涉及图像分析，具体涉及一种电力设备图像摘要生成方法及装置。

背景技术：

1、图像摘要生成技术是计算机视觉和自然语言处理领域的一项重要技术，它旨在从图像中自动提取核心信息，并以简洁明了的形式展示给用户，如文字描述、关键帧提取、缩略图或图像中标注的重点区域。这一技术广泛应用于多个领域，比如新闻媒体快速生成吸引眼球的图片摘要，社交媒体平台自动生成帖子的描述以提高互动性，电子商务网站为商品图片添加描述提升搜索效率，以及在监控系统中快速浏览关键事件等。图像摘要不仅提高了信息处理速度，还增强了不同背景用户的可访问性，尤其是对于视觉受限的群体。

2、实现图像摘要的基础方法多种多样，且不断演进。早期技术可能依赖于目标检测算法来识别图像中的显著物体，并基于这些物体的位置和特征构建摘要。随着深度学习的发展，特别是卷积神经网络(cnn)和循环神经网络(rnn)的结合使用，系统能够更精准地提取图像特征并生成自然语言描述。这一过程中，注意力机制的引入成为一大突破，它允许模型在生成描述时聚焦于图像中最为关键的部分，从而提升摘要的相关性和准确性。

3、此外，多模态学习框架也被用于图像摘要生成，通过同时考虑图像和文本数据，模型能够在图像理解和文本生成之间建立更深层次的联系，产生更加贴合图像内容的描述。近年来，生成对抗网络(gans)也开始在这一领域发挥作用，尤其是在生成高质量、视觉上连续且富有表现力的图像摘要方面展现出潜力。

4、以上是图像摘要生成的基础方法，在实际的应用中，通常需要结合到具体的算法中，来满足任务的需求。

5、基于深度学习的图像摘要生成技术，此技术主要利用深度学习模型，特别是卷积神经网络(cnns)和循环神经网络(rnns)或者更先进的长短期记忆网络(lstms)和门控循环单元(grus)，来自动从原始图像中提取关键特征并生成图像摘要。图像摘要可以是图像分类标签、关键区域的边界框标注，或者是对图像内容的文字描述。卷积神经网络(cnns)：在这一过程中起着核心作用，它们通过多个卷积层学习图像中的局部特征和模式，逐渐抽象出高层语义信息。这使得模型能够理解图像中的物体、场景等。循环神经网络(rnns)及其变体：在生成图像摘要时，特别是当涉及到序列生成任务(比如将图像内容转化为文字描述)时，rnns就显得尤为重要。这些模型能够处理序列数据，并在每个时间步记住先前的信息，非常适合生成连续的文本描述。

6、然而类技术高度依赖于大量标注数据进行训练，以学习从图像到文本的映射关系。模型的性能直接受限于数据的质量与多样性。针对电力设备的特殊性和多样性，传统深度学习模型往往需要大量的标注样本以确保高识别精度，这在实际应用场景中难以实现，尤其是在小样本情况下，模型泛化能力受限，易造成识别错误。

7、基于生成对抗网络的图像摘要生成技术，这一技术专注于通过创造性合成来提炼图像的核心内容，类似于艺术性的视觉叙事。在新闻编辑领域，这可能体现为将复杂的新闻现场照片精炼为一幅幅既能传达关键信息又具有高度吸引力的摘要图像。该技术的核心在于构建一个精妙的对抗体系，包含一个创新性的生成器和一个挑剔的判别器，两者协同演进以推动图像摘要质量的边界。生成器组件：担任创意艺术家的角色，生成器利用深度学习架构，尤其是卷积神经网络(cnn)和其他高级模块，将随机噪声或简化的图像表示转化为看似源自真实世界的图像摘要。它不仅捕捉原始图像的主题精髓，还通过合成过程添加艺术性的诠释，确保摘要既忠于原作又富有表现力。判别器组件：相当于一位严格的鉴赏家，判别器经过训练，能够区分真实的图像片段与生成器创造的摘要。通过不断地评判和反馈，它迫使生成器提升其作品的真实感和信息相关度，确保生成的摘要不仅视觉上引人入胜，而且在内容上与原始图像紧密对应。对抗训练机制：在生成器尝试欺骗判别器的同时，判别器也在不断学习如何更精准地区分真实与合成图像。这一动态过程推动了生成器生成图像摘要的质量提升，直至达到难以区分真伪的程度。通过迭代优化，生成的摘要不仅保持了与源图像的高度相关性，还融入了创造性的视觉表达，适合于需要高度概括和美化展示的场景，比如社交媒体摘要、新闻亮点生成等应用。

8、然而gans固有的训练不稳定性和模式塌陷风险依然存在，可能导致生成的图像摘要在某些情况下失真或不准确，影响诊断和分析的可靠性；并且，gans在处理电力设备复杂结构和纹理时，可能因缺乏领域特定的优化而难以精确捕获关键细节，影响对异常状态的敏感识别；三是相比直接进行特征描述的深度学习方法，gans生成过程较为复杂且计算成本高昂，不利于实时监控和快速响应的电力系统需求。

9、综上所述，深度学习的图像内容识别与描述生成方法和基于生成对抗网络(gans)的图像摘要生成技术在电力图像摘要生成中各有其缺点和不足。深度学习的图像内容识别与描述生成方法不能适应电力图像样本较少的情况，不能充分训练预测模型。而基于生成对抗网络(gans)的图像摘要生成技术则存在提取的电力图像特征精度不高的问题，且成本较高。

10、考虑到电力图像摘要生成要面临的训练样本稀缺和视角变化引起的图像偏差大的问题，因此上述两种算法在处理电力图像摘要生成时，具有一定的局限性。

技术实现思路

1、为了克服上述缺陷，本发明提出了一种电力设备图像摘要生成方法及装置。

2、第一方面，提供一种电力设备图像摘要生成方法，所述电力设备图像摘要生成方法包括：

3、将电力设备图像依次通过darknet模型和胶囊网络，提取所述电力设备图像对应的关键结构特征；

4、将所述关键结构特征作为预先训练的transformer模型的输入，得到预先训练的transformer模型输出的所述电力设备图像对应的摘要信息。

5、优选的，所述胶囊网络的数学模型如下：

6、

7、上式中，vj为第j层数字胶囊层的输出量对应的squash激活函数值，sj为第j层数字胶囊层的输出量，j∈[1，j]，j为数字胶囊层总数量。

8、进一步的，所述第j层数字胶囊层的输出量如下：

9、

10、上式中，为第i个1×8维二维特征对应的第j层数字胶囊层变换量，cij为第i个1×8维二维特征与第j层数字胶囊层之间的耦合系数矩阵，i∈[1，i]，i为darknet模型提取图像的1×8维二维特征数量。

11、进一步的，所述第i个1×8维二维特征对应的第j层数字胶囊层变换量如下：

12、

13、上式中，ui为darknet模型提取图像的第i个1×8维二维特征，wab为8×16维变换矩阵。

14、优选的，所述胶囊网络中的池化层采用步长为2的卷积代替。

15、优选的，所述预先训练的transformer模型的训练过程包括：

16、将选定电力设备图像依次通过darknet模型和胶囊网络，提取所述选定电力设备图像对应的关键结构特征；

17、将所述选定电力设备图像对应的摘要信息通过bert模型，提取所述选定电力设备图像对应的文本特征；

18、将所述关键结构特征和文本体征作为多尺度关系生成网络的输入，得到图像-文本特征匹配对；

19、将所述图像-文本特征匹配对通过clip模型，生成图像-文本特征匹配对正样本和图像-文本特征匹配对负样本；

20、利用所述图像-文本特征匹配对正样本和图像-文本特征匹配对负样本构建训练数据；

21、利用所述训练数据对transformer模型进行训练，得到所述预先训练的transformer模型。

22、第二方面，提供一种电力设备图像摘要生成装置，所述电力设备图像摘要生成装置包括：

23、特征提取模块，用于将电力设备图像依次通过darknet模型和胶囊网络，提取所述电力设备图像对应的关键结构特征；

24、分析模块，用于将所述关键结构特征作为预先训练的transformer模型的输入，得到预先训练的transformer模型输出的所述电力设备图像对应的摘要信息。

25、第三方面，提供一种计算机设备，包括：一个或多个处理器；

26、所述处理器，用于存储一个或多个程序；

27、当所述一个或多个程序被所述一个或多个处理器执行时，实现所述的电力设备图像摘要生成方法。

28、第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现所述的电力设备图像摘要生成方法。

29、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

30、本发明涉及图像分析技术领域，具体提供了一种电力设备图像摘要生成方法及装置，包括：将电力设备图像依次通过darknet模型和胶囊网络，提取所述电力设备图像对应的关键结构特征；将所述关键结构特征作为预先训练的transformer模型的输入，得到预先训练的transformer模型输出的所述电力设备图像对应的摘要信息。本发明提供的技术方案，通过精细联合优化，不仅深刻揭示了电力故障的内在规律，还大幅增强了摘要的生成质量与诊断效能，在transformer模型训练阶段，具体的：

31、首先，运用胶囊网络精炼电力图像的关键结构信息，同步借助bert技术深度解析关联文本，转化成蕴含丰富语境的信息向量。随后，采取多尺度关系生成网络及矩阵模型，智能对接图像特征与文本向量，定制化构建电力设备的特征匹配数据库，此策略尤其强化了模型面对较少电力图像背景下摘要生成情况下的泛化表现。最终阶段，借力transformer模型的序列处理优势，对集成的“图像-文本”数据进行深度学习，通过精细联合优化，不仅深刻揭示了电力故障的内在规律，还大幅增强了摘要的生成质量与诊断效能，实践证明能显著提升诊断精度达30％，同时减少误报，优化运维决策，为电力系统的智能化管理与安全运行提供了强有力的技术支撑。