生成缺陷样本的方法及装置与流程

本申请涉及图像生成，尤其涉及一种生成缺陷样本的方法及装置。

背景技术：

1、近年来，基于人工智能的无人机输电设备缺陷实时识别技术已成为输电线路中重要的巡检手段。无人机对输电线路进行拍照摄像，获取大量的图片及视频资料，以通过目标检测的方法从这些资料中定位锈蚀、损坏、异物等设备异常状态。目标检测模型的精度需要依赖训练时缺陷样本的数量，所以输电设备缺陷识别需要大量的缺陷样本。

2、然而在收集的资料中，大部分为正常样本的图片，有缺陷部件的图片样本只占少部分，在此情况下，各种类型的缺陷部件的样本在整个有缺陷部件的图片样本中的比例又是各不相同的，甚至相差悬殊。也就是说，不仅正常样本图片数据集与缺陷样本图片数据集之间存在类别不平衡问题，缺陷样本数据集本身内部缺陷样本部件的分布也存在着差异，即类间不平衡与类内不平衡。所以训练前需要生成大量的缺陷样本。但是数据增强产生的缺陷样本质量差，有时不符合客观现实。

技术实现思路

1、有鉴于此，本申请实施例提供了一种生成缺陷样本的方法、装置、电子设备及计算机可读存储介质，以解决现有技术中生成的电力系统中输电线路上的各种部件缺陷样本质量差的问题。

2、本申请实施例第一方面，提供了一种生成缺陷样本的方法，包括：构建图像融合网络，利用vae网络、扩散模型采样器、文本编码器、unet网络和图像融合网络构建缺陷样本生成模型；获取关于无破损的目标部件的目标图像、目标背景图像和描述一种目标部件破损的目标文本；将目标图像、目标背景图像和目标文本输入缺陷样本生成模型，在缺陷样本生成模型内部：通过vae网络中的编码网络处理目标图像，得到图像潜在特征；通过扩散模型采样器对图像潜在特征添加噪声，得到图像噪声特征；通过文本编码器处理目标文本，得到文本特征；通过unet网络处理图像噪声特征和文本特征，得到图像破损特征；通过vae网络中的解码网络处理图像破损特征，得到目标文本对应的目标部件的破损图像；通过图像融合网络处理破损图像和目标背景图像，得到目标缺陷样本。

3、本申请实施例第二方面，提供了一种生成缺陷样本的装置，包括：构建模块，被配置为构建图像融合网络，利用vae网络、扩散模型采样器、文本编码器、unet网络和图像融合网络构建缺陷样本生成模型；获取模块，被配置为获取关于无破损的目标部件的目标图像、目标背景图像和描述一种目标部件破损的目标文本；图像编码模块，被配置为将目标图像、目标背景图像和目标文本输入缺陷样本生成模型，在缺陷样本生成模型内部：通过vae网络中的编码网络处理目标图像，得到图像潜在特征；采样模块，被配置为通过扩散模型采样器对图像潜在特征添加噪声，得到图像噪声特征；文本编码模块，被配置为通过文本编码器处理目标文本，得到文本特征；中间模块，被配置为通过unet网络处理图像噪声特征和文本特征，得到图像破损特征；图像解码模块，被配置为通过vae网络中的解码网络处理图像破损特征，得到目标文本对应的目标部件的破损图像；图像融合模块，被配置为通过图像融合网络处理破损图像和目标背景图像，得到目标缺陷样本。

4、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

6、本申请实施例与现有技术相比存在有益效果是：构建图像融合网络，利用vae网络、扩散模型采样器、文本编码器、unet网络和图像融合网络构建缺陷样本生成模型；获取关于无破损的目标部件的目标图像、目标背景图像和描述一种目标部件破损的目标文本；将目标图像、目标背景图像和目标文本输入缺陷样本生成模型，在缺陷样本生成模型内部：通过vae网络中的编码网络处理目标图像，得到图像潜在特征；通过扩散模型采样器对图像潜在特征添加噪声，得到图像噪声特征；通过文本编码器处理目标文本，得到文本特征；通过unet网络处理图像噪声特征和文本特征，得到图像破损特征；通过vae网络中的解码网络处理图像破损特征，得到目标文本对应的目标部件的破损图像；通过图像融合网络处理破损图像和目标背景图像，得到目标缺陷样本。采用上述技术手段，可以解决现有技术中生成的电力系统中输电线路上的各种部件缺陷样本质量差的问题，进而提高生成的缺陷样本质量。

技术特征：

1.一种生成缺陷样本的方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，通过所述unet网络处理所述图像噪声特征和所述文本特征，得到图像破损特征，包括：

3.根据权利要求1所述方法，其特征在于，通过所述图像融合网络处理所述破损图像和所述目标背景图像，得到目标缺陷样本，包括：

4.根据权利要求3所述方法，其特征在于，依据所述融合梯度场生成所述目标缺陷样本，包括：

5.根据权利要求4所述方法，其特征在于，依据所述稀疏矩阵和所述散度求解所述目标缺陷样本的像素点，以得到所述目标缺陷样本，包括：

6.根据权利要求4所述方法，其特征在于，将所述目标图像、所述目标背景图像和所述目标文本输入所述缺陷样本生成模型之前，所述方法还包括：

7.根据权利要求6所述方法，其特征在于，通过所述图像融合网络处理所述训练破损图像和所述训练背景图像，得到训练缺陷样本之后，所述方法还包括：

8.一种生成缺陷样本的装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

技术总结本申请提供了一种生成缺陷样本的方法及装置。该方法包括：在缺陷样本生成模型内部：通过VAE网络中的编码网络处理目标图像，得到图像潜在特征；通过扩散模型采样器对图像潜在特征添加噪声，得到图像噪声特征；通过文本编码器处理目标文本，得到文本特征；通过UNet网络处理图像噪声特征和文本特征，得到图像破损特征；通过VAE网络中的解码网络处理图像破损特征，得到目标文本对应的目标部件的破损图像；通过图像融合网络处理破损图像和目标背景图像，得到目标缺陷样本。采用上述技术手段，解决现有技术中生成的电力系统中输电线路上的各种部件缺陷样本质量差的问题。技术研发人员：曹澍,郭江涛,肖靖峰,王楷,孟欣欣,杨柳,沈佳,贾俊强受保护的技术使用者：国网新疆电力有限公司信息通信公司技术研发日：技术公布日：2024/10/10