基于扩散模型的抗弧光图像数据集扩充方法

本发明涉及深度学习方法在工业检测中的应用，具体涉及基于扩散模型的抗弧光图像数据集扩充方法。

背景技术：

1、自动化焊接是智能制造业中的一个重要组成部分，它利用机器设备和控制系统自动执行焊接工作，以提高生产效率、保证焊接质量并降低人工操作的风险。线结构光测量是一种常用的三维测量技术，通过投射一条或多条结构化的光线(例如激光)到物体上，然后分析反射回来的光线的变形，可以得到物体的三维信息。在自动化焊接中，线结构光测量可以用于实时监测焊缝的位置和形状，从而实现精确的焊接控制。在焊接过程中，激光条纹图像提供了丰富的信息，可以用于评估焊接质量。激光条纹是焊接过程中产生的光亮区域，其形状、大小和亮度等特性可以反映焊接过程的稳定性和焊接质量。但是，由于激光条纹图像通常包含复杂的模式和噪声，因此从中提取有用的信息是并不是一件简单的事。

2、深度学习是一种强大的机器学习技术，能够自动从大量的数据中学习和提取复杂的特征。通过使用深度学习算法，可以训练出能够自动从激光条纹图像中提取有用信息的模型，从而实时准确地评估焊接质量。然而，利用深度学习进行激光条纹图像识别也面临一些挑战。首先，深度学习模型通常需要大量的标注数据进行训练，而在工业环境中获取这样的数据通常是困难和昂贵的。其次，工业环境中的条件经常变化，对识别的准确率要求高，这些需求迫使模型拥有更好的性能，这往往需要更大的数据集。

3、深度学习方法虽然在工业检测中拥有强大的适应能力，但它们大多属于有监督的方法，这种方法极度依赖于数据集。数据集的内容确定了深度学习算法的检测内容，数据集的质量极大影响了算法的性能。而在自动化焊接领域中，由于商业或者隐私等问题，很难获取到合适的激光条纹公开数据集。自制数据集的过程中也会有诸多难点，由于场景单一，难以收集不同光照、角度等变化的数据。收集大量数据时重复度过高。其次，某些缺陷或者场景是非常罕见的，收集多样的数据对模型的泛化能力有着显著影响。

4、当前，焊接中的激光条的数据集采集与制作主要从两方面入手，第一是在数据采集的前期，尽可能地收集大量的不同环境、不同特征、不同角度的数据图像。第二是基于这些采集图像利用随机旋转、裁切、缩放等手段扩充数据集。这种扩充方法虽然快速简单，但是这些图像从本质上属于原有图像的一部分，它们并不能提升原有数据的多样性，扩充的图像其亮度、特征等都与原有图像相似。其次，这些简单的变化会可能丢失图像中目标的信息，大量加入由这些方法扩充的数据样本会影响数据集的真实样本分布，从而算法的性能。

5、综上，提供一种方法使得深度学习算法应用于焊接中激光条检测时具备良好的数据基础，是非常有意义的。

技术实现思路

1、鉴于此，本发明公开提供了基于扩散模型的抗弧光图像数据集扩充方法，以解决焊接中激光条纹数据集的扩充问题。

2、本发明的技术方案包括：基于扩散模型的抗弧光图像数据集扩充方法，包括：

3、s1:训练扩散模型，通过离线过程对扩散模型进行训练；

4、其中所述离线过程为：将采集的图像依次经过扩散步骤将原始图像噪声化，再通过生成步骤将已被噪声掩盖的图像恢复为原始图像，得到新数据样本；

5、s2:将随机生成的样本输入训练后的扩散模型，经过离线过程中已经训练好的生成步骤，生成符合需求的数据样本。

6、优选地，所述扩散步骤为：向扩散模型中输入数据集中的原始图像x0，逐步给图像叠加噪声ε，最后经过t步加噪变成噪声图像xt，其中噪声ε来自于噪声采样器。

7、优选地，所述向扩散模型中输入数据集中的原始图像：

8、向扩散模型中输入数据集中的原始图像x0～q(x0)，总共经过t个扩散过程，扩散过程是一个马尔科夫链，每一步经由扩散过程后得到的数据均是经由上一步数据xt-1按照如式(1)通过高斯采样后得到的：

9、

10、其中是每一步扩散过程采样噪声的方差，其值域是(0,1)，且β1<β2<…<βt，说明加入的噪声会越来越大，t∈t是预设的固定采样次数，相当于采样时间点，xtt是从均值为方差为βt的高斯分布采样中得到；

11、采取数学归纳法对每一步扩散过程进行展开，从而建立任意时刻图像xt与原始图像x0的关系q(xt～t|x0)：

12、首先采取重参数技巧，假设at＝1-βt,然后根据式(1)进行逐步迭代的方式得到如下：

13、

14、其中随机噪声每一步的噪声∈都符合高斯分布；

15、基于贝叶斯概率理论，由式(2)可知，所述逐步迭代的过程满足的高斯分布，从而得到从初始x0获得任意时刻xt的公式：

16、

17、其中和是二者的加权系数，进一步表示权重系统是由已知的αt、βt得到。

18、优选地，在生成步骤中，将噪声图像xt逐步去噪，采用噪声预测网络预测每一步需要去除的噪声最终还原图像。

19、优选地，根据扩散过程原始图像x0和q(xt|xt-1)，结合贝叶斯概率理论，计算每一步扩散过程的真实分布q(xt～1|xt)过程的条件概率：

20、

21、其中的q(xt～1|x0)、q(xt|x0)都是扩散过程中式(3)得到的：

22、

23、接下来，将式(5)带入式(4)可以得到：

24、

25、其中，对于xt时刻的概率分布计算，c(xt,x0)是一个与xt-1无关的量，在上文证明过扩散过程最终是满足的高斯分布，则根据高斯分布的概率函数，结合式(6)可以得到后验概率q(xt～1|xt,x0)的均值和方差：

26、

27、

28、优选地，所述噪声采样器采取余弦函数进行加噪：

29、

30、优选地，所述噪声预测网络采用et-unet网络结构，et-unet网络结构中采取一个多层感知层(mlp)对时间进行编码，用于区分不同时刻的噪声，时间编码与对应的图像的共同构成了网络的输入；

31、网络的主干由左侧的编码器和右侧对称的解码器组成，编码器负责编码噪声图像与时间信息，解码器负责还原信息输出对应时刻的噪声预测结果；在网络深层时，加入transformer中的多头自注意力机制，提升网络的性能。

32、本发明提供了基于扩散模型的抗弧光图像数据集扩充方法，该方法能够生成大量符合焊接中激光条检测需求的数据样本，极大地缓解深度学习算法在自动化焊接应用中，数据样本少的问题。本发明还利用无监督的图像生成方式实现数据集扩充，避免对手工标注图像的依赖，降低了数据采集与扩充的成本。

33、通过本方法解决了普通扩充方法生成的图像与原始数据样本同质化严重的问题，能够生成全新的、符合需求的数据样本；通过本方法生成的数据样本灰度分布更加均匀，色彩、亮度更加多样。补充了数据集的多样性，为实现更强泛化能力的激光条识别算法奠定了基础。

34、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。