一种基于U-net的轻量化扩散模型、终端和图像处理方法与流程

本发明属于图像处理，具体地说是一种基于u-net的轻量化扩散模型、终端和图像处理方法。背景技术：：：1、u-net由一个对称的u形结构组成，因此得名。这种结构包括一个编码器(用于特征提取)和一个解码器(用于重建输出)，其中编码器和解码器之间通过跳跃连接进行连接。这种结构使得网络能够同时捕获全局信息和局部细节，有助于提高图像分割的准确性。u-net中的跳跃连接将编码器中的特征图直接连接到解码器中的对应层，这有助于将高级语义信息与低级细节信息进行融合，从而提高了网络对细微特征的感知能力。u-net通常与数据增强技术结合使用，以增加训练数据的多样性和数量，提高模型的泛化能力。u-net起初在生物医学图像这个细分领域取得了最佳的工业界效果，由于其简洁，高效，稳定的特性，随机被广泛的应用于图像分割的各个方向，比如智慧交通，智慧城市，工业检测等由于其相对简单的结构和有效的跳跃连接，u-net通常可以使用相对较少的数据进行训练，并且往往能够在较短的时间内取得良好的性能。综合来看，u-net网络以其独特的结构和性能在图像分割任务中广受欢迎，并在许多应用领域取得了良好的效果。2、u-net能够与扩散模型相结合的原因主要在于其具有四个特质。首先，其encoder模块通过下采样对输入图像进行处理，提取高维特征，实现了图像的压缩操作，与stablediffusion中的latent逻辑契合。其次，decoder模块具有去噪特质，在aigc时代也经历了“文艺复兴”。第三，u-net整体结构简洁、稳定且高效，使其能够轻松进行迭代去噪操作，并支撑起整个stable diffusion图像生成逻辑。最后，其encoder-decoder结构具有强大的兼容性，使得u-net能够与新生代模型如transformer等轻松融合，推动了图像去噪等领域的发展，在aigc时代引领了一场技术的“文艺复兴”。u-net和扩散模型相结合，以最基础的stable diffusion为例。u-net是stable diffusion中的核心模块。u-net主要在“扩散”循环中对高斯噪声矩阵进行迭代降噪，并且每次预测的噪声都由文本和timesteps进行引导，将预测的噪声在随机高斯噪声矩阵上去除，最终将随机高斯噪声矩阵转换成图片的隐特征。3、transformer是一种基于自注意力机制的深度学习模型，最早由google brain的vaswani等人在2017年提出，并被应用于自然语言处理任务中。传统的序列模型，如循环神经网络(rnn)和长短期记忆网络(lstm)，在处理长距离依赖关系时存在着梯度消失和梯度爆炸等问题，限制了其在处理长序列数据时的表现。transformer利用了自注意力机制的优势，可以同时处理输入序列中任意两个位置之间的依赖关系，从而克服了传统序列模型的限制。transformer模型由编码器和解码器组成，其中编码器用于将输入序列编码成高维表示，解码器则根据编码器的输出和目标序列生成输出序列。模型的核心是自注意力机制，通过计算序列中各个位置之间的注意力权重，可以在不同位置之间建立长距离的依赖关系。此外，transformer还引入了残差连接和层归一化等技术，以加速训练和提高模型性能。4、transformer最初被广泛用于机器翻译任务，如google的gnmt模型。随着研究的深入，transformer被成功应用于各种自然语言处理任务，包括语言建模、文本生成、问答系统等。此外，transformer还被应用于计算机视觉领域，如图像分类、目标检测和图像生成等任务。其中，图像生成模型如image transformer结合了自注意力机制和卷积神经网络，实现了在图像生成任务中的良好效果。总之，transformer作为一种强大的深度学习模型，在自然语言处理和计算机视觉等领域取得了广泛的应用，并在各类任务中取得了显著的性能提升。5、cn115409733b公开了一种基于图像增强和扩散模型的低剂量ct图像降噪方法。构建低剂量ct图像样本集，对进行多步处理以达到的成像水平；将通过滤波器，得到输出；对进行ct图像特征增强，得到输出；通过残差卷积模块对图像进行降噪重建，输出图像；将输入到公开的深度生成模型扩散去噪模型(ddpm)中，将原始数据分布变为正态分布，使用参数化的u-net神经网络将从正态分布恢复到原始数据分布。通过本发明的技术方案，采用基于视觉transformer和扩散概率模型的低剂量ct图像联合降噪技术来实现降低ct图像噪点以达到提升图像质量的目标。现有技术普遍存在以下问题：6、缺点一：现有技术的扩散模型如果需要能实现对图像的去噪生成增强以及文本操作，需要在高性能主机端实现，同时对主机端的设备要求很高，因其需要大量参数导致计算速度缓慢以及多步采样导致推理速度慢的问题。7、缺点二：现有基于u-net网络的扩散模型中的u-net没有进行过多的修改，u-net的复杂结构和参数量大可能导致推理速度较慢，特别是在移动设备等资源受限的环境下，这可能会降低用户体验并增加计算成本。未经修改的u-net可能需要更多的模型优化和部署工作，以满足特定应用场景的要求，这可能会增加开发和维护的复杂性。8、缺点三：现有技术在移动端实现的图像操作，如去噪生成增强等操作。实现的功能大多十分单一。因为设备性能的限制，甚至去噪方面仅能做到去雾的操作，对于去雨去雪等其他图像去噪方面可能需要模型采用不同的损失函数重新训练。技术实现思路1、本发明的目的正是为克服上述现有技术的不足，提供一种基于u-net的轻量化扩散模型、终端及图形处理方法。2、一种基于u-net的轻量化扩散模型，包括u-net模型，该u-net模型包括一个用于特征提取的编码器和一个用于重建输出的解码器，其中编码器和解码器之间通过跳跃连接方式进行连接，并且将上下文感知与u-net模型结合，使用fid和clip公式计算指标：3、4、在fid中x是真实图像的分布，g是生成图像的分布，μx和μg分别是真实图像和生成图像的特征均值，∑x和∑g分别是真实图像和生成图像的特征协方差矩阵，在clip中image_embed是图像的嵌入向量，text_embed是文本的嵌入向量，得到一个改进u-net模型；5、在u-net模型中添加若干个transformer模块，调整该transformer模块的宽度；6、构建一个文本到图像的扩散模型；7、将改进u-net模型与文本到图像的扩散模型相结合，还引入一个数据蒸馏管道进行蒸馏处理，以压缩和加速图像解码器的过程，并通过正则化来改进步骤蒸馏过程中的学习目标。8、所述transformer模块包括：9、自注意力层，用于建模视觉特征之间的长距离依赖关系；10、交叉注意力层，用于捕获文本条件和视觉特征之间的交互作用；11、前馈层，用于后处理注意力层的输出；12、确定transformer模块的宽度后，将自注意力层与交叉注意力层分离并保留交叉注意力层，共享键值对预测。13、对于扩散模型，首先确定稳定扩散的先决条件，具体来说，设定一个由参数θ参数化的扩散模型以u-net结构为基础，训练可以被表述为以下的噪声预测问题：14、15、其中t为时间步长；∈是地面实况噪声；zt＝αtx+σt∈为噪声数据；αt和σt分别是信号和噪声的强度，由噪声调度器决定；在实验中，使用ddim对从t到前一个时间步长t′的以下迭代去噪过程进行采样：16、17、其中前一个噪声数据zt′将再次被送入扩散模型直到t′变为0，即去噪过程完成。18、所述扩散模型通过潜在扩散模型的训练形成稳定扩散模型，该潜在空间是从预训练的变分自编码器中编码而来，在推理过程中，图像是通过从潜在空间解码器中构建的；潜在扩散模型探索了文本到图像生成，其中一个文本提示嵌入c被作为条件馈入扩散模型，在合成图像时，采用无分类器引导，19、20、其中表示使用空文本获得的无条件输出，指导尺度w调整以控制条件信息在生成图像上的影响力，以实现质量和多样性之间的平衡；潜在扩散模型进一步在大规模数据集上进行训练，产生了一系列稳定扩散模型，将稳定扩散模型与改进的u-net模型结合形成为轻量化扩散模型。21、所述蒸馏处理具体为：22、给定u-net模型的输入，时间步t，噪声潜在变量zt，以及文本嵌入c，采用一个母u-net模型和一个子u-net模型，其中母u-net模型执行两个扩散模型的去噪步骤，从时间t到t'，然后再到t”，0≤t”<t'<t≤1，23、24、子u-net模型仅执行一个ddim去噪步骤，25、26、上标s表示这些变量是为子u-net模型设计的，子u-net模型通过只进行一次去噪步骤，从zt预测出母u-net模型的带噪潜在的zt″，将目标转化为在x空间计算的基本蒸馏损失目标。27、在蒸馏处理过程中会有损失，因此设定一蒸馏损失目标函数，用于提高clip分数，其中ω是cfg尺度，w是从一定范围内的均匀分布中随机采样的，该范围称为cfg范围，提供一种在训练期间权衡fid和clip分数的方法，28、29、进一步定义全损失函数：30、31、其中，为基本蒸馏损失，，为cfg蒸馏损失，p为预定义的cfg概率，表示在每次训练迭代中使用cfg蒸馏损失的概率。32、一种移动终端，应用有基于u-net的轻量化扩散模型。33、一种图形处理方法，通过轻量化扩散模型从自然语言描述中生成图像，采用扩散模型进行去噪处理，用于图像生成和文本到图像生成。34、与现有技术相比，本发明具有以下有益技术效果：35、采用了结合u-net结构和transformer的创新性组合，与传统去雾方法相比，不仅在图像去雾方面表现出更高的效果，而且通过简化计算和优化操作，使得模型在移动设备上的应用更加高效和灵活。移动设备上的运行时间更短，且具有更高的计算效率和图像质量。36、采用了潜在扩散模型和稳定扩散模型，并引入ddim进行去噪步骤，以及结合蒸馏损失目标函数的方法，本发明不仅能够去除图像中的噪声，还能够根据文本提示生成高质量的图像，为用户提供了更加灵活和智能的图像处理功能。与另一种基于图像增强和扩散模型的技术相比，本发明的技术方案在图像去噪和增强方面具有更高的可靠性和有效性，且采用了更加智能化的图像处理方法。当前第1页12当前第1页12