基于扩散模型的混凝土大坝裂缝抠图方法和系统

本发明属于图像去背领域，具体涉及一种基于扩散模型的混凝土大坝裂缝抠图方法和系统。

背景技术：

1、水利大坝作为基础设施的重要组成部分,其安全性对于人们的生命财产安全和社会稳定至关重要。大坝一旦出现问题,如结构性裂缝,极有可能导致严重的安全事故,甚至是毁坝溃坝,给沿线居民和城镇造成巨大的灾难性损失。大坝的安全性不仅关系到沿线居民的生命财产安全,也是国家经济社会发展的重要基础。众所周知,大坝在发电、灌溉、防洪等方面发挥着举足轻重的作用。一旦大坝发生安全事故,不仅会造成生命财产的直接损失,还会导致电力供给中断、农业灌溉受阻、防洪功能丧失等连锁反应,给当地乃至区域性的经济社会发展带来严重冲击。因此,确保大坝安全已经成为国家基础设施建设和管理的重中之重，大坝的裂缝检测作为最为重要的保障大坝安全的技术方案之一，自然成为了当前大坝安全维护的主要领域之一。

2、然而,当前大坝裂缝检测技术仍存在一定不足。传统的人工巡查和监测手段效率低下,难以及时发现细微裂缝,而且易受人为因素影响,检测结果的客观性和准确性也受到限制。而基于图像分割的自动化算法虽然能提高检测效率,但其检测精度和泛化能力仍然较弱,无法全面覆盖各种类型的大坝图像数据。这些问题都极大地限制了大坝安全管理的水平,迫切需要更先进的技术来弥补这些不足,为大坝安全监测提供有力支撑。

3、扩散模型是一种新兴的生成式机器学习模型,它通过模拟数据从噪音到清晰的逆过程,能够准确地从大坝图像中提取出细微的裂缝特征,相比传统的图像分割算法,具有更高的检测精度和鲁棒性。本发明将扩散模型和图像抠图技术结合起来，利用扩散模型的高精度提取出高质量的trimap，与抠图技术对边缘信息更加敏感的特性相结合，实现对混凝土大坝裂缝的准确识别。

技术实现思路

1、本发明旨在解决目前通用的图像分割网络在水利大坝图像上无法获取高精确度分割结果的问题，针对此，提供一种基于扩散模型的混凝土大坝裂缝抠图方法和系统。

2、本发明利用一个裂缝边界特征提取模块获取基础的裂缝边缘信息，以trimap的形式来指导模型的训练方向，使模型更快拟合到全局最优点，接着使用扩散还原裂缝边界特征模块实现从粗略的trimap中获取到精细化的抠图结果，再通过一个裂缝边界预测纠正模块，结合标注的信息，使模型更加关注于前景裂缝区域而非背景区域，获得更准确的特征表示方式，提高检测精度，减少漏检情况，从而提升模型的整体性能。

3、本发明的第一个方面涉及基于扩散模型的混凝土大坝裂缝抠图方法，包括如下步骤：

4、1.预处理水利大坝图像，去除图像阴影区域并降噪，通过自适应灰度拉伸增强图像对比度；

5、1)处理图像阴影；

6、输入一张混凝土大坝裂缝图像，获得其灰度图i一一灰灰度取为0-255)，随后在灰度图i的频域中处理，利用高斯低通滤波去除图像中的高频部分，得到低频的背景图像ib。d(u,v)表示灰度图的频

7、域原点到点(u,v)的距离，d0表示高斯低通滤波器的尺度。

8、

9、然后在原灰度图i的基础上，利用图像差分去除背景图像，保留图像中的目标裂缝前景图像，如下式所示，ir(x,y)代表经过高斯低通滤波处理后的结果图像，ig(x,y)代表原始的灰度图像，ib(x,y)代表通过高斯低通滤波处理得到的背景部分的图像，u代表灰度的均值。

10、ir(x,y)＝ig(x,y)-ib(x,y)+u#(2)

11、2)抑制图像噪声；

12、首先通过自适应阈值法，降低对噪声的敏感性。针对整幅图像统计所选子区域图像的灰度直方图h(i),i＝0,1,...,l-1，l代表灰度级别数目，计算子区域图像的总平均灰度μ，计算方式如下，m和n分别表示灰度图像的行数和列数，f(i,j)为坐标(i,j)处的灰度值：

13、

14、再分别计算每一个灰度级i出现的概率p(i)和平均灰度μ(i)，以次计算每个灰度级i的类间方差g(i)，而其中最大的类见方差所在的灰度级k就是我们所需要的最佳阈值。

15、

16、将最佳阈值与每个像素灰度值相比较，灰度值大于等于最佳的阈值的像素将被认定为像素点，否则将会被认定为噪声点，需要使用子区域滤波窗口进行进一步的处理。

17、通过滑动窗口滤波器，以图像中的每个像素点为中心，将每个固定大小的窗口进一步的划分成左上、左下、右上和右下四个子区域，通过计算和比较同一窗口的不同子区域的像素灰度值方差，选择方差最小的子区域的灰度均值方差作为窗口中心像素点的灰度值。以一个行数，列数均包含(2n+1)(n为自然数)个像素的方形窗口为例，则四个子区域分别包含(n+1)2个像素点。子区域的平均值mk和方差计算公式如下，其中θk(k∈{1,2,3,4})代表窗口划分出来的四个子区域，f(i,j)为坐标(i,j)处的像素值，m＝(n+1),n＝(n+1)，mn为当前区域的像素数，n为窗口滤波器的尺寸：

18、

19、将去噪处理完成的灰度图像记作

20、3)拉伸自适应灰度

21、设图像中的灰度级的范围是[0,255]，将灰度级线性分为和[u,255]三段，将之间的灰度值拉伸到其他的灰度值将被压缩，来实现裂缝的灰度拉伸效果g(x,y)。

22、

23、将经过自适应灰度拉伸的结果图像记作

24、2.提取裂缝边界特征，编码器逐步提取图像特征，获取高维语义信息，减小输入矩阵大小，编码混凝土大坝的裂缝特征；使用解码器，通过压缩特征图数量将图像还原成原始大小，将特征图像解码转化成trimap图像；

25、将预处理后的图像作为输入，记初次输入裂缝边界特征提取模块的图像矩阵为p0，进行多次卷积操作和非线性激活函数后，得到初始图像的语义特征s0，接着对s0进行最大池化操作，减小输入矩阵的大小得到特征p1，将p1作为下一层级的输入再次重复上述过程，从而得到不同维度的裂缝语义信息。记提取特征编码的层数为n，则在解码部分将对应的图像特征pn上上样操操作后，连接上一层的图像特征pn-1再上反卷积，将个个维度的语义信息结合起来，将特征矩阵还原，得到语义信息更丰富，裂缝边界特征更明显的特征矩阵mn-1，将mn-1作为下一层的输入重复上述解码部分的过程，最终得到特征矩阵m0，经过非线性激活函数后得到结果t，作为指导模型训练方向的图像，进入步骤3。

26、

27、wi是卷积操作的中选取的卷积核，bi是偏置系数

28、其中wi表示卷积操作中选取的卷积核，bi是偏置系数，i表示层次的索引。

29、3.扩散还原裂缝边界特征，对输入的trimap图像添加噪声，得到一个带有噪声的图像t′，然后使用预训练的扩散模型对噪声图像进行去噪，在经过纠正网络后得到高质量的alpha抠图mt-1；

30、扩散模型由正向过程和反向过程个部分组成，在正向过程中，向输入得到的裂缝特征信息图像上添加高斯噪声；在反向过程中，将处理后的图像输入扩散模型，让它学习从噪声图像中恢复出高质量的alpha抠图。同时，该模块样用了扩散去噪隐式模型反演技术来获取一个确定性的去噪路径，这个路径可以用来指导和纠正模型在推理时的行为。通过这种方式，扩散还原裂缝边界特征模块能够在保持高生成质量的同时，有效地减少推理时所需的时间步长。纠正网络的作用是在每个去噪步骤中接收当前步骤的噪声trimap以及图像特征作为输入，并输出一个更接近真实alpha抠像分布的纠正后的trimap。这个部分可以被视为一个条件去噪模型，它的目标是减少去噪过程中的误差，特别是在不确定的区域。将得到的抠图mt-1作为输入，输入到步骤4。

31、4.纠正裂缝边界预测，通过利用已知区域的信息来调整和优化去噪过程中的中间结果，从而提高模型在不确定区域的学习效率和预测准确性，得到经过处理后的alpha抠图m′t-1。

32、通过已知区域生成一个掩码，该掩码在已知区域上的值为0，在不确定区域上的值为1。然后，模块将步骤3得到的纠正后的alpha抠图与这个掩码相乘，确保只有不确定区域的alpha值被更新，得到更新后的图像m′t-1。此外，通过计算图像m′t-1和真实的alpha图像的差异的损失函数，量化结果和真实结果的差距，反向传播更新模型，通过掩码让模型集中于不确定区域中的裂缝边界信息，鼓励模型作出更精确的边界划分，从而得到更高精准度的结果图。

33、5.重复t次步骤3、4，迭代去噪，最后一次生成最终图像就是最终的结果裂缝二值图像，将结果图和真实alpha图计算量化评估模型性能；

34、通过多次迭代，每次都对alpha抠像进行细化，可以逐步减少预测误差，使得最终的alpha抠像更加接近真实值。迭代去噪过程中，模型能够在多个不同的噪声水平上学习和适应，这有助于模型在面对不同类型的图像和抠像难度时保持鲁棒性。此外迭代中利用了时间维度上的信息，这种信息在单次预测中是不可用的。通过在时间上连续地调整和优化alpha值，模型能够更好地理解和重建图像结构。最后，通过结果裂缝二值图像和真实的alpha图像像素级的比较，来评估模型的性能。

35、本发明还涉及一种基于边缘信息融合的混凝土大坝裂缝分割系统，包括：图像预处理与边界标注生成模块、裂缝边界特征提取模块、扩散还原裂缝边界特征模块、裂缝边界预测纠正模块、裂缝抠图结果及后处理模块。

36、本发明的优点是：考虑到已有的通用图像分割方法所存在的难以区分裂缝及背景而产生误判、精度不高等问题，则将扩散模型和图像抠图技术结合起来，利用扩散模型的高精度提取出高质量的trimap，与抠图技术对边缘信息更加敏感的特性相结合，实现对混凝土大坝裂缝的准确识别。