基于补全细化网络的立面图像解析方法及系统

本发明属于立面解析，具体是涉及到一种基于补全细化网络的立面图像解析方法及系统。

背景技术：

1、随着深度学习技术的快速发展，立面解析技术在计算机视觉领域取得了重大进展。立面解析是指对建筑物立面图像进行语义分割，以准确识别和分离不同的组件，如窗户、门、阳台等。立面解析在多个领域有着广泛的应用，包括城市开发和建设、3d重建、城市道路状况分析和自动驾驶等。

2、由于大多数立面图像元素的形状和位置排列都是规则的，现有的立面解析法通常应用k-means算法进行颜色聚类，构建计算图来分析聚类结果，然后对立面图像进行语义分割。然而，目前立面解析的研究目标已经转向更复杂的场景，其中包括遭受遮挡或其他干扰污染的立面情况。在这些情况下，立面图像可能会遇到局部形状缺失、全局布局模式损坏以及类别间特征混乱的情况。现有的立面解析法缺乏分析和描述立面的高层语义信息的能力，导致现有的立面解析法解析性能下降，对存在遮挡或污染的立面图像解析不准确，导致算法可能错误地识别图像中的对象，或是未能准确捕捉到对象的关键特征，导致分类性能下降。

技术实现思路

1、本发明提供一种基于补全细化网络的立面图像解析方法及系统，以解决对存在遮挡或污染的立面图像解析不准确的问题。

2、第一方面，本发明提供一种基于补全细化网络的立面图像解析方法，该方法包括如下步骤：

3、通过搜索裁剪方法将待解析的原始立面图像预处理为局部立面图像；

4、基于卷积神经网络构建图像解析模型，所述图像解析模型包括初始编码器、特征补全模块和特征细化模块；

5、利用所述局部立面图像预训练所述初始编码器，得到训练完成的目标编码器；

6、将所述原始立面图像输入至所述目标编码器中进行下采样，得到初始图像特征；

7、将所述初始图像特征输入至所述特征补全模块，通过所述特征补全模块补全所述初始图像特征中的异常区域，得到基础图像特征，所述异常区域包括信息丢失区域和信息干扰区域；

8、通过所述特征细化模块对所述得到基础图像特征进行细化处理，输出所述原始立面图像的解析结果。

9、可选的，所述将所述初始图像特征输入至所述特征补全模块，通过所述特征补全模块补全所述初始图像特征中的异常区域，得到基础图像特征包括如下步骤：

10、将所述初始图像特征输入至所述特征补全模块；

11、利用所述特征补全模块中的平均池化层将所述初始图像特征分别进行水平压缩和垂直压缩，得到水平压缩特征和垂直压缩特征；

12、将所述水平压缩特征和所述垂直压缩特征均输入至所述特征补全模块中的特征补全层中，通过所述特征补全层对所述水平压缩特征和所述垂直压缩特征进行建模，并分别补全所述水平压缩特征和所述垂直压缩特征中的异常区域；

13、将所述水平压缩特征和所述垂直压缩特征融合为基础图像特征。

14、可选的，所述特征补全模块还包括分类器，在所述将所述初始图像特征输入至所述特征补全模块，通过所述特征补全模块补全所述初始图像特征中的异常区域，得到基础图像特征之前还包括如下步骤：

15、获取窗口区域未被遮挡的目标立面图像；

16、将所述目标立面图像进行水平方向和垂直方向的压缩，得到所述水平方向和垂直方向上的布局实况；

17、基于所述布局实况并利用矩阵乘法获得所述窗口区域的模糊补全图；

18、利用所述模糊补全图并通过所述分类器完成所述特征补全模块的训练。

19、可选的，所述特征补全模块训练过程的损失函数为：

20、

21、式中：lfc表示所述特征补全模块训练过程的损失函数，n表示所述目标立面图像的像素总数，i表示所述目标立面图像中像素的索引，j表示所述目标立面图像中标签类别的索引，yij表示真实语义标签，表示通过转换真实语义标签获得的模糊补全图标签，pc-ij表示所述特征补全模块获得的预测外观解析概率值。

22、可选的，所述通过所述特征细化模块对所述得到基础图像特征进行细化处理，输出所述原始立面图像的解析结果包括如下步骤：

23、将所述基础图像特征输入至所述特征细化模块；

24、通过所述特征细化模块中的第一卷积层处理所述基础图像特征，减少所述基础图像特征的通道数量；

25、通过所述特征细化模块中的第二卷积层捕获所述基础图像特征在水平方向和垂直方向上的全局空间位置特征；

26、通过所述特征细化模块中的第三卷积层提取所述基础图像特征的局部空间位置特征；

27、通过所述特征细化模块中的第四卷积层捕捉所述基础图像特征的细化形状特征；

28、通过所述特征细化模块中的第五卷积层将所述基础图像特征、所述全局空间位置特征、所述局部空间位置特征和所述细化形状特征进行融合，并输出细化图像特征作为所述原始立面图像的解析结果。

29、第二方面，本发明还提供一种基于补全细化网络的立面图像解析系统，所述系统包括：

30、预处理子系统，用于通过搜索裁剪方法将待解析的原始立面图像预处理为局部立面图像；

31、模型构建子系统，用于基于卷积神经网络构建图像解析模型，所述图像解析模型包括初始编码器、特征补全模块和特征细化模块；

32、预训练子系统，用于利用所述局部立面图像预训练所述初始编码器，得到训练完成的目标编码器；

33、下采样子系统，用于将所述原始立面图像输入至所述目标编码器中进行下采样，得到初始图像特征；

34、补全子系统，用于将所述初始图像特征输入至所述特征补全模块，通过所述特征补全模块补全所述初始图像特征中的异常区域，得到基础图像特征，所述异常区域包括信息丢失区域和信息干扰区域；

35、细化子系统，用于通过所述特征细化模块对所述得到基础图像特征进行细化处理，输出所述原始立面图像的解析结果。

36、可选的，所述补全子系统包括：

37、图像输入单元，用于将所述初始图像特征输入至所述特征补全模块；

38、特征压缩单元，用于利用所述特征补全模块中的平均池化层将所述初始图像特征分别进行水平压缩和垂直压缩，得到水平压缩特征和垂直压缩特征；

39、特征补全单元，用于将所述水平压缩特征和所述垂直压缩特征均输入至所述特征补全模块中的特征补全层中，通过所述特征补全层对所述水平压缩特征和所述垂直压缩特征进行建模，并分别补全所述水平压缩特征和所述垂直压缩特征中的异常区域；

40、特征融合单元，用于将所述水平压缩特征和所述垂直压缩特征融合为基础图像特征。

41、可选的，所述特征补全模块还包括分类器，所述系统还包括特征补全训练子系统，所述特征补全训练子系统包括：

42、训练图像获取单元，用于获取窗口区域未被遮挡的目标立面图像；

43、训练图像压缩单元，用于将所述目标立面图像进行水平方向和垂直方向的压缩，得到所述水平方向和垂直方向上的布局实况；

44、模糊补全单元，用于基于所述布局实况并利用矩阵乘法获得所述窗口区域的模糊补全图；

45、特征补全训练单元，用于利用所述模糊补全图并通过所述分类器完成所述特征补全模块的训练。

46、可选的，所述特征补全模块训练过程的损失函数为：

47、

48、式中：lfc表示所述特征补全模块训练过程的损失函数，n表示所述目标立面图像的像素总数，i表示所述目标立面图像中像素的索引，j表示所述目标立面图像中标签类别的索引，yij表示真实语义标签，表示通过转换真实语义标签获得的模糊补全图标签，pc-ij表示所述特征补全模块获得的预测外观解析概率值。

49、可选的，所述细化子系统包括：

50、特征输入单元，用于将所述基础图像特征输入至所述特征细化模块；

51、第一细化单元，用于通过所述特征细化模块中的第一卷积层处理所述基础图像特征，减少所述基础图像特征的通道数量；

52、第二细化单元，用于通过所述特征细化模块中的第二卷积层捕获所述基础图像特征在水平方向和垂直方向上的全局空间位置特征；

53、第三细化单元，用于通过所述特征细化模块中的第三卷积层提取所述基础图像特征的局部空间位置特征；

54、第四细化单元，用于通过所述特征细化模块中的第四卷积层捕捉所述基础图像特征的细化形状特征；

55、第五细化单元，用于通过所述特征细化模块中的第五卷积层将所述基础图像特征、所述全局空间位置特征、所述局部空间位置特征和所述细化形状特征进行融合，并输出细化图像特征作为所述原始立面图像的解析结果。

56、本发明的有益效果是：

57、本发明在主干预处理过程中，通过随机裁剪获得局部裁剪图像，并用这些局部图像对主干进行预训练可以提供更好的初始化，允许解析模型充分学习立面的局部模式，从而在面对各种复杂的遮挡情况时表现得更加鲁棒。此外，通过补全模块和细化模块使模型能够更全面地关注不同的特征，从而能够获得更丰富、更精细的特征表示，进而提高了大多数类别的预测准确性，并最终提高立面图像解析的准确性。