确定物方轮廓的方法、训练目标模型的方法、装置、设备与流程

本公开的实施例主要涉及人工智能领域。更具体地，本公开的实施例涉及确定物方轮廓的方法、训练目标模型的方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着卷积神经网络(cnn)算法等人工智能技术被应用到诸如三维重建等的图像处理领域，基于检测到的三维坐标点云执行实景重建已经变为可能。三维重建是指对三维物体建立适合计算机表示和处理的数学模型。实景三维建模是连接虚拟世界和真实世界的桥梁，在各个领域中扮演重要的角色，具有广阔的应用前景：如元宇宙、无人驾驶、定位导航、ar/vr、5g仿真等。作为城市场景中的重要的地物元素，实景三维建模中建筑物重建是关键组成，建筑物的实景建模在数字城市、城建规划和灾害管理等领域具有重要的价值，建筑物建模也是学术界和工业界重点投入和研究方向。在建筑物三维建模领域，由于无法自动获取在建筑物重建中依赖的高精度的建筑物屋顶轮廓，传统方案主要以纯人工和半自动化重建方式为主，缺乏高效率、精度高和自动化程度高的建模方案。

技术实现思路

1、为了更加高效、准确地获取观测对象的物方轮廓，本公开的实施例提供了一种新的数据处理方案。

2、在本公开的第一方面，提供了一种用于确定物方轮廓的方法。该方法可以包括：基于接收的多个像方图像，至少确定观测对象在所述多个像方图像中的相应的多个像方轮廓；基于所述多个像方轮廓分别确定针对所述多个像方图像的多个像方-物方映射关系；以及基于所述多个像方-物方映射关系，针对所述观测对象所在的物方空间确定所述物方轮廓。

3、本公开可以通过利用针对每个像方图像的像方-物方映射关系来对多个像方图像进行融合，进而确定物方轮廓。由于本公开可以将多个拍摄角度的像方图像统一融合至物方维度，故可以更加高效、准确地确定观测对象的物方轮廓。由此，本公开的轮廓自动识别方案具备高精度地确定建筑物的屋顶轮廓等信息的能力，故可以使三维建模结果更加精确，从而提升了用户体验。

4、在第一方面的一种实现方式中，基于所述多个像方图像至少确定所述多个像方轮廓可以包括：将所述多个像方图像输入预先确定的物方轮廓确定模型中；以及从所述多个像方图像中分别获取相应的多个像方特征以及所述观测对象在所述多个像方图像中的相应的多个像方轮廓。

5、在第一方面的一种实现方式中，确定所述物方轮廓可以包括：基于所述多个像方-物方映射关系，确定分别与所述多个像方特征相对应的多个物方特征；通过融合所述多个物方特征，获取融合物方特征；以及基于所述融合物方特征，确定所述物方轮廓。通过利用像方-物方映射关系将像方特征转换为物方特征，可以实现物方特征融合。经融合的物方特征可以包含更加准确的特征信息，从而优化物方轮廓的识别结果。

6、在第一方面的一种实现方式中，确定所述多个像方-物方映射关系可以包括：基于所述多个像方轮廓中的第一像方轮廓，从所述多个像方图像中的与所述第一像方轮廓相对应的第一像方图像中确定像方点位；确定所述像方点位所对应的物方点位；以及基于所述像方点位和所述物方点位确定所述多个像方-物方映射关系中的针对所述第一像方图像的第一像方-物方映射关系。

7、在第一方面的一种实现方式中，确定所述第一像方-物方映射关系可以包括：基于所述物方点位的除高度之外的位置信息以及所述像方点位的位置信息，确定变换函数；以及基于所述变换函数确定所述第一像方-物方映射关系。由于确定的像方-物方映射关系仅包含物方的经度信息、维度信息以及像方的横坐标、纵坐标的映射关系，故可以消除点云数据由于精度不足而导致的物方点位的误差，从而显著提高了物方轮廓的识别精度。

8、在第一方面的一种实现方式中，所述物方轮廓确定模型可以包括卷积神经网络，并且获取所述多个像方特征可以包括：将所述多个像方图像中的第一像方图像输入所述卷积神经网络，以从所述第一像方图像中提取第一像方特征图；以及将所述多个像方图像中的第二像方图像输入所述卷积神经网络，以从所述第二像方图像中提取第二像方特征图，所述第一像方特征图和所述第二像方特征图是所述多个像方特征中的至少一部分。

9、在第一方面的一种实现方式中，获取所述融合物方特征可以包括：基于所述多个像方-物方映射关系中的针对所述第一像方图像的第一像方-物方映射关系，将所述第一像方特征图转换为第一物方特征图；基于所述多个像方-物方映射关系中的针对所述第二像方图像的第二像方-物方映射关系，将所述第二像方特征图转换为第二物方特征图；以及基于所述第一物方特征图和所述第二物方特征图，确定所述融合物方特征。以此方式，多个像方特征可以通过转换实现物方特征融合。

10、在第一方面的一种实现方式中，所述观测对象可以是建筑物的屋顶。

11、在本公开的第二方面，提供了一种用于训练目标模型的方法。该方法可以包括：通过将多个像方图像输入所述目标模型中，获取相应的多个像方特征和观测对象在所述多个像方图像中的相应的多个像方轮廓，以基于所述多个像方轮廓以及分别与所述多个像方轮廓对应的多个真值像方轮廓，确定所述目标模型的第一损失函数，所述多个真值像方轮廓是基于所述观测对象的真值物方轮廓在所述多个像方图像中的位置分别确定的；基于所述真值物方轮廓分别确定针对所述多个像方图像的多个像方-物方映射关系；基于所述多个像方-物方映射关系和所述多个像方特征，确定物方轮廓，以基于所述物方轮廓以及所述真值物方轮廓，确定所述目标模型的第二损失函数；以及优化所述第一损失函数和所述第二损失函数，以确定所述目标模型。

12、与上文的确定物方轮廓的方法类似的，本公开的第二方面可以通过利用针对每个像方图像的像方-物方映射关系来对多个像方图像进行融合，进而训练目标模型。由于本公开可以将多个拍摄角度的用于训练的像方图像统一融合至物方维度，故可以更加高效、准确地确定观测对象的物方轮廓，提升训练效果。

13、在第二方面的一种实现方式中，确定所述物方轮廓包括：基于所述多个像方-物方映射关系，确定分别与所述多个像方特征对应的多个物方特征；通过融合所述多个物方特征，获取融合物方特征；以及基于所述融合物方特征，确定所述物方轮廓。

14、在第二方面的一种实现方式中，所述真值物方轮廓是在由点云数据生成的物方图像上经人工标注的真值数据，并且确定所述多个像方-物方映射关系包括：基于所述真值物方轮廓，从所述点云数据中确定相关联的物方点位；确定所述物方点位投影至所述多个像方图像中的第一像方图像的像方点位；以及基于所述物方点位和所述像方点位确定所述像方-物方映射关系中的针对所述第一像方图像的第一像方-物方映射关系。

15、在第二方面的一种实现方式中，确定所述第一像方-物方映射关系包括：基于所述物方点位的除高度之外的位置信息以及所述像方点位的位置信息，确定变换函数；以及基于所述变换函数确定所述第一像方-物方映射关系。

16、在第二方面的一种实现方式中，确定所述物方点位包括：将所述点云数据中邻近所述真值物方轮廓的点云数据确定为所述物方点位。

17、在第二方面的一种实现方式中，所述目标模型包括卷积神经网络，并且获取所述多个像方特征包括：将所述多个像方图像中的第一像方图像输入所述卷积神经网络，以从所述第一像方图像中提取第一像方特征图；以及将所述多个像方图像中的第二像方图像输入所述卷积神经网络，以从所述第二像方图像中提取第二像方特征图，所述第一像方特征图和所述第二像方特征图是所述多个像方特征中的至少一部分。

18、在第二方面的一种实现方式中，获取所述融合物方特征包括：基于所述多个像方-物方映射关系中的针对所述第一像方图像的第一像方-物方映射关系，将所述第一像方特征图转换为第一物方特征图；基于所述多个像方-物方映射关系中的针对所述第二像方图像的第二像方-物方映射关系，将所述第二像方特征图转换为第二物方特征图；以及基于所述第一物方特征图和所述第二物方特征图，确定所述融合物方特征。

19、在本公开的第三方面，提供了一种用于确定物方轮廓的装置。该装置包括用于实现上述第一方面或第一方面的任意一种实现方式的功能模块。

20、在本公开的第四方面，提供了一种用于训练目标模型的装置。该装置包括用于实现上述第二方面或第二方面的任意一种实现方式的功能模块。

21、在本公开的第五方面，提供了一种电子设备。该电子设备包括：至少一个计算单元；至少一个存储器，至少一个存储器被耦合到至少一个计算单元并且存储用于由至少一个计算单元执行的指令，指令当由至少一个计算单元执行时，使得设备执行第一、二方面或者第一、二方面中的任意一种实现方式中的方法。

22、在本公开的第六方面，提供了一种计算机可读存储介质。计算机可读存储介质存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现第一、二方面或者第一、二方面中的任意一种实现方式中的方法。

23、在本公开的第七方面，提供一种计算机程序产品。计算机程序产品包括计算机可执行指令，计算机可执行指令在被处理器执行时，使计算机执行第一、二方面或者第一、二方面中的任意一种实现方式中的方法的部分或全部步骤的指令。

24、可以理解地，上述提供的第二方面的用于训练目标模型的方法、第三方面的用于确定物方轮廓的装置、第四方面的用于训练目标模型的装置、第五方面的电子设备、第六方面的计算机存储介质或者第七方面的计算机程序产品均用于实现第一方面所提供的方法。因此，关于第一方面、第二方面的解释或者说明同样适用于第三方面、第四方面、第五方面、第六方面和第七方面。此外，第三方面、第四方面、第五方面、第六方面和第七方面所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

25、本发明的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。