耦合DUSt3R和U-Net语义分割的文物三维建模方法

本发明涉及图像处理，尤其涉及一种耦合dust3r和u-net语义分割的文物三维建模方法。

背景技术：

1、随着三维重建技术的快速发展，其在文物保护领域的应用也越来越广泛。博物馆通常会提供虚拟现实的文物三维模型，以供游客参观，然而这种方式虽然提供了便利，但游客的参与感较差。在游客拍照场景下，如何利用游客拍摄的文物照片实时地生成文物三维模型，提升游客欣赏文物、保护文物的参与感，是亟待解决的关键问题。

2、目前，现有技术采用三维激光扫描和多视角摄影相结合的技术，对文物图像进行三维重建，不仅需要采集多个投影视角的文物图像，还需要对相机参数进行标定，复杂度较高，三维重建效率低，难以利用游客拍摄的有限数量的文物照片，实时地生成文物三维模型，影响游客体验。

技术实现思路

1、本发明提供一种耦合dust3r和u-net语义分割的文物三维建模方法，用以解决现有技术中采用三维激光扫描和多视角摄影相结合的技术，对文物图像进行三维重建，不仅需要采集多个投影视角的文物图像，还需要对相机参数进行标定，复杂度较高，三维重建效率低，难以利用游客拍摄的有限数量的文物照片，实时地生成文物三维模型，影响游客体验的缺陷。

2、第一方面，本发明提供一种耦合dust3r和u-net语义分割的文物三维建模方法，包括：

3、实时获取游客拍摄的目标文物的少量原始图像；

4、对所述目标文物的少量原始图像进行预处理，得到所述目标文物的少量图像；

5、将所述目标文物的少量图像输入至预先构建的三维重建模型，得到所述三维重建模型输出的所述目标文物的少量图像对应的目标文物三维模型；

6、其中，所述三维重建模型是基于样本文物的样本图像，以及所述样本文物的样本图像对应的样本文物三维模型标签进行训练得到的。

7、在一些实施例中，所述三维重建模型包括语义分割层和三维重建层，所述语义分割层包括u-net网络，所述三维重建层包括密集无约束立体三维重建dust3r模型。

8、在一些实施例中，所述将所述目标文物的少量图像输入至预先构建的三维重建模型，得到所述三维重建模型输出的所述目标文物的少量图像对应的目标文物三维模型，包括：

9、将所述目标文物的少量图像输入至所述语义分割层，得到所述语义分割层输出的所述目标文物的少量分割图；

10、将所述目标文物的少量分割图输入至所述三维重建层，得到所述三维重建层输出的所述目标文物的少量图像对应的目标文物三维模型。

11、在一些实施例中，所述将所述目标文物的少量图像输入至所述语义分割层，得到所述语义分割层输出的所述目标文物的少量分割图，包括：

12、基于所述语义分割层，对所述目标文物的少量图像进行语义分割，得到所述目标文物的少量掩膜图；

13、对所述目标文物的少量掩膜图进行后处理，得到所述目标文物的少量分割图。

14、在一些实施例中，所述将所述目标文物的少量分割图输入至所述三维重建层，得到所述三维重建层输出的所述目标文物的少量图像对应的目标文物三维模型，包括：

15、基于所述三维重建层，对所述目标文物的少量分割图进行全局对齐，得到对齐后的分割图；

16、基于所述对齐后的分割图进行三维重建，得到所述目标文物的少量图像对应的目标文物三维模型。

17、在一些实施例中，所述三维重建模型的确定过程包括：

18、获取样本文物的样本原始图像；

19、对所述样本文物的样本原始图像进行预处理，得到所述样本文物的样本图像；

20、确定所述样本文物的样本图像对应的样本文物三维模型标签；

21、以所述样本文物的样本图像为训练样本，以所述样本文物的样本图像对应的样本文物三维模型标签为样本标签，训练初始三维重建模型；

22、对所述初始三维重建模型的参数进行迭代优化，训练完成后，得到所述三维重建模型。

23、在一些实施例中，所述初始三维重建模型包括初始语义分割层和初始三维重建层，所述初始语义分割层包括u-net网络，所述初始三维重建层包括密集无约束立体三维重建dust3r模型；

24、对应地，所述训练初始三维重建模型包括：

25、将所述样本文物的样本图像输入至所述初始语义分割层，得到所述初始语义分割层输出的所述样本文物的样本分割图；

26、将所述样本文物的样本分割图输入至所述初始三维重建层，得到所述初始三维重建层输出的所述样本文物的样本图像对应的样本文物三维模型；

27、基于所述样本文物的样本图像对应的样本文物三维模型，以及所述样本文物的样本图像对应的样本文物三维模型标签，计算损失函数值；

28、基于所述损失函数值，对所述初始语义分割层和所述初始三维重建层的参数进行迭代优化。

29、第二方面，本发明还提供一种耦合dust3r和u-net语义分割的文物三维建模装置，包括：

30、获取单元，用于实时获取游客拍摄的目标文物的少量原始图像；

31、预处理单元，用于对所述目标文物的少量原始图像进行预处理，得到所述目标文物的少量图像；

32、三维重建单元，用于将所述目标文物的少量图像输入至预先构建的三维重建模型，得到所述三维重建模型输出的所述目标文物的少量图像对应的目标文物三维模型；

33、其中，所述三维重建模型是基于样本文物的样本图像，以及所述样本文物的样本图像对应的样本文物三维模型标签进行训练得到的。

34、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述耦合dust3r和u-net语义分割的文物三维建模方法。

35、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述耦合dust3r和u-net语义分割的文物三维建模方法。

36、本发明提供的耦合dust3r和u-net语义分割的文物三维建模方法，通过实时获取游客拍摄的目标文物的少量原始图像，对目标文物的少量原始图像进行预处理，得到目标文物的少量图像，将目标文物的少量图像输入至预先训练好的三维重建模型，得到三维重建模型输出的目标文物的少量图像对应的目标文物三维模型，能够简化三维重建的流程，降低计算的复杂度，提高三维重建的效率和实时性，提升游客体验。

技术特征：

1.一种耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，包括：

2.根据权利要求1所述的耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，所述三维重建模型包括语义分割层和三维重建层，所述语义分割层包括u-net网络，所述三维重建层包括密集无约束立体三维重建dust3r模型。

3.根据权利要求2所述的耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，所述将所述目标文物的少量图像输入至预先构建的三维重建模型，得到所述三维重建模型输出的所述目标文物的少量图像对应的目标文物三维模型，包括：

4.根据权利要求3所述的耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，所述将所述目标文物的少量图像输入至所述语义分割层，得到所述语义分割层输出的所述目标文物的少量分割图，包括：

5.根据权利要求3所述的耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，所述将所述目标文物的少量分割图输入至所述三维重建层，得到所述三维重建层输出的所述目标文物的少量图像对应的目标文物三维模型，包括：

6.根据权利要求1所述的耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，所述三维重建模型的确定过程包括：

7.根据权利要求6所述的耦合dust3r和u-net语义分割的文物三维建模方法，其特征在于，所述初始三维重建模型包括初始语义分割层和初始三维重建层，所述初始语义分割层包括u-net网络，所述初始三维重建层包括密集无约束立体三维重建dust3r模型；

8.一种耦合dust3r和u-net语义分割的文物三维建模装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述耦合dust3r和u-net语义分割的文物三维建模方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述耦合dust3r和u-net语义分割的文物三维建模方法。

技术总结本发明提供一种耦合DUSt3R和U‑Net语义分割的文物三维建模方法，其中，方法包括：实时获取游客拍摄的目标文物的少量原始图像；对目标文物的少量原始图像进行预处理，得到目标文物的少量图像；将目标文物的少量图像输入至预先构建的三维重建模型，得到三维重建模型输出的目标文物的少量图像对应的目标文物三维模型；其中，三维重建模型是基于样本文物的样本图像，以及样本文物的样本图像对应的样本文物三维模型标签进行训练得到的。本发明能够简化三维重建的流程，降低计算的复杂度，提高三维重建的效率和实时性，提升游客体验。技术研发人员：高培超,林小涵,刘钊,李海洋,宋长青,叶思菁受保护的技术使用者：北京师范大学技术研发日：技术公布日：2025/1/6