基于2D预训练分割模型监督的3D高斯全景分割方法、计算机设备和程序产品

本申请涉及计算机视觉和深度学习领域，特别是涉及一种基于2d预训练分割模型监督的3d高斯全景分割方法、计算机设备和程序产品。

背景技术：

1、从2d的图片建立起对整个3d场景的语义等信息的理解是十分有必要的，然而，仅仅使用2d分割模型直接对图片进行分割，会缺少3d信息，从而难以对场景建立起整体的认知。

2、现有的全景分割模型往往存在以下三个问题：1)难以产生具有3d一致性的分割结果，即对于同一个物体在不同视角下的分割结果不同。2)训练速度过慢，目前的方法往往需要长达24小时以及以上的时间用于训练。3)渲染速度慢，一秒只能渲染十多张分割图。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于2d预训练分割模型监督的3d高斯全景分割方法。

2、本申请基于2d预训练分割模型监督的3d高斯全景分割方法，包括：

3、将同一场景不同视角的多张输入图像输入至2d预训练分割模型，获得2d语义分割图和2d实例分割图，根据所述输入图像获得对应所述输入图像的相机参数，根据所述输入图像获得基于3d高斯场景的3d高斯初始表达，所述3d高斯初始表达是由多个高斯椭球随机初始化形成的场景；

4、基于所述相机参数，获得所述3d高斯初始表达在相应视角下投影获得的2d高斯表达，所述2d高斯表达包括颜色信息、语义信息和实例信息；

5、根据所述颜色信息获得第一生成图像，根据所述语义信息获得第二生成图像，根据所述实例信息获得第三生成图像；

6、利用预设损失参数训练优化3d高斯场景表达，获得训练完成的3d高斯分割模型，所述预设损失参数包括：所述第一生成图像与相应输入图像的第一预设损失、所述第二生成图像与相应所述2d语义分割图的第二预设损失、所述第三生成图像与映射实例分割结果的第三预设损失，所述映射实例分割结果经由所述第三生成图像与相应所述2d实例分割图通过匹配映射获得；

7、基于所述3d高斯分割模型，获得3d高斯全景分割结果，所述3d高斯全景分割结果包括3d高斯场景的语义分割信息和实例分割信息。

8、可选的，根据所述输入图像获得基于3d高斯场景的3d高斯初始表达，所述3d高斯初始表达是由多个高斯椭球随机初始化形成的场景，具体包括：

9、根据所述输入图像获得基于3d高斯场景的初始点云，基于所述初始点云获得场景的3d高斯初始表达。

10、可选的，所述映射实例分割结果经由所述第三生成图像与相应所述2d实例分割图通过匹配映射获得，具体包括：

11、将所述2d实例分割图每个像素的实例id匹配映射至所述第三生成图像，得到用于监督的映射实例分割结果。

12、可选的，基于所述初始点云获得场景的3d高斯初始表达，具体包括：将每个初始点云的位置视作一个高斯椭球的中心，对所述高斯椭球的形状随机初始化，获得由多个形状各异的高斯椭球组成的场景，从而获得3d高斯初始表达。

13、可选的，基于所述相机参数，获得所述3d高斯初始表达在相应视角下投影获得的2d高斯表达，所述2d高斯表达包括颜色信息、语义信息和实例信息，具体包括：

14、基于所述相机参数，将所述3d高斯初始表达中的各个高斯椭球投影至与所述相机参数相对应的2d平面，使所述高斯椭球投影为高斯椭圆，各所述高斯椭圆在所述2d平面上形成颜色信息、语义信息和实例信息。

15、可选的，根据所述颜色信息获得第一生成图像，具体包括：将所述高斯椭圆经过高斯可微光栅化，混合各个像素点的颜色信息，从而获得所述第一生成图像；

16、根据所述语义信息获得第二生成图像，具体包括：将所述高斯椭圆经过高斯可微光栅化，混合各个像素点的语义信息，从而获得所述第二生成图像。

17、可选的，各个像素点的语义信息，利用下式进行获得：

18、

19、式中，

20、κp表示像素p对应的语义信息；

21、ls表示神经网络，用于将语义编码映射为对应各种语义的概率分布；

22、ei表示第i个高斯球对应的颜色信息；

23、α′i(p)表示第i个高斯球在像素p对应的不透明度；

24、α′j表示第j个高斯球的不透明度。

25、可选的，根据所述实例信息获得第三生成图像，具体包括：

26、将所述高斯椭圆经过高斯可微光栅化，混合各个像素点的实例信息，获得第三生成图像。

27、可选的，所述第三预设损失利用下式获得：

28、

29、其中，为所述第三预设损失，用于表示实例损失；

30、|i|表示图像的像素个数；

31、wp表示2d预训练分割模型预测的每个像素的置信度；

32、h表示的是第h个实例；

33、πp表示渲染得到的第p个像素对应第p类实例的概率；

34、是2d预训练分割模型预测的p个像素对应第p类实例的概率；

35、是将所述2d实例分割图通过线性匹配映射的方式，获得映射实例分割结果：

36、

37、其中，表示选择的映射；

38、πi表示当前映射；

39、hi表示图像的所有实例；

40、|ih|表示图像对应h实例的像素个数；

41、πi(h)表示第h个实例被映射到的实例编号；

42、wp表示2d预训练分割模型预测的每个像素的置信度；

43、h表示的是第h个实例；

44、πp表示渲染得到的第p个像素对应第p类实例的概率。

45、本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本申请所述的基于2d预训练分割模型监督的3d高斯全景分割方法的步骤。

46、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请所述的基于2d预训练分割模型监督的3d高斯全景分割方法的步骤。

47、本申请还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请所述的基于2d预训练分割模型监督的3d高斯全景分割方法的步骤。

48、本申请基于2d预训练分割模型监督的3d高斯全景分割方法至少具有以下效果：

49、本申请训练优化后的3d高斯场景表达能符合图片所对应的现实场景。具体通过第一预设损失优化3d高斯表达，以完成该过程。在此基础上，通过第二预设损失，进一步优化场景的语义表示；通过第三预设损失，进一步优化场景的实例表示。优化完成后的模型具有能拟合现实的场景的语义和实例信息，即可用以获取整个场景的全景表达，即完成整个方法流程。

技术特征：

1.基于2d预训练分割模型监督的3d高斯全景分割方法，其特征在于，包括：

2.如权利要求1所述的3d高斯全景分割方法，其特征在于，根据所述输入图像获得基于3d高斯场景的3d高斯初始表达，所述3d高斯初始表达是由多个高斯椭球随机初始化形成的场景，具体包括：

3.如权利要求2所述的3d高斯全景分割方法，其特征在于，基于所述初始点云获得场景的3d高斯初始表达，具体包括：将每个初始点云的位置视作一个高斯椭球的中心，对所述高斯椭球的形状随机初始化，获得由多个形状各异的高斯椭球组成的场景，从而获得3d高斯初始表达。

4.如权利要求1所述的3d高斯全景分割方法，其特征在于，基于所述相机参数，获得所述3d高斯初始表达在相应视角下投影获得的2d高斯表达，所述2d高斯表达包括颜色信息、语义信息和实例信息，具体包括：

5.如权利要求4所述的3d高斯全景分割方法，其特征在于，

6.如权利要求5所述的3d高斯全景分割方法，其特征在于，根据所述实例信息获得第三生成图像，具体包括：

7.如权利要求1所述的3d高斯全景分割方法，其特征在于，所述映射实例分割结果经由所述第三生成图像与相应所述2d实例分割图通过匹配映射获得，具体包括：

8.如权利要求7所述的3d高斯全景分割方法，其特征在于，所述第三预设损失利用下式获得：

9.计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1～8任一项基于2d预训练分割模型监督的3d高斯全景分割方法的步骤。

10.计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现如权利要求1～8任一项所述的基于2d预训练分割模型监督的3d高斯全景分割方法的步骤。

技术总结本申请涉及一种基于2D预训练分割模型监督的3D高斯全景分割方法、计算机设备和程序产品，3D高斯全景分割方法包括：将同一场景不同视角的多张输入图像输入至2D预训练分割模型，获得2D语义分割图和2D实例分割图，获得基于3D高斯场景的3D高斯初始表达，3D高斯初始表达是由多个高斯椭球随机初始化形成的场景；获得3D高斯初始表达在相应视角下投影获得的2D高斯表达；根据颜色信息获得第一生成图像，根据语义信息获得第二生成图像，根据实例信息获得第三生成图像；利用预设损失参数训练优化3D高斯场景表达，获得训练完成的3D高斯分割模型；基于3D高斯分割模型，获得3D高斯场景的语义分割信息和实例分割信息。技术研发人员：赵磊,马骋,莫竣程,林怀忠,张占杰,李光远,孙嘉锴,尹浩霖,蓝泽铧,张权威,王永康,陈嘉芙,褚天易,饶晨,焦涵,贾世安,张玮婧,邢卫受保护的技术使用者：浙江大学技术研发日：技术公布日：2025/1/6