全景图处理的方法、服务器、存储介质及程序产品与流程

本申请涉及计算机技术，尤其涉及一种全景图处理的方法、服务器、存储介质及程序产品。

背景技术：

1、近些年随着生成式人工智能(artificial intelligence generated content，简称aigc)技术快速发展，推动了数字化产业的蓬勃发展，图像内容的智能生成大大提高了相关行业的工作效率。360全景图相对于常规图像，包含了更多的图像内容，在虚拟现实/增强现实(va/ar)、游戏制作、室内/园林设计等领域具有关键用途。

2、目前的全景图生成方案，基于用户提供的文本描述生成全景图，生成结果仅依赖于文本描述，可控性差，往往生成的全景图与用户需求相去甚远，即使用户反复调整改善文本描述，也未必能生成符合用户需求的全景图。

技术实现思路

1、本申请提供一种全景图处理的方法、服务器、存储介质及程序产品，用以解决全景图生成的可控制性差，生成结果不符合用户需求的问题。

2、第一方面，本申请提供一种全景图处理方法，包括：

3、获取给定的参考图像和描述文本；

4、对所述参考图像进行变形及拉伸填充，获得所述参考图像的变换图像，并获取所述变换图像对应的掩膜图像；

5、将所述描述文本、所述变换图像和所述掩膜图像输入图像生成模型，通过所述图像生成模型根据所述描述文本、所述变换图像和所述掩膜图像，生成全景图。

6、第二方面，全景图处理方法，包括：

7、接收端侧设备发送的全景图生成请求，所述全景图生成请求包含给定的参考图像和描述文本；

8、对所述参考图像进行变形及拉伸填充，获得所述参考图像的变换图像，并获取所述变换图像对应的掩膜图像；

9、将所述描述文本、所述变换图像和所述掩膜图像输入图像生成模型，通过所述图像生成模型根据所述变换图像和所述掩膜图像，生成全景图；

10、向所述端侧设备输出所述全景图。

11、第三方面，本申请提供一种服务器，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述服务器执行如前述任一方面所提供的方法。

12、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如前述任一方面所提供的方法。

13、第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如前述任一方面所提供的方法。

14、本申请提供的全景图处理的方法、服务器、存储介质及程序产品，通过获取给定的参考图像和待生成全景图的描述文本，对所述参考图像进行变形及拉伸填充，获得所述参考图像的变换图像，并获取所述变换图像对应的掩膜图像，将所述描述文本、所述变换图像和所述掩膜图像输入图像生成模型，通过所述图像生成模型根据所述变换图像和所述掩膜图像，生成全景图，基于给定的参考图像和描述文本生成全景图，使得生成的全景图以用户给定的参考图像的内容为基础、并且符合用户给定描述文本的描述，生成全景图的可控性得到很大提升，更加符合用户需求。

技术特征：

1.一种全景图处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述参考图像进行变形及拉伸填充，获得所述参考图像的变换图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述获取所述变换图像对应的掩膜图像，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据配置的填充规则，将所述参考图像填充到立方体贴图中，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据配置的填充规则，将所述参考图像填充到立方体贴图中，包括：

6.根据权利要求1-5中任一项所述的方法，其特征在于，还包括：

7.根据权利要求6所述的方法，其特征在于，所述构建训练集，包括：

8.根据权利要求7所述的方法，其特征在于，所述根据各所述全景图样本和掩膜图像样本，生成各所述全景图样本对应的参考图像样本，包括：

9.根据权利要求6所述的方法，其特征在于，所述使用所述训练集对所述预训练模型进行微调训练，获得所述图像生成模型，包括：

10.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取给定的参考图像和描述文本，包括：

11.一种全景图处理方法，其特征在于，包括：

12.根据权利要求11所述的方法，其特征在于，所述对所述参考图像进行变形及拉伸填充，获得所述参考图像的变换图像，包括：

13.一种服务器，其特征在于，包括：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-12任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-12任一项所述的方法。

技术总结本申请提供一种全景图处理的方法、服务器、存储介质及程序产品。本申请的方法，通过获取给定的参考图像和描述文本，对所述参考图像进行变形及拉伸填充，获得所述参考图像的变换图像，并获取所述变换图像对应的掩膜图像，将所述描述文本、所述变换图像和所述掩膜图像输入图像生成模型，通过所述图像生成模型根据所述变换图像和所述掩膜图像，生成全景图，基于给定的参考图像和描述文本生成全景图，使得生成的全景图以用户给定的参考图像的内容为基础、并且符合用户给定描述文本的描述，生成全景图的可控性得到很大提升，更加符合用户需求。技术研发人员：冯梦阳受保护的技术使用者：阿里巴巴（中国）有限公司技术研发日：技术公布日：2024/9/9