基于生成式大模型纹理生成三维颜料喷涂系统及方法

本发明属于三维模型扫描及喷涂领域，特别是涉及一种基于生成式大模型纹理生成三维颜料喷涂系统及方法。背景技术：：：1、近年来，计算机图形学领域一直在不断追求更加逼真和高质量的图形效果，其中数字纹理的生成是一个关键问题。传统方法在数字纹理生成方面存在一些限制，包括对真实感的欠缺和难以定制的问题。在大语言模型时代之前，3d生成方法大多采用生成对抗网络和对比语言图像预训练。近年来，随着预训练的大型语言模型的可访问性，许多研究人员采用基于扩散的方法来生成质量更好的三维模型。2、与传统的基于规则和统计方法的数字纹理生成相比，生成式大模型具有明显的优势。首先，它们能够捕捉到更复杂、更真实的纹理特征，使生成的数字纹理更加逼真。其次，生成式大模型具有较强的可定制性，可以通过调整模型的参数或输入来实现对纹理的个性化生成。这使得在计算机图形学中更灵活地适应不同场景和应用需求成为可能。3、然而，目前的研究主要集中在图像生成领域，对于三维物体表面纹理的生成应用相对较少。当前，基于扩散的生成式大模型在三维物体纹理生成上仍面临着一些挑战，包括缺乏高质量的三维数据集、高维物体数据结构复杂以及计算资源限制等问题。传统的生成式大模型应用于三维物体纹理生成时，通常只能在数字世界中进行训练，缺乏对现实世界的直接反馈，也即虚拟世界的数字纹理和现实世界的物理纹理之间缺乏交互，进而导致模型的真实性不高，最终的喷涂呈现的效果不佳。技术实现思路1、为了解决上述技术问题，本发明提出了一种可以实现三维物体高质量的定制纹理喷涂的基于生成式大模型纹理生成的三维颜料喷涂系统及方法。2、本发明提供一种利用生成式大模型进行数字纹理生成系统及方法。该方法通过将生成式大模型与三维物体重建、现实反馈强化学习等技术相结合，实现了对三维物体的高质量定制纹理喷涂。此外，通过将喷涂技术和三维物体重建技术结合，能够将生成式大模型生成的数字纹理转换为物理纹理，从而实现对生成式大模型的基于人类反馈的强化学习。本发明所述方法旨在推动计算机图形学领域数字纹理生成的发展，提高数字制造和视觉呈现的效果，能够为虚拟世界和真实世界的交互及作用提供更多的通道。3、本发明提供的技术方案如下：4、第一方面，本发明提供一种基于生成式大模型纹理生成的三维颜料喷涂方法，包括以下步骤：5、s1，采集多视角图像数据；6、s2，对多视角图像数据进行数据处理以获取三维点云模型及每个点对应真实世界的坐标值，再经重建获得待喷涂物体的网格模型；7、s3，结合网格模型，根据用户要求生成特定数字纹理及其与网格模型的uv映射关系；8、s4，纹理喷涂路径规划；9、s5，纹理喷涂。10、进一步，所述步骤s1包括以下步骤：启动转台，rgb-d相机定时采集待喷涂物体的rgb图像和深度图像以获取待喷涂物体多视角图像数据。11、进一步，所述步骤s2包括以下子步骤：12、对多视角图像数据进行数据预处理得到预处理图像数据；13、对预处理图像数据进行点云拼接，获取三维点云模型及每个点对应真实世界的坐标值；14、对三维点云模型使用泊松表面重建算法获取待喷涂物体的网格模型。15、更进一步，所述步骤s2中，预处理包括以下子步骤：16、（1）直通滤波：在x、y、z轴上分别设置阈值范围，过滤掉不在指定范围内的点，保留转盘上模型的点云；17、（2）统计滤波：对比每个点与其领域内的统计属性，对其中的离群点滤波或修复。18、进一步，所述步骤s3包括以下子步骤：19、s31，对输入的网格模型使用随机纹理进行初始化；20、s32，利用s1中获取的三维重建中相机和物体的姿态位置，通过对齐物理世界和数字世界中相机的坐标系，转换物理世界中相机的旋转表示和平移表示，获取数字世界中各个相机视角下的2d纹理图像及其与网格模型对应部分的uv映射关系；21、s33，将2d纹理图像输入到稳定扩散模型中，通过扩散模型变分自编码器（dvae，diffusion variational autoencoders）中的编码器将其转换为带噪声的隐空间图像；22、s34，将用户提供的文本描述或图片以及各个视图的深度信息作为条件输入到unet模型中，用于引导去噪过程；在unet模型的采样器中，对带噪声图像进行迭代式去噪，并在每次迭代后将生成的各个视图的纹理图像反投影到纹理空间；对于重叠部分的纹理像素值根据各个重叠纹理像素的联合分布进行更新，以确保纹理的一致性；进而得到一组3d一致的潜在图像和潜在纹理映射；23、s35，通过潜在纹理聚合以及扩散模型变分自编码器（dvae，diffusionvariational autoencoders）中的解码器解码潜在图像，生成用户定制的特定数字纹理及其与网格模型的uv映射关系。24、更进一步，所述步骤s33中，稳定扩散模型采用开源模型stable diffusion2.0的架构。在经过数字世界基底上的训练后，将该模型与喷涂后的实际物理纹理结合。通过应用基于人类反馈的强化学习算法对模型进行微调，实现了更真实的纹理贴图生成，使得在喷涂后的物体表面呈现出更高的逼真度。25、进一步，所述步骤s4包括以下子步骤：26、s41，利用s3中获取的特定数字纹理及其与网格模型的uv映射关系将待喷涂物体表面的纹理转换为二维图像，再对该二维图像进行轮廓检测和颜色检测，将各颜色按占比从大到小进行顺序排列作为各颜色喷涂的顺序；27、s42，根据各轮廓的uv映射关系以及虚拟数字模型与物理世界实际模型各点的对应关系使用最优路径规划算法规划出各轮廓线的喷涂路径，再按照各轮廓块和颜色规划出各颜色块的喷涂顺序。28、进一步，所述步骤s5包括以下子步骤：首先，待喷涂物体严格按照3d模型位置固定摆放；其次，机械臂控制喷涂泵按规划的轮廓线喷涂路径绕待喷涂物体360度移动将轮廓线全部绘制完毕；然后，机械臂按照各颜色喷涂顺序控制不同颜色喷涂泵对各轮廓线包围块进行对应颜色喷涂，直至全部喷涂完毕。29、第二方面，本发明提供一种基于生成式大模型纹理生成的三维颜料喷涂系统，用于实施如第一方面所述的基于生成式大模型纹理生成的三维颜料喷涂方法，包括：30、转台，用于放置待喷涂物体；31、带滑轨的工作平台，设置于转台四周；32、机械臂，设置于滑轨上；33、喷涂泵，设置于机械臂的抓手上；34、rgb-d相机，设置于滑轨外侧；35、以及用户操作平台，用于数据处理和部件控制。36、进一步，所述机械臂可沿滑轨围绕待喷涂物体360度旋转。37、进一步，所述喷涂泵喷涂多种颜色的涂料，机械臂在控制喷涂完纹理轮廓后按喷涂颜色顺序依次喷涂各颜色块。38、进一步，所述rgb-d相机具备rgb（彩色图像）和深度（距离信息）捕捉能力，与自动化旋转转台配合用于采集物体多个视角的视觉数据，生成目标物体的高质量三维点云模型。39、本发明的有益效果如下：40、（1）本发明提供的三维颜料喷涂系统，利用三维物体扫描构建数字模型，然后通过生成式大模型生成定制的数字纹理，再通过纹理喷涂路径规划和自动喷涂上色对物理模型进行定点喷涂，能够适用于多种复杂对象，以实现物件的高质量定制纹理喷涂作业。41、（2）本发明采用生成式大模型，通过利用稳定扩散模型，根据描述文本生成多角度的纹理图片并将这些纹理图片逆投射到纹理空间，实现对整个模型的纹理聚合，从而生成更加自然的纹理贴图。42、（3）本发明采用生成式大模型，通过利用喷涂后的实际物理纹理结合基于人类反馈强化学习的算法对预训练后的大模型进行微调，生成的纹理贴图更加真实。43、（4）本发明提供的方法能够将数字纹理转换为物理纹理，再通过物理世界纹理对模型进行微调修正，实现了虚拟世界和物理世界的交互，以对三维物体的高质量、个性化数字纹理喷涂。当前第1页12当前第1页12