基于生成式人工智能的实时图像渲染生成系统的制作方法

本技术涉及图像处理领域，且更为具体地，涉及一种基于生成式人工智能的实时图像渲染生成系统。

背景技术：

1、图像渲染技术是指将三维模型转换为二维图像的过程，通常涉及光照计算、纹理映射、阴影处理等步骤，以生成逼真的视觉效果。tsdf（截断有向距离函数）技术能够将多帧扫描数据融合成一个分数场，通过tsdf技术，可以高效地重建和渲染复杂的三维场景，提高渲染结果的真实感和细节表现。在现有技术中，点渲染和三角网格渲染是两种tsdf场的可视化方法。但点渲染在近距离时细节缺失，远距离时颜色过渡不自然。三角网格渲染虽能提供更完整细节，但计算成本高，影响帧率和渲染的实时性。

2、针对上述技术问题，专利cn115170715a提出了一种图像渲染方法、装置、电子设备及介质，其通过接收显示指令和获取图像及参数，生成射线集合并计算与tsdf场的交点，然后利用交点信息渲染格子点，最终在界面显示结果，实现高效图像渲染，以此解决了现有技术中渲染效果差、效率低以及对帧率的影响等问题，实现了图像的实时渲染，并提高了渲染质量。

3、在上述专利中是基于射线与tsdf场隐式面的交点信息来进行渲染的。然而，在tsdf场中，每个格子点不仅存储了距离信息，还可能包含了诸如颜色、法向量等属性，若基于交点信息来进行渲染，其主要集中在单个格子点的属性上，而忽略了格子点间的关联性。例如，在计算某个像素的颜色时，基于交点信息的方法可能只会参考该交点处的格子点的颜色信息，而不考虑周围格子点的颜色信息和其他属性（如纹理、材质等）。这就可能导致在渲染过程中丢失了一些细节，尤其是在处理复杂表面时，可能会影响渲染结果的真实感和精细程度。

4、因此，期望一种优化的实时图像渲染生成系统。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于生成式人工智能的实时图像渲染生成系统，其采用基于生成式人工智能的处理和分析技术来对含有交点的截断有向距离函数tsdf场隐式面进行局部区域划分和像素特征提取，并对各个tsdf场格子点局部像素特征进行维度重构，以此根据重构后特征中各个像素梯度的关联强化特征来智能地生成渲染结果。这样，可以更好地捕捉到各个格子点之间的联系，从而在渲染时考虑到更多局部和全局的语义信息，提升渲染质量，实现更为智能化的图像渲染。

2、根据本技术的一个方面，提供了一种基于生成式人工智能的实时图像渲染生成系统，其包括：待渲染图像参数获取模块，用于响应于交互界面中收到的显示指令，获取所述交互界面中的待渲染图像和渲染参数；射线集合生成模块，用于基于所述待渲染图像和所述渲染参数，生成射线集合；tsdf场隐式面预生成模块，用于预生成截断有向距离函数tsdf场隐式面；交点计算模块，用于计算所述射线集合中的每条射线与所述截断有向距离函数tsdf场隐式面的交点以得到含有交点的所述截断有向距离函数tsdf场隐式面；渲染模块，用于基于含有交点的所述截断有向距离函数tsdf场隐式面，对所述交点所在的tsdf场格子点进行渲染，生成渲染结果；渲染结果显示模块，用于将所述渲染结果显示于所述交互界面。

3、其中，所述渲染模块，包括：tsdf场隐式面区域划分单元，用于对所述含有交点的截断有向距离函数tsdf场隐式面进行局部区域划分以得到tsdf场格子点局部区域的集合；tsdf场格子点像素区域提取重构单元，用于对所述tsdf场格子点局部区域的集合进行像素特征提取，对提取后的tsdf场格子点局部像素特征向量的集合进行维度重构以得到tsdf场格子点局部像素特征；tsdf场格子点像素关联强化单元，用于对所述tsdf场格子点局部像素特征进行基于像素梯度分布的关联强化以得到tsdf场格子点局部像素关联强化特征；渲染结果生成单元，用于基于所述tsdf场格子点局部像素关联强化特征，得到所述渲染结果。

4、在上述基于生成式人工智能的实时图像渲染生成系统中，所述tsdf场隐式面区域划分单元，用于：将所述含有交点的截断有向距离函数tsdf场隐式面按照交点所在的tsdf场格子点进行局部区域划分以得到所述tsdf场格子点局部区域的集合。

5、在上述基于生成式人工智能的实时图像渲染生成系统中，所述tsdf场格子点像素区域提取重构单元，包括：tsdf场格子点局部像素特征提取子单元，用于将所述tsdf场格子点局部区域的集合通过基于深度神经网络模型的格子点局部区域像素特征提取器以得到所述tsdf场格子点局部像素特征向量的集合；tsdf场格子点局部像素特征维度重构子单元，用于将所述tsdf场格子点局部像素特征向量的集合按照局部区域划分方式进行维度重构以得到tsdf场格子点局部像素特征矩阵作为所述tsdf场格子点局部像素特征。

6、在上述基于生成式人工智能的实时图像渲染生成系统中，所述基于深度神经网络模型的格子点局部区域像素特征提取器为基于卷积神经网络模型的格子点局部区域像素特征提取器。

7、在上述基于生成式人工智能的实时图像渲染生成系统中，所述tsdf场格子点像素关联强化单元，包括：tsdf场格子点局部像素梯度幅值计算子单元，用于计算所述tsdf场格子点局部像素特征矩阵中各个位置的多向梯度值分布，并基于所述各个位置的多向梯度值分布确定所述tsdf场格子点局部像素特征矩阵中各个位置的梯度幅度值以得到tsdf场格子点局部像素特征梯度幅度分布特征矩阵；tsdf场格子点局部像素梯度掩码化子单元，用于将所述tsdf场格子点局部像素特征梯度幅度分布特征矩阵输入门控掩码模块进行掩码化处理以得到掩码化tsdf场格子点局部像素特征梯度幅度分布特征矩阵；tsdf场格子点局部像素强化子单元，用于以所述掩码化tsdf场格子点局部像素特征梯度幅度分布特征矩阵作为权重矩阵，对所述tsdf场格子点局部像素特征矩阵进行加权强化以得到tsdf场格子点局部像素关联强化特征矩阵作为所述tsdf场格子点局部像素关联强化特征。

8、在上述基于生成式人工智能的实时图像渲染生成系统中，所述tsdf场格子点局部像素梯度幅值计算子单元，用于：计算所述tsdf场格子点局部像素特征矩阵中各个特征值的沿宽度方向的梯度幅度值以得到tsdf场格子点局部像素宽度方向特征梯度值特征矩阵；计算所述tsdf场格子点局部像素特征矩阵中各个特征值的沿高度方向的梯度幅度值以得到tsdf场格子点局部像素高度方向特征梯度值特征矩阵；计算所述tsdf场格子点局部像素宽度方向特征梯度值特征矩阵和所述tsdf场格子点局部像素高度方向特征梯度值特征矩阵中对应位置的特征值的平方和的平方根以得到所述tsdf场格子点局部像素特征梯度幅度分布特征矩阵。

9、在上述基于生成式人工智能的实时图像渲染生成系统中，所述tsdf场格子点局部像素梯度掩码化子单元，用于：将所述tsdf场格子点局部像素特征梯度幅度分布特征矩阵中的每个位置的特征值与预设阈值进行比较以得到所述掩码化tsdf场格子点局部像素特征梯度幅度分布特征矩阵；其中，响应于所述特征值大于所述预设阈值，将大于所述预设阈值的所述特征值设为一；响应于所述特征值小于等于所述预设阈值，将小于等于所述预设阈值的所述特征值设为零。

10、在上述基于生成式人工智能的实时图像渲染生成系统中，所述tsdf场格子点局部像素强化子单元，用于：将所述掩码化tsdf场格子点局部像素特征梯度幅度分布特征矩阵与所述tsdf场格子点局部像素特征矩阵进行按位置点乘后，将点乘后的特征矩阵输入sigmoid函数进行强化处理以得到所述tsdf场格子点局部像素关联强化特征矩阵。

11、在上述基于生成式人工智能的实时图像渲染生成系统中，所述渲染结果生成单元，用于：将所述tsdf场格子点局部像素关联强化特征矩阵通过基于aigc模型的渲染模块以得到所述渲染结果。

12、与现有技术相比，本技术提供的基于生成式人工智能的实时图像渲染生成系统，其采用基于生成式人工智能的处理和分析技术来对含有交点的截断有向距离函数tsdf场隐式面进行局部区域划分和像素特征提取，并对各个tsdf场格子点局部像素特征进行维度重构，以此根据重构后特征中各个像素梯度的关联强化特征来智能地生成渲染结果。这样，可以更好地捕捉到各个格子点之间的联系，从而在渲染时考虑到更多局部和全局的语义信息，提升渲染质量，实现更为智能化的图像渲染。