一种三维图像实时智能处理与动态展示的方法及系统与流程

本技术涉及图形图像处理和数据处理，更具体地，涉及一种三维图像实时智能处理与动态展示的方法及系统。

背景技术：

1、随着5g、vr、元宇宙等新技术的兴起，视觉呈现方式也随之发生变化。以往是通过视频拍摄设备，将现实世界中的影像进行记录，通过图片与视频的方式进行呈现，属于图像处理技术。在元宇宙的背景下，需要将物理世界中的实体进行数字化，通过建模然后在虚拟三维空间中呈现。当然，这个过程不可能一蹴而就，在技术发展的过程中，如数字孪生、虚拟仿真、数字文创等行业都有图形呈现与创作方面的需求。这就需要三维图形技术来予以实现，将原来平面像素呈现的方式转变为三维图形化的呈现方式。

2、当前在人们的日常生活和工作中，通常还是采用文本、图片、图像相结合的方式进行内容传达与展示，这种方式符合人们以往的使用习惯。但是，随着技术的快速演进，人们更希望通过沉浸式与实时交互的方式去认知、掌握所关心的信息，这就需要对三维图形化的数字内容进行实时渲染与呈现。

3、相比一般的文本编辑器(如ppt)，除支持文字内容的编辑，也可以插入音频、图像等媒体文件；但是，对于三维模型无法进行编辑和播放，更不能进行实时交互控制。人们只能通过对文字内容的理解，以及相关的二维图片、图像来获取内容传递的要点，对于一些抽象的、复杂的、看不见摸不着在的对象，很难用语言来描述或传达其全貌。

4、对于ppt而言，在编辑模式下，可以在渲染视口中对3d模型进行交互操作，但是，在放映模式下，3d模型将无法进行实时交互控制，实现旋转、缩放、移动及重置操作，对于带动画的3d模型也是一样。而且，放映模式下，对于动画的播放，无法实现在多个动画之前的任意切换；只能向前、x1.0速度进行播放。插入的是单一的3d模型，渲染呈现的对象就是3d模型本身。不能对构成3d模型的子物件进行交互操作；同样，不能对由多个3d模型构成的三维场景，及其中的3d模型进行交互操作。对于3d模型的渲染展示，除了在三维空间中的位置信息、摄像机参数以外，不支持对其他要素的表达，呈现方式单一。

5、基于此，有必要引入一种新的方法和系统，增加描述对象的维度，并基于编辑器中嵌入三维模型插件，以实现在编辑器中插入和播放三维模型，对三维模型进行编辑和交互控制，以解决现有技术中存在的三维图形化的数字内容无法进行实时渲染与呈现，以及呈现方式单一和不支持交互控制的技术问题，进而使编辑器能够实时对三维模型进行渲染和可视化展示，同时支持用户的交互控制，提升三维模型实时渲染的效率和用户体验。

技术实现思路

1、针对上面提到的技术问题，本发明提供了一种三维图像实时智能处理与动态展示的方法及系统，通过基于定义的三维模型数据结构，构建三维模型，并对所述三维模型进行初始化和存储，生成三维模型库，在对所述目标三维模型进行初始化之前，根据所述三维模型嵌入请求，将所述目标三维模型对应的三维模型插件嵌入至可视化编辑器中，在对所述目标三维模型进行初始化之后，响应用户端发送的模型交互请求，并基于所述三维模型插件和按需设置的替换属性数据对所述三维模型进行动态渲染和可视化展示，以解决现有技术中存在的三维图形化的数字内容无法进行实时渲染与呈现，以及呈现方式单一和不支持交互控制的技术问题，从而使编辑器能够实时对三维模型进行渲染和可视化展示，同时支持用户的交互控制，提升三维模型实时渲染的效率和用户体验。

2、本发明提供了一种三维图像实时智能处理与动态展示的方法，所述方法包括：

3、s1，根据三维模型的构成定义三维模型数据结构，基于所述三维模型数据结构构建三维模型，并对所述三维模型进行初始化和存储，生成三维模型库；s2，接收并响应三维模型嵌入请求，并根据所述三维模型嵌入请求的第一解析结果从所述三维模型库中确定并获取与所述三维模型嵌入请求对应的目标三维模型，对所述目标三维模型进行初始化；s3，基于所述三维模型数据结构，确定所述目标三维模型的替换属性数据；s4，基于所述目标三维模型的替换属性数据，响应用户端的模型交互请求，根据所述模型交互请求的第二解析结果对所述目标三维模型进行替换处理，并进行可视化实时渲染展示；其中，在对所述目标三维模型进行初始化之前，根据所述三维模型嵌入请求，将所述目标三维模型对应的三维模型插件嵌入至可视化编辑器中，在对所述目标三维模型进行初始化之后，响应用户端发送的模型交互请求，并基于所述三维模型插件对所述三维模型进行动态渲染和可视化展示；所述可视化编辑器包括视频编辑器和文本编辑器。

4、优选地，步骤s1中，所述对所述三维模型进行初始化和存储的步骤进一步包括：s11，根据所述三维模型数据结构定义三维模型插件的适配接口，以及适配接口类型、适配接口编号和适配接口状态；s12，基于所述三维模型数据结构构建所述三维模型，并生成对应的三维模型文件；s13，初始化存储空间，将所述三维模型文件存储至所述存储空间中，生成并记录存储路径，并基于存储后的所述三维模型文件构建所述三维模型库；s14，将所述三维模型库中的三维模型文件与对应的适配接口进行封装，生成所述三维模型插件，并为所述三维模型插件添加模型插件名称和模型插件编号；其中，所述三维模型数据结构包括：所述模型插件名称、所述模型插件编号、所述适配接口类型、所述适配接口编号、所述三维模型文件编号、所述三维模型类型、所述存储空间、所述存储路径和三维模型数据；所述三维模型类型包括：静态模型和动态模型；所述三维模型数据包括：基本属性、形状、颜色、纹理、材质、贴图、光效和阴影。

5、优选地，所述s2的步骤进一步包括：s21，对所述三维模型嵌入请求进行解析，获得所述第一解析结果，根据所述第一解析结果确定与所述三维模型嵌入请求对应的适配接口和配置信息，以及所述目标三维模型和三维模型文件的存储路径；s22，调用所述三维模型嵌入请求对应的适配接口，根据所述存储路径获取所述三维模型库，从所述三维模型库中提取所述三维模型文件，将所述三维模型库对应的三维模型插件通过所述适配接口嵌入至发送所述三维模型嵌入请求的可视化编辑器中；s23，基于所述配置信息和所述三维模型文件对所述三维模型进行渲染处理，并在所述可视化编辑器中对渲染后的所述目标三维模型进行初始化展示；其中，所述第一解析结果，包括可视化编辑器名称、可视化编辑器类型、可视化编辑器接口类型和三维模型编号；所述可视化编辑器接口类型与所述适配接口对应，所述目标三维模型和三维模型文件的存储路径均根据所述第一解析结果中的三维模型编号确定；所述配置信息包括：中心点坐标、摄像机位置坐标、可视化效果、显示比例、颜色、背景、载入方式、文件格式、注册表信息、启动方式和文件缓存路径；所述载入方式包括手动载入和自动载入；步骤s23中，所述基于所述配置信息和所述三维模型文件对所述三维模型进行渲染处理的步骤还包括：1)基于所述三维模型文件对所述三维模型的坐标系、单位、材质、光照和层级结构进行转换，生成可视化模型文件；2)根据所述配置信息，将所述可视化模型文件按照预设的可视化效果和显示比例进行渲染，并确定所述三维模型的前视图、摄像机位置、窗口大小和缩放比例；3)使用所述三维模型的前视图、俯视图、左视图、右视图、摄像机位置、窗口大小和缩放比例，将渲染后的可视化模型文件在所述可视化编辑器中进行可视化展示。

6、优选地，步骤s3中，所述基于所述三维模型数据结构，确定所述目标三维模型的替换属性数据的步骤进一步包括：s31，基于所述三维模型数据结构，对所述目标三维模型的替换属性数据进行预设，所述替换属性数据包括所述目标三维模型的基本属性、形状、颜色、纹理、材质、贴图、光效和阴影；s32，根据所述替换属性数据构建替换关系表，并将所述目标三维模型初始化展示的替换属性数据存储至所述替换关系表中；其中，预设的替换属性数据由操作人员根据所述目标三维模型的展示和交互控制需求进行设定。

7、优选地，步骤s4中，所述基于所述目标三维模型的替换属性数据，响应用户端的模型交互请求，根据所述模型交互请求的第二解析结果对所述目标三维模型进行替换处理的步骤进一步包括：s41，基于初始化的所述目标三维模型，实时接收用户端的所述模型交互请求，并对所述模型交互请求进行解析得到所述第二解析结果，其中，所述第二解析结果包括：交互操作类型、三维模型编号和新的替换属性数据；s42，根据所述第二解析结果中的三维模型编号确定所述目标三维模型，并获取所述目标三维模型的替换属性数据；s43，使用所述新的替换属性数据与所述替换属性数据进行对比，如果所述替换属性数据与所述新的替换属性数据不一致，则基于替换关系表，使用所述新的替换属性数据替换所述替换属性数据，得到更新后的替换属性数据；s44，基于所述新后的替换属性数据对所述三维模型进行重新渲染和实时可视化展示；其中，所述替换关系表用于确定所述替换属性数据与所述新的替换属性数据的一一对应关系；所述交互操作类型包括视图切换操作、物件切换操作和恢复初始操作。

8、可选地，步骤s4中，所述基于所述目标三维模型的替换属性数据，响应用户端的模型交互请求，根据所述模型交互请求的第二解析结果对所述目标三维模型进行替换处理的步骤，还包括交互控制处理的步骤，具体为：如果所述交互操作类型为视图切换操作，则根据所述第二解析结果确定三维模型的视图、摄像机位置、透视效果、旋转角度、移动位移距离、缩放比例、播放位置和播放速度，并对所述三维模型进行重新渲染和实时可视化展示；如果所述交互操作类型为物件切换操作，则根据所述第二解析结果确定三维模型编号，以及和三维模型文件的存储路径，根据所述三维物件编号和所述存储路径从所述三维模型库获取新的三维模型文件，并对所述新的三维模型文件进行渲染和实时可视化展示；如果所述交互操作类型为恢复初始操作，则根据初始的配置信息和三维模型文件对所述目标三维模型进行渲染处理，并在所述可视化编辑器中对渲染后的所述目标三维模型进行初始化展示。

9、优选地，所述在对所述目标三维模型进行初始化之后，响应用户端发送的模型交互请求，并基于所述三维模型插件对所述三维模型进行动态渲染的步骤进一步包括：s7-1，基于原点构建包含x轴、y轴和z轴的三维空间坐标系，并基于所述三维空间坐标系构建所述三维模型的架构；s7-2，根据所述第二解析结果，以及所述目标三维模型的替换属性数据，确定和获取所述目标三维模型的摄像机位置、光源坐标ll(x1,y1,z1)、环境光源颜色、漫反射光源颜色、镜面光照颜色、光照面的粗糙度、漫反射入射点l(x1,y1,z1)、漫反射入射点法线、漫反射光入射向量、漫反射光反射向量和球面漫反射系数；s7-3，根据所述目标三维模型的光源坐标ll(x1,y1,z1)确定光源在所述三维模型的架构表面的光照面积；s7-4，基于所述三维模型的架构表面的光照面积，预设的环境光源反射系数、漫反射系数和镜面光照反射系数，以及三模模型动态渲染模型对所述三维模型进行着色；其中，所述环境光源反射系数kal、所述漫反射系数kdl和所述镜面光照反射系数ksl根据所述三维模型的表面粗糙度、形状和材质进行设定。

10、优选地，步骤s7-3中，由所述目标三维模型的光源坐标ll(x1,y1,z1)确定光源在所述三维模型的架构表面的光照面积为：

11、其中，slight为所述三维模型的架构表面的光照面积，x1为光源坐标ll(x1,y1,z1)中x轴的值，x2为所述三维模型的架构表面的光照面积的中心点坐标cl(x',y',z')中的值，∝为光源坐标ll(x1,y1,z1)和中心点坐标cl(x',y',z')两点连线与x轴形成的夹角，θ为所述三维模型的架构表面的光照面的直径与所述三维模型的架构表面的光照面和光源切线形成的夹角。

12、优选地，步骤s7-4中，所述三模模型动态渲染模型为：

13、

14、其中，kal为环境光源反射系数、kdl为漫反射系数、ksl为镜面光照反射系数、k为所述目标三维模型的摄像机位置、cal为环境光源颜色、cdl为漫反射光源颜色、csl为镜面光照颜色、β为光照面的粗糙度、l为球面漫反射系数、为漫反射入射点法线、为漫反射光入射向量、为漫反射光反射向量，

15、相应的，本发明还提供了一种三维图像实时智能处理与动态展示的系统，所述系统包括初始显示模块、嵌入处理模块、替换属性设置模块和动态展示模块；所述初始显示模块，用于根据三维模型的构成定义三维模型数据结构，基于所述三维模型数据结构构建三维模型，并对所述三维模型进行初始化和存储，生成三维模型库；所述嵌入处理模块，用于接收并响应三维模型嵌入请求，并根据所述三维模型嵌入请求的第一解析结果从所述三维模型库中确定并获取与所述三维模型嵌入请求对应的目标三维模型，对所述目标三维模型进行初始化；所述替换属性设置模块，用于基于所述三维模型数据结构，确定所述目标三维模型的替换属性数据；所述动态展示模块，用于基于所述目标三维模型的替换属性数据，响应用户端的模型交互请求，根据所述模型交互请求的第二解析结果对所述目标三维模型进行替换处理，并进行可视化实时渲染展示；

16、其中，所述系统还包括资源管理模块和交互控制处理模块；所述资源管理模块，用于对三维模型进行预处理，基于所述三维模型文件对所述三维模型的坐标系、单位、材质、光照和层级结构进行转换，生成可视化模型文件，并将所述可视化模型文件加载至所述动态展示模块进行实时渲染；

17、所述交互控制处理模块，用于根据交互操作类型对三维模型进行交互控制处理，如果所述交互操作类型为视图切换操作，则根据所述第二解析结果确定三维模型的视图、摄像机位置、透视效果、旋转角度、移动位移距离、缩放比例、播放位置和播放速度，并对所述三维模型进行重新渲染和实时可视化展示；如果所述交互操作类型为物件切换操作，则根据所述第二解析结果确定三维模型编号，以及和三维模型文件的存储路径，根据所述三维物件编号和所述存储路径从所述三维模型库获取新的三维模型文件，并对所述新的三维模型文件进行渲染和实时可视化展示；如果所述交互操作类型为恢复初始操作，则根据初始的配置信息和三维模型文件对所述目标三维模型进行渲染处理，并在所述可视化编辑器中对渲染后的所述目标三维模型进行初始化展示。

18、本发明通过应用以上技术方案，实现了通过基于定义的三维模型数据结构，构建三维模型，并对所述三维模型进行初始化和存储，生成三维模型库，在对所述目标三维模型进行初始化之前，根据所述三维模型嵌入请求，将所述目标三维模型对应的三维模型插件嵌入至可视化编辑器中，在对所述目标三维模型进行初始化之后，响应用户端发送的模型交互请求，并基于所述三维模型插件和按需设置的替换属性数据对所述三维模型进行动态渲染和可视化展示，解决了现有技术中存在的三维图形化的数字内容无法进行实时渲染与呈现，以及呈现方式单一和不支持交互控制的技术问题，从而使编辑器能够实时对三维模型进行渲染和可视化展示，同时支持用户的交互控制，提升三维模型实时渲染的效率和用户体验。