一种桥梁爬模场景的实时流三维模化方法及装置与流程

本技术涉及建工桥梁行业数字孪生，具体涉及一种桥梁爬模场景的实时流三维模化方法及装置。

背景技术：

1、在建工行业桥梁工程信息化、数字化、智能化深化改革的浪潮中，产出了许多建工施工进度与三维深度结合的案例，随着流媒体技术、图片识别分析技术、三维可视化技术的不断演进，技术深度结合的需求也越来越强烈，使用的业务场景也越来越聚焦。

2、一般的桥梁爬模三维场景的数字孪生应用，分为三层架构，分别是设备层、应用服务层和三维可视化展示层；其中设备层是边缘设备如喷淋设备、温湿度传感设备、环境温度设备采集施工现场数据，通过接口上传至应用服务层进行数据解析，应用服务层利用爬模工程进度业务数据、设备传感数据进行关联，形成业务接口，为上层展示层提供三维数据支撑；三维端通常采用第三方软件进行桥梁建模，模型导入三维引擎形成场景后，通过定制化进行三维场景设备关联，最终输出基本的三维物联系统。具体可参见图1所示。

3、但是上述这种架构设计存在以下几点不足：

4、1、仅仅实现了纵向设备层到三维展示层的联动，无法真实反应施工现场的进度形象，实际是一种单机离线应用架构；

5、2、三维场景建模耗费的成本较大，通过第三方软件建模，导出模型，再导入三维引擎，过程繁琐，中间环节难以闭环；

6、3、三维展示层的爬模模拟通过隐藏显示方式呈现，对于爬模过程中异构部分无法准确的展示实际爬模形象；

7、4、三维场景无法实时反应现场进度，手动填报进行计划管控，耗费人力成本的同时，进度的准确性无法把控，无法真实直观的反应桥梁爬模施工过程全生命周期仿真特性。

技术实现思路

1、本技术提供一种桥梁爬模场景的实时流三维模化方法及装置，其能实现通过实时视频进行三维场景下的实时建模，并能降低三维建模成本、减少开发周期。

2、第一方面，本技术实施例提供一种桥梁爬模场景的实时流三维模化方法，所述桥梁爬模场景的实时流三维模化方法包括以下步骤：

3、基于桥梁周围环境全景图片生成全景半球天空盒；

4、基于桥梁施工现场定点监控获取的实时爬模进度视频获取实时帧图，识别帧图之间的差异得到有变化的采样图，并根据采样图建立爬模区域识别模型；

5、根据实时帧图和爬模区域识别模型获取变化数据，并基于所述变化数据生成实时爬模三维模型，所述变化数据包括网格数据、网格拓扑关系、爬模高度、爬模部分变化的采样点坐标，爬模部分的图像变化数据、以及爬模部分的材质数据；

6、将所述实时三维模型与全景半球天空盒融合，并基于爬模高度数据获取当前爬模阶段的设备信息，进行设备实时建模以完成实时流的三维模化建设。

7、结合第一方面，在一种实施方式中，所述基于桥梁施工现场定点监控获取的实时爬模进度视频获取实时帧图，识别帧图之间的差异得到有变化的采样图，包括：

8、利用爬模部分的监控正交点位获取的实时爬模进度视频获取实时帧图；

9、通过帧间压缩算法识别帧图之间的差异，将相似图去重，得到有变化的采样图。

10、结合第一方面，在一种实施方式中，所述根据采样图建立爬模区域识别模型，包括：

11、根据采样图进行特征点定义，并通过点云重建采样图上的特征点；

12、确定每个特征点的三维位置和rgb色值，以形成基础的爬模区域识别模型；

13、根据海量图片进行采样图深度学习，对基础的爬模区域识别模型进行训练，得到精确的爬模区域识别模型。

14、结合第一方面，在一种实施方式中，所述根据实时帧图和爬模区域识别模型获取变化数据，并基于所述变化数据生成实时爬模三维模型，所述变化数据包括网格数据、网格拓扑关系、爬模高度、爬模部分变化的采样点坐标，爬模部分的图像变化数据、以及爬模部分的材质数据，包括：

15、根据实时帧图和爬模区域识别模型进行计算，解析出变化数据；

16、利用爬模部分变化的采样点坐标、网格数据和网格拓扑关系进行爬模部分的三维重建；

17、根据爬模部分的图像变化数据进行rgb色值在三维模型上的呈现；

18、根据爬模部分的材质数据进行三维贴图，生成实时爬模三维模型。

19、结合第一方面，在一种实施方式中，所述基于爬模高度数据获取当前爬模阶段的设备信息，进行设备实时建模以完成实时流的三维模化建设，包括：

20、根据爬模高度获取当前爬模阶段的设备位置、详情、状态和事件关联信息；

21、通过ab包动态加载的方式进行设备实时建模，并对设备添加碰撞体，绑定点击事件，以完成实时流的三维模化建设。

22、结合第一方面，在一种实施方式中，所述基于桥梁周围环境全景图片生成全景半球天空盒，包括：

23、采集桥梁周围环境全景图片，并剔除水面部分干扰元素；

24、通过球体建模进行全景图片贴合，再通过网格压缩方式对水面部分压缩，形成全景半球天空盒。

25、第二方面，本技术实施例提供了一种桥梁爬模场景的实时流三维模化装置，所述桥梁爬模场景的实时流三维模化装置包括：

26、天空盒生成模块，其基于桥梁周围环境全景图片生成全景半球天空盒；

27、图片分析模块，其基于桥梁施工现场定点监控获取的实时爬模进度视频获取实时帧图，识别帧图之间的差异得到有变化的采样图；

28、建模模块，其根据采样图建立爬模区域识别模型，并根据实时帧图和爬模区域识别模型获取变化数据，并基于所述变化数据生成实时爬模三维模型，所述变化数据包括网格数据、网格拓扑关系、爬模高度、爬模部分变化的采样点坐标，爬模部分的图像变化数据、以及爬模部分的材质数据；

29、所述建模模块还用于将所述实时三维模型与全景半球天空盒融合，并基于爬模高度数据获取当前爬模阶段的设备信息，进行设备实时建模以完成实时流的三维模化建设。

30、结合第二方面，在一种实施方式中，所述图片分析模块基于桥梁施工现场定点监控获取的实时爬模进度视频获取实时帧图，识别帧图之间的差异得到有变化的采样图，包括：

31、利用爬模部分的监控正交点位获取的实时爬模进度视频获取实时帧图；

32、通过帧间压缩算法识别帧图之间的差异，将相似图去重，得到有变化的采样图。

33、结合第二方面，在一种实施方式中，所述建模模块根据采样图建立爬模区域识别模型，包括：

34、根据采样图进行特征点定义，并通过点云重建采样图上的特征点；

35、确定每个特征点的三维位置和rgb色值，以形成基础的爬模区域识别模型；

36、根据海量图片进行采样图深度学习，对基础的爬模区域识别模型进行训练，得到精确的爬模区域识别模型。

37、结合第二方面，在一种实施方式中，所述建模模块根据实时帧图和爬模区域识别模型获取变化数据，并基于所述变化数据生成实时爬模三维模型，所述变化数据包括网格数据、网格拓扑关系、爬模高度、爬模部分变化的采样点坐标，爬模部分的图像变化数据、以及爬模部分的材质数据，包括：

38、根据实时帧图和爬模区域识别模型进行计算，解析出变化数据；

39、利用爬模部分变化的采样点坐标、网格数据和网格拓扑关系进行爬模部分的三维重建；

40、根据爬模部分的图像变化数据进行rgb色值在三维模型上的呈现；

41、根据爬模部分的材质数据进行三维贴图，生成实时爬模三维模型。

42、本技术实施例提供的技术方案带来的有益效果至少包括：

43、本技术中桥梁爬模场景的实时流三维模化方法，其基于桥梁周围环境全景图片生成全景半球天空盒；基于桥梁施工现场定点监控获取的实时爬模进度视频获取实时帧图，识别帧图之间的差异得到有变化的采样图，并根据采样图建立爬模区域识别模型；根据实时帧图和爬模区域识别模型获取变化数据，并基于所述变化数据生成实时爬模三维模型；将所述实时三维模型与全景半球天空盒融合，并基于爬模高度数据获取当前爬模阶段的设备信息，进行设备实时建模以完成实时流的三维模化建设。

44、从而，本技术能够实现通过实时视频进行三维场景下实时建模；并且能够降低三维建模成本，利用全景图压缩优化方法作为实景天空盒，减少周边环境建模成本。再者，本技术还可以提高桥梁爬模数字孪生应用的有效性，减少从人工建模到三维可视化再到设备联动感知开发周期，形成完整的准确实时的运作链路，一次集成即可全周期管控。通过实时三维模化技术达到与施工现场场景1：1匹配同时，根据此方法产出的数据结果可反向引导施工过程重要节点信息，进一步加强施工进度管控和风险管控。