一种基于数字孪生和深度估计算法的工程测量与校验方法及系统与流程

本发明属于工程测量与校验领域，特别涉及该领域中的一种基于数字孪生和深度估计算法的工程测量与校验方法及系统。

背景技术：

1、在工程测量与校验过程中，工程数字模型与现实场景间存在构建映射、目标追踪、双向校验、信息感知等技术难题，使数字模型与现实场景之间的信息交互存在“鸿沟”。

2、中国发明专利申请cn113485392a公开了一种基于数字孪生的虚拟现实（virtualreality，vr）交互方法。首先打开场景模型数据库，以确保场景模型中的虚拟物体与物理实体的一致性，然后基于传感器数据和物理模型构建虚拟场景，最后在模拟器中对构建的虚拟场景进行渲染；传感器驱动的虚拟场景物体可以进行实时监控，物理模型预测；在完成物理模型的基础上，连接vr设备进行虚拟现实交互。通过使用数字孪生技术，进行模型场景搭建仿真深度渲染现实场景的可视化，进行模型优化和渲染，将无人机航空遥感及遥感影像自动处理技术、倾斜摄影三维建模、地理信息系统技术、建筑信息模型等交叉学科进行深度融合，集数据采集、处理、决策辅助分析的完善体系，采用vr设备进行人机交互，实现在vr设备进行一体交互。但是该方法属于常规的孪生模型构建理论与方法，仅是将现实物理模型向虚拟场景空间的单向数据映射，建立可视化模型进行监测数据投屏；无法形成以工程设计模型为基准的结构空间定位与构件设计信息匹配，且无法应用于室内或者地下洞室等半封闭空间内的工程环境现场的在线或者离线测量与校验，不能实现工程建设智能化质量验评和工程运维巡检。

技术实现思路

1、本发明所要解决的技术问题就是提供一种基于数字孪生和深度估计算法的工程测量与校验方法及系统。

2、本发明采用如下技术方案：

3、一种基于数字孪生和深度估计算法的工程测量与校验方法，其创新之处在于，包括如下步骤：

4、步骤1，建立bim模型构件树；

5、步骤2，bim模型与实际场景的地理坐标、三维空间对象的对齐、叠加；

6、步骤3，ar（augmented reality，增强现实）实际场景测量；

7、步骤4，ar虚实双向校验；

8、步骤5，生成检验报告。

9、进一步的，所述的步骤1具体包括：

10、针对不同运用环境，对bim模型进行分区域拆分；

11、针对建筑，首先按楼层拆分总bim模型包含的构件，接着按房间、过道拆分每个楼层的bim模型包含的构件，最终建立模型与构件的拓扑关系，生成bim模型的构件树；

12、针对基础工程的洞室，按长度划分区段，按不同区段拆分bim模型包含的构件，最终建立模型与构件的拓扑关系，生成bim模型的构件树。

13、进一步的，所述的步骤2具体包括：

14、步骤21，室内定位及分区模型显示：在工程建筑或洞室中部署uwb定位基站，巡检人员携带标签进入场地，利用标签和基站之间的双向通信技术获取标签和基站之间的距离，再利用标签和多个基站之间的相对位置及基站坐标计算标签坐标，实现对工程全域的精准定位；巡检人员进入某一分区后，巡检系统根据定位自动查询出对应场景分区的构件模型并显示在巡检人员面前；

15、步骤22，基于深度估计进行3d点云的构建；

16、使用原始rgb图片以及深度传感器测量的深度数据，训练zoedepth神经网络模型；使用zoedepth神经网络模型对vr设备传回的视频图像进行深度估计，接着在获得每个像素点的深度值之后借助摄像头视场角参数计算每个点的空间坐标，最后结合每个像素点的rgb值进行3d点云构建；使用lidar雷达数据，形成立体点云三维空间；图像与雷达成果进行多源数据的融合与校验，实现高精度的空间对齐；

17、步骤23，物体视觉识别；

18、采用深度网络模型yolo进行针对于工程巡检应用场景的调优训练，使用调优后的模型，对视频图像中的物件进行识别，并通过虚实数据的叠加实现构件对象主动识别；

19、在识别过程中，若存在虚实不对应情况，则现场巡检人员在虚拟环境中进行情况批注，从而对bim模型进行校验；

20、步骤24，场景锚点的选定；

21、基于步骤22构建的3d点云及步骤23的物体识别结果，提供人工辅助识取对象、特征点的功能，通过手动或者结合已识别的物件来选定锚点；

22、步骤25，实际场景对齐bim模型；

23、选择bim模型放置到步骤24选定的实际场景锚点上，调整bim模型的姿态方向，使bim模型的特征点与实际场景锚点对齐；

24、步骤26，bim模型渲染到实际场景上。

25、进一步的，所述的步骤3具体包括：

26、步骤31，物体轮廓识别：使用edter轮廓识别深度网络模型对步骤23识别的物件生成边缘图；

27、步骤32，选定轮廓上的测量点：对于巡检人员视角内的物件，通过vr设备手动点选或划定选择所需测量物体轮廓上的测量点；

28、步骤33，借助3d点云计算几何参数：借助3d点云数据对选定的测量点查找对应空间坐标后，借助距离公式及面积公式得到真实环境中的几何参数。

29、进一步的，所述的步骤4具体包括几何参数检验和构件信息校验；

30、几何参数检验为：将实物测量数据与对应部分的bim模型进行几何参数比对，在vr设备的显示屏上反馈误差值，当误差值超过设定的阈值时会触发超阈值预警提示，自动存储每一次几何参数校验的结果；

31、构件信息校验为：系统识别相关构件的信息并反馈给巡检人员，由巡检人员对现场是否存在异常进行人工判断，每一次判断都会被系统自动存储。

32、进一步的，所述的步骤5具体包括：统计尺寸校验结果，根据几何参数检验结果生成尺寸校验统计报告单，得到网络信号后回传报告至平台；统计构件信息校验结果，生成构件信息校验统计报告单，得到网络信号后回传报告至平台。

33、一种基于数字孪生和深度估计算法的工程测量与校验系统，其创新之处在于，包括：

34、模型分区轻量化模块，用于构建bim模型树；

35、对齐叠加模块，用于bim模型与实际场景的对齐、叠加；

36、测量模块，用于ar实际场景测量；

37、校验模块，用于ar虚实双向校验；

38、报告模块，用于生成检验报告。

39、本发明的有益效果是：

40、本发明所公开的方法，通过轻量化使用bim模型、bim模型与实景的ar技术叠加，使得重合度和差异度更加明显；通过ar系统扫描实景，自动识别物体，自动识别无图轮廓，同时可以进行智能测量，准确性高，提高整体工作效率；ar虚实双向校验是整套方法中的最大亮点，自动将bim模型数据与实际数据进行比对，校验准确率高，且附加有预警功能，可及时降低施工误差所带来的影响。在定位阶段的实际场景中预先设置辅助锚定点来人工帮助bim模型进行锚定，提高了锚定的稳定性和定位效率。实现了地理位置定位、三维空间定位、小尺度范围空间场景对齐与叠加、对象多源数据识别与校验、双向校验与报告产出。通过bim模型轻量化和小区域展示处理，可在微型电脑中稳定、流畅运行，相比传统的服务器运算处理方式，提高了运算效率和巡检人员的单兵巡检能力与技术可用性。

41、本发明所公开的方法及系统，打破了数字模型与现实场景之间信息交互的“鸿沟”，建立起虚实交互数据平台，实现了工程建设智能化质量验评和工程运维巡检。其中的关键步骤“ar虚实双向校验”可以有效且准确的分析出施工的误差，并配备有预警功能。该方法的提出对提高工程质量，减少安全事故，降低运维成本具有重要作用，有力促进了国有企业数字化、网络化、智能化发展，对不断提高工程建造运营的智能化水平具有重要价值。