一种数字孪生三维场景建模布置方法及系统与流程

本发明涉及一种数字孪生技术，特别是涉及一种用于一种数字孪生三维场景建模布置方法及系统。

背景技术：

1、数字孪生系统中，最关键的技术指标是如何高效和准确地布置三维场景。传统的三维建模方法往往耗时长、成本高，难以满足大规模场景的建模需求。并且由于视觉算法生成的三维模型，其精度受采集像素的制约，难以生成高精度的三维模型。

2、为了增加三维模型的生成的效果，目前主流采用的是行进过程的采集的多帧生成法，即，通过多帧来生成一个视觉模型，但是这个视觉模型假设简单的采用多个间隔帧的算法，无疑不够智能，增加了算力压力，降低了数字孪生模型的生成速度和三维模型的质量。

3、因此，目前需要一种能够降低算力压力，提升三维建模质量的一种用于一种数字孪生三维场景建模布置方法及系统。

技术实现思路

1、本发明要解决的技术问题是提供一种能够降低算力压力，提升三维建模质量的一种用于一种数字孪生三维场景建模布置方法及系统。

2、第一方面，本发明一种数字孪生三维场景建模布置方法，包括

3、利用激光扫描仪拍摄第一激光数据，并根据第一激光数据生成第一三维模型；

4、利用摄像头拍摄第二视频数据，判断第二视频数据的关键帧中至少两次出现的物体标注框中的设施，是否与预存模型匹配，若匹配，则根据第一三维模型的和第二视频数据的设施的缩放比例、摆放角度将预存模型配置在第一三维模型上而输出第二三维模型；

5、判断第二三维模型中的至少两个预存模型是否符合相对预设配置关系，若不符合，则删除不符合的至少一个预存模型的关键帧；

6、通过第二视频数据对第二三维模型进行纹理映射，生成第三三维模型；

7、输出第三三维模型。

8、本发明一种数字孪生三维场景建模布置方法，其中，利用摄像头拍摄第二视频数据，判断第二视频数据的关键帧中至少两次出现的物体标注框中的设施，是否与预存模型匹配，若匹配，则根据第一三维模型的和第二视频数据的设施的缩放比例、摆放角度将预存模型配置在第一三维模型上而输出第二三维模型，包括

9、s210、利用摄像头拍摄第二视频数据；

10、s220、将第二视频数据的每一帧的封闭图像配置物体标注框；

11、s230、获取第二视频数据的在该单位时间内的前后每一帧的相邻变化率，将相邻变化率超过第一阈值的位置作为间隔点；将所述单位时间的前后每一帧根据所述间隔点分割为间隔段；其中，若单位时间内有间隔点则跳转至s240，若单位时间内没有间隔点，则将单位时间与其之后相邻的单位时间合并，并重新执行s230；

12、s240、判断同一单位时间是否具有相邻的且帧数超过第二阈值的间隔段，若有，则将这两个相邻的间隔段配置为第一变化组；判断所述第一变化组的两个相邻的间隔段的标注框数量的变化是否超过第三阈值，若不超过，则选取物体标注框多的间隔段的一帧作为关键帧；若超过，则将所述第一变化组的第一段间隔段的一帧作为关键帧，或者，降低第一阈值并跳转至s230；

13、s250、将所述第二视频数据的每个关键帧中至少两次出现的同一物体标注框中的设施在第一次出现的关键帧中的投影面截图配置为第一投影图像；将所述第二视频数据的每个关键帧中至少两次出现的同一物体标注框中的设施在其他次出现的关键帧中的投影面截图配置为第二投影图像；将与第一投影图像匹配的预存模型配置为第一模型，并将与第一投影图像匹配的采集预存模型的角度配置为第三角度；根据第一视频采集第一投影图像时的第一采集角度和采集第二投影图像时的第二采集角度，将第三角度按照第一角度至第二角度的方向调节为第四角度，判断所述第一模型按照第四角度采集到的第三投影图像是否与所述第二投影图像匹配，若匹配，则将预存模型缩放为所述第三投影图像缩放至与第二投影图像一致，再将预存模型缩放为所述第一投影图像缩放至与第三角度采集预存模型的模型图像一致；并将所述预存模型配置在与第二投影图像相同的第一三维模型的位置，而输出第二三维模型。

14、本发明一种数字孪生三维场景建模布置方法，其中，判断第二三维模型中的至少两个预存模型是否符合相对预设配置关系，若不符合，则删除不符合的至少一个预存模型的关键帧，包括

15、s310、预存预设配置关系，其中，所述配置关系包括至少两个预存模型之间的相对位置关系；

16、s320、判断第二三维模型中的一组至少两个预存模型是否符合预存的至少两个预存模型之间的相对位置关系，若不符合，则统计除所述一组至少两个预存模型以外的、包含所述一组至少两个预存模型的其中之一的预存模型的其他组是否符合预存的相对位置关系，再删除符合次数最少的生成预存模型的全部关键帧，并跳转至s250。

17、本发明一种数字孪生三维场景建模布置方法，其中，判断第二三维模型中的一组至少两个预存模型是否符合预存的至少两个预存模型之间的相对位置关系，还包括

18、若符合，则删除预存模型对应的物体标注框。

19、本发明一种数字孪生三维场景建模布置方法，其中，s240中的则选取物体标注框多的间隔段的一帧作为关键帧、则将所述第一变化组的第一段间隔段的一帧作为关键帧的步骤中，在一段的一帧作为关键帧的方法为：

20、判断上述步骤s320中的删除的关键帧是否位于此间隔段，若位于则删除该间隔段并再次执行步骤s240，若不位于，则将间隔段的前后排列的帧数的中间帧作为关键帧。

21、第二方面，本发明一种数字孪生三维场景建模布置系统，包括

22、无人机，其利用激光扫描仪拍摄第一激光数据，并根据第一激光数据生成第一三维模型；利用摄像头拍摄第二视频数据；

23、处理器，其用于判断第二视频数据的关键帧中至少两次出现的物体标注框中的设施，是否与预存模型匹配，若匹配，则根据第一三维模型的和第二视频数据的设施的缩放比例、摆放角度将预存模型配置在第一三维模型上而输出第二三维模型；判断第二三维模型中的至少两个预存模型是否符合相对预设配置关系，若不符合，则删除不符合的至少一个预存模型的关键帧；通过第二视频数据对第二三维模型进行纹理映射，生成第三三维模型；

24、数字孪生输出模块，其用于输出第三三维模型。

25、本发明一种数字孪生三维场景建模布置系统，其中，利用摄像头拍摄第二视频数据，判断第二视频数据的关键帧中至少两次出现的物体标注框中的设施，是否与预存模型匹配，若匹配，则根据第一三维模型的和第二视频数据的设施的缩放比例、摆放角度将预存模型配置在第一三维模型上而输出第二三维模型，包括

26、s210、利用摄像头拍摄第二视频数据；

27、s220、将第二视频数据的每一帧的封闭图像配置物体标注框；

28、s230、获取第二视频数据的在该单位时间内的前后每一帧的相邻变化率，将相邻变化率超过第一阈值的位置作为间隔点；将所述单位时间的前后每一帧根据所述间隔点分割为间隔段；其中，若单位时间内有间隔点则跳转至s240，若单位时间内没有间隔点，则将单位时间与其之后相邻的单位时间合并，并重新执行s230；

29、s240、判断同一单位时间是否具有相邻的且帧数超过第二阈值的间隔段，若有，则将这两个相邻的间隔段配置为第一变化组；判断所述第一变化组的两个相邻的间隔段的标注框数量的变化是否超过第三阈值，若不超过，则选取物体标注框多的间隔段的一帧作为关键帧；若超过，则将所述第一变化组的第一段间隔段的一帧作为关键帧，或者，降低第一阈值并跳转至s230；

30、s250、将所述第二视频数据的每个关键帧中至少两次出现的同一物体标注框中的设施在第一次出现的关键帧中的投影面截图配置为第一投影图像；将所述第二视频数据的每个关键帧中至少两次出现的同一物体标注框中的设施在其他次出现的关键帧中的投影面截图配置为第二投影图像；将与第一投影图像匹配的预存模型配置为第一模型，并将与第一投影图像匹配的采集预存模型的角度配置为第三角度；根据第一视频采集第一投影图像时的第一采集角度和采集第二投影图像时的第二采集角度，将第三角度按照第一角度至第二角度的方向调节为第四角度，判断所述第一模型按照第四角度采集到的第三投影图像是否与所述第二投影图像匹配，若匹配，则将预存模型缩放为所述第三投影图像缩放至与第二投影图像一致，再将预存模型缩放为所述第一投影图像缩放至与第三角度采集预存模型的模型图像一致；并将所述预存模型配置在与第二投影图像相同的第一三维模型的位置，而输出第二三维模型。

31、本发明一种数字孪生三维场景建模布置系统，其中，判断第二三维模型中的至少两个预存模型是否符合相对预设配置关系，若不符合，则删除不符合的至少一个预存模型的关键帧，包括

32、s310、预存预设配置关系，其中，所述配置关系包括至少两个预存模型之间的相对位置关系；

33、s320、判断第二三维模型中的一组至少两个预存模型是否符合预存的至少两个预存模型之间的相对位置关系，若不符合，则统计除所述一组至少两个预存模型以外的、包含所述一组至少两个预存模型的其中之一的预存模型的其他组是否符合预存的相对位置关系，再删除符合次数最少的生成预存模型的全部关键帧，并跳转至s250。

34、本发明一种数字孪生三维场景建模布置系统，其中，判断第二三维模型中的一组至少两个预存模型是否符合预存的至少两个预存模型之间的相对位置关系，还包括

35、若符合，则删除预存模型对应的物体标注框。

36、本发明一种数字孪生三维场景建模布置系统，其中，s240中的则选取物体标注框多的间隔段的一帧作为关键帧、则将所述第一变化组的第一段间隔段的一帧作为关键帧的步骤中，在一段的一帧作为关键帧的方法为：

37、判断上述步骤s320中的删除的关键帧是否位于此间隔段，若位于则删除该间隔段并再次执行步骤s240，若不位于，则将间隔段的前后排列的帧数的中间帧作为关键帧。

38、本发明一种数字孪生三维场景建模布置方法与现有技术不同之处在于本发明一种数字孪生三维场景建模布置方法通过上述智能算法，将原本由激光扫描仪生成的第一三维模型中的原本应当生成的设施，通过第二视频数据和数据库预存的预存模型而加以自动生成更加精确的数字孪生模型，便于增加用户观察数字孪生模型的清晰度，提高了三维建模效率，减少建模时间，同时降低了对于数字孪生模型的三维场景建模布置的算力压力。同时，通过第二视频数据对于所述第二三维模型的纹理映射，提升了模型的真实感。

39、下面结合附图对本发明的一种数字孪生三维场景建模布置方法作进一步说明。