一种对齐三维点云投影与图片的方法和系统与流程

本发明涉及一种对齐三维点云投影和照片的方法和系统，属于信息技术、计算机图形学等。

背景技术：

1、三维点云数据能具体描述物体的几何形状和空间位置，但是由于其数据量非常庞大，需要有特定的设备和技术对空间进行扫描才能生成，所以通常难以实时更新，不适用于对某一空间场景进行监控。二维照片由摄像头等设备获取，可以快速地更新，能够对某一空间场景进行监控，但是由于二维照片不包含纵深信息，通常难以根据二维照片判断空间中某个物体的位置或者判断两个物体之间的距离。如果将三维点云数据和二维照片结合起来，计算二维照片中物体在三维点云数据中的位置，则可以实时获取和更新空间场景中，物体的三维信息。为了实现这一点，需要对齐三维点云投影和二维照片。这一过程涉及到复杂的几何和视觉信息处理。特别是，需要精确确定摄像头的外参，即摄像头在三维空间中的位置和方向，以确保二维照片中的像素点能正确映射到三维点云上对应的位置。

2、然而，摄像头的外参信息并不总是可直接获取，且在许多情况下，摄像头在拍摄时的具体位置和朝向未知。此外，即使在三维点云和二维照片看似对应的情况下，由于缺乏足够的特征点或因特征点在二维照片和三维点云之间的不精确对应，自动化的对齐过程仍面临重大挑战。这些挑战不仅涉及到算法的设计和优化，还包括如何处理不同来源数据之间的不一致性，如分辨率差异、视角变化、以及光照条件的变化等。

技术实现思路

1、发明目的：针对现有技术中存在的问题与不足，本发明提供一种对齐三维点云投影与图片的方法和系统，解决对齐三维点云投影和照片时遇到的人工成本高和自动化方式难以获取精确结果的问题。

2、技术方案：一种对齐三维点云投影与图片的方法，包括如下步骤：

3、步骤1：获取目标相机拍摄的图片，图片中包括输电线和杆塔；

4、步骤2：获取目标相机所在场景的目标点云数据，其中，所述目标相机所在场景包括所述输电线和所述杆塔，所述目标点云包括所述输电线点云和所述杆塔点云；

5、步骤3：获取所述目标相机的初始位置和所述目标相机的初始正对点，根据所述目标相机初始正对点和所述目标相机的初始位置创建初始投影矩阵，根据所述初始投影矩阵将点云数据投影到二维平面，获得初始投影平面；

6、步骤4：获取所述杆塔点云上的两个点，分别作为点云特征点c1和点云特征点c2，获取所述目标相机拍摄照片中的两个位置，分别作为照片特征点p1和照片特征点p2；计算所述点云特征点c1和点云特征点c2在所述初始投影平面的坐标位置，根据点云特征点c1和点云特征点c2在初始投影平面的坐标位置以及照片特征点p1和照片特征点p2计算所述初始投影平面和所述照片之间的初始仿射变换矩阵；

7、步骤5：根据所述初始仿射变换矩阵将所述初始投影平面变换到所述照片中，获得初始投影结果；

8、步骤6：根据初始投影结果，通过拖动的方式，调整仿射变换矩阵。

9、此前类似的系统设计中，操作者通过输入相机三维坐标的变动距离来调整相机位置，从而改变仿射变换矩阵。然而这种方式存在操作繁琐、投影变换不直观的问题，不利于操作者快速对齐三维点云投影与照片。本发明采用拖动的方式，操作者首先选择两个对齐点，然后分别拖动这两个对齐点，使得投影的杆塔部分与照片中的杆塔重合，得到仿射变换投影结果。在这一过程中，系统不仅实时计算三维投影的变化过程并在照片上显示，同时更新了对齐点的位置及其周围像素点的颜色，使得对齐效果在视觉上更为明显。这样的好处是让操作者更直观地感受到投影变化的过程，便于其更快速地进行对齐；

10、步骤7：根据仿射变换投影结果，通过拖动的方式，调整透视变换矩阵。此步骤原理：双指捏合则图片缩小，双指放大则图片放大；本系统中，操作者选择两个点，分别通过拖动的方式模仿上述照片缩放的原理，使得三维点云投影大小、透视角度发生变化，直到投影的输电线部分与照片中的输电线重合，得到透视变换投影结果；

11、步骤8：不断重复上述步骤6和步骤7，直到三维点云投影与照片完全对齐。

12、进一步地，所述步骤6：根据初始投影结果，通过鼠标左右键点按、拖动的方式，调整仿射变换矩阵，使得投影的杆塔部分与照片中的杆塔重合，得到仿射变换投影结果；所述步骤7：根据仿射变换投影结果，通过鼠标左右键点按、拖动的方式，调整透视变换矩阵，使得投影的输电线部分与照片中的输电线重合，得到透视变换投影结果。

13、进一步地，所述获取所述目标相机的初始位置和所述目标相机的初始正对点，包括：

14、步骤301：获取所述输电线点云两端的两个点；

15、步骤302：取上述两点中位于目标杆塔处的一个端点为所述目标相机初始正对点，另一个端点为所述相机的初始位置。

16、进一步地，获取所述杆塔点云上的两个点，分别作为点云特征点c1和点云特征点c2，获取所述目标相机拍摄照片中的两个位置，分别作为照片特征点p1和照片特征点p2，包括：

17、步骤401：选取所述目标相机初始正对点作为点云特征点c1，选取云特征点c1附近（如10米）一个点作为云特征点c2；

18、步骤402：选择照片上任意两个点，分别作为照片特征点p1和照片特征点p2。

19、进一步地，所述根据初始投影结果，通过鼠标左右键点按、拖动的方式，调整仿射变换矩阵，得到仿射变换投影结果，包括：

20、步骤601：根据鼠标左键点按、拖动后选取的投影特征点q1和右键点按、拖动后选取的投影特征点q2，更新照片特征点p1和照片特征点p2，并对所述初始变换矩阵进行更新；

21、步骤602：反向推导所述投影特征点q1和投影特征点q2在所述点云中的对应位置，更新所述点云特征点c1和所述点云特征点c2；

22、步骤603：根据更新后的点云特征点c1和点云特征点c2，以及照片特征点p1和照片特征点p2，调整仿射变换矩阵，重新生成仿射变换投影结果。

23、进一步地，所述反向推导所述投影特征点q1和所述投影特征点q2在所述点云中的对应位置，对所述点云特征点c1和所述点云特征点c2进行更新，包括：

24、步骤6021：计算所述点云特征点c1到所述目标相机初始位置的距离d；

25、步骤6022：获取所述目标相机初始位置和所述投影特征点q1的连线，在所述连线上，找到相对于所述目标相机位置，与所述投影特征点q1在同一个方向，且到所述目标相机位置与所述距离d相等的点o，将所述点云特征点c1替换为该点o；

26、步骤6023：对点云特征点c2重复上面步骤6021-步骤6022两步操作，完成对点云特征点c2的更新。

27、进一步地，所述根据仿射变换投影结果，通过鼠标左右键点按、拖动的方式，调整透视变换矩阵，得到透视变换投影结果，包括：

28、步骤701：根据鼠标左键点按、拖动后选取的投影特征点q3和右键点按、拖动后选取的投影特征点q4，反向推导所述投影特征点q3和所述投影特征点q4在点云中的对应位置，更新所述点云特征点c3和所述点云特征点c4；

29、步骤702：根据点云特征点c1和点云特征点c2，照片特征点p1和照片特征点p2，以及更新后的点云特征点c3和点云特征点c4，照片特征点p3和照片特征点p4，调整透视变换矩阵；

30、步骤703：根据调整后的所述透视变换矩阵，自动对所述目标相机正对点进行调整，重新生成透视变换投影结果。

31、进一步地，所述在调整透视变换矩阵后，自动对所述目标相机正对点进行调整包括：

32、步骤7031：根据所述目标相机位置和所述目标相机正对点，反向推导所述照片中心位置在所述点云中的位置；

33、步骤7032：获取所述目标相机位置和所述照片中心位置在所述点云中的位置的连线，计算所述目标相机正对点在所述连线上的垂点，并用该垂点更新所述目标相机正对点。

34、一种对齐三维点云投影和照片的系统，包括如下模块：

35、模块一：获取目标相机拍摄的照片，照片中包括输电线和杆塔；

36、模块二：获取目标相机所在场景的目标点云数据，其中，所述目标相机所在场景包括所述输电线和所述杆塔，所述目标点云数据包括所述输电线点云和所述杆塔点云；

37、模块三：获取所述目标相机的初始位置和所述目标相机的初始正对点，根据所述目标相机初始正对点和所述目标相机的初始位置创建初始投影矩阵，根据所述初始投影矩阵将点云数据投影到二维平面，获得初始投影平面；

38、模块四：获取所述杆塔点云上的两个点，分别作为点云特征点c1和点云特征点c2，获取所述目标相机拍摄照片中的两个位置，分别作为照片特征点p1和照片特征点p2；计算所述点云特征点c1和点云特征点c2在所述初始投影平面的坐标位置，根据点云特征点c1和点云特征点c2在初始投影平面的坐标位置以及照片特征点p1和照片特征点p2计算所述初始投影平面和所述照片之间的初始仿射变换矩阵；

39、模块五：根据所述初始仿射变换矩阵将所述初始投影平面变换到所述照片中，获得初始投影结果；

40、模块六：根据初始投影结果，通过拖动的方式，调整仿射变换矩阵，使得投影的杆塔部分与照片中的杆塔重合，得到仿射变换投影结果；在拖动过程中，实时计算三维投影的变化过程并在照片上显示，同时更新了对齐点的位置及其周围像素点的颜色；

41、模块七：根据仿射变换投影结果，通过拖动的方式，调整透视变换矩阵，使得投影的输电线部分与照片中的输电线重合，得到透视变换投影结果；

42、模块八：重复运行上述模块六和模块七，直到三维点云投影与照片完全对齐。

43、对齐三维点云投影和照片的系统的实现方法和上述方法相同，不再赘述。

44、一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的对齐三维点云投影和照片的方法。

45、一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的对齐三维点云投影和照片的方法的计算机程序。

46、有益效果：与现有技术相比，本发明能够利用人工根据少量特征进行判断和调整，实现快速且准确的根据三维点云数据和二维照片对齐三维点云投影和照片的方法，解决了传统人工对齐方式成本高、自动化方式难以准确对齐三维点云投影和照片的问题。