基于可视外壳的稠密点云去噪方法、系统及装置与流程

本发明属于机器视觉三维重建，具体涉及一种基于可视外壳的稠密点云去噪方法、系统及装置。

背景技术：

1、visualhull（可视外壳）算法是基于几何的重建技术，利用相机从不同角度和位置捕获的物体图像来构建一个能够包围物体的最小体积，即从多个视角的二维图像中恢复三维物体的形状；它不依赖于物体的纹理信息，对于光照变化和图像噪声相对不敏感，但是需要捕获物体图像的相机的多个角度和位置的精确值，其重建分辨率也受限于原始图像的分辨率和体素化的精度。

2、基于运动结构（structure from motion, sfm）和多视图立体几何（multi-viewstereo, mvs）的三维重建是两种常用的计算机视觉技术，用于从一组二维图像中恢复三维场景的结构。sfm和mvs二者结合使用，通过三维重建得到的物体表面稠密点云，在物体的边缘处会产生模糊或不连续的视差图，进而产生点云拖影噪声。通常的点云噪声去除方法，由于无法区分点云是物体上的还是拖影的，会滤掉物体上的真实点云而易产生空洞，或不能完全滤除拖影噪声。

技术实现思路

1、针对现有技术的不足，本发明公开基于可视外壳的稠密点云去噪方法、系统及装置。

2、为了实现上述技术效果，本发明采用以下技术方案：

3、基于可视外壳的稠密点云去噪方法，包括以下步骤：

4、获取物体不同角度和不同位置的若干张待测物体图像；

5、对若干张待测物体图像进行稀疏重建，得到若干个相机位姿和待测物体表面的至少一个特征点的三维坐标，其中，图像与相机位姿的数量保持一致，基于若干张待测物体图像、若干个相机位姿及至少一个特征点，得到待测物体外表面的有噪声稠密点云；

6、对若干张待测物体图像、若干个相机位姿及至少一个特征点进行重建，得到待测物体的三维外壳进而转换为三维外壳点云；

7、基于预设变换矩阵将所述有噪声稠密点云和所述三维外壳点云进行配准进而将所述有噪声稠密点云变换至所述三维外壳点云坐标系下，得到配准后稠密点云；

8、基于三维外壳点云预设满足条件的点云边界球，将落入点云边界球内的配准后稠密点云进行合并，得到去噪后稠密点云。

9、作为一种可实施方式，所述预设变换矩阵，通过以下方式得到：

10、提取有噪声稠密点云的第一关键点和三维外壳点云的第二关键点；

11、基于第一关键点计算第一描述子，基于第二关键点计算第二描述子；

12、通过点云配准函数将第一描述子进行第一次配准，得到第一变换矩阵；

13、通过点云配准函数及第一变化矩阵进行点云的第二次配准，得到第二配准后的第二变换矩阵；

14、基于第一变换矩阵和第二变换矩阵，得到预设变换矩阵。

15、作为一种可实施方式，所述预设变换矩阵，表示如下：

16、

17、其中，表示预设变换矩阵，表示第一变换矩阵、表示第二变换矩阵。

18、作为一种可实施方式，所述配准后稠密点云，表示如下：

19、

20、其中，表示配准后稠密点云，表示预设变换矩阵，表示有噪声稠密点云。

21、作为一种可实施方式，所述基于三维外壳点云预设满足条件的点云边界球，将落入点云边界球内的配准后稠密点云进行合并，得到去噪后稠密点云，包括以下步骤：

22、以三维外壳点云中每个点为圆心，构建点云边界球，其中，所述点云边界球球心为三维外壳点云中任意一个三维点，点云边界球的半径是可变的并根据预设物体表面噪声范围进行调整；

23、为配准后稠密点云构建kd-tree，将配准后稠密点云中落入点云边界球外壳中的点进行保留并合并，得到去噪后稠密点云；

24、去噪后稠密点云，表示如下：

25、

26、其中，其中，表示去噪后稠密点云，表示配准后稠密点云，表示三维外壳点云，表示三维外壳点云中任意一个点云边界球球心，r表示点云边界球的半径。

27、作为一种可实施方式，基于配准后稠密点云中的每一个空间点，在三维外壳点云中查找相应的最近距离点，并计算每一个空间点与最近距离点之间的最近距离；

28、计算所有最近距离的标准差，所述标准差即为点云边界球半径；

29、所述最近距离，表示如下：

30、

31、所述点云边界球半径，表示如下：

32、

33、其中，表示配准后稠密点云中的第i个空间点，表示第i个空间点与最近距离点之间的最近距离，表示配准后稠密点云，表示三维外壳点云。

34、作为一种可实施方式，点云边界球半径为预设物体表面噪声范围，其中，半径值越大，则表示距离物体表面越远的地方允许噪声存在；半径值越小，则允许距离物体表面越近的地方存在噪声。

35、基于可视外壳的稠密点云去噪系统，包括：数据获取模块、稠密点云三维重建模块、外壳点云三维重建模块、配准模块及去噪模块；

36、所述数据获取模块，用于获取物体不同角度和不同位置的若干张待测物体图像；

37、所述稠密点云三维重建模块，对若干张待测物体图像进行稀疏重建，得到若干个相机位姿和待测物体表面的至少一个特征点的三维坐标，其中，图像与相机位姿的数量保持一致，基于若干张待测物体图像、若干个相机位姿及至少一个特征点，得到待测物体外表面的有噪声稠密点云；

38、所述外壳点云三维重建模块，对若干张待测物体图像、若干个相机位姿及至少一个特征点进行重建，得到待测物体的三维外壳进而转换为三维外壳点云；

39、所述配准模块，基于预设变换矩阵将所述有噪声稠密点云和所述三维外壳点云进行配准进而将所述有噪声稠密点云变换至所述三维外壳点云坐标系下，得到配准后稠密点云；

40、所述去噪模块，基于三维外壳点云预设满足条件的点云边界球，将落入点云边界球内的配准后稠密点云进行合并，得到去噪后稠密点云。

41、作为一种可实施方式所述去噪模块，被设置为：

42、以三维外壳点云中每个点为圆心，构建点云边界球，其中，所述点云边界球球心为三维外壳点云中任意一个三维点，点云边界球的半径根据预设物体表面噪声范围进行调整；

43、为配准后稠密点云构建kd-tree，将配准后稠密点云中落入点云边界球外壳中的点进行保留并合并，得到去噪后稠密点云；

44、所述去噪后稠密点云，表示如下：

45、

46、其中，表示去噪后稠密点云，表示配准后稠密点云，表示三维外壳点云，表示三维外壳点云中任意一个点云边界球球心，r表示点云边界球的半径。

47、作为一种可实施方式，所述去噪模块，被设置为：

48、基于配准后稠密点云中的每一个空间点，在三维外壳点云中查找相应的最近距离点，并计算每一个空间点与最近距离点之间的最近距离；

49、计算所有最近距离的标准差，所述标准差即为点云边界球半径；

50、所述最近距离，表示如下：

51、

52、所述点云边界球半径，表示如下：

53、

54、其中，表示配准后稠密点云中的第i个空间点，表示第i个空间点与最近距离点之间的最近距离，表示配准后稠密点云，表示三维外壳点云。

55、计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法：

56、获取物体不同角度和不同位置的若干张待测物体图像；

57、对若干张待测物体图像进行稀疏重建，得到若干个相机位姿和待测物体表面的至少一个特征点的三维坐标，其中，图像与相机位姿的数量保持一致，基于若干张待测物体图像、若干个相机位姿及至少一个特征点，得到待测物体外表面的有噪声稠密点云；

58、对若干张待测物体图像、若干个相机位姿及至少一个特征点进行重建，得到待测物体的三维外壳进而转换为三维外壳点云；

59、基于预设变换矩阵将所述有噪声稠密点云和所述三维外壳点云进行配准进而将所述有噪声稠密点云变换至所述三维外壳点云坐标系下，得到配准后稠密点云；

60、基于三维外壳点云预设满足条件的点云边界球，将落入点云边界球内的配准后稠密点云进行合并，得到去噪后稠密点云。

61、基于可视外壳的稠密点云去噪方法的装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下的方法：

62、获取物体不同角度和不同位置的若干张待测物体图像；

63、对若干张待测物体图像进行稀疏重建，得到若干个相机位姿和待测物体表面的至少一个特征点的三维坐标，其中，图像与相机位姿的数量保持一致，基于若干张待测物体图像、若干个相机位姿及至少一个特征点，得到待测物体外表面的有噪声稠密点云；

64、对若干张待测物体图像、若干个相机位姿及至少一个特征点进行重建，得到待测物体的三维外壳进而转换为三维外壳点云；

65、基于预设变换矩阵将所述有噪声稠密点云和所述三维外壳点云进行配准进而将所述有噪声稠密点云变换至所述三维外壳点云坐标系下，得到配准后稠密点云；

66、基于三维外壳点云预设满足条件的点云边界球，将落入点云边界球内的配准后稠密点云进行合并，得到去噪后稠密点云。

67、本发明由于采用了以上技术方案，具有显著的技术效果：

68、1.本发明将可视外壳算法、运动结构和多视图立体几何算法相结合，将运动结构和多视图立体几何算法三维重建后获取的体外表面的稠密点云与可视外壳算法三维重建获取的三维外壳点云配准，大大提升了三维重建模型的稠密度和完整度；

69、2.本发明基于可视外壳算法三维重建获取的三维外壳点云的点云边界球对配准后稠密点云进行去噪，大大提高了三维重建模型的精度和分辨率；

70、3.本发明所述的基于可视外壳的稠密点云去噪方法仅用图像作为系统输入，数据获取便捷且易操作。