一种图像辅助点云生成方法、系统、设备与存储介质

本发明涉及点云生成，特别涉及一种图像辅助点云生成方法、系统、设备与存储介质。

背景技术：

1、点云生成技术在许多领域得到了广泛应用，包括机器人学、自动驾驶、军事领域等。点云模型能够提供详细的三维环境信息，对于环境感知和场景理解至关重要。在机器人领域，机器人在未知环境中移动时，需要获取周围的空间信息，通过搭载激光雷达等传感器，机器人获取所在环境的点云地图。在自动驾驶领域，自动驾驶车辆需要准确地感知周围环境，包括道路、交通标志、车辆和行人等。激光雷达等传感器采集的点云数据为车辆提供高分辨率的三维环境信息，帮助车辆做出相应决策。在军事领域，部队需要使用机器人搭载激光雷达等传感器对战场环境进行精准地图构建，从而执行相关任务。

2、但是由于受硬件资源的限制，激光雷达获取的点云数据分辨率不均匀，点云数据存在边缘稀疏的特性，这就导致点云边缘区域的信息丢失。在使用点云数据进行场景构建过程中，边缘稀疏意味着需要使用更多智能体执行多次感知任务，而在面对沟壑、山地等一些地面智能体无法到达的极端地形时，仅依靠激光雷达感知数据已经无法满足任务需求。

3、除此之外，在场景构建时需要选取更大点云重叠区域进行检索及校准，在某些依赖点云边缘等低重叠区域进行三维场景构建时，由于稀疏数据带来的误差问题，这会大大影响点云配准的精度，从而影响三维点云场景构建的效率。解决激光雷达等传感器感知的点云数据边缘表征能力不足、数据稀疏等问题，利用环境图像数据来生成点云数据无疑是一个不错的办法，因为环境图像数据的数据分布均匀，感知距离远，在远距离物体的表征能力通常比点云数据更强。点云生成技术用于构建地图时，将实时生成的点云数据与先前的地图数据进行融合，提高智能体获取的点云数据精度及范围。具有较大的实用价值。

4、现有的点云生成技术通常学习单一噪声到原始点云的过程、从原始分布扩散成为噪声分布的过程的方法，通过借助gan、vae等架构缩小随机噪声与真实点云之间的距离，来生成趋向于真实点云的点云数据。但是这些方法需要消耗大量内存空间，且没有任何先验知识直接从零生成，模型收敛速度慢，生成效率低，且只能生成中心密集边缘稀疏的点云数据，这与激光雷达直接感知的点云数据表征效果近似，达不到增强点云数据表征能力的目的，除此之外，在进行未知场景的三维点云地图构建方面很难做到高精度。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提供一种图像辅助点云生成方法、系统、设备与存储介质，以解决现有技术无法应用在真实场景中，在进行未知场景的三维点云地图构建方面很难做到高精度的问题。

2、本发明具体提供如下技术方案：一种图像辅助点云生成方法，包括如下步骤：

3、采集环境图像数据和点云数据，并使用基于点云密度的注意力机制获得点云数据的注意力权重；

4、对所述环境图像数据进行注意力权重的加权融合，并使用vae模拟加权融合后环境图像数据的特征和点云数据的特征的分布空间；

5、使用归一化流模型nfs学习加权融合后环境图像数据的特征分布到真实点云数据特征分布空间的可逆线性变换，获得加权融合后环境图像数据的特征分布与真实点云数据的特征分布空间的映射关系；

6、根据所述映射关系将环境图像数据作为先验知识得到对应的点云数据。

7、优选的，所述使用基于点云密度的注意力机制获得点云数据的注意力权重，包括如下步骤：

8、使用最近邻搜索算法计算点云数据附近邻域内点的数量，获得点云的密度值；

9、对计算得到的密度值进行softmax函数进行归一化处理，并使用归一化后的密度值作为每个点的注意力分数。

10、优选的，所述使用归一化后的密度值作为每个点的注意力分数，具体表达式为：

11、

12、其中，di表示点i的归一化密度值，a是用于调节密度值与注意力权重之间关系的参数，n是点云中的点的总数。

13、优选的，对所述环境图像数据进行注意力权重的加权融合，具体表达式为：

14、

15、其中，attention(di)表示第i个点的注意力分数，image feature是图像特征，n是点云中的点的总数。

16、优选的，所述获得加权融合后环境图像数据的特征分布与真实点云数据的特征分布空间的映射关系，具体表达式为：

17、

18、其中，z是来自加权融合后环境图像数据的特征分布的样本，x'是来自点云特征分布的样本，a是一个可学习的线性变换矩阵，b是一个可学习的偏置向量，°表示函数的复合，fi是映射系数，affine为映射函数。

19、优选的，所述根据所述映射关系将环境图像数据作为先验知识得到对应的点云数据后，使用pointnet++模型作为判别器提取经过生成器推理得到的生成点云数据与真实点云数据之间的特征，通过计算生成点云数据特征和真实点云数据特征之间的余弦距离，判别生成点云数据的逼真程度。

20、优选的，通过计算生成点云数据特征和真实点云数据特征之间的余弦距离时，优化最小化余弦距离，更新判别器的参数，使得判别器能够将两个点云之间的余弦距离降低到最小，具体表达式为：

21、

22、其中，a和b分别是两个点云的特征向量，·表示向量的点积，||·||表示向量的范数，cosine similarity为余弦函数。

23、本发明提供一种图像辅助点云生成方法系统，包括：

24、采集模块，用于采集环境图像数据和点云数据，并使用基于点云密度的注意力机制获得点云数据的注意力权重；

25、融合模块，用于对所述环境图像数据进行注意力权重的加权融合，并使用vae模拟加权融合后环境图像数据的特征和点云数据的特征的分布空间；

26、转换模块，用于使用归一化流模型nfs学习加权融合后环境图像数据的特征分布到真实点云数据特征分布空间的可逆线性变换，获得加权融合后环境图像数据的特征分布与真实点云数据的特征分布空间的映射关系；

27、生成模块，用于根据所述映射关系将环境图像数据作为先验知识得到对应的点云数据。

28、本发明提供一种计算机设备，包括存储器及处理器，所述存储器中储存有程序，所述程序被所述处理器执行时，使得所述处理器执行所述一种图像辅助点云生成方法的步骤。

29、本发明提供一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种图像辅助点云生成方法的步骤。

30、与现有技术相比，本发明具有如下显著优点：

31、本发明使用注意力机制根据点云数据的密度值，使环境图像数据重点关注点云数据稀疏区域对应的特征，之后使用nfs实现符合加权融合后的图像特征分布的样本数据与符合点云特征分布的样本数据之间可逆线性变换，在生成模块直接学习跨模态数据特征间的映射关系，获取不同模态数据特征之间的映射参数，实现在已知环境图像数据的基础上生成点云边缘区域的数据，借助环境图像数据的先验知识提升整个模型在训练过程中的收敛速度。同时借助gan无监督的学习方法，在没有标签的情况优化生成点云数据与真实点云数据之间的距离，通过对抗性学习的过程使得模型更加鲁棒，对抗噪声和变化的能力更强，大大减少模型整体训练成本。