多视角融合的三维点云实时语义分割方法、装置及车辆

本发明涉及自动驾驶，特别涉及一种多视角融合的三维点云实时语义分割方法、装置及车辆。

背景技术：

1、自动驾驶技术，作为交通领域的前沿革新，正逐步推动着智能车辆的发展。它利用传感器阵列、人工智能和先进的算法，赋予车辆自主感知环境、做出决策并安全行驶的能力。因此在处理点云信息时，对语义分割性能提出了更高要求，确保车辆能准确识别周围物体和道路状况。

2、相关技术中，点云语义分割方法采用监督学习算法，该类算法的分割精度往往受限于人为设置的经验阈值，难以适应复杂多变的道路场景。还有相关技术，基于深度学习进行语义分割，如基于投影的语义分割方法和基于点的语义分割方法等，这些方法虽然在一些公开点云数据集中取得了良好效果，但是在道路场景下的分割性能仍面临特征表达不完全的问题。

技术实现思路

1、本发明提供一种多视角融合的三维点云实时语义分割方法、装置及车辆，以解决相关技术中，点云语义分割方法难以适应复杂多变的道路场景，特征表达不完全，且存在局限性，如量化损失、语义不一致性、计算效率低下等问题，显著提升了自动驾驶场景下点云数据的语义分割精度，实现了自动驾驶场景下点云语义分割中局部细节的处理与全局上下文信息的整合，有助于实现更安全、高效的自动驾驶系统。

2、本发明第一方面实施例提供一种多视角融合的三维点云实时语义分割方法，包括以下步骤：基于预设的点云语义分割网络，获取点云数据集，并根据每个点云数据的基本特征得到所述每个点云数据的特征向量；确定所述每个点云数据的邻域点集合和所述邻域点集合的特征矩阵，计算每个特征矩阵的特征最大值，并根据所述每个特征矩阵的特征最大值得到所述每个点云数据的邻域特征向量；基于所述邻域特征向量计算所述每个点云数据的特征权重，并根据所述特征权重和预设的多层感知器得到所述每个点云数据的最终特征向量；根据所述每个点云数据在不同语义层次上的预测置信度、类别置信度和所述最终特征向量计算所述每个点云数据的综合置信度评分，并根据所述综合置信度评分得到所述每个点云数据的语义标签预测结果，将所述语义标签预测结果进行组合，得到所述点云数据集的语义标签数据集。

3、可选地，在一些实施例中，所述的多视角融合的三维点云实时语义分割方法，还包括：

4、统计不同类别点云数据在每个范围区域内的频率，并根据所述频率确定所述每个范围区域的伪标签；根据所述伪标签和预设的总体损失函数优化所述预设的点云语义分割网络。

5、可选地，在一些实施例中，所述根据每个点云数据的基本特征得到所述每个点云数据的特征向量，包括：将所述每个点云数据的基本特征转换为2d（two-dimensional‌，二维）范围特征，并将所述每个点云数据的2d范围特征重新转换为3d（three-dimensional‌，三维）点特征，得到所述每个点云数据的特征向量。

6、可选地，在一些实施例中，所述基于所述邻域特征向量计算所述每个点云数据的特征权重，包括：将所述每个点云数据的所述2d范围特征和所述3d点特征映射到对应的邻域点集合，基于所述对应的邻域点集合，索引并聚合所述每个点云数据的邻近点；根据所述邻近点的特征，通过预设的全连接层计算所述每个点云数据的特征权重。

7、可选地，在一些实施例中，所述根据所述综合置信度评分得到所述每个点云数据的最终预测结果，包括：比较所述不同语义层次的综合置信度评分，将综合置信度评分中的最大值作为所述最终预测结果。

8、可选地，在一些实施例中，所述确定所述每个点云数据的邻域点集合和所述邻域点集合的特征矩阵，包括：判断第一点云数据和第二点云数据是否在点空间中相邻，且所述第一点云数据和所述第二点云数据是否在范围空间中相邻；若所述第一点云数据和所述第二点云数据在点空间中相邻，且所述第一点云数据和所述第二点云数据在范围空间中相邻，则判定所述第一点云数据和所述第二点云数据属于同一单元空间；确定与所述每个点云数据属于同一单元空间的点云数据，根据所述同一单元空间的点云数据得到所述每个点云数据的邻域点集合。

9、可选地，在一些实施例中，在获取点云数据集之前，还包括：获取当前车辆的多个视场角点云数据；基于自车坐标系，通过预设的位移向量和旋转矩阵将所述多个视场角点云数据进行配准拼接，得到所述点云数据集。

10、本发明第二方面实施例提供一种多视角融合的三维点云实时语义分割装置，包括：获取模块，用于基于预设的点云语义分割网络，获取点云数据集，并根据每个点云数据的基本特征得到所述每个点云数据的特征向量；特征聚合模块，用于确定所述每个点云数据的邻域点集合和所述邻域点集合的特征矩阵，计算每个特征矩阵的特征最大值，并根据所述每个特征矩阵的特征最大值得到所述每个点云数据的邻域特征向量；特征增强模块，用于基于所述邻域特征向量计算所述每个点云数据的特征权重，并根据所述特征权重和预设的多层感知器得到所述每个点云数据的最终特征向量；特征选择模块，用于根据所述每个点云数据在不同语义层次上的预测置信度、类别置信度和所述最终特征向量计算所述每个点云数据的综合置信度评分，并根据所述综合置信度评分得到所述每个点云数据的语义标签预测结果，将所述语义标签预测结果进行组合，得到所述点云数据集的语义标签数据集。

11、可选地，在一些实施例中，所述的多视角融合的三维点云实时语义分割装置，还包括：统计模块，用于统计不同类别点云数据在每个范围区域内的频率，并根据所述频率确定所述每个范围区域的伪标签；优化模块，用于根据所述伪标签和预设的总体损失函数优化所述预设的点云语义分割网络。

12、可选地，在一些实施例中，所述获取模块，具体用于：将所述每个点云数据的基本特征转换为二维2d范围特征，并将所述每个点云数据的2d范围特征重新转换为三维3d点特征，得到所述每个点云数据的特征向量。

13、可选地，在一些实施例中，所述特征增强模块，具体用于：将所述每个点云数据的所述2d范围特征和所述3d点特征映射到对应的邻域点集合，基于所述对应的邻域点集合，索引并聚合所述每个点云数据的邻近点；根据所述邻近点的特征，通过预设的全连接层计算所述每个点云数据的特征权重。

14、可选地，在一些实施例中，所述特征选择模块，具体用于：比较所述不同语义层次的综合置信度评分，将综合置信度评分中的最大值作为所述最终预测结果。

15、可选地，在一些实施例中，所述特征聚合模块，具体用于：判断第一点云数据和第二点云数据是否在点空间中相邻，且所述第一点云数据和所述第二点云数据是否在范围空间中相邻；在所述第一点云数据和所述第二点云数据在点空间中相邻，且所述第一点云数据和所述第二点云数据在范围空间中相邻的情况下，判定所述第一点云数据和所述第二点云数据属于同一单元空间；确定与所述每个点云数据属于同一单元空间的点云数据，根据所述同一单元空间的点云数据得到所述每个点云数据的邻域点集合。

16、可选地，在一些实施例中，在获取点云数据集之前，所述获取模块，还用于：获取当前车辆的多个视场角点云数据；基于自车坐标系，通过预设的位移向量和旋转矩阵将所述多个视场角点云数据进行配准拼接，得到所述点云数据集。

17、本发明第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的多视角融合的三维点云实时语义分割方法。

18、本发明第四方面实施例提供一种计算机程序产品，其上存储有计算机程序，该程序被执行，以用于实现如上述实施例所述的多视角融合的三维点云实时语义分割方法。

19、由此，本发明通过接收激光雷达点云数据，对原始点云数据进行配准拼接，将局部坐标系下的点云拼接成完整的以自车为中心的360度环视的全视场角点云数据，捕获点云中每个点的基本特征，并将其转换为一系列特征向量，进一步对点云进行逐层细化处理，捕获局部细节并整合全局上下文信息，引入点云注意力机制，实现了特征的多尺度融合，结合置信度过滤机制，精确地输出每个点的语义标签预测值，从而实现精确且高效的点云语义分割。由此，解决了相关技术中，点云语义分割方法难以适应复杂多变的道路场景，特征表达不完全，且存在局限性，如量化损失、语义不一致性、计算效率低下，等问题，显著提升了自动驾驶场景下点云数据的语义分割精度，实现了自动驾驶场景下点云语义分割中局部细节的处理与全局上下文信息的整合，有助于实现更安全、高效的自动驾驶系统。

20、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。