一种基于双几何学习和自适应稀疏注意力的点云分析方法

本发明属于点云分析方法领域，具体涉及一种基于双几何学习和自适应稀疏注意力的点云分析方法。

背景技术：

1、近年来随着各种3d采集技术的快速发展，点云已经广泛应用于多个领域，包括自动驾驶、机器人导航、3d场景理解等。然而不同于图像，点云本质上是三维空间中点的集合，表现出稀疏、无序和不规则的内在属性，这使得很难直接使用强大的卷积神经网络来处理点云。为了解决这个问题，一些方法会通过数据预处理的方式先将点云转换成诸如体素网格和多视角图像的规则数据格式，然后再使用卷积神经网络提取特征。但这些方法由于数据格式的转换会导致几何信息的丢失，同时带来额外的计算负担，为此最近的研究关注于直接处理点云的算法。这类方法直接以原始点云作为输入，通过构建每个中心点的邻域，建立点对之间的几何和语义关系，并应用多层感知机和池化函数等来提取点的局部特征。此外，为了捕获点云间的长距离依赖关系，一些方法采用自注意力结构来获取全局信息，但这类方法通常需要较高的计算复杂度和计算资源，限制了其在实际场景中的应用。因此目前实现有效且高效的点云分析算法以应用于诸如分类和分割等下游任务仍面临着很多挑战。

2、目前主流的用于分类与分割等任务的点云分析方法通常采用分层网络结构。这类算法通过编码器不断地进行降采样以减少点云数目并扩大感受野，同时使用各种特征提取算法来提取分层特征。由于点云是由空间中的三维点组成的，因此几何结构信息对于点云来说至关重要。目前主流的局部特征提取算法通常会关注于点对之间的几何关系的构建。最初的一些方法简单地使用点对间的相对三维坐标来显式地代表几何关系，但这没有充分考虑到邻域中的结构信息。后续的一些基于卷积的方法通过从点对间的相对位置信息中学习生成注意力权重，进一步加强了几何关系的利用。但这类方法通常比较复杂，且只在一些特定的场景中性能较高，泛化性不足。为了获取全局信息来增强点云的特征表示，最新的一些方法借鉴自注意力机制在图像领域的实践，将其应用到点云分析任务中。pct直接在整个点云上应用自注意力机制并提出一种偏移注意力去获取全局信息。但由于注意力机制与点云中点数目的二次方成正比，因此pct的复杂度过高。而pointasnl则在相邻编码层间的点云通过自注意力实现信息交换，一定程度上缓解了计算复杂度。point transformer则是在局部区域内基于语义特征差提出一种向量注意力机制，然而这种方法并没有发挥出自注意力机制在捕获长距离上下文信息的优势，限制了感受野。

技术实现思路

1、为解决上述问题，本发明提出一种基于双几何学习和自适应稀疏注意力的点云分析方法，用于分类和分割任务。所述方法首先提出双几何学习模块，利用邻域三角形结构得到每个点的几何描述符，再通过点对间的相对几何描述符生成几何特征。其次提出双几何上下文聚合模块将邻域中的几何特征和语义特征有效地进行聚合以得到局部上下文信息。最后提出一种自适应稀疏注意力模块以有效且高效地获取全局信息，通过动态选取少量全局代表点，以很少的计算复杂度实现更高效的长距离信息聚合。

2、为实现上述目的，本发明采取的技术方案如下：

3、一种基于双几何学习和自适应稀疏注意力的点云分析方法，所述方法包括如下步骤：

4、步骤1、输入点云数据，其中，表示点云中点的数目，表示点云的输入特征维度；

5、步骤2、基于双几何学习模块，构建点云中每个点的邻域三角形表示，得到每个点的几何描述符，在每一层编码层中获取每个点的邻域，通过点对之间的相对几何描述符生成几何特征；

6、步骤3、基于双几何上下文聚合模块，将获取的几何特征和语义特征进行融合得到局部上下文信息；

7、步骤4、基于自适应稀疏注意力模块，利用每个点的输入特征学习每个点的分数，自适应地选取得分最高的个点作为全局代表点，利用注意力机制融合全局代表点的信息以获得全局上下文信息；

8、步骤5、对步骤3获得的局部上下文信息和步骤4获得的全局上下文信息进行相加获得最终融合特征；获取若干层编码特征后，对于分类任务直接通过全连接层输出分类；对于分割任务，则通过上采样和跳级连接逐步恢复点云分辨率，输出每个点的分类结果。

9、本发明的有益效果在于：

10、本发明充分挖掘局部几何结构信息，使用简单的特征相加和池化达到了更有效的局部上下文信息聚合；通过点云的输入特征自适应地学习到每个点的重要性程度，选取少量的点作为全局代表点进行特征融合获取全局上下文信息，大大降低了全局注意力机制的计算复杂度，同时也展现了优越的性能。

技术特征：

1.一种基于双几何学习和自适应稀疏注意力的点云分析方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的一种基于双几何学习和自适应稀疏注意力的点云分析方法，其特征在于，所述步骤2包括：

3.根据权利要求2所述的一种基于双几何学习和自适应稀疏注意力的点云分析方法，其特征在于，所述步骤3包括：

4.根据权利要求3所述的一种基于双几何学习和自适应稀疏注意力的点云分析方法，其特征在于，所述步骤4包括：

技术总结本发明公开了一种基于双几何学习和自适应稀疏注意力的点云分析方法，属于点云分析方法领域。所述方法包括：利用邻域三角形结构得到每个点的几何描述符，再通过点对间的相对几何描述符生成几何特征，将邻域中的几何特征和语义特征有效地进行聚合以得到局部上下文信息，通过动态选取少量全局代表点，以很少的计算复杂度实现更高效的全局上下文信息聚合。所述方法充分挖掘局部几何结构信息，使用简单的特征相加和池化达到了更有效的上下文信息聚合，大大降低了全局注意力机制的计算复杂度。技术研发人员：凌强,周策受保护的技术使用者：中国科学技术大学技术研发日：技术公布日：2024/7/29