数据处理方法、装置、设备以及可读介质与流程

本申请涉及数据处理领域，具体涉及一种数据处理方法、装置、设备以及可读介质。

背景技术：

1、点云是一种三维空间中用来描述物体形状和特征的点的集合，点云中的点具有三维坐标(xyz)、激光反射强度(intensity)和颜色信息(rgb)等特征。在对物体进行检测的算法中，例如，在激光点云算法(point pillars)中，可以先利用特征提取网络对点云进行特征提取，得到物体的初步特征，再将初步特征输入后续检测网络，利用后续检测网络对初步特征进行进一步特征提取，得到物体的高维特征。

2、然而，在激光点云算法中，特征提取网络对点云进行特征提取得到物体的初步特征所保留的物体的原始信息少，进而使得后续检测网络对初步特征进行进一步特征提取得到物体的高维特征所保留的物体的原始信息也少，从而导致物体的检测精度降低。

技术实现思路

1、本申请实施例提供了一种数据处理方法、装置、设备以及可读介质。

2、第一方面，本申请实施例提供了一种数据处理方法，该方法包括：获取在第一时刻时第一场景的第一点云和第一图像；基于第一图像的第一尺寸对第一点云进行划分得到多个点云块，并提取多个点云块的第一特征图，以及提取第一图像的第二特征图；根据融合方式，融合多个点云块的第一特征图与第一图像的第二特征图，得到第三特征图，其中，第三特征图保留的第一场景的原始信息多于多个点云块的第一特征图保留的第一场景的原始信息。

3、可以理解，通过将第一点云对应的第一特征图和第一图像对应的第二特征图进行融合，得到第三特征图。其中第三特征图所保留的物体的原始信息多于第一特征图所保留的物体的原始信息。然后，可以将第三特征图输入后续检测模型，进行进一步特征提取得到物体的高维特征，由于第三特征图所保留的物体的原始信息较多，因此高维特征所保留的物体的原始信息也较多，如此，可以提高物体的检测精度。

4、在上述第一方面的一种可能的实现中，上述方法还包括：

5、基于第一图像的第一尺寸对第一点云进行划分得到多个点云块，包括：基于第一图像的第一尺寸确定对第一点云进行划分的第一步长；基于第一步长对第一点云进行划分，得到多个点云块。在上述第一方面的一种可能的实现中，上述方法还包括：

6、基于第一图像的第一尺寸确定对第一点云进行划分的第一步长，包括：基于第一图像的第一尺寸和第一映射关系，确定对第一点云进行划分的第一步长；其中，第一映射关系用于指示尺寸和步长之间的映射关系。

7、在上述第一方面的一种可能的实现中，提取多个点云块的第一特征图，包括：基于预设的采样阈值，并采用最远点采样对多个点云块中的点进行采样，得到多个非空点云块；对多个非空点云块进行特征提取处理，得到第一特征图。。

8、在上述第一方面的一种可能的实现中，第一特征图至少包括多个点云块的点云密度；其中，点云密度用于指示采样的点在点云块中的密度信息；其中，点云密度通过以下方式得到：获取当前被采样的点云块中点的数量；根据点的数量以及设定值，得到第一点云密度；当第一点云密度大于或等于1，确定点所在的点云块的点云密度为1；当第一点云密度小于1，确定点所在的点云块的点云密度为第一点云密度。

9、在上述第一方面的一种可能的实现中，根据融合方式，融合多个点云块的第一特征图与第一图像的第二特征图，得到第三特征图，包括：分别对第一特征图和第二特征图的尺寸进行剪裁处理；以及对第一特征图和第二特征图对应的像素信息进行调整处理；将剪裁处理和调整处理后的第一特征图和第二特征图，按照融合方式进行融合，生成融合后的第三特征图；其中，融合方式用于指示第一特征图和第二特征图按位均值进行融合。

10、第二方面，本申请实施里提供了一种数据处理装置，其特征在于，装置包括：采样模块，特征提取模块，特征融合模块；采样模块，用于获取在第一时刻时第一场景的第一点云和第一图像；特征提取模块，用于基于第一图像的第一尺寸对第一点云进行划分得到多个点云块，并提取多个点云块的第一特征图，以及提取第一图像的第二特征图；特征融合模块，根据融合方式，融合多个点云块的第一特征图与第一图像的第二特征图，得到第三特征图，其中，第三特征图保留的第一场景的原始信息多于多个点云块的第一特征图信息保留的第一场景的原始信息。

11、第三方面，本申请实施里提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个存储器存储有一个或多个程序，当一个或者多个程序被一个或多个处理器执行时，使得电子设备执行上述数据处理方法。

12、第四方面，本申请实施里提供了一种可读介质，其特征在于，可读介质中存储有指令，该指令被电子设备运行时，电子设备执行上述数据处理方法。

13、本发明实施例的有益效果：

14、本发明实施例，采用以下方式来获取第三特征图：获取在第一时刻时第一场景的第一点云和第一图像；基于第一图像的第一尺寸对第一点云进行划分得到多个点云块，并提取多个点云块的第一特征图，以及提取第一图像的第二特征图；根据融合方式，融合多个点云块的第一特征图与第一图像的第二特征图，得到第三特征图，其中，第三特征图保留的第一场景的原始信息多于多个点云块的第一特征图保留的第一场景的原始信息。进一步地，可以将第三特征图输入后续检测模型，进行进一步特征提取得到物体的高维特征，由于第三特征图所保留的物体的原始信息较多，因此高维特征所保留的物体的原始信息也较多，如此，可以提高物体的检测精度。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于第一图像的第一尺寸对所述第一点云进行划分得到多个点云块，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像的第一尺寸确定对第一点云进行划分的第一步长，包括：

4.根据权利要求1所述的方法，其特征在于，所述提取所述多个点云块的第一特征图，包括：

5.根据权利要求4所述的方法，其特征在于，所述第一特征图至少包括所述多个点云块的点云密度；其中，所述点云密度用于指示采样的点在点云块中的密度信息；

6.根据权利要求1所述的方法，其特征在于，所述根据融合方式，融合所述多个点云块第一特征图与所述第一图像的第二特征图，得到第三特征图，包括：

7.一种数据处理装置，其特征在于，所述装置包括：采样模块，特征提取模块，特征融合模块；

8.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至6中任一项所述的数据处理方法。

9.一种可读介质，其特征在于，所述可读介质中存储有指令，所述指令被电子设备运行时，所述电子设备执行如权利要求1至6中任一项所述的数据处理方法。

技术总结本申请涉及数据处理领域，具体涉及一种数据处理方法、装置、设备以及可读介质。该方法包括：获取在第一时刻时第一场景的第一点云和第一图像；基于第一图像的第一尺寸对第一点云进行划分得到多个点云块，并提取多个点云块的第一特征图，以及提取第一图像的第二特征图；根据融合方式，融合多个点云块的第一特征图与第一图像的第二特征图，得到第三特征图，其中，第三特征图保留的第一场景的原始信息多于多个点云块的第一特征图保留的第一场景的原始信息。进而可以将第三特征图输入后续检测模型，进行进一步特征提取得到物体的高维特征，由于第三特征图所保留物体的原始信息较多，因此高维特征所保留物体的原始信息也较多，可以提高物体的检测精度。技术研发人员：孟庆雪受保护的技术使用者：大陆软件系统开发中心（重庆）有限公司技术研发日：技术公布日：2024/7/29