一种3D点云网格的处理方法及装置与流程

本技术涉及领域人工智能的计算机视觉，尤其涉及一种3d点云网格的处理方法及装置。

背景技术：

1、近年来3d人脸数据集越来越多的运用在各种计算机视觉任务当中，例如人脸生成、人脸驱动和人脸表情迁移等任务。因此如何创建出高精度的3d人脸数据集供这些任务训练是近年来研究的热点。

2、现有的3d人脸数据集生成方法主要是从2d图像中提取人脸信息，最终生成一系列的3d人脸网格(mesh)。3d人脸网格将人脸的结构用顶点和面片描述，一系列3d点描述人脸的基本表面位置，顶点之间相互连线形成三角形面片描述人脸的几何形状。这些3d人脸网格可以作为深度神经网络的输入供相关的计算机视觉任务进行训练。

3、现有的3d人脸数据集生成方案包括利用多视角立体匹配技术、单相机同时定位与建图(simu ltaneous loca l izat ion and mapping，slam)技术进行人像恢复。这些方案存在价格昂贵、生成的3d人像尺度、坐标系和拓扑结构混乱等问题。

技术实现思路

1、本技术的实施例提供一种3d点云网格的处理方法，通过对单相机3d重建得到的多帧3d点云网格进行处理，得到尺度完整，坐标系、网格数量和拓扑结构一致的多帧3d点云网格，以使该多帧3d点云网格可以适用于神经网络的训练任务。

2、第一方面，本技术提供一种3d点云网格的处理方法，包括获取多帧3d点云网格，每帧3d点云网格基于单相机采集的多张2d图像重建得到；确定每帧3d点云网格对应物体的尺度；基于该尺度对每帧3d点云网格进行形变得到第一3d点云网格；将多帧第一3d点云网格的坐标系进行对齐处理，得到多帧第二3d点云网格；利用多帧第二3d点云网格中的模板帧去追踪多帧第二3d点云网格中的非模板帧，得到多帧目标3d点云网格，该多帧目标点云网格的网格数量一致。

3、采用本技术提供的3d点云网络的处理方法对基于单相机采集的2d图像重建的多帧3d点云网格进行处理，可以得到尺度完整、坐标系、网格数量一致的多帧3d点云网格，使之适用于神经网络的训练任务。

4、需要解释的是，每帧3d点云网格对应的物体可以相同也可以不同，但是类型或种类相同。例如，每帧3d点云网格对应的物体为人脸，可以为相同人脸(例如同一个人脸的不同表情)也可以为不同人脸；或者每帧3d点云网格对应的物体为车辆，可以为相同车辆也可以为不同车辆。

5、可选的，物体为人脸，也就是说，本技术提供的3d点云网络的处理方法可以应用于对多帧3d人脸网格的处理，以得到多帧尺度完整坐标系、网格数量一致的多帧3d人脸网格，该多帧3d人脸网格可以作为训练数据集对人脸识别模型的训练任务。

6、在一个可能的实现中，可以通过对每帧3d点云网格对应的人脸进行测量，得到人脸的尺度参数。例如，通过测量得到人脸的高度值(例如人脸头发到下巴之间的距离)；然后基于人脸高度值，确定每帧3d点云网格对应人脸的尺度参数；或者通过测量人脸的宽度值(可以测量人脸的最大宽度作为人脸的宽度值，例如两个耳朵之间的距离)，然后基于人脸宽度值，确定每帧3d点云网格对应人脸的尺度参数；或者，通过测量人脸的高度值和宽度值，然后基于人脸高度值和宽度值，确定每帧3d点云网格对应人脸的尺度参数。

7、例如，人工手动测量每帧3d人脸网格对应的人脸的头发到下巴的高度值d，该高度值d表征人脸尺度，然后通过交互界面将测量得到的高度值d进行输入给计算设备，计算设备将高度值d作为该帧3d人脸网格对应人脸的尺度参数。

8、在另一个可能的实现中，也可以通过每帧3d人脸网格对应的人脸的尺度也可以为预先设置，也就是说，每帧3d人脸网格的尺度为一个默认值，无需用户手动输入。例如，提前测量多个人脸头发到下巴的高度值d，然后取均值，这个均值就作为人脸尺度的默认值。

9、应理解的是，人脸的尺度的含义是指人脸的大小，比如人脸的高度、宽度等度量人脸大小的信息。

10、在另一个可能的实现中，基于尺度对每帧3d点云网格进行形变得到第一3d点云网格包括：确定每帧3d点云网格的尺度；基于每帧3d点云网格的尺度和人脸的尺度，确定尺度因子；基于尺度因子，对每帧3d点云网格进行形变得到第一3d点云网格。

11、在该可能的实现中，通过获取人脸的真实尺度参数，和该人脸对应的通过单相机重建得到的3d人脸网格的尺度参数，确定缩放尺度因子，根据该尺度因子对该人脸对应的3d人脸网格进行缩放，以得到与真实人脸尺度一致的3d人脸网格。

12、在另一个可能的实现中，将多帧所述第一3d点云网格的坐标系进行对齐处理，得到多帧第二3d点云网格包括：从多帧第一3d点云网格中确定一帧第一3d点云网格为参考帧；确定多帧第一3d点云网格中的每帧非参考帧与参考帧的匹配点；基于匹配点，将每帧非参考帧的坐标系和参考帧的坐标系进行对齐。

13、通过匹配法实现多帧第一3d点云网格的坐标系对齐，解决单相机3d点云网格重建得到的多帧点云网格的坐标不一致的问题。

14、在另一个可能的实现中，基于匹配点，将每帧非参考帧的坐标系和参考帧的坐标系进行对齐包括：基于匹配点，确定旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵，将每帧非参考帧的坐标系和参考帧的坐标系进行对齐。

15、在另一个可能的实现中，利用多帧第二3d点云网格中的模板帧去追踪多帧第二3d点云网格中的非模板帧，得到多帧第三3d点云网格包括从多帧第二3d点云网格中确定一帧第二3d点云网格为模板帧；确定模板帧中每个点在非模板帧中的对应点；将模板帧中每个点平移至非模板帧中的对应点位置，得到第三3d点云网格。

16、通过点云追踪的方式将多帧3d点云网格进行形变，以使多帧3d点云网格的网格数量和拓扑结构一致，最终得到尺度完整、坐标系、网格数量和拓扑结构一致的多帧3d点云网格，处理后的多帧3d点云网格满足神经网络的训练任务的需求。

17、在另一个可能的实现中，确定模板帧中每个点在非模板帧中的对应点包括：计算模板帧中每个点与非模板帧中每个点的几何距离误差和颜色误差；基于几何距离误差和颜色误差，确定模板帧中每个点在所述非模板帧中的对应点。

18、在另一个可能的实现中，基于所述几何距离误差和颜色误差，确定模板帧中每个点在非模板帧中的对应点，包括计算几何距离误差和颜色误差的加权和；将加权和最小值对应的非模板帧中的点，确定为模板帧中每个点在非模板帧中的对应点。

19、在该可能的实现中，采用加权点云追踪法实现点云追踪，例如，将第一帧3d人脸网格作为模板帧点云，然后将后续帧3d人脸网格中的每一帧分别作为目标帧。针对模板帧上的每个点都去寻找其在目标帧上的对应点。

20、例如，寻找目标帧上与模板帧上a点对应的a`点，则计算目标帧中每一个点与模板帧中a点之间的距离误差(该距离误差可以理解为两个点云的几何坐标之间的距离)和颜色误差，然后基于距离误差和颜色误差确定目标帧中的a`点，重复该寻找步骤，直至找到模板帧上所有点在目标帧上的对应点。然后将模板帧上的每一个点都形变到目标帧上的对应点上，得到新的目标帧点云。如此，新的目标帧点云和原有目标帧点云保持相同的几何形状，但是和模板帧点云具有相同的网络数量和拓扑结构。

21、第二方面，本技术提供一种3d点云网格的处理装置，包括获取模块、确定模块、形变模块、对齐模块和追踪模块，其中，获取模块用于获取多帧3d点云网格，每帧3d点云网格基于单相机采集的多张2d图像重建得到；确定模块用于确定每帧3d点云网格对应物体的尺度；形变模块用于基于尺度对每帧3d点云网格进行形变得到第一3d点云网格；对齐模块用于将多帧第一3d点云网格的坐标系进行对齐处理，得到多帧第二3d点云网格；追踪模块用于利用多帧第二3d点云网格中的模板帧去追踪第二3d点云网格中的非模板帧，得到多帧第三3d点云网格，多帧第三3d点云网格的网格数量一致。

22、可选的，物体为人脸，也就是说，本技术提供的3d点云网络的处理方法可以应用于对多帧3d人脸网格的处理，以得到多帧尺度完整坐标系、网格数量一致的多帧3d人脸网格，该多帧3d人脸网格可以作为训练数据集对人脸识别模型的训练任务。

23、在一个可能的实现中，确定模块具体用于对每帧3d点云网格对应的人脸进行测量，得到人脸高度值；基于人脸高度值，确定每帧3d点云网格对应人脸的尺度。

24、在另一个可能的实现中，确定模块具体用于：将每帧3d点云网格对应人脸的高度值均赋值为预设值；基于预设值，确定每帧3d点云网格对应人脸的尺度。

25、在另一个可能的实现中，形变模块具体用于：确定每帧3d点云网格的尺度；基于每帧3d点云网格的尺度和人脸的尺度，确定尺度因子；基于尺度因子，对每帧3d点云网格进行形变得到第一3d点云网格。

26、在另一个可能的实现中，对齐模块具体用于从多帧第一3d点云网格中确定一帧第一3d点云网格为参考帧；确定多帧第一3d点云网格中的每帧非参考帧与参考帧的匹配点；基于匹配点，将每帧非参考帧的坐标系和参考帧的坐标系进行对齐。

27、在另一个可能的实现中，基于所述匹配点，将每帧非参考帧的坐标系和参考帧的坐标系进行对齐包括：基于匹配点，确定旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵，将每帧非参考帧的坐标系和参考帧的坐标系进行对齐。

28、在另一个可能的实现中，追踪模块具体用于从多帧第二3d点云网格中确定一帧第二3d点云网格为模板帧；确定模板帧中每个点在非模板帧中的对应点；将模板帧中每个点平移至非模板帧中的对应点位置，得到第三3d点云网格。

29、在另一个可能的实现中，确定模板帧中每个点在非模板帧中的对应点包括：计算模板帧中每个点与非模板帧中每个点的几何距离误差和颜色误差；基于几何距离误差和颜色误差，确定模板帧中每个点在非模板帧中的对应点。

30、在另一个可能的实现中，基于几何距离误差和颜色误差，确定模板帧中每个点在非模板帧中的对应点包括：计算几何距离误差和颜色误差的加权和；将加权和最小值对应的非模板帧中的点，确定为模板帧中每个点在非模板帧第二3d点云网格中的对应点。

31、在另一个可能的实现中，多帧第三3d点云网格作为训练集用于对神经网络的训练。

32、第三方面，本技术提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码，实现本技术第一方面提供的方法。

33、第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本技术第一方面提供的方法。

34、第五方面，本技术提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品包括指令，当所述指令被执行时，实现本技术第一方面提供的方法。

35、第六方面，本技术实施例还提供一种芯片，包括至少一个处理器和通信接口，所述处理器用于执行本技术第一方面所述的方法。