一种实时三维科学计算体素数据的特征提取方法和装置

本发明涉及深度学习与高性能计算的交叉领域，特别是涉及一种实时三维科学计算体素数据的特征提取方法和装置。

背景技术：

1、随着高性能计算技术的发展，各类大规模科学计算方法得到了广泛应用，产生了大量的模拟结果数据。

2、例如，计算流体力学仿真程序可以模拟气流、液流的运行规律，为航空航天、汽车等领域提供理论指导；分子动力学仿真程序可以模拟研究分子间的相互作用规律，用于药物设计；基于相场理论的科学计算程序可以预测新材料的性质，引领新材料的发现。

3、然而，这些科学计算程序计算产生的三维结果数据体积庞大，对计算机的存储空间提出了挑战。如果能对模拟过程中的计算结果进行特征提取和处理，只保存其关键特征信息，则可以大幅减少存储需求。

4、具体来说，发明人希望能定位三维结果数据中的结构或物体，提取其在不同时间步的姿态、类别、大小等特征，实时进行处理和分析，从而避免存储原始的全部计算结果数据。同时，实时获取的特征信息也可为后续的计算提供额外信息，对计算工作的进行起到指导作用。另一方面，考虑到需要与科学计算程序协同运行，特征提取方法的计算效率也很重要。

5、总之，研究实时高效的三维科学计算体素数据的特征提取方法，既可以减轻计算机的存储压力，也可以对整体计算过程起到优化作用，具有重要的应用前景。

技术实现思路

1、本说明书一个或多个实施例描述了一种实时三维科学计算体素数据的特征提取方法和装置。可以连接在科学计算程序的输出端，实时高效地对科学计算程序输出的计算结果中所包含的目标三维物体进行定位、推断和特征提取。

2、根据第一方面，提供了一种对三维物体进行特征提取的方法，应用于三维科学计算体素数据之上，该方法包括以下步骤：

3、获取体素数据，所述体素数据包含目标三维物体的空间数据；

4、将所述体素数据输入第一深度神经网络，对所述目标三维物体进行定位，获得所述目标三维物体的中心位置和坐标轴尺寸信息；

5、根据所述中心位置和所述坐标轴尺寸信息，对所述体素数据进行裁剪，得到包含所述空间数据的体素子数据；

6、将所述体素子数据进行svd分解，得到所述目标三维物体的近似水平姿态体素数据；

7、对所述近似水平姿态体素数据进行点云化处理，获得点云数据；

8、将所述点云数据输入第二深度神经网络，得到包含有所述目标三维物体的类别、姿态和尺寸的特征数据。

9、根据一种实施方式，所述第一深度神经网络为centernet3d网络，所述第二深度神经网络为rotatenet网络。

10、根据一种实施方式，在centernet网络基础上，将2d卷积替换为3d卷积，得到所述centernet3d网络，并通过以下步骤训练该网络：

11、将训练集输入所述centernet3d网络，进行训练，在达到指定的训练轮数后，保存所述centernet3d网络的模型参数。

12、根据一种实施方式，所述rotatenet网络，通过以下步骤获得：

13、对训练集中的待检测物体进行带有随机扰动的裁剪；

14、将裁剪后的数据经svd分解和点云转化处理后，输入所述rotatenet网络进行训练；

15、在达到指定的训练轮数后，保存所述rotatenet网络的模型参数。

16、在根据一种实施方式，所述训练集包括，包含待检测物体的体素训练数据以及对应的标注标签；

17、所述标注标签包含所述待检测物体在初始姿态下的中心点坐标、在初始姿态下对应水平面坐标系中的坐标轴尺寸、在真实水平姿态下的坐标轴尺寸、旋转矩阵和物体类别。

18、根据一种实施方式，所述体素数据具体通过以下步骤获得：

19、将实现所述特征提取方法的代码编译为动态链接库，获得原位特征提取库，所述原位特征提取库具有数据输入接口；

20、调用所述数据输入接口，将三维科学计算程序的计算结果传入所述原位特征提取库，所述计算结果包含所述体素数据。

21、根据一种实施方式，所述方法还包括：

22、将openmp指令编译到所述原位特征提取库，在所述三维科学计算程序执行进程间通讯的同时，所述原位特征提取库进行所述体素数据的特征提取，实现并行计算。

23、根据一种实施方式，所述原位特征提取库在执行特征提取过程中，数据保存在内存，待特征提取完毕后，将所述特征数据写回硬盘。

24、根据一种实施方式，所述对所述近似水平姿态体素数据进行点云化处理，包括：从所述近似水平姿态体素数据的所有体素点中，随机挑选若干点位，获取其坐标点集。

25、根据第二方面，本发明还提供了一种对三维物体进行特征提取的装置，作用于三维科学计算体素数据，具体包括：

26、获取模块：配置为，获取体素数据，所述体素数据包含目标三维物体的空间数据；

27、目标物体定位模块：配置为，将所述体素数据输入第一深度神经网络，对所述目标三维物体进行定位，获得所述目标三维物体的中心位置和坐标轴尺寸信息；

28、裁剪模块：配置为，根据所述中心位置和所述坐标轴尺寸信息，对所述体素数据进行裁剪，得到包含所述空间数据的体素子数据；

29、svd分解模块：配置为，将所述体素子数据进行svd分解，得到所述目标三维物体的近似水平姿态体素数据；

30、点云化模块：配置为，对所述近似水平姿态体素数据进行点云化处理，获得点云数据；

31、旋转推断模块：配置为，将所述点云数据输入第二深度神经网络，得到包含有所述目标三维物体的类别、姿态和尺寸的特征数据。

32、现有技术中，尽管已有一些相关工作探索了体素特征的提取方法，但将其直接应用到科学计算程序生成的体素数据上尚存在困难。本发明提供的方法，可以在三维体素空间内检测不同类别的物体，并进一步提取其姿态、类别和尺寸信息。相比于现有技术，本发明具有如下优点和有益效果：

33、首先，本发明通过改进和扩展现有的目标检测模型，使其具备对三维物体定位的能力，同时也能够适应科学计算场景中体素数据的特点。

34、其次，在三维物体姿态估计方面，现有基于点云配准的方法需要给定初始点云，而科学计算中的体素数据难以提供合适的初始点云，直接应用奇异值分解法估计姿态的结果也很难控制。本发明提供的方法可以在缺乏初始点云的情况下，准确估计科学计算场景中的体素物体的姿态。

35、最后，同时进行三维物体的检测、分类和姿态回归将大大增加算法复杂度，而且对三维物体的特征提取还需要与科学计算程序实时协同，因此，时间复杂度也是必须要考虑的一个关键指标。本发明通过设计一个高效的计算流水线，充分利用计算组件，实现了在有限的时间内，对体素物体多类特征的快速精确提取。使其可以内建于科学计算程序，实时提取三维物体的特征数据，有助于减轻计算机存储压力、指导后续计算。

技术特征：

1.一种对三维物体进行特征提取的方法，其特征在于，应用于三维科学计算体素数据之上，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述第一深度神经网络为centernet3d网络，所述第二深度神经网络为rotatenet网络。

3.根据权利要求2所述的方法，其特征在于，在centernet网络基础上，将2d卷积替换为3d卷积，得到所述centernet3d网络，并通过以下步骤训练该网络：

4.根据权利要求2所述的方法，其特征在于，所述rotatenet网络，通过以下步骤获得：

5.根据权利要求3或4所述的方法，其特征在于，

6.根据权利要求1所述的方法，其特征在于，所述体素数据具体通过以下步骤获得：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述对所述近似水平姿态体素数据进行点云化处理，包括：

10.一种对三维物体进行特征提取的装置，其特征在于，作用于三维科学计算体素数据，包括：

技术总结本发明涉及深度学习与高性能计算的交叉领域，特别是涉及一种实时三维科学计算体素数据的特征提取方法和装置。该方法包括：获取体素数据，体素数据包含目标三维物体的空间数据；将体素数据输入第一深度神经网络，对目标三维物体进行定位，获得目标三维物体的中心位置和坐标轴尺寸信息；根据中心位置和坐标轴尺寸信息，对体素数据进行裁剪，得到包含空间数据的体素子数据；将体素子数据进行SVD分解，得到目标三维物体的近似水平姿态体素数据；对近似水平姿态体素数据进行点云化处理，获得点云数据；将点云数据输入第二深度神经网络，得到包含有目标三维物体的类别、姿态和尺寸的特征数据。技术研发人员：冯志宸,高雅倩,叶煌,张鉴受保护的技术使用者：中国科学院计算机网络信息中心技术研发日：技术公布日：2024/7/29