三维人体姿态估计模型的训练装置及方法与流程

本申请涉及信息。

背景技术：

1、三维人体姿态估计(3d human pose estimation，3dhpe)是计算机视觉中的一项重要任务，旨在从给定的图像或视频中估计三维人体关节坐标。它在动作识别、动作分析、人机交互等方面具有广泛的应用价值。

2、目前，出现了通过将二维的单眼图像(monocular image)输入到三维人体姿态估计模型中来估计三维人体姿态的技术，在训练该模型时，基于点对点的距离比较来进行训练。

3、应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现思路

1、但是，在现有的估计三维人体姿态的方法中，发明人发现，由于人体运动的复杂性和自遮挡的频率不同，传统的点对点距离比较忽略了关节点之间的关系，导致对于距离例如骨盆的中心关节点越远的关节点，其估计的位置的精度越低，因此，影响了三维人体姿态估计模型的整体估计精度。

2、为了解决上述问题中的至少一个，本申请实施例提供一种三维人体姿态估计模型的训练装置及方法，能够提高包括距离中心较远的关节点的各个关节点的三维坐标的估计精度，从而提高了三维人体姿态估计模型的整体估计精度。

3、根据本申请实施例的第一方面，提供一种三维人体姿态估计模型的训练装置，所述装置包括：提取单元，其将包括三维图像数据集的训练数据输入到卷积网络中进行特征提取，得到三维热图；第一计算单元，其根据所述三维热图得到人体关节点的三维坐标；第二计算单元，其根据所述人体关节点的三维坐标，计算人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个；确定单元，其根据人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个与根据所述三维图像数据集计算得到的相应真值，确定损失函数；以及调整单元，其基于所述损失函数，对三维人体姿态估计模型的参数进行调整。

4、根据本申请实施例的第二方面，提供一种电子设备，所述电子设备包括根据本申请实施例的第一方面所述的训练装置。

5、根据本申请实施例的第三方面，提供一种三维人体姿态估计模型的训练方法，所述方法包括：将包括三维图像数据集的训练数据输入到卷积网络中进行特征提取，得到三维热图；根据所述三维热图得到人体关节点的三维坐标；根据所述人体关节点的三维坐标，计算人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个；根据人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个与根据所述三维图像数据集计算得到的相应真值，确定损失函数；以及基于所述损失函数，对三维人体姿态估计模型的参数进行调整。

6、本申请实施例的有益效果之一在于：在训练三维人体姿态估计模型时，基于人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个与根据三维图像数据集计算得到的相应真值，来确定损失函数并利用该损失函数进行训练，即，在用于训练的损失函数中加入了对于人体局部方向、骨骼长度以及与根关节点的相对位置中的至少一个作为约束条件，考虑了关节点之间的关系，提高了包括距离中心较远的关节点的各个关节点的三维坐标的估计精度，从而提高了三维人体姿态估计模型的整体估计精度。

7、参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

8、针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

9、应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

技术特征：

1.一种三维人体姿态估计模型的训练装置，其特征在于，所述装置包括：

2.根据权利要求1所述的训练装置，其特征在于，所述第二计算单元包括：

3.根据权利要求2所述的训练装置，其特征在于，

4.根据权利要求1所述的训练装置，其特征在于，

5.根据权利要求4所述的训练装置，其特征在于，

6.根据权利要求1所述的训练装置，其特征在于，

7.根据权利要求1所述的训练装置，其特征在于，所述确定单元包括：

8.根据权利要求1所述的训练装置，其特征在于，

9.一种电子设备，其特征在于，所述电子设备包括权利要求1所述的训练装置。

10.一种三维人体姿态估计模型的训练方法，其特征在于，所述方法包括：

技术总结本申请实施例提供一种三维人体姿态估计模型的训练装置及方法。该方法包括：将包括三维图像数据集的训练数据输入到卷积网络中进行特征提取，得到三维热图；根据该三维热图得到人体关节点的三维坐标；根据该人体关节点的三维坐标，计算人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个；根据人体局部方向的预测值、骨骼长度的预测值以及各个人体关节点与根关节点的相对位置的预测值中的至少一个与根据该三维图像数据集计算得到的相应真值，确定损失函数；以及基于该损失函数，对三维人体姿态估计模型的参数进行调整。技术研发人员：胡诗晨,松根爱,李光权,温思寒,祝贤坦,谭志明受保护的技术使用者：富士通株式会社技术研发日：技术公布日：2024/9/12