三维人体的生成方法、装置、设备和存储介质
- 国知局
- 2025-01-10 13:15:34
本公开涉及it应用,尤其涉及一种三维人体的生成方法、装置、设备和存储介质。
背景技术:
1、在农业场景中,为了实现全场景实时监控,通常需要对农田作业人员进行三维人体重建。目前,三维人体重建主要包括非参数化重建和参数化重建两种。其中,非参数化重建通常需要使用昂贵的精密仪器来采集精度较高的人体数据,以根据精度较高的人体数据来构建三维人体。由于需要使用昂贵的精密仪器来获得高质量的人体数据,因此,非参数化重建的方式需要耗费较大的经济成本;参数化重建通常需要借助现有的参数化人体模型来直接构建三维人体,但目前现有的参数化人体模型构建的三维人体表面光滑,没有服装信息,因此,还需要在三维人体的表面再单独构建服装层。而单独构建服装层仅适用于简单的服装,无法适用于复杂的服装。
技术实现思路
1、本公开实施例提供了一种三维人体的生成方法、装置、设备和存储介质,以解决相关技术中非参数化重建三维人体时因需要使用高质量的人体数据而导致经济成本高的问题,以及参数化重建三维人体时因需要单独构建服装层导致的无法适用于复杂服装的问题。
2、第一方面,本公开实施例提供了三维人体的生成方法,所述方法包括:
3、根据获取的人物图像,以及参数化人体模型,生成原始三维人体;
4、获取所述原始三维人体表面的第一法向图;
5、根据所述第一法向图,以及预先训练的生成网络,获取第二法向图;其中,所述生成网络为预先训练的教师网络的学生网络;所述生成网络的训练过程由第三法向图监督完成;所述第三法向图为所述教师网络输出的教师三维人体表面的法向图;
6、根据所述第二法向图,以及所述原始三维人体,生成目标三维人体。
7、第二方面,本公开实施例提供了一种三维人体的生成装置,所述装置包括:
8、第一生成模块,用于根据获取的人物图像,以及参数化人体模型,生成原始三维人体;
9、第一获取模块,用于获取所述原始三维人体表面的第一法向图;
10、第二获取模块,用于根据所述第一法向图,以及预先训练的生成网络,获取第二法向图;其中,所述生成网络为预先训练的教师网络的学生网络;所述生成网络的训练过程由第三法向图监督完成;所述第三法向图为所述教师网络输出的教师三维人体表面的法向图;
11、第二生成模块,用于根据所述第二法向图,以及所述原始三维人体,生成目标三维人体。
12、第三方面,本公开实施例提供了一种三维人体的生成设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述第一方面所述的方法的步骤。
13、第四方面,本公开实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现上述第一方面所述的方法的步骤。
14、第五方面,本公开实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
15、本发明实施例提供的上述至少一个技术方案可以达到如下技术效果:
16、在本发明实施例中,可以先根据获取的人物图像,以及参数化人体模型,生成原始三维人体,并获取原始三维人体表面的第一法向图,然后,根据第一法向图,以及预先训练的生成网络,来获取第二法向图,其中,生成网络为预先训练的教师网络的学生网络;生成网络的训练过程第三法向图监督完成,而第三法向图为教师网络输出的教师三维人体表面的法向图,在获取第二法向图后,根据第二法向图以及原始三维人体,生成目标三维人体。
17、由上述发明实施例可知,本方案可以先根据人物图像和参数化人体模型来生成缺少服装信息的原始三维人体,然后,可以从生成的原始三维人体的表面来获取带有服装信息的第一法向图,并利用蒸馏学习的方法,引入生成网络,和将生成网络作为学生网络的教师网络,将教师网络输出的教师三维人体表面的法向图,作为生成网络训练过程中的监督信息,在生成网络完成训练后,将带有服装信息的第一法向图输出到生成网络中,得到包含更多服装信息的第二法向图,然后,根据第二法向图,以及原始三维人体,来生成带有服装信息的目标三维人体。
18、由于可以根据获取的人物图像来得到目标三维人体,不需要依赖高质量的人体数据,因此,本发明实施例可以有效解决现有技术中,非参数化重建三维人体时因需要使用高质量的人体数据而导致经济成本高的问题;本发明实施例在通过参数化人体模型得到缺少服装信息的原始三维人体后,会进一步根据原始三维人体表面带有服装信息的法向图,以及训练完成的生成网络来得到包含更多服装信息的第二法向图,并根据第二法向图和原始三维人体来生成带有较多服装信息的目标三维人体。由于可以生成带有较多服装信息的目标三维人体,不再需要单独构建服装层,因此,可以有效解决现有技术中,参数化重建三维人体时因需要单独构建服装层导致的无法适用于复杂服装的问题。
19、此外,本发明实施例还引入了蒸馏学习,在对生成网络进行训练时,引入将生成网络作为学生网络的教师网络,并将训练完成的教师网络输出的教师三维人体表面的法向图作为生成网络的监督信息,来帮助生成网络完成训练,由于可以通过监督信息帮助生成网络快速地学习到教师网络所学到的高质量的三维人体表面的数据,因此,可以引导生成网络在训练过程中快速地向更优的方向学习,使得生成网络可以快速、高质量地完成训练过程,有效提升生成网络输出的人体表面法向图的准确度。
技术特征:1.一种三维人体的生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述第一法向图包括正面第一法向图和反面第一法向图;所述第二法向图包括正面第二法向图和反面第二法向图;
3.根据权利要求2所述的方法,其特征在于,所述根据所述正面第二法向图和所述反面第二法向图,以及所述原始三维人体,生成目标三维人体,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据获取的人物图像,以及参数化人体模型,生成原始三维人体,包括:
5.根据权利要求1所述的方法,其特征在于,在所述根据所述第一法向图,以及预先训练的生成网络,获取第二法向图之前,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一法向图,以及预先训练的生成网络,获取第二法向图,包括:
7.一种三维人体的生成装置,其特征在于,所述装置包括:
8.一种三维人体的生成设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述权利要求1至6任一项所述的方法的步骤。
技术总结本公开实施例提供了一种三维人体的生成方法、装置、设备和存储介质,方法包括:根据获取的人物图像,以及参数化人体模型,生成原始三维人体;获取原始三维人体表面的第一法向图;根据第一法向图,以及预先训练的生成网络,获取第二法向图;其中,生成网络为预先训练的教师网络的学生网络;生成网络的训练过程由第三法向图监督完成;第三法向图为教师网络输出的教师三维人体表面的法向图;根据第二法向图,以及原始三维人体,生成目标三维人体。技术研发人员:徐立鸿,袁洪良,宋梁,刘稼轩,张燕妮,倪伟,付强,陈智勇受保护的技术使用者:同济大学技术研发日:技术公布日:2025/1/6本文地址:https://www.jishuxx.com/zhuanli/20250110/351956.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表