一种图像处理方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、随着人们对健康和美学的追求，许多牙齿形态不好的患者都希望通过美学修复来美化自己的牙齿形态；在正式对牙齿进行美学修复之前，需要向患者提前展示美学修复效果，患者满意后才正式对患者的牙齿进行美学修复。

2、目前向患者展示美学修复效果的方式为：利用美学设计软件设计好牙齿模型，再将牙齿模型叠加到患者的面部图像，从而模拟患者完成美学修复后的样子。但是，前述方式只能静态地展示设计好的牙齿模型，这就导致患者无法全面了解美学修复效果，美学修复效果的展示效果较差和患者体验较差。

技术实现思路

1、有鉴于此，本发明实施例提供一种图像处理方法、装置、电子设备及存储介质，以解决目前向患者展示美学修复效果的方式存在的美学修复效果的展示效果较差和患者体验较差等问题。

2、为实现上述目的，本发明实施例提供如下技术方案：

3、本发明实施例第一方面公开一种图像处理方法，所述方法包括：

4、获取目标用户的口内模型和中性面部模型之间的相对位置关系信息，所述中性面部模型为所述目标用户处于无表情状态下扫描得到的三维面部模型；

5、利用基础表情的基数据，形成与表情状态对应的多个面部数据，所述基础表情的基数据基于所述中性面部模型构建得到；

6、利用所述面部数据多次更新所述中性面部模型的表情状态；

7、基于所述相对位置关系信息，将所述口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的所述中性面部模型上，以得到展示美学设计效果的表情图像。

8、优选的，所述口内模型包含上颌模型、下颌模型和咬合关系数据；

9、基于所述相对位置关系信息，将所述口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的所述中性面部模型上，以得到展示美学设计效果的表情图像，包括：

10、识别所述中性面部模型的特征点信息，计算所述特征点中特定特征点的位置变化，得到变换矩阵；

11、基于所述相对位置关系信息和所述变换矩阵，得到所述下颌模型在更新了表情状态的所述中性面部模型中的更新位置；

12、基于所述相对位置关系信息和所述更新位置，将所述口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的所述中性面部模型上，以得到展示美学设计效果的表情图像。

13、优选的，利用基础表情的基数据，形成与表情状态对应的多个面部数据，包括：

14、拍摄所述目标用户的表情变化情况以得到多帧待处理图像；

15、利用所述多帧待处理图像和基础表情的基数据，形成与所述多帧待处理图像对应的多个面部数据。

16、优选的，利用所述多帧待处理图像和基础表情的基数据，形成与所述多帧待处理图像对应的多个面部数据，包括：

17、根据所述多帧待处理图像，确定与所述多帧待处理图像相关的基础表情，及确定与所述多帧待处理图像相关的基础表情的权重参数，所述多帧待处理图像包含rgb数据和深度数据；

18、利用与所述多帧待处理图像相关的基础表情的基数据和权重参数，形成与所述多帧待处理图像对应的多个面部数据。

19、优选的，所述口内模型中未生成美学设计的部分为上颌前牙区以外的所述口内模型，预先构建的牙齿模型为上颌前牙区牙齿模型。

20、优选的，将所述口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的所述中性面部模型上之前，还包括：

21、通过美学设计软件，生成针对所述目标用户所设计的牙齿模型以作为所述预先构建的牙齿模型。

22、优选的，利用基础表情的基数据，形成与表情状态对应的多个面部数据，包括：

23、利用与其他用户的表情变化图像相关的基础表情的权重参数，形成与表情状态对应的多个面部数据，其中，所述其他用户的表情变化图像由拍摄所述其他用户的表情变化情况得到。

24、优选的，还包括：

25、生成三维动画，所述三维动画包含：由多帧所述表情图像构成的带有美学设计效果的动画，和/或，由所述多帧待处理图像构成的未带有美学设计效果的动画。

26、优选的，获取目标用户的口内模型和中性面部模型之间的相对位置关系信息，包括：

27、获取目标用户的微笑面部模型、口内模型和中性面部模型，所述微笑面部模型为所述目标用户处于露齿微笑表情状态下扫描得到的三维面部模型；

28、将所述口内模型对齐到所述微笑面部模型，并将所述中性面部模型对齐到所述微笑面部模型，以得到所述口内模型和所述中性面部模型之间的相对位置关系信息。

29、优选的，基于所述中性面部模型构建得到基础表情的基数据的过程，包括：

30、处理所述中性面部模型的嘴唇处的网格结构，以将所述中性面部模型的上嘴唇和下嘴唇分开；

31、识别处理后的所述中性面部模型的特征点信息；

32、基于处理后的所述中性面部模型和所述特征点信息，通过形变迁移来构建多个基础表情的基数据。

33、本发明实施例第二方面公开一种图像处理装置，所述装置包括：

34、获取单元，用于获取目标用户的口内模型和中性面部模型之间的相对位置关系信息，所述中性面部模型为所述目标用户处于无表情状态下扫描得到的三维面部模型；

35、形成单元，利用基础表情的基数据，形成与表情状态对应的多个面部数据，所述基础表情的基数据基于所述中性面部模型构建得到；

36、更新单元，用于利用所述面部数据多次更新所述中性面部模型的表情状态；

37、叠加单元，用于基于所述相对位置关系信息，将所述口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的所述中性面部模型上，以得到展示美学设计效果的表情图像。

38、本发明实施例第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现本发明实施例第一方面公开的图像处理方法。

39、本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行本发明实施例第一方面公开的图像处理方法。

40、基于上述本发明实施例提供的一种图像处理方法、装置、电子设备及存储介质，该方法为：获取目标用户的口内模型和中性面部模型之间的相对位置关系信息；利用基础表情的基数据，形成与表情状态对应的多个面部数据；利用面部数据更新中性面部模型的表情状态；基于相对位置关系信息，将口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的中性面部模型上，以得到展示美学设计效果的表情图像。本方案中，更新中性面部模型的表情状态。将口内模型中未生成美学设计的部分和预先构建的牙齿模型叠加到更新了表情状态的中性面部模型上，从而得到展示美学设计效果的的表情图像，提高美学修复效果的展示效果和用户体验。