一种基于2D图像的三维皮肤模型转换方法以及装置与流程

本发明涉及3d的一种基于2d图像的三维皮肤模型转换方法，尤其涉及一种基于2d图像的三维皮肤模型转换方法，还涉及应用该方法的基于2d图像的三维皮肤模型转换装置。

背景技术：

1、在皮肤学应用中，用于一种或多种皮肤状况的记录和诊断的最常见方法是拍摄该状况的相片且比例尺在相片中可见(典型地，通过在标尺旁边拍摄状况的相片)。这使得图像采集过程缓慢且繁琐。此外，因为在该相片中仅存在单个测量参考，所以表面不规律及相机角度变化会导致低的测量准确度。

2、在传统技术中，皮肤的3d模型通常是基于激光雷达或双目相机等传感器可以较精确地获取周围环境的3d信息和深度分布，但其成本、安装条件以及后期的维护成本都较高，从而提高了相关方案的门槛，降低了易用性。

技术实现思路

1、为解决在现有技术中基于激光雷达或双目相机等传感器可以较精确地获取周围环境的3d信息和深度分布，但其成本、安装条件以及后期的维护成本都较高的技术问题，本发明提供一种基于2d图像的三维皮肤模型转换方法及装置。

2、本发明采用以下技术方案实现：一种基于2d图像的三维皮肤模型转换方法，其包括以下步骤：获取单目相机输出的皮肤平面图像；对所述皮肤平面图像进行畸变矫正处理，获取第一rgb图像；对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图；基于所述深度图以及所述皮肤平面图像，获取三维空间内的若干多边形面片；以所述多边形面片为基本元素，构成所述皮肤平面图像对应的三维皮肤模型。

3、作为上述方案的进一步改进，所述对所述皮肤平面图像进行畸变矫正处理，获取第一rgb图像，包括以下步骤：以所述第一rgb图像所在平面，建立第一理想坐标系；获取所述第一rgb图像上每一像素点在所述第一理想坐标系下的第一像素坐标；对每一所述像素点的第一像素坐标进行归一化以及畸变处理，获取每一所述像素点的第二像素坐标；对所述第二像素坐标进行去归一化处理，获取畸变矫正后的第一rgb图像。

4、作为上述方案的进一步改进，所述对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图，之前包括以下步骤：获取所述第一rgb图像的灰度图；基于所述灰度图，获取所述第一rgb图像中各像素点的灰度值。

5、作为上述方案的进一步改进，所述对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图，包括以下步骤：对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图，包括以下步骤：设定二维滑动窗口，所述二维滑动窗口可以覆盖奇数个像素点；获取所述二维滑动窗口所覆盖的各个像素点的灰度均值，并将所述灰度均值赋值给位于所述二维滑动窗口中心位置的中心像素点的更新灰度；利用所述二维滑动窗口遍历所述灰度图，直至获取所述第一rgb图像中各个像素点的更新灰度；基于所述第一rgb图像中各个像素点的更新灰度，获取所述第一rgb图像对应的深度图。

6、作为上述方案的进一步改进，所述所述基于所述第一rgb图像中各个像素点的更新灰度，获取所述第一rgb图像对应的深度图，包括如下步骤：将所述第一rgb图像的各个像素点的更新灰度，赋值给所述第一rgb图像中各个像素点的深度；基于所述第一rgb图像中各个像素点的深度，获取所述第一rgb图像对应的深度图。

7、作为上述方案的进一步改进，所述多边形面片为三角形面片。

8、作为上述方案的进一步改进，所述以所述多边形面片为基本元素，构成所述皮肤平面图像对应的三维模型，包括如下步骤：获取组成各个所述多边面片的顶点集合，并基于各个所述顶点集合在顶点存储区域中的存储地址生成顶点索引；基于所述顶点索引从所述顶点存储区域中，获取组成所述多边面片的顶点三维坐标；基于所述顶点三维坐标，构成所述皮肤平面图像对应的三维模型。

9、本发明还提供一种基于2d图像的三维皮肤模型转换装置，其应用上述任意所述基于2d图像的三维皮肤模型转换方法，其包括：

10、平面图像获取模块，其用于获取单目相机输出的皮肤平面图像；

11、图像矫正模块，其用于对所述皮肤平面图像进行畸变矫正处理，获取第一rgb图像；

12、深度估计模块，其用于对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图；

13、元素获取模块，其用于基于所述深度图以及所述皮肤平面图像，获取三维空间内的若干多边形面片；

14、模型构建模块，其用于以所述多边形面片为基本元素，构成所述皮肤平面图像对应的三维皮肤模型。

15、相较于现有的基于2d图像的三维皮肤模型转换方法，本发明的基于2d图像的三维皮肤模型转换方法及装置具有以下有益效果：获取单目相机输出的皮肤平面图像，对皮肤平面图像进行畸变矫正处理，获取第一rgb图像；对第一rgb图像进行深度估计，获取第一rgb图像对应的深度图；基于深度图以及皮肤平面图像，获取三维空间内的若干多边形面片；以多边形面片为基本元素，构成皮肤平面图像对应的三维皮肤模型；本申请通过单目相机获取的皮肤平面图像，并对单张皮肤平面图像进行深度估计获取深度图，根据深度图获取与皮肤平面图像对应的三维皮肤模型，无需利用复杂的3d图像采集设备，提高了三维皮肤模型转换速率。

16、在一申请实施例中，提供一种终端设备，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序；处理器执行程序时实现的基于2d图像的三维皮肤模型转换方法的步骤。

17、在一申请实施例中，本实施例提供一种计算机可读存储介质，其上存储有计算机程序；程序被处理器执行时，实现基于2d图像的三维皮肤模型转换方法的步骤。

技术特征：

1.一种基于2d图像的三维皮肤模型转换方法，所述方法应用于电子设备，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的基于2d图像的三维皮肤模型转换方法，其特征在于，所述对所述皮肤平面图像进行畸变矫正处理，获取第一rgb图像，包括以下步骤：

3.如权利要求1所述的基于2d图像的三维皮肤模型转换方法，其特征在于，所述对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图，之前包括以下步骤：

4.如权利要求3所述的基于2d图像的三维皮肤模型转换方法，其特征在于，所述对所述第一rgb图像进行深度估计，获取所述第一rgb图像对应的深度图，包括以下步骤：

5.如权利要求4所述的基于2d图像的三维皮肤模型转换方法，其特征在于，所述基于所述第一rgb图像中各个像素点的更新灰度，获取所述第一rgb图像对应的深度图，包括如下步骤：

6.如权利要求1所述的基于2d图像的三维皮肤模型转换方法，其特征在于，所述多边形面片为三角形面片。

7.如权利要求1所述的基于2d图像的三维皮肤模型转换方法，其特征在于，所述以所述多边形面片为基本元素，构成所述皮肤平面图像对应的三维模型，包括如下步骤：

8.一种基于2d图像的三维皮肤模型转换装置，所述装置包括：

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结本发明公开了一种基于2D图像的三维皮肤模型转换方法及装置，该方法包括服务器获取单目相机输出的皮肤平面图像，对皮肤平面图像进行畸变矫正处理，获取第一RGB图像；对第一RGB图像进行深度估计，获取第一RGB图像对应的深度图；基于深度图以及皮肤平面图像，获取三维空间内的若干多边形面片；以多边形面片为基本元素，构成皮肤平面图像对应的三维皮肤模型；本方法通过单目相机获取的皮肤平面图像，并对单张皮肤平面图像进行深度估计获取深度图，根据深度图获取与皮肤平面图像对应的三维皮肤模型，无需利用复杂的3D图像采集设备，提高了三维皮肤模型转换速率。技术研发人员：金波,李宏亮,李厚兵,黄华婷,曹小华受保护的技术使用者：深圳艾摩米智能科技有限公司技术研发日：技术公布日：2024/10/10