基于单深度图深度学习视图合成的食物体积估计方法与流程

技术特征：
1.基于单深度图深度学习视图合成的食物体积估计方法，其特征是：包括以下步骤：1)将每个对象项放置在原点，通过方位旋转、仰角旋转、高度调整和中心移动四种运动方式来捕获不同视角的对象项深度图像；2)将拍摄的图像进行分割和分类，使用多个外部摄像机参数随机渲染初始和对应的相反视角捕获的对象项的深度图像，并将捕获的深度图像渲染为训练数据集；3)基于深度神经网络的视图合成方法将看不见的视角和使用看不见的对象项来预测使用输入图像的结果；4)将初始深度图像和相对深度图像的相机坐标注册到同一世界坐标中，从而获得目标对象项的完整三维点云；5)对步骤1)中的对象项深度图像进行预处理；6)采用icp算法对步骤5)中预处理后的点云进一步优化，使初始点云和合成点云融合在一起；7)采用alpha形状方法对对象项进行网格划分并形成三维网格，从而得到对象项的体积。2.根据权利要求1所述的基于单深度图深度学习视图合成的食物体积估计方法，其特征是：所述步骤3)中的深度神经网络的视图合成的具体步骤为：a)针对不同对象项建立不同大小内核的初始层；b)通过几个卷积层和完全连接的层形成图像编码器；c)将深度图像的矢量表示引导到图像解码器的若干卷积层中；d)输出图像。3.根据权利要求1所述的基于单深度图深度学习视图合成的食物体积估计方法，其特征是：所述步骤4)中获得目标对象项的完整三维点云的具体步骤为：a)：将原点的位置移动到初始相机的中心，使深度图像重新投影到世界坐标中，所述世界坐标为：其中u、v表示图像中的坐标，x、y和z表示世界坐标中的坐标，z是一个标量数，表示深度映射(u，v)和k∈r3x3是指固有的摄像机矩阵；b)：分别通过旋转矩阵和平移矩阵执行180
°
相机旋转和平移，并将旋转矩阵和平移矩阵合成点云注册到相同的世界坐标中，得出相对相机的位置；沿x、y、z三轴的旋转矩阵为其中θ是相机分别沿x、y、z三轴旋转的角度；平移矩阵是指初始和相对摄像机位置之间的平移。4.根据权利要求1所述的基于单深度图深度学习视图合成的食物体积估计方法，其特
征是：所述步骤5)中预处理的具体步骤是：a)采用双边过滤器填充推断深度图缺失的空间信息；b)输入深度图并推断深度图中对象项被遮罩的轮廓，将相应的数据点重新投影到3d世界坐标中；c)使用统计离群值移除过滤器将离群值从数据点中移除。5.根据权利要求1所述的基于单深度图深度学习视图合成的食物体积估计方法，其特征是：所述步骤7)中alpha形状方法的步骤为：a)定义具有固定半径的球体，并从对象项的轮廓中选择起点；b)球体以其圆周围绕对象项从起点旋转，依次撞击轮廓上的每一个点，直到循环闭合，得到三维网格；c)通过步骤b)所得到的三维网格计算对象项的体积。6.根据权利要求1至5任意一项所述的基于单深度图深度学习视图合成的食物体积估计方法的应用，其特征是：将所述方法应用于膳食摄入的营养成分含量的估算。

技术总结
本发明公开了基于单深度图深度学习视图合成的食物体积估计方法，涉及饮食评估技术领域，其技术方案要点是：包括以下步骤：1)将每个对象项放置在原点，捕获不同视角的对象项深度图像；2)将捕获的深度图像渲染为训练数据集；3)基于深度神经网络的视图合成方法将看不见的视角和使用看不见的对象项来预测使用输入图像的结果；4)获得目标对象项的完整三维点云；5)对对象项深度图像进行预处理；6)采用ICP算法对预处理后的点云进一步优化；7)采用Alpha形状方法对对象项进行网格划分并形成三维网格，从而得到对象项的体积。基于深度传感技术和深度学习视图合成的集成方法，可以在任何方便的角度获取单个深度图像，从而实现精确的食物体积估计。的食物体积估计。的食物体积估计。


技术研发人员：赖建强 王烨 朱成博
受保护的技术使用者：北京精培医学研究院
技术研发日：2022.01.19
技术公布日：2022/6/1