一种基于隐式神经网络的运动物体跟踪方法

本发明属于数字光栅投影三维测量，特别是涉及一种基于隐式神经网络的运动物体跟踪方法。

背景技术：

1、光栅投影三维测量技术是一种主动式非接触三维测量技术，具有成本低、测量速度快、视场大、分辨率高等特点，被广泛地应用于逆向工程、工业检测、口腔医学、文物修复等领域。典型的光栅投影三维测量系统包括一个相机和一个投影仪，投影仪将带有相位信息的条纹投射到被测物体表面，条纹经被测物体表面高度调制变形，相机拍摄下带有变形条纹的被测物体的图片，再对其进行相位提取，得到被测物体表面上各点在投影仪图像坐标系下的像素坐标，最后，根据三角测量原理计算出被测物体表面各点在世界坐标系下的三维坐标。其中相位可通过相移法来计算，相移法通过时域求解相位、不依赖空间纹理信息，具有一定的克服被测体表面纹理差异以及环境光干扰的能力，鲁棒性强。在测量期间，相移正弦条纹投影法要求在被测体表面投射和采集至少三幅相移量已知的正弦条纹图案，前提是物体保持静止，因为物体运动会导致被测点在投影仪投影平面上的相位编码信息以及在相机成像平面上的像素位置同时发生变化，如果采用传统的相移方法，会产生运动误差，所以需要跟踪目标的位置，从而消除运动误差。

技术实现思路

1、针对运动物体跟踪，提出了一种基于隐式神经网络的运动物体跟踪方法。

2、由于物体运动引起被测点在相机图像上的位置发生变化，而物体表面复杂纹理及高反射特性导致不同区域对正弦条纹结构光信号的反射能力差异明显。因此，物体运动过程中必须在相机图像上对同一被测点进行跟踪，否则会引起极大的测量误差。利用条纹图形成的物理机制以及物体表面自身的纹理信息，在透视几何成像以及测量原理的物理知识驱动下，采用隐式神经网络表示方法描述携带纹理信息的条纹图，利用神经网络的可微分性质快速获取物体运动变化量，最后实现运动物体的跟踪，即运动前后像素坐标的映射关系。

3、本发明采用的技术方案如下：

4、一种基于隐式神经网络的运动物体跟踪方法，步骤如下：

5、步骤1、根据已知的相机参数，即镜头畸变系数，对像素坐标进行畸变矫正；

6、步骤2、根据相机标定结果和世界坐标系owxwywzw与相机坐标系ocxcyczc的相对位姿关系，基于透视几何成像的物理知识将畸变矫正后的图像坐标(uc,vc)映射到物体表面物理空间坐标(xw,yw)；

7、根据针孔成像原理，运动前后物体表面任意点(xw,yw)在相机图像中的像素位置对应关系为：

8、

9、式(4)中，(uc,vc)和(uc',vc')分别为运动前后物体表面点(xw,yw)对应相机图像像素坐标，kc为相机内参，rc、tc为运动前相机坐标系与世界坐标系之间的旋转矩阵和平移矩阵，e1、e2和e3分别为运动前世界坐标系的owxw轴、owyw轴和owzw轴在相机坐标系内的单位列向量，s、s'和s”为缩放比例因子；rc′、tc′分别表示运动后对应的旋转矩阵和平移矩阵，e1'、e2'和e3'分别为运动后世界坐标系各坐标轴在相机坐标系内的单位列向量，[δe1,δe2,δe3]是世界坐标系下被测物体运动前后的旋转矩阵，α、β和γ分别是绕世界坐标系上x轴、y轴、z轴的旋转角度，δx、δy、δz分别对应物体在世界坐标系上x轴、y轴、z轴上的运动位移量；

10、根据式(4)，通过将运动前后物体表面物理空间坐标映射到相机图像坐标的方式实现对运动前后相机坐标系内表面纹理的运动跟踪；基于相机、投影仪和被测物体的提前标定结果，世界坐标系与相机坐标系的相对关系是已知的，即上述参数kc、tc、e1、e2和e3均为已知量，物体运动造成的α、β、γ、δx、δy、δz为未知参数，如果能够确定这6个未知参数，在相机图像中运动引起的(uc,vc)→(pk,qk)的映射关系(pk,qk)＝fk(uc,vc)即可确定；

11、步骤3、通过隐式神经网络在物理空间(xw,yw)上建立连续且可微分的a(xw,yw)、b(xw,yw)和φ(xw,yw)的函数映射表示，将物体运动引起的6个未知参数作为隐式神经网络参数利用梯度下降法进行快速求解；隐式神经网络的输入是带有6个未知参数的物理空间坐标(xw,yw)，输入前需要对物理空间坐标进行归一化处理，利用隐式神经网络的表达能力，获取物体表面物理空间点(xw,yw)的纹理及高度特征表征参数：a(xw,yw)、b(xw,yw)和φ(xw,yw)，在此基础上结合条纹图的测量步信息给出条纹图的计算结果，与相机采集的条纹图相比得到残差，以残差为优化目标对条纹图的物体运动引起的6个未知参数和隐式神经网络权重参数进行更新迭代；

12、隐式神经网络的激活函数是sin(·)，对物体表面纹理及高度特征表征参数a(xw,yw)、b(xw,yw)和φ(xw,yw)的细节表达能力强；

13、步骤4、将步骤3得到的6个未知参数，代入公式(4)，即可得到运动前后物体表面点(xw,yw)对应相机图像像素坐标(uc,vc)与(uc',vc')映射关系，实现物体运动引起的坐标变化的跟踪。

14、本发明的有益效果：本发明是一种基于隐式神经网络的运动物体跟踪方法，可以实现快速、高精度的坐标跟踪，解决相移法中由于物体运动引起的像素坐标变化，满足实际产线上快速测量的需求。

技术特征：

1.一种基于隐式神经网络的运动物体跟踪方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于隐式神经网络的运动物体跟踪方法，其特征在于，进行相机标定后，能够获取相机内参kc、外参：旋转矩阵rc、平移矩阵tc和畸变系数dc。

3.根据权利要求2所述的一种基于隐式神经网络的运动物体跟踪方法，其特征在于，根据畸变模型和系统标定得到的相机畸变系数，dc包括k1、k2、p1、p2，对图片上的像素坐标进行畸变矫正；畸变模型为：

4.根据权利要求1、2或3所述的一种基于隐式神经网络的运动物体跟踪方法，其特征在于，隐式神经网络的训练优化交替进行：(1)物体运动位移量δx快速计算，即运动物体表面纹理的快速跟踪；此时，隐式神经网络模型的权重参数保持冻结，利用隐式神经网络现有的表达能力，快速对当前条纹图像的物体运动位移量进行预测；(2)隐式神经网络权重更新，更新隐式神经网络的描述能力，利用最新的未参与隐式神经网络权重更新训练的若干幅条纹图像以及对应的测量步和物体运动位移量信息，对隐式神经网络权重进行更新。

5.根据权利要求1所述的一种基于隐式神经网络的运动物体跟踪方法，其特征在于，隐式神经网络为全连接神经网络，包含3层隐藏层，每层神经元数量为512个，采用adam优化器。

6.根据权利要求2或3所述的一种基于隐式神经网络的运动物体跟踪方法，其特征在于，隐式神经网络为全连接神经网络，包含3层隐藏层，每层神经元数量为512个，采用adam优化器。

7.根据权利要求4所述的一种基于隐式神经网络的运动物体跟踪方法，其特征在于，隐式神经网络为全连接神经网络，包含3层隐藏层，每层神经元数量为512个，采用adam优化器。

技术总结针对实际产线上的运动物体跟踪，提出了一种基于隐式神经网络的运动物体跟踪方法。由于物体运动引起被测点在相机图像上的位置发生变化，而物体表面复杂纹理及高反射特性导致不同区域对正弦条纹结构光信号的反射能力差异明显。因此，物体运动过程中必须在相机图像上对同一被测点进行跟踪，否则会引起极大的测量误差。利用条纹图形成的物理机制以及物体表面自身的纹理信息，在透视几何成像以及测量原理的物理知识驱动下，采用隐式神经网络表示方法描述携带纹理信息的条纹图，利用神经网络的可微分性质快速获取物体运动变化量，最后实现运动物体的跟踪，即运动前后像素坐标的映射关系。技术研发人员：何庆,刘振鹏,宁佳兴受保护的技术使用者：东北大学技术研发日：技术公布日：2024/7/29