一种基于多目计算机视觉的电子面弓方法

1.本发明属于数字医疗领域，具体涉及一种基于多目计算机视觉的电子面弓方法，使用计算机视觉技术动态模拟上下颌骨以及关节的咬合运动。


背景技术：

2.电子面弓是使用数字化技术模拟人体颌骨及关节移动的一种技术，对于颌关节疾病的诊断以及牙齿修复和矫治都有很好的辅助作用。传统的面弓技术需要使用精密的机械装置，操作复杂，器材携带困难，表达信息有限；而现有的电子面弓技术全部属于外国医疗器械公司，大多采用传感器方案，使用光学传感器、运动传感器等进行颌骨运动数据的采集，设备价格极其高昂。因此，需要兼顾经济性与实用性的全新技术方案。
3.本发明旨在提出一种全新技术路线的电子面弓解决方案，使用工业相机配合标志物代替传感器，通过计算机视觉技术，捕捉标志物的位姿信息，进而计算得到上下颌骨的位姿信息。为了提升精确性和鲁棒性，引入多相机捕捉，通过对多相机多视角的数据优化，得到更加准确、稳定的运动轨迹。该技术方案成本远低于现有方案，且操作简单，识别准确。


技术实现要素：

4.为了解决背景技术中的问题，本发明使用刚性连接标志物和计算机视觉算法识别的方法，从多相机图像中直接采集颌骨运动数据，并对得到的多角度图像进行优化处理，得到准确的运动轨迹信息，在人体上下颌骨模型上进行运动重现及可视化，能够做到快速准确的轨迹重现，帮助医生进行咬合诊断，简化原先繁琐的调试工作，提高医疗效率和质量，同时兼顾经济性。
5.本发明采用的技术方案包括以下步骤：
6.步骤1)根据被试者的口腔cbct数据获取上下颌骨和牙齿模型，在上下颌骨和牙齿模型的上下牙列通过连接杆固定多个标志物，通过3d数字化打印技术将固定有标志物的牙颌模型进行整体打印；
7.步骤2)采用多个工业相机进行数据采集：通过张定友法对多个工业相机进行相机标定，将多个相机从不同角度且等间距位置处对准打印后的牙颌模型，且牙颌模型上的多个标志物位于多个工业相机的拍摄画面中央，控制牙颌模型的颌骨关节做咬合动作，多个工业相机同步采集牙颌模型从咬合开始至结束的视频；
8.步骤3)多个工业相机在同一时刻拍摄同一帧图像，根据多个视频在同一时刻的多张同一帧图像，计算上牙列或下牙列的标志物在每帧的坐标和姿态，将标志物在每帧的坐标和姿态进行整合获得标志物在咬合过程中的轨迹；
9.步骤4)根据上牙列上标志物和上颌骨的相对位置关系获得上颌骨变换矩阵，将上牙列上识别标志物的轨迹与变换矩阵相乘获得上颌骨的运动轨迹；根据下牙列上识别标志物和下颌骨的相对位置关系获得下颌骨变换矩阵，将上牙列上识别标志物的轨迹与变换矩阵相乘获得下颌骨的运动轨迹。
10.所述标志物为每个面贴附有不同标志图案的立方体，标志图案基于opencv的aruco模块生成；每个标志物的规格一致，每个标志物上的标志图案不同。
11.所述步骤2)中多个工业相机的同步采集方法为：通过外接单片机，将单片机接口输出高低电平信号至多个工业相机，利用工业相机的硬触发机制，采集获得同步图像；
12.所述步骤2)中多个工业相机的同步采集方法为：在电脑上，利用工业相机内置驱动的同步采集方法触发多个工业相机，实现多个工业相机的同步采集。
13.使用张定友法进行相机标定，标定过程为：
14.1)准备标定图片，采用opencv代码库生成棋盘格图片；
15.2)使用相机对准标定图片从不同角度拍摄；
16.3)基于opencv开源库对每张标定图片提取角点信息、亚像素点信息；
17.4)综合棋盘格尺寸，计算得到相机内外参矩阵，完成相机的标定。
18.所述步骤3)具体为：
19.3.1)对于标志物在视频中的每一帧，标志物在该帧相对第一帧的相对运动记为旋转矩阵r和平移矩阵t。
20.3.2)对于视频中每一帧的标志物，使用计算机图形学的方法，在多个相机位置生成多个与实际图像分辨率相同的虚像，每个实际图像对应一个虚像；在世界空间的所有标志物上，选择在标志图案的四个角点作为采样点，根据旋转矩阵r和平移矩阵t计算采样点在虚像上的坐标，即为虚像上的投影点集；计算采样点在实际图像的投影点集和虚像上投影点集的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到标志物对应的损失函数；
21.3.3)以旋转矩阵r、平移矩阵t为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解每一帧标志物优化后的旋转矩阵r、平移矩阵t；
22.迭代求解时的初值采用首帧图像的旋转矩阵r、平移矩阵t；
23.3.4)取上牙列或下牙列上其中一个标志物作为识别标志物，通过步骤3.1)～步骤3.3)计算得到识别标志物每帧优化后的旋转矩阵r、平移矩阵t，根据识别标志物每帧优化后的旋转矩阵r、平移矩阵t得到识别标志物每帧的坐标和姿态，将标志物在每帧的坐标和姿态进行整合获得标志物在咬合过程中的轨迹。
24.所述步骤3.2)中实际图像的投影点集通过下述方法计算得到：
25.1)对于每张实际图像，将实际图像转化为灰度图，在灰度图上进行边界提取和滤波，对提取到的边界做多边形近似，保留近似成四边形的边界为候选标志图案，忽略其他边界；
26.2)对候选标志图案进行编码识别：将属于预定义标志图案的候选标志图案识别为可用的标志图案，没有识别出的候选标志图案会被舍弃；
27.3)使用opencv的aruco marker模块自动识别每张实际图像上的标志图案，并记录每个标志图案上四个角点的坐标，即为实际图像的投影点集。
28.每个标志图案有四个角点，每个标志物一般能够识别到1到3个marker图案。
29.所述步骤4)还包括标志物轨迹的可视化：
30.对于标志物轨迹中的每一帧，使用标志物模型以及opengl库，将标志物轨迹的模
型空间转换到世界空间，再从世界空间转换到相机空间，并且控制播放帧率与采集帧率一致，从而完成标志物轨迹的可视化。
31.在模型空间转换到世界空间时，将步骤3)中每帧优化后的旋转和平移矩阵乘以标志物首帧坐标。
32.本发明的有益效果是：
33.1)本发明基于计算机视觉的电子面弓方法能保证精确度，且计算迅速，等待时间短，能够帮助口腔科医生获取颌骨运动数据。
34.2)与其他已有的传感器方案相比，本发明成本低廉。与zebris、卡瓦公司的电子面弓动辄几十万的器械价格相比，本发明的技术路线仅仅需要相机的成本数千元，极大的降低了方案的总价。
35.3)与其他已有的技术方案相比，本发明操作简便，以往的电子面弓和机械面弓都需要医生亲手进行操作，但是本发明仅需打印好牙套给患者，患者可自行完成视频的采集，简单快捷。
36.4)与其他已有的技术方案相比，本发明有较高的鲁棒性。相比于其他的视觉方案，本发明采用了多目视觉与人工定义的标志物，能够极大的增强识别的精准性和稳定性，适应多角度多姿态的场景，具有极强的实用价值。
附图说明
37.图1为本发明方法的姿态识别流程图。
38.图2为标记图案示意图(图中仅展示部分标记)。
39.图3为标志物的结构示意图。
40.图4为标志物与上下牙列的连接示意图。
41.图5为视频捕捉示意图。
42.图中：1、被采者，2、工业相机。
具体实施方式
43.下面结合附图及具体实施例对本发明作进一步详细说明。
44.如图1，本发明提供了一种使用多个相机复原人体上下颌骨运动轨迹的方法，包括步骤：刚性连接标志物、多相机数据采集、运动数据处理、运动轨迹可视化。
45.1、在进行图像采集前，需要使用多种电子设备获取人体头部的数据信息以对头骨进行建模，数据信息包括但不限于含有口腔信息的口扫图像、含有面部信息的面扫图像、以及cbct影像数据。
46.具体的，在进行第一个步骤，刚性连接标志物时，所使用的标志图案如图2所示，每一个小方格表示一个标志图案，表示成立方体的一个面，按顺序将标志图案粘附至立方体的各个面上，完成连接的标志立方体如图3所示，视为一个标志物。
47.在得到连接好标志图案的立方体后，需要将立方体刚性连接到牙列上，一种实施方式是采用牙科胶水，上牙列连接两个标志物，下牙列也连接两个标志物的方式，这种方法需要人工测量标志物和上下颌骨的相对位置。
48.另一种实施方式是使用3d数字化打印技术直接将刚性连接有标志物的头骨模型
整体打印出来，这样可以直接取得标志物和上下颌骨的相对位置信息，连接后的头骨与标志物如图4所示。
49.2、在连接标志物完成后，需要进行多相机数据采集。
50.具体的，首先要对相机做标定，消除镜头畸变带来的影响，为后续进行图像识别做准备，
51.使用张定友法进行相机标定，标定过程为：
52.1)准备标定图片，采用opencv代码库生成的棋盘格图片；
53.2)使用相机对准标定图片从不同角度拍摄；
54.3)基于opencv开源库对每一张标定图片提取角点信息、亚像素点信息；
55.4)综合棋盘格尺寸，计算得到相机内外参矩阵，完成相机的标定。
56.然后是图像的采集，因为采集的是动态视频，所以要求帧率要尽量高，实施例中使用的是2k60hz的工业相机2，采集时，保持被采者1与各个相机2的合适距离，如图5所示，需要保证将牙齿上的四个标志物置于画面中央，确保立方体能够被捕捉到。
57.多个相机的控制需采用同步算法，一种方法是，另外外接一块单片机，通过单片机接口输出高低电平信号给多个工业相机，利用工业相机的硬触发机制，采集获得同步图像。另一种方法是，在电脑上，利用工业相机内置的软触发机制，使用多线程同步方法触发多个工业相机，实现多个工业相机的同步采集。
58.开始采集时，被采者控制颌骨关节做医生预先定义好的咬合动作，对于采集时长并没有要求，且可重复采集。
59.3、将运动轨迹、标志物与颌骨的相对位置以及从医学图像重建得到的头骨模型输入计算机，进行运动数据的处理，目的是通过每一帧图像，计算得到每一个标志物的位姿信息，即物体空间坐标和法线朝向。为了使得计算结果更加准确，需要对得到的轨迹做优化，具体方法为：
60.1)对视频第一帧，通过opencv计算标志物的位姿；
61.2)将其他帧相对第一帧的相对运动描述为旋转和平移矩阵r和t；
62.3)对于其他帧中每个相对运动后的标志物，使用计算机图形学的方法，在每个相机位置生成一个与实际图像分辨率相同的虚像，在实际图像的标志物中选取多个位于标志图像上的点作为采样点，计算采样点在实际图像和每个虚像上的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和即得损失函数。
63.4)以旋转矩阵r、平移矩阵t为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用共轭梯度法等方法最速下降法、高斯-牛顿法、共轭梯度法等方法来求解旋转矩阵r、平移矩阵t，完成标志物的轨迹优化。
64.4、最后是轨迹的可视化。
65.1)标志物的可视化：对于标志物轨迹的每一帧，使用标志物模型以及opengl库，将标志物轨迹的模型空间转换到世界空间，再从世界空间转换到相机空间，并且控制播放帧率与采集帧率一致，从而完成标志物轨迹的可视化；
66.在模型空间转换到世界空间时，将将每一帧计算得到旋转和平移矩阵乘以标志物首帧坐标，得到该帧标志物位姿。
67.2)头骨运动的可视化：已知标志物与上下颌骨的相对位置关系，根据小方块和上
下颌骨的相对位置关系获得两者变换矩阵，且标志物与上下颌骨的相对位置关系在运动过程中保持不变，因此，将标志物的位姿与变换矩阵相乘可获得上下颌骨的位姿，从而得到颌骨的运动轨迹，完成整个技术方案的可视化过程。
68.本发明提供了一种基于多目计算机视觉方法的电子面弓技术方案，通过在牙齿上连接标志物的方法，捕捉上下颌骨的运动轨迹，并且将其可视化出来，为口腔科医生利用患者的数据进行诊断提供了便利。