基于图像识别的智慧托槽定位方法、装置、系统、终端及介质与流程

1.本技术涉及口腔临床医学技术领域，特别是涉及口腔正畸基于图像识别的智慧托槽定位 方法、装置、系统、终端及介质。


背景技术：

2.口腔正畸是指矫正牙齿、解除错牙和畸形，口腔正畸的核心问题在于托槽的精准定位。 目前，较为常用的几种托槽高度定位方法有如下几种：临床冠中心法、高度定位表法、边缘 嵴平齐法。
3.临床冠中心法是指，直丝弓矫治器预成的轴倾角、转矩角及冠凸距的数值都是在临床冠 的中心高度测量所得，因此预成序列托槽矫治器都要求将托槽粘结在临床冠中心(fa点)。 因为正常牙合中每个牙齿的fa点处于同一平面上(andrews平面)。但是，临床冠中心法 仍有如下缺点：一是肉眼直视牙齿难以确定临床冠中心点；二是如若完全按临床冠中心点就 位则难以实现无曲直丝矫治目的。
4.高度定位表法是指，同一牙列中有个别牙齿的托槽粘贴位置偏离fa点，andrews平面 并不稳定，并提出相对稳定的hol平面(连接两侧第一磨牙临床冠中心及两侧中切牙临床冠 中心连线的中点所构成的平面)帮助临床医生定位。矫治完成时同一牙列各牙齿的托槽槽沟中 心点应落在hol平面上。但是，高度定位表法仍有如下缺点：一是没有考虑到个体牙冠长 度及颊侧凸度差异；二是矫治后显示边缘嵴关系不佳(前磨牙、磨牙)。
5.边缘嵴平齐法是指，以牙齿边缘嵴线和临床冠中心线之间的差值来确定托槽位置的方法 称为边缘嵴平齐法。但是，边缘嵴平齐法仍有如下缺点：边缘嵴法虽然对后牙的咬合有更多 的考虑，但是这种方法无法协调牙弓的宽度和前牙的咬合，因此在临床上还是有非常大的局 限的。
6.总的来看，无论采用上面哪种方法来实现托槽定位都会产生定位误差，而且需要长时间 的培训，即使如此也仍不可避免出现误差，需要个性化调整并整合医生的临床经验。


技术实现要素：

7.鉴于以上所述现有技术的缺点，本技术的目的在于提供基于图像识别的智慧托槽定位方 法、装置、系统、终端及介质，用于解决现有技术中无论采用上面哪种方法来实现托槽定位 都会产生定位误差，而且需要长时间的培训，即使如此也仍不可避免出现误差，需要个性化 调整并整合医生的临床经验等技术问题。
8.为实现上述目的及其他相关目的，本技术的第一方面提供一种基于图像识别的智慧托槽 定位方法，包括：采集待矫正牙齿的图像；从所述待矫正牙齿的图像中识别并分离所述待矫 正牙齿的牙冠；识别所述牙冠的牙体中心点和牙长轴；根据所识别的牙体中心点和牙长轴圈 定感兴趣区域，并使所述牙体中心与感兴趣区域的中心相重合；基于所述感兴趣区域，对用 于矫正牙齿的正畸托槽进行横向定位、纵向定位及轴倾角定位，并输出定位
信息。
9.于本技术的第一方面的一些实施例中，所述从所述待矫正牙齿的图像中识别并分离所述 待矫正牙齿的牙冠，包括：基于颜色特性的目标识别算法，提取目标物体的颜色特征信息进 行阈值判断，根据阈值判断结果分割出牙冠部分。
10.于本技术的第一方面的一些实施例中，所述识别所述牙冠的牙体中心点和牙长轴包括： 将所采集的牙冠图像通过亮度计算转换为灰度图像并对图像中边缘轮廓进行提取并获得对应 的区域形状；对所述区域形状的边缘轮廓进行椭圆拟合，利用哈夫变换检测到边界曲线，以 获得椭圆特征参数；所述椭圆特征参数包括作为牙长轴的椭圆长轴参数以及作为牙体中心点 的椭圆中心点坐标参数。
11.于本技术的第一方面的一些实施例中，对所述正畸托槽进行横向定位的方式包括：通过 判断正畸托槽与牙体边缘的左、右间距是否一致来进行横向定位。
12.于本技术的第一方面的一些实施例中，对所述正畸托槽进行纵向定位的方式包括：判断 当前的分析对象是前牙或后牙；若为前牙，则通过判断所述牙体中心点与牙齿切缘之间的高 度是否符合高度阈值来进行纵向定位；若为后牙，则通过判断所述正畸托槽的高度是否与邻 接牙齿上的正畸托槽高度相一致来进行纵向定位。
13.于本技术的第一方面的一些实施例中，对所述正畸托槽进行轴倾角定位的方式包括：通 过判断所述正畸托槽的中心线与牙长轴是否平行或重合来进行轴倾角定位。
14.为实现上述目的及其他相关目的，本技术的第二方面提供一种基于图像识别的托槽精准 定位装置，包括：图像采集模块，用于采集待矫正牙齿的图像；图像分离模块，用于从所述 待矫正牙齿的图像中识别并分离所述待矫正牙齿的牙冠；图像识别模块，用于识别所述牙冠 的牙体中心点和牙长轴；图像圈定模块，用于根据所识别的牙体中心点和牙长轴圈定感兴趣 区域，并使所述牙体中心与感兴趣区域的中心相重合；托槽定位模块，用于基于所述感兴趣 区域，对用于矫正牙齿的正畸托槽进行横向定位、纵向定位及轴倾角定位，并输出定位信息。
15.为实现上述目的及其他相关目的，本技术的第三方面提供一种基于图像识别的托槽精准 定位系统，包括：托槽定位单元，用于采集待矫正牙齿的图像；从所述待矫正牙齿的图像中 识别并分离所述待矫正牙齿的牙冠；识别所述牙冠的牙体中心点和牙长轴；根据所识别的牙 体中心点和牙长轴圈定感兴趣区域，并使所述牙体中心与感兴趣区域的中心相重合；基于所 述感兴趣区域，对用于矫正牙齿的正畸托槽进行横向定位、纵向定位及轴倾角定位；信息输 出单元，与所述托槽定位单元建立通信连接，用以接收所述正畸托槽的定位信息，并以图像 和/或语音向外传播所述定位信息。
16.为实现上述目的及其他相关目的，本技术的第四方面提供一种计算机可读存储介质，其 上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于图像识别的智慧托槽定 位方法。
17.为实现上述目的及其他相关目的，本技术的第五方面提供一种托槽定位终端，包括：处 理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计 算机程序，以使所述终端执行所述基于图像识别的智慧托槽定位方法。
18.如上所述，本技术的基于图像识别的智慧托槽定位方法、装置、系统、终端及介质，具 有以下有益效果：本发明基于图像识别技术，通过对正畸托槽分别进行横向定位、纵向
定位 及轴倾角定位等，实现正畸托槽的精准定位。本发明提供的技术方案，可实现托槽定位的零 误差，而且由人工智能通过自学习来实现，无需相关人员长时间的培训，提高定位效率和精 度并降低了成本。
附图说明
19.图1显示为本技术一实施例中基于图像识别的智慧托槽定位方法的流程示意图。
20.图2显示为本技术一实施例中待矫正牙齿的示意图。
21.图3a显示为本技术一实施例中正畸托槽进行横向定位的示意图。
22.图3b显示为本技术一实施例中正畸托槽进行纵向定位的示意图。
[0023][0024]
图4显示为本技术一实施例中基于图像识别的托槽精准定位系统的结构示意图。
[0025]
图5显示为本技术一实施例中基于图像识别的托槽精准定位装置的结构示意图。
[0026]
图6显示为本技术一实施例中托槽定位终端的结构示意图。
具体实施方式
[0027]
以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
[0028]
需要说明的是，在下述描述中，参考附图，附图描述了本技术的若干实施例。应当理解， 还可使用其他实施例，并且可以在不背离本技术的精神和范围的情况下进行机械组成、结构、 电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本技术的实施例的 范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并 非旨在限制本技术。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、
ꢀ“
下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元 件或特征与另一元件或特征的关系。
[0029]
在本技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固 定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一 体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接 相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理 解上述术语在本技术中的具体含义。
[0030]
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形 式，除非上下文中有相反的指示。本发明的说明书和权利要求书及上述附图中的术语“第一”、
ꢀ“
第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定 的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施 例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包含”、“包括”表 明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特 征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。应当进一步理解，此处 使用
的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、 b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c； a、b和c”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定 义的例外。
[0031]
为了解决现有的托槽定位方法出现的问题，例如临床冠中心法中许多牙齿难以确定临床 冠中心点，且完全按临床冠中心点就位则难以实现无曲直丝矫治目的；高度定位表法没有考 虑到个体牙冠长度及颊侧凸度差异，且矫治后显示边缘嵴关系不佳(前磨牙、磨牙)；边缘 嵴平齐法无法协调牙弓的宽度和前牙的咬合，因此在临床上还是有非常大的局限的。无论采 用上面哪种方法来实现托槽定位都会产生定位误差，而且需要长时间的培训，即使如此也仍 不可避免出现误差，需要个性化调整并整合医生的临床经验。
[0032]
有鉴于此，本发明提供基于图像识别的智慧托槽定位方法、系统、终端及存储介质，具 有人工交互功能和持续成长功能，能够有效分离出单颗牙冠，识别fa点和牙长轴，提取感 兴趣区域roi，进而实现精准的托槽定位。为了使本发明的目的、技术方案及优点更加清楚 明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当 理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
[0033]
如图1所示，展示了本发明一实施例中基于图像识别的智慧托槽定位方法的流程示意图。 需说明的是，本实施例中基于图像识别的智慧托槽定位方法可应用于多种硬件设备，例如应 用于控制器，具体如arm(advanced risc machines)控制器、fpga(field programmable gatearray)控制器、soc(system on chip)控制器、dsp(digital signal processing)控制器、或 者mcu(micorcontroller unit)控制器等等。也可应用于计算机设备，例如台式电脑、笔记 本电脑、平板电脑、智能手机、智能手环、智能手表、智能头盔、智能电视、个人数字助理 (personal digital assistant，简称pda)等个人电脑。还可应用于服务器，所述服务器可以根据 功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集 群构成。所述托槽精准定位方法主要包括如下步骤s11～s15。
[0034]
步骤s11：采集待矫正牙齿的图像。
[0035]
具体而言，可利用图像采集单元来采集所述待矫正牙齿的图像。所述图像采集单元可以 是摄像模组，该摄像模组包括摄像装置、存储装置和处理装置；所述摄像装置包括但不限于： 照相机、视频摄像机、集成有光学系统或ccd芯片的摄像模块、集成有光学系统和cmos 芯片的摄像模块等。
[0036]
步骤s12：从所述待矫正牙齿的图像中识别并分离所述待矫正牙齿的牙冠。应理解，牙 冠是指牙体显露于口腔、外层为牙釉质覆盖的部分，也是行使咀嚼功能的部分。
[0037]
在一些示例中，可基于图像识别算法，实现从所述待矫正牙齿的图像中识别并分离所述 待矫正牙齿的牙冠。由于图像中牙龈和牙冠的颜色会有差异(通常牙龈偏红，牙齿部分偏白)， 所以可以通过基于颜色特性的目标识别算法，识别并分离图像中的牙冠。举例来说，可通过 opencv的python接口来实现图像中物体的颜色特性识别，通过提取目标物体的颜色特征信 息进行阈值判断与分割。
[0038]
应理解的是，所述目标识别算法包括但不限于：图像分割算法、图像分类算法、目标检 测算法等。其中，图像分割算法是从图像中找出目标所在的区域，把图像分成若干个特定的、 具有独特性质的区域并提出特定目标的技术和过程，常用的图像分割算法例如
来进行纵向定位。举例来说，若高度h小于预设高度阈值，则令正畸托槽31沿箭头b1方向 移动，以实现正畸托槽31的纵向定位；同样的道理，若高度h大于预设高度阈值，则令正 畸托槽31沿箭头b2方向移动，以实现正畸托槽31的纵向定位。若为后牙，则通过判断正 畸托槽31高度是否与邻接牙齿上的托槽高度相一致来进行纵向定位。
[0047]
正畸托槽31附于待矫正牙齿32上，通过判断正畸托槽31的中心线与牙长轴之间是否平 行或重合来进行轴倾角定位。举例来说，若正畸托槽31的中心线与牙长轴之间不平行也不重 合，则令正畸托槽31逆时针旋转或顺时针旋转来进行轴倾角定位。
[0048]
如图4所示，展示了本发明一实施例中基于图像识别的托槽精准定位系统的结构示意图。 本实施例的托槽精准定位系统包括托槽定位单元41和信息输出单元42。托槽定位单元41用 于采集待矫正牙齿的图像；从所述待矫正牙齿的图像中识别并分离所述待矫正牙齿的牙冠； 识别所述牙冠的牙体中心点和牙长轴；根据所识别的牙体中心点和牙长轴圈定感兴趣区域， 并使所述牙体中心与感兴趣区域的中心相重合；基于所述感兴趣区域，对用于矫正牙齿的正 畸托槽进行横向定位、纵向定位及轴倾角定位。信息输出单元42与所述托槽定位单元建立通 信连接，用以接收所述正畸托槽的定位信息，并以图像和/或语音向外传播所述定位信息。
[0049]
需说明的是，托槽定位单元41可以是计算机设备，例如台式电脑、笔记本电脑、平板 电脑、智能手机、智能手环、智能手表、智能头盔、智能电视、个人数字助理(personal digitalassistant，简称pda)等，也可以是服务器。信息输出单元42包括图像模块421和语音模块 422，图像模块421以图像的形式向使用者展示正畸托槽与牙冠之间的位置关系；语音模块 422则以语音播报的形式向使用者展示正畸托槽与牙冠之间的位置关系(例如播报“偏离牙 体中心点2mm”等语音信息)。
[0050]
如图5所示，展示了本发明一实施例中基于图像识别的托槽精准定位装置的结构示意图。 本实施例中基于图像识别的托槽精准定位装置500包括图像采集模块501、图像分离模块502、 图像识别模块503、图像圈定模块504、托槽定位模块505。
[0051]
图像采集模块501用于采集待矫正牙齿的图像；图像分离模块502用于从所述待矫正牙 齿的图像中识别并分离所述待矫正牙齿的牙冠；图像识别模块503用于识别所述牙冠的牙体 中心点和牙长轴；图像圈定模块504用于根据所识别的牙体中心点和牙长轴圈定感兴趣区域， 并使所述牙体中心与感兴趣区域的中心相重合；托槽定位模块505用于基于所述感兴趣区域， 对用于矫正牙齿的正畸托槽进行横向定位、纵向定位及轴倾角定位，并输出定位信息
[0052]
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实 现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软 件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理 元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，图像识别模块可以为单独 设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的 形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上图像识别模 块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独 立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中， 上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件
的集成逻辑电路或者软件形 式的指令完成。
[0053]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个 或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微 处理器(digital signal processor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代 码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit， 简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统 (system-on-a-chip，简称soc)的形式实现。
[0054]
如图6所示，展示了本发明一实施例中托槽定位终端的结构示意图。本实例提供的托槽 定位终端，包括：处理器61、存储器62、通信器63；存储器62通过系统总线与处理器61 和通信器63连接并完成相互间的通信，存储器62用于存储计算机程序，通信器63用于和其 他设备进行通信，处理器61用于运行计算机程序，使电子终端执行如上基于图像识别的智慧 托槽定位方法的各个步骤。
[0055]
上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称 pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该 系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示， 但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备 (例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random accessmemory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁 盘存储器。
[0056]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、 网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signalprocessing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现 场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件。
[0057]
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现所述基于图像识别的智慧托槽定位方法。
[0058]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算 机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序 在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟 或者光盘等各种可以存储程序代码的介质。
[0059]
于本技术提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取 存储器、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、 u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计 算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如， 如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线 电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光 缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。 然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号
或者 其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光 盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其 中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
[0060]
综上所述，本技术提供基于图像识别的智慧托槽定位方法、装置、系统、终端及介质， 本发明基于图像识别技术，通过对正畸托槽分别进行横向定位、纵向定位及轴倾角定位等， 实现正畸托槽的精准定位。本发明提供的技术方案，可实现托槽定位的零误差，而且由人工 智能通过自学习来实现，无需相关人员长时间的培训，提高定位效率和精度并降低了成本。 所以，本技术有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0061]
上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技 术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本技术的权利要求所涵盖。