用于从扫描会话流式传输视频的系统和方法与流程

本公开涉及用于在牙科扫描会话期间传输牙科对象的图像和/或视频的系统和方法。具体而言，本公开涉及用于在扫描会话期间获取物理三维牙科对象的扫描数据的牙科扫描系统，以及在扫描会话期间将数字图像传输到一个或多个外部处理装置和/或显示设备的方法。

背景技术：

1、数字牙科越来越受欢迎，并且与非数字技术相比具有多种优势。从历史上看，数字进步有三个焦点：cad/cam系统、牙科扫描系统和实践/患者管理系统。牙科扫描系统(例如口内扫描仪)与cad/cam系统相结合甚至可以实现当天修复体交付。实践/患者管理软件使得可以捕获关键数据(例如患者信息)并管理行政任务(例如跟踪账单和生成报告)。这样的以患者为中心的临床导向信息的患者电子病历，推动了患者健康状况跟踪的变革，促进了护理质量评估、诊断和数据研究挖掘，包括临床过程的效率和功效评估。

2、数字牙科扫描系统，无论是口内还是基于实验室的，都在改变修复和正畸牙科方面发挥着重要作用。使用扫描系统进行实时成像允许创建单个或多个牙齿、可能包括修复体或植入物的整个牙弓、相对弓、咬合和周围软组织、甚至无牙患者的假牙的三维数字模型。通过在屏幕上显示三维数字模型，向患者解释治疗机会变得简单。患者喜欢更舒适的数据获取过程。类似地，牙科专业人士也喜欢使用扫描系统的简便性和效率。此外，占用空间和成本高的石膏模型/模型被易于存档的数字文件所取代。数据可以出于各种不同原因随时重放。

3、cad/cam系统被设计成利用患者牙齿的三维数字模型来设计和制造牙科修复体和正畸器具，这些从简单的嵌体到数字化设计和制造的全口义齿、透明矫正器、研究模型、植入物相关部件、简单和复杂的手术导板。为了获得数字牙科的优势，不同的元件(例如显示器、扫描装置、处理单元、3d打印机和其他部件)在操作上相互连接。

4、生成牙科对象(例如患者牙齿)的数字三维(3d)模型通常需要很高的计算能力。因此，所述生成(也称为重建)通常在外部处理装置(例如高端计算机，即被认为具有高处理能力的计算机)上执行。现有的牙科扫描系统通常提供用于获取扫描数据的扫描装置和用于生成3d模型的(高端)计算机。现有系统通常还具有连接到计算机的显示器，用于向牙医和患者显示3d模型或功能强大的笔记本计算机。大型牙科诊所通常设有多个治疗室。然而，由于牙科扫描系统通常被认为是昂贵的设备，因此牙科诊所通常只购买一个或几个牙科扫描系统，这意味着必须在治疗室之间共享扫描系统。然而，对于牙医或诊所助理来说，将具有扫描装置、计算机和显示器的牙科扫描系统从一个治疗室移动到另一个治疗室通常很麻烦。

5、因此，需要开发系统和方法来解决该问题和相关问题。需要获得一种比现有牙科扫描系统成本更低的解决方案，以及一种用户(例如牙医、外科医生、诊所助理等)不必将整个牙科扫描系统从一个治疗室移动到下一个治疗室以相继进行扫描的解决方案。

技术实现思路

1、本公开通过提供一种牙科扫描系统解决了上述挑战，其中被配置用于生成数字3d模型的处理装置放置在远程位置，即与扫描装置分离。被配置用于生成数字3d模型的处理装置在本文中称为第一处理装置。本文公开的牙科扫描系统优选地还包括一个或多个第二处理装置，其用于显示3d模型的图像，例如在扫描会话的治疗室中的监视器上显示3d模型的图像。在治疗室中设置监视器的优点是其能够在扫描期间向牙医提供反馈，因为可以在扫描会话期间实时显示数字3d模型的2d再现。因此，牙医能够看到新的扫描数据是否被添加到3d模型，并且他/她还能够看到是否已获取足够的扫描数据来可视化患者口腔内的期望部分。扫描会话(scanning session)在本文中可以理解为使用牙科扫描系统获取三维牙科对象的数据(例如图像数据、深度数据、颜色数据或其组合)的时间段。

2、由于显示图像的计算要求通常比负责重建3d模型的计算机的要求低得多，因此与第一处理装置相比，第二处理装置可以被选择为低处理能力、轻量且相对廉价的设备。具有多个治疗室的牙科诊所可以获取多个这样的第二处理装置，例如每个治疗室一个，但可能只获取一个或几个扫描装置，因为这些扫描装置可以通过使用当前公开的系统和方法从一个扫描会话到下一个扫描会话进行共享。如果第一处理装置放置在远程位置(例如，在诊所的服务器机房中或甚至在云中)，则无需在扫描会话之间在诊所的不同治疗室之间移动它。术语云服务器或云计算机在此上下文中可以理解为可通过互联网访问的远程服务器或计算机。

3、因此，当前公开的(一个或多个)系统和(一个或多个)方法解决了必须将大型昂贵设备从一个房间移动到另一个房间的问题。在所公开的系统和方法的各种实施例中，第一处理装置放置在远程位置，例如由云服务提供，这具有额外的好处，即更容易执行软件和硬件更新/升级，因为更新只需要在一个位置和一件硬件上执行。此外，所公开的系统和方法降低了牙科扫描系统的不同硬件之间不兼容问题的风险，这仅仅是因为它减少了可能运行不同版本软件的硬件设备(例如计算机)的数量。

4、另一个相关问题是重建，即生成牙科对象的数字3d模型，计算量很大，这意味着通常需要高端计算机来完成这项任务。高端计算机此上下文中可以理解为具有高计算能力的计算机，计算能力至少比(一个或多个)第二处理装置高。由于高端计算机通常相当昂贵，因此如果一个高端计算机可以为多个扫描装置共用，而不是每个治疗室的每个扫描装置都配备一个高端计算机，则会很有利。然而，这种解决方案将通常意味着两个扫描会话不能在同一个计算机上并行运行，因为计算机将通常一次只能执行与一个扫描会话关联的数字3d模型的重建。在重建之后，必须渲染3d模型才能在显示器上以2d形式显示。目前，高端计算机被配置用于执行重建、渲染以及3d模型的显示。这种解决方案的缺点是在整个扫描会话内它都将占用高计算能力的计算机，即既用于在获取扫描数据期间生成3d模型，也用于在生成3d模型后显示该3d模型。这意味着在第一扫描会话结束之前不能发起后续扫描会话。发明人已经意识到，通过在第一处理装置和第二处理装置之间拆分重建模型和显示模型的任务，即使在正在显示与第一扫描会话关联的3d模型时也可以发起第二扫描会话。因此，在优选实施例中，在扫描会话期间利用第一处理装置来基于接收的扫描数据(或基于接收的图像)生成数字3d模型并渲染数字3d模型。这些任务优选在获取新的扫描数据/图像时连续运行，并且优选地这些任务实时运行，或者为用户实时感知。然后可以有利地配置一个或多个第二处理装置连续显示渲染的3d模型，优选同样以实时感知的方式。在完成扫描之后，可将3d模型发送到(一个或多个)第二处理装置，然后可将该第二处理装置配置为在完成扫描会话之后渲染3d模型。这将解放第一处理装置，使其处于空闲状态并准备好发起新的扫描会话，例如使用另一个治疗室中的扫描装置。

5、常见的远程桌面解决方案(如splashtop和teamviewer)能够将整个桌面会话连续流式传输到远程计算机。然而，此类解决方案的缺点是高端计算机(本文称为第一处理装置)将在整个扫描会话内被占用，包括在扫描完成而3d模型只需要被可视化时。另一个缺点是用户界面是远程渲染的，这通常意味着用户界面的分辨率不如本地渲染的分辨率好。还有一个缺点是，这种解决方案会强制在客户端的计算机上安装第三方软件。

6、根据第一方面，本公开提供了一种牙科扫描系统，其用于在扫描会话期间获取物理三维牙科对象的扫描数据，该牙科扫描系统包括：

7、-扫描装置，该扫描装置包括：

8、-一个或多个光投影仪，其被配置为在扫描会话期间生成要投影到三维牙科对象上的照明图案；和

9、-一个或多个图像传感器，其被配置为响应于使用一个或多个光投影仪对牙科对象照明而获取所述牙科对象的原始2d图像；

10、-处理器，其被配置为通过处理原始2d图像生成扫描数据，该扫描数据包括牙科对象的深度信息；

11、-第一处理装置，其被配置为：

12、-接收扫描数据和/或从扫描装置接收原始2d图像，并且随后通过处理原始2d图像生成扫描数据；

13、-基于接收的扫描数据生成牙科对象的至少一部分的数字3d模型；

14、-可选地，生成数字3d模型的多个数字2d图像；和

15、-将图像和/或3d模型传输到一个或多个第二处理装置。

16、在优选实施例中，第一处理装置被配置为生成数字3d模型的多个数字2d图像，并且还被配置为以视频编码格式编码数字2d图像。在该实施例中，第一处理装置被配置为将编码的图像传输到一个或多个第二处理装置。替代地，第一处理装置被配置为编码数字3d模型，并将编码的3d模型传输到一个或多个第二处理装置。当扫描会话结束时，即当扫描被停止时，3d模型可以也/替代地被传输到(一个或多个)第二处理装置。

17、在一些实施例中，牙科扫描系统包括：

18、-口内扫描装置，其被配置为在扫描会话期间生成与牙科对象关联的扫描数据，其中，扫描装置被配置为将扫描数据传输到第一处理装置；

19、-第一处理装置，其被配置为基于扫描数据生成牙科对象的数字3d表示，其中，第一处理装置是远程服务器或基于云的服务；

20、-第二处理装置，其被配置为：

21、●渲染数字3d表示；和

22、●提供图形用户界面以显示和控制数字3d表示的渲染；

23、-其中，第一和第二处理装置被配置为经由应用编程接口(api)相互通信，其中，数字3d表示可以经由图形用户界面通过对表示的一个或多个用户操纵来操纵和/或更新。

24、根据第二方面，本公开涉及在扫描会话期间实时将数字图像传输到一个或多个外部处理装置的方法，该方法包括以下步骤：

25、-将扫描装置连接到计算机网络(例如无线网络)，该扫描装置被配置为在扫描会话期间从三维牙科对象获取扫描数据；

26、-在扫描会话期间使用扫描装置连续地从三维牙科对象获取扫描数据，该扫描数据包括多个二维图像和/或点云；

27、-经由计算机网络将扫描数据连续地传输到第一处理装置；

28、-基于接收的扫描数据连续地生成和/或更新牙科对象的至少一部分的数字3d模型，其中，使用第一处理装置执行数字3d模型的生成；

29、-使用第一处理装置连续地生成/渲染数字3d模型的多个数字2d图像；

30、-使用第一处理装置以视频编码格式连续地编码数字2d图像；

31、-将编码的图像连续地传输到一个或多个第二处理装置；以及

32、-使用一个或多个第二处理装置连续地解码和显示图像，优选实时地解码和显示图像。

33、在所公开的在扫描会话期间将数字图像(优选实时地)传输到一个或多个外部处理装置的方法的另一实施例中，该方法包括以下步骤：

34、-将扫描装置连接到计算机网络(例如无线网络)，该扫描装置被配置为在扫描会话期间从三维牙科对象获取扫描数据；

35、-使用扫描装置在扫描期间连续地从三维牙科对象获取扫描数据，该扫描数据包括多个二维图像和/或点云；

36、-经由计算机网络将扫描数据连续地传输到第一处理装置；

37、-基于接收的扫描数据连续地生成和/或更新牙科对象的至少一部分的数字3d模型，其中，使用第一处理装置执行数字3d模型的生成；

38、-使用第一处理装置连续地编码数字3d模型；

39、-将编码的数字3d模型连续地传输到一个或多个第二处理装置；

40、-使用(一个或多个)第二处理装置连续地解码编码的数字3d模型；

41、-使用(一个或多个)第二处理装置连续地生成数字3d模型的多个数字2d图像；以及

42、-使用(一个或多个)第二处理装置连续地实时显示图像。

43、在又另一方面，本公开涉及一种生成牙科对象的数字三维(3d)模型并远程(优选实时地)显示所述3d模型的方法，该方法包括以下步骤：

44、-接收牙科对象的扫描数据；

45、-基于接收的扫描数据重建牙科对象的至少一部分的数字三维(3d)模型，其中，重建由第一处理装置执行；

46、-渲染数字3d模型的多个数字2d图像；

47、-以视频编码格式编码数字2d图像；

48、-将编码的2d图像传输到一个或多个第二处理装置，其中，所述第二处理装置位置远离第一处理装置；以及

49、-解码和显示2d图像，其中，解码和显示由一个或多个第二处理装置执行。

50、在又另一方面，本公开涉及一种用于显示牙科对象的数字三维(3d)模型的图像的系统，其中，该系统包括：

51、-第一处理装置，该第一处理装置包括处理器，该处理器被配置为执行机器可读指令，使得当机器可读指令被处理器执行时，使第一处理装置执行：

52、-接收三维牙科对象的扫描数据；

53、-基于接收的扫描数据重建牙科对象的至少一部分的数字三维(3d)模型；

54、-渲染数字3d模型的多个数字图像；

55、-以视频编码格式编码数字图像；

56、-将编码的图像传输到一个或多个第二处理装置，其中，所述第二处理装置位置远离第一处理装置；

57、-一个或多个第二处理装置，每个第二处理装置包括处理器，该处理器被配置为执行机器可读指令，使得当机器可读指令被处理器执行时，使(一个或多个)第二处理装置执行：

58、-解码图像；和

59、-显示图像。

60、本公开还涉及第一计算机程序，其被配置为从扫描数据生成和/或更新数字3d模型。因此，第一计算机程序可以包括指令，当程序被计算机执行时，该指令使计算机执行基于接收的扫描数据生成和/或更新数字3d模型的步骤。第一计算机程序还可以包括指令，当程序被计算机执行时，该指令使计算机执行渲染3d模型的步骤。本公开还涉及计算机可读数据载体，其上存储有第一计算机程序。

61、本公开还涉及第二计算机程序，其包括指令，当程序被计算机执行时，该指令使计算机执行生成用于接收用户输入的图形用户界面的步骤。第二计算机程序还可以包括指令，当程序被计算机执行时，该指令使计算机执行在连接到(一个或多个)第二处理装置的监视器上渲染和/或显示3d模型的步骤。第二计算机程序还可以包括指令，当程序被计算机执行时，该指令使计算机执行将数字3d模型的数字2d图像输出到监视器的步骤。本公开还涉及一种计算机可读数据载体，其上存储有第二计算机程序。