用于用户解剖和生理成像的系统和方法与流程

本发明涉及用户的生物、解剖或生理结构的成像，例如作为个人护理系统的一部分。

背景技术：

1、近来对将相机或其它类型的成像设备集成到个人护理设备(诸如口腔护理设备)中存在兴趣。这样的成像辅助口腔护理设备可以是用于基于图像的诊断、高级位置感测、治疗计划(例如，正畸，矫正器)或处理监测(例如，牙周炎)的使能器，其无缝地集成到用户的常规口腔卫生方案中而不是使用单独的设备。

2、存在可检测各种结构和状况(包括口腔疾病)的牙科内窥镜或口腔内扫描仪。通过将这些扫描器形成为独立的设备，例如与牙刷头分开，则没有相对于牙刷头适当地定位传感器的问题，以便避免诸如干扰刷毛位置(这对于牙刷的清洁功效是关键的)、来自牙膏的干扰和清洁过程的各种残留物以及次优视场之类的问题。

3、这些独立的成像设备通常分别用于正常的刷牙周期。这导致较长的护理程序和较低的设备的感知用户友好性。通常，此类设备中的成像传感器限于可见光谱(vis)。

4、类似的问题通常发生在个人护理领域，不限于刷牙。在个人护理中通常使用佐剂(例如，润滑剂，泡沫，凝胶，面霜，乳液，牙膏等)以在个人护理程序之后提供舒适且有效的处理以及令人愉快的体验(例如，清新的口感，剃刮后的光滑皮肤等)。然而，通常这些佐剂还使潜在的生物结构和生理隐藏于直接的视觉成像检查。因此，在使用佐剂的同时试图对区域成像可能导致部分图像和/或低的或不足的图像质量。

5、特别地，对于口腔保健，牙齿/牙龈结构可能被佐剂遮挡，并且例如漱口水或牙膏佐剂可能在图像中产生干扰。

6、已经确定的与牙膏或增白剂相关联的许多示例性方面中的一个方面是它们通常在清洁或处理过程中经历一些类似相变的动态物理变化。例如，牙膏在其使用期间的初始阶段是高粘性物质，其用唾液被逐渐稀释到不同程度。由于振动电清洁设备的运动/振动或由于气泡形成(例如，由于过氧化物)，它可以改变颜色并最终起泡。这使得图像重建更具挑战性并且需要自适应重建过程。

7、因此，需要解决这些和其它问题以在典型的个人护理程序期间获得完整(无佐剂)和高质量的图像。

技术实现思路

1、本发明由权利要求限定。

2、根据依据本发明的一个方面的示例，提供了一种个人护理系统，该个人护理系统包括：

3、成像设备，其被配置为获得对象的感兴趣区域的图像；以及

4、处理器，该处理器被配置为：

5、获得佐剂在该感兴趣区上的光谱特征；

6、标识图像中的光谱成分；以及

7、通过将光谱特征与图像的光谱成分进行比较，从图像分割出佐剂。

8、不同类型的佐剂可用于身体的不同部位。例如，刷牙时在口中使用牙膏，剃须时使用剃须膏等。

9、不同的佐剂可以具有不同的光谱特征，即使这些佐剂属于相同类型。例如，牙膏通常具有不同的颜色或颜色的组合。因此，对于传统的分割算法来说，从图像中标识佐剂和分割它可能是困难的。

10、因此，建议使用佐剂的光谱特征并将图像的光谱成分与佐剂的光谱特征进行比较，以便从图像分割佐剂。光谱特征与光谱成分的比较提高了分割的鲁棒性。

11、处理器还可以被配置为使用分割的图像和与由成像设备获得图像的位置相对应的位置数据来重建感兴趣区域的解剖或生理结构。也可以使用一个或多个成像设备。

12、对象可以是人或动物。

13、感兴趣区域可以是对象(例如，牙齿，皮肤)的生物硬组织或软组织。佐剂可以是牙膏，剃须泡沫，润肤液等。

14、标识光谱成分可以包括对图像执行颜色聚类。

15、颜色聚类可以提供标识图像的光谱成分而不需要相对大的处理能力的方法。

16、该系统可以形成个人护理设备的一部分，并且因此可以具有有限的处理资源(例如，低功率处理单元)，这也是由于但不限于无线个人护理设备中有限的功率可用性。因此，需要较低处理资源的方法可能是有利的。

17、标识光谱成分可以包括从图像生成高光谱立方体。

18、高光谱立方体可以提供比例如颜色聚类更详细的光谱成分。因此，高光谱立方体能够提供更精确的分割。

19、实际上，高光谱立方体可以仅包括离散数目的波长(取决于所使用的相机和用于生成高光谱立方体的方法)，并且可以被称为多光谱立方体。高光谱立方体和多光谱立方体之间的区别可以是最小的，因为两者都可以被定义为具有两个空间轴和作为第三轴的电磁波长的三维图像。

20、相机可以被配置为获得可视的vis图像和近红外nir图像。附加地，处理器可以被配置为使用光谱特征从vis图像和nir图像分割佐剂，并使用分割的vir图像重建感兴趣区域的第一解剖或生理结构，并且使用分割的nir图像重建感兴趣区域的第二解剖或生理结构。

21、可见光谱中的图像vis图像包含与近红外光谱中的图像nir图像不同的佐剂和解剖或生理结构的信息。因此，使用可见和近红外光谱可以为图像的不同区域提供不同程度的精度和/或准确度。

22、例如，牙膏可以在可见光谱中类似于牙齿的颜色，但在近红外光谱中显著变化。因此，nir图像在从牙齿分割牙膏时可以进行更重地加权。

23、附加地，由于在单个图像中表示可见光谱和近红外光谱的计算困难，与分割包括可见光谱和近红外光谱两者的图像相比，从分别来自vis和nir图像的图像来分割佐剂可能需要较少的计算资源。

24、成像设备可以被配置为获得可视的vis图像和近红外的nir图像。附加地，处理器可以被配置为将vis图像融合到对应的nir图像，从而生成visnir图像，使用光谱特征从visnir图像分割佐剂，并且使用visnir图像重建感兴趣区域的解剖或生理结构。

25、融合vis图像和nir图像可以提供佐剂的更精确的分割，因为在visnir图像中比在对应的vis或nir图像中有更多的信息。

26、处理器可适于通过从成像设备获得佐剂的图像并从佐剂的图像生成佐剂的高光谱立方体来获得佐剂的光谱特征。

27、佐剂的光谱特征可以变化，或者用户可以使用不同的佐剂。因此，例如在开始时(例如，当将牙膏放到牙刷上时)获得所使用的佐剂的光谱特征可能是有利的。这确保了光谱特征对应于当前使用的佐剂。获得佐剂的图像可以基于事件开始触发(例如，系统被移动和/或开始按钮被按下，指示它将在不久的将来使用)。

28、处理器可以被配置为随时间更新佐剂的高光谱立方体。

29、在一些情况下，佐剂在使用时可随时间变化。例如，佐剂可与其它物质混合或可改变相态(例如，牙膏变成浆液且可随时间产生泡沫或气泡)。因此，当光谱特征随时间变化时，周期性地随时间更新光谱特征是有利的。

30、处理器可以检测光谱成分何时不同于光谱特征，并且当它们相差预定阈值时更新光谱特征。备选地，处理器可以周期性地更新光谱特征。

31、例如，也考虑刷牙期间牙膏特性的动态变化(即，开始于膏体，浆液，高度稀释的泡沫和气泡)以及牙膏浆液在牙齿/牙龈上的运动/流动，这可以使图像免于牙膏干扰。

32、随时间更新佐剂的高光谱立方体(或任何其它类型的光谱特征)可以基于从成像设备最近获得的图像。

33、可以在事件(例如，刷牙)期间随时间更新任何类型的光谱特征。

34、成像设备可以是高光谱相机。

35、与传统的rbg相机相比，由于在图像(即，高光谱图像)的光谱成分中存在更多的信息，所以使用高光谱相机可以增加分割的准确度。

36、备选地，相机可以是rgb相机，并且光谱成分包括红、绿和蓝值的分布。

37、备选地，该相机可以包括被配置为获得不同光谱的图像的一个或多个成像设备(例如，具有vis和nir光谱的rgb-ir相机)。

38、该系统可以包括口腔护理设备，该口腔护理设备包括例如手柄和/或清洁单元，并且感兴趣区域是口腔或其一部分。

39、成像设备可以定位在对观察解剖学和生理学有用的任何地方，例如，在手柄或清洁单元处。

40、口腔护理设备可以是包括牙刷头部和刷毛的牙刷，并且其中成像设备被配置为主要但不排他地在静止刷毛的方向上获得图像。

41、本发明还提供了一种个人护理方法，包括：

42、获得对象的感兴趣区域的图像；

43、获得该感兴趣区域上的佐剂的光谱特征；

44、标识图像中的光谱成分；以及

45、通过将光谱特征与图像的光谱成分进行比较来从图像分割佐剂。

46、标识光谱成分可以包括对图像执行颜色聚类或从图像生成高光谱立方体。

47、获得佐剂的光谱特征可包括从成像设备获得佐剂的图像并从佐剂的图像生成佐剂的高光谱立方体。

48、本发明还提供一种包括计算机程序代码的计算机程序产品，当计算机程序代码在具有处理系统的计算设备上执行时，使处理系统执行上述方法的所有步骤。

49、参考下面描述的实施例，本发明的这些和其它方面将变得显而易见。