3D图像处理方法及其系统与流程

本披露内容涉及图像感测，特别是3d图像感测，并且更特别地涉及3d图像的图像处理。

背景技术：

1、汽车行业正越来越多地使用相机系统来实现监测功能，以支持机动车辆内的车辆应用。举例来讲，相机可以在车辆上使用，例如在监测系统中用于监测机动车辆乘客舱内的活动。车载监测系统通常用于检测驾驶员的状态，以确定驾驶员是否疲劳或没有注意道路。对于驾驶员的监测系统，驾驶员的状态通常通过眼睛跟踪功能来确定。然而，由监测系统捕获的图像通常受到环境光线的影响，这会影响所捕获的图像的质量。环境光线可以包括机动车辆外部的光线，比如太阳光，或者它还可以是来自机动车辆内部(例如乘客舱内的反射表面)的杂散光线。除了需要提高图像处理的准确性以应对环境照明的不利影响之外，车载(on-board或in-vehicle)相机的实施还通常面临空间约束(即驾驶舱区域内允许驾驶员获得最佳视野的位置)的挑战。

2、相机系统还可以用于监测机动车辆的周围环境，以检测道路上的障碍物、或在非预期情况下横穿道路的乘客。然后，所检测到的图像可以用于执行车辆安全功能，例如，警告驾驶员和/或在自动驾驶模式期间通知车辆，以便可以即刻做出决定。由于安全问题，图像中捕获的信息的准确性至关重要。

3、因此，需要提供一种用于创建3d图像以供进一步处理的方法和系统，以改善上述车辆显示的一些问题。

技术实现思路

1、本披露内容的目的是通过提供独立权利要求的主题来改善用于为图像处理产生3d图像、特别是为车辆系统产生3d图像的准确性问题。

2、本披露内容的目的通过一种处理图像的方法来实现，该方法包括：

3、·通过照明源将连续波(cw)光波调制(402)到图像模块，该cw光波以至少三个不同的频率进行调制；以及

4、·通过图像模块接收(404)至少三个图像束，该至少三个图像束中的每一个包含以至少不同频率捕获的移动对象的内容，

5、其特征在于：

6、通过图像处理单元将由该图像模块捕获的该至少三个图像束的位置测量结果进行关联(406)，其中，这三个图像束中的每一个包含以不同频率捕获的该移动对象的图像；

7、以及

8、响应于相关的位置测量结果，创建(408)三维(3d)图像。

9、本披露内容的上述方面的优点产生了一种通过使用以多个频率、更具体地以至少三种频率捕获的图像束来确定位置测量结果以创建3d图像的方法。更有利地，根据上述方法创建的3d图像为在远距离条件(即移动对象被定位成远离图像模块的视场)下捕获的图像产生了高准确性的位置测量结果。

10、优选的是如上所述的方法或如上所述的作为优选的方法，其中：

11、该位置测量结果包括通过该图像处理单元识别所捕获的该至少三个图像束之间的距离对齐。

12、本披露内容的上述方面的优点是对以不同频率捕获的图像束进行比较以识别距离对齐，从而取得位置测量结果。更有利地，每个频率调制具有不同的模糊距离。

13、优选的是如上所述的方法或如上所述的作为优选的方法，其中：

14、该距离对齐包括在所捕获的该至少三个图像束上重合的像素坐标点。

15、本披露内容的上述方面的优点是在所比较的图像束中定位像素坐标点，在该像素坐标点中，所有不同的频率都一致或重合。因此，通过定位所有不同的频率都一致或重合的点来取得距离对齐的位置测量结果。因此，位置测量结果与所观察到的移动对象的真实位置相关。

16、优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

17、通过该图像处理单元将所捕获的该至少三个图像束的两个或更多个像素坐标点参考单个光轴进行对齐。

18、本披露内容的上述方面的优点是提供单个光轴以校准以不同频率捕获的至少三个图像束，使得可以容易地识别所捕获的三个或更多个图像束的距离对齐。有利地，图像处理过程可以以快速且高度准确的方式完成。

19、优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

20、通过该图像处理单元按照图像图案校准所捕获的该至少三个图像束上的两个或更多个像素坐标点，以对齐该至少三个图像束的像素坐标。

21、本披露内容的上述方面的优点是使用图像图案来识别以不同频率捕获的至少三个图像束之间的距离对齐。这提高了深度测量的准确性，以产生高准确性的3d成像。

22、优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

23、通过该图像处理单元识别所捕获的该至少三个图像束上的一个或多个临界像素坐标点。

24、本披露内容的上述方面的优点是基于利用所提供的图像图案进行的校准来在所捕获的至少三个图像束中识别出提供或表示对于图像处理而言重要的信息的像素坐标。在本文的上下文中，重要的信息的示例可以指有助于识别由图像模块捕获的移动对象的至少一部分的像素坐标。

25、优选的是如上所述的方法或如上所述的作为优选的方法，其中：

26、将该位置测量结果进行关联包括

27、·调整所捕获的该至少三个图像束的频率调制；

28、以及

29、·识别所捕获的该至少三个光束之间的距离对齐。

30、本披露内容的上述方面的优点是通过使用基于时域的频率调制来调整从所捕获的图像束获得的原始数据来对位置测量结果进行关联。在这个实施例中，识别所捕获的图像束之间的距离对齐对于识别重合的坐标点是必要的。

31、优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

32、将所识别的该一个或多个临界坐标点存储在该图像处理单元的存储器中以用于图像后处理过程。

33、本披露内容的上述方面的优点是存储从位置测量过程中识别的临界坐标点，以便可以将信息应用于进一步的图像后处理。

34、优选的是如上所述的方法或如上所述的作为优选的方法，其中：

35、该图像后处理过程包括响应于所创建的3d图像：

36、·识别眼睛位置；

37、·识别头部位置；

38、·识别面部特征的至少一个特性；

39、·识别车辆乘员的手势；

40、·识别车辆乘员的车辆座椅安全带状态

41、·响应于机动车辆的至少一个车辆入口的锁定而识别出在该机动车辆的内部舱室中存在活体；

42、·识别出相对于围绕机动车辆的半径朝向该机动车辆移动的活体，

43、或其组合。

44、本披露内容的上述方面的优点是使用从位置测量过程中识别的临界坐标点来应用于进一步的图像后处理过程，比如识别眼睛位置、头部位置、面部特征的特性或组合，以用于车载监测功能的目的。

45、优选的是如上所述的方法或如上所述的作为优选的方法，其中，该方法进一步包括：

46、在机动车辆内部内的显示设备上显示所创建的三维(3d)图像。

47、本披露内容的上述方面的优点是显示响应于所捕获的至少三个图像束而创建的3d图像。在某些实施例中，使用如本文所披露的方法捕获和处理的3d图像的显示用作对驾驶员的警告。

48、本披露内容的目的通过一种用于机动车辆的3d图像处理系统来实现，该3d图像处理系统包括：

49、·图像模块(102)，该图像模块可操作用于接收至少三个图像束(302，304，308)，该至少三个图像束(302，304，308)中的每一个包含以不同频率捕获的移动对象的内容；

50、·照明源，该照明源可操作用于以至少三个不同频率将连续波(cw)光波调制到该图像模块；以及

51、·图像处理单元，该图像处理单元可操作用于处理由该图像模块捕获的该至少三个图像束。

52、其特征在于：

53、该图像处理单元可操作用于

54、将由该图像模块捕获的该至少三个图像束的位置测量结果进行关联，其中，该至少三个图像束中的每一个是以不同频率捕获的；

55、以及

56、响应于相关的位置测量结果，创建三维(3d)图像。

57、本披露内容的上述方面的优点产生了一种3d图像处理系统，其可操作用于捕获包含不同频率的内容的多个图像束，以进行快速且准确的位置测量，从而创建3d图像。更有利地，根据上述方法创建的3d图像提高了在昏暗环境照明下捕获的图像的位置测量结果的准确性。

58、优选的是如上所述的系统或如上所述的作为优选的系统，其中：

59、该图像模块可操作用于

60、·捕获该移动对象的至少三个图像束，该至少三个图像束包含至少三个不同频率的图像内容。

61、本披露内容的上述方面的优点产生了一种图像模块，该图像模块可以捕获包含至少三个不同频率的图像内容的至少三个图像束。

62、优选的是如上所述的系统或如上所述的作为优选的系统，该系统进一步包括：

63、光学透镜，该光学透镜可操作用于覆盖该图像模块，其中，该光学透镜的一侧面向该移动对象，该光学透镜可操作用于接收围绕该移动对象的环境光线。

64、本披露内容的上述方面的优点产生了一种具有面向移动对象的视场(fov)的图像模块。在一些实施例中，光学透镜可以被涂覆以实现滤光目的。

65、优选的是如上所述的系统或如上所述的作为优选的系统，其中：

66、该图像模块包括

67、·至少一个飞行时间(tof)图像传感器。

68、本披露内容的上述方面的优点产生了一种图像模块，该图像模块仅需要一个tof图像传感器来处理以不同频率捕获的三个图像束。因此，可以实现紧凑的图像模块。

69、优选的是如上所述的系统或如上所述的作为优选的系统，其中：

70、该图像模块包括

71、·三个tof图像传感器。

72、本披露内容的上述方面的优点产生了一种图像模块，该图像模块需要三个tof图像传感器来处理以不同频率捕获的三个图像束。因此，可以以相对更快且准确的方式来处理图像束。

73、优选的是如上所述的系统或如上所述的作为优选的系统，该系统进一步包括：

74、·图像分束器，该图像分束器可操作用于

75、o提供单个光轴，以捕获该移动对象的内容；

76、以及

77、o将一个或多个图像束传输到该三个tof图像传感器中的每一个。

78、本披露内容的上述方面的优点是捕获共享单个光轴的、不同频率的三个图像束。这实现了不同tof图像传感器之间的像素到像素对准，从而提高了位置测量结果的准确性。进一步地，在捕获图像束之后，图像分束器使得能够以相同类型的频率将图像束传输到对应的tof图像传感器。因此，可以以更快且高度准确的方式来处理在图像束中捕获的原始数据。

79、优选的是如上所述的系统或如上所述的作为优选的系统，其中：

80、该图像分束器是近红外(nir)分束器。

81、本披露内容的上述方面的优点是处理所捕获的图像束，使得可以根据频率范围来分割图像。有利地，使用nir分束器产生了近红外范围内的图像束。

82、优选的是如上所述的系统或如上所述的作为优选的系统，其中：

83、图像图案，该图像图案被放置在该光学透镜的面向该移动对象的一侧的前方，其中，按照该图像图案来校准所捕获的这些图像束上的两个或更多个像素坐标点，以识别所捕获的该至少三个图像束上的像素坐标的一个或多个临界像素坐标点。

84、本披露内容的上述方面的优点是按照图像图案对所捕获的图像束进行像素到像素校准。有利地，可以通过校准过程来识别临界像素坐标点。

85、本披露内容的目的通过包括指令的计算机程序产品来实现，这些指令致使如上文定义的图像处理系统执行上述方法的步骤。

86、本披露内容的上述方面的优点产生了一种用于通过使用以多个频率、更具体地以至少三种频率捕获的图像束来确定位置测量结果以创建3d图像的计算机程序产品。更有利地，根据前述计算机程序产品创建的3d图像产生了高准确性，并且适合于捕获远距离移动对象的图像。

87、本披露内容的目的通过一种其上存储有如上所述的计算机程序的计算机可读介质来实现。

88、本披露内容的上述方面的优点产生了一种用于通过使用以多个频率、更具体地以至少三种频率捕获的图像束来确定位置测量结果以创建3d图像的计算机可读介质。更有利地，根据前述计算机可读介质创建的3d图像实现了对远距离捕获的图像的高准确性位置测量结果。