车内盲区投影方法及其设备与流程

本申请涉及汽车投影，具体涉及一种车内盲区投影方法、实现车内盲区透明的投影系统及计算机可读储存介质。

背景技术：

1、汽车整体的结构框架强度对于汽车的安全系数来说至关重要，当前由于安全碰撞测试要求越来越严格，为提升整车的安全性能，车企在设计车辆时，车辆的整体结构变得越来越宽，但这也导致在车辆内部的驾驶人员的视觉盲点区域也越来越大，驾驶员的驾驶风险也随之变大。

2、现在技术中，有提出采用在车内盲区上开几个三角小窗口的方式来实现车内盲区透明，但是该方式牺牲了车辆结构的坚固性，且通过开窗口的方式并不能实现对车内盲区的全部透明化，仍然存在其他视野盲区。

技术实现思路

1、为了解决上述问题，本申请提出了一种用车内盲区投影方法、实现车内盲区透明的投影系统及计算机可读储存介质，可以通过投影的方式在不需要较大程度改变车辆结构情况下，实现车内盲区的全透明化。

2、为解决上述技术问题，本申请采用的一个技术方案是：提供一种车内盲区投影方法，该方法包括：获取车内盲区的外部场景的图像信息，并基于图像信息进行场景三维重建，以获取三维图像信息；基于三维图像信息获取投影坐标系下的投影图像信息；获取驾驶人员在车内盲区上的视线位置；基于投影图像信息在视线位置上形成投影图像。

3、其中，获取车内盲区的外部场景的图像信息，并基于图像信息进行场景三维重建，以获取三维图像信息的步骤包括：利用外部双目摄像设备获取车内盲区的外部场景的图像信息；基于图像信息利用深度学习双目深度估计方法进行场景三维重建，以获取三维图像信息。

4、其中，基于三维图像信息获取投影坐标系下的投影图像信息的步骤包括：获取外部双目摄像设备坐标系与驾驶人员的人眼坐标系之间的第一映射关系；获取人眼坐标系与投影坐标系的第二映射关系；基于三维图像信息、第一映射关系及第二映射关系获取投影坐标系下的投影图像信息。

5、其中，获取外部双目摄像设备坐标系与驾驶人员的人眼坐标系之间的第一映射关系的步骤，包括：获取外部双目摄像设备坐标系与深度摄像设备坐标系的第三映射关系；获取深度摄像设备坐标系与车内双目摄像设备坐标系的第四映射关系；获取车内双目摄像设备坐标系与人眼坐标系的第五映射关系；基于第三映射关系、第四映射关系及第五映射关系获取第一映射关系。

6、其中，在获取外部双目摄像设备坐标系与驾驶人员的人眼坐标系之间的第一映射关系的步骤之前，还包括：利用车内双目摄像设备获取驾驶人员的人脸图像信息；基于人脸图像信息获取人眼坐标系。

7、其中，基于人脸图像信息获取人眼坐标系的步骤，包括：基于人脸图像信息人脸进行人脸关键点估计以获取人脸关键点；基于人脸关键点利用双目摄像设备进行重建以获取人脸关键点对应的三维点；基于三维点建立人眼坐标系。

8、其中，获取驾驶人员在车内盲区上的视线位置的步骤，包括：对车内盲区与深度摄像设备进行建立模型；获取深度摄像设备坐标系与人眼坐标系之间的第六映射关系；基于模型及第六映射关系获取驾驶人员在车内盲区上的视线位置。

9、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种实现车内盲区透明的投影系统，该系统包括外部双目摄像设备、车内双目摄像设备、投影设备、深度摄像设备及控制设备。外部双目摄像设备用于获取车内盲区的外部场景的图像信息；车内双目摄像设备用于获取驾驶人员的人脸图像信息；投影设备用于将投影坐标系下的投影图像信息投影至车内盲区上；深度摄像设备用于作为外部双目摄像设备和车内双目摄像设备、投影设备之间映射关系的转换；控制设备用于上述任意一项的车内盲区投影方法。

10、其中，深度摄像设备与车内双目摄像设备无视野重叠区域，投影系统还包括标定摄像设备，标定摄像设备用于获取深度摄像设备坐标系与车内双目摄像设备坐标系的第四映射关系。

11、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其内部存储有程序指令，程序指令被执行以实现上述任一项车内盲区投影方法。

12、本申请的有益效果是：区别于现有技术的情况，本申请的车内盲区投影方法通过获取车辆的车内盲区的外部场景的图像信息，并基于图像信息进行场景三维重建，可以获取车内外部盲区的三维图像信息；并将三维图像信息转换为投影坐标系下的投影图像信息，为了实现全车车内盲区的透明化，本申请的车内盲区投影方法还通过获取驾驶人员在车内盲区上的视线位置；并在视线位置上形成投影图像，从而对驾驶人员实现眼动追踪，实现了根据驾驶人员的视线位置在对应的车内盲区投影外部的图像信息。通过上述方式，本申请的车内盲区投影方法可以在不改变车辆结构的情况下保证了车辆结构的坚固性下实现了全车透明化，提高了驾驶的安全系数。

技术特征：

1.一种车内盲区投影方法，其特征在于，包括：

2.根据权利要求1所述的车内盲区投影方法，其特征在于，所述获取车内盲区的外部场景的图像信息，并基于所述图像信息进行场景三维重建，以获取三维图像信息的步骤，包括：

3.根据权利要求2所述的车内盲区投影方法，其特征在于，所述基于所述三维图像信息获取投影坐标系下的投影图像信息的步骤，包括：

4.根据权利要求3所述的车内盲区投影方法，其特征在于，所述获取所述外部双目摄像设备坐标系与所述驾驶人员的人眼坐标系之间的第一映射关系的步骤，包括：

5.根据权利要求3所述的车内盲区投影方法，其特征在于，在所述获取所述外部双目摄像设备坐标系与所述驾驶人员的人眼坐标系之间的第一映射关系的步骤之前，还包括：

6.根据权利要求5所述的车内盲区投影方法，其特征在于，所述基于所述人脸图像信息获取所述人眼坐标系的步骤，包括：

7.根据权利要求1所述的车内盲区投影方法，其特征在于，所述获取所述驾驶人员在所述车内盲区上的视线位置的步骤，包括：

8.一种实现车内盲区透明的投影系统，其特征在于，包括：

9.根据权利要求8所述的实现车内盲区透明的投影系统，其特征在于，所述深度摄像设备与所述车内双目摄像设备无视野重叠区域，所述投影系统还包括标定摄像设备，所述标定摄像设备用于获取所述深度摄像设备坐标系与所述车内双目摄像设备坐标系的第四映射关系。

10.一种计算机可读储存介质，其特征在于，内部存储有程序指令，其特征在于，所述程序指令被执行以实现权利要求1-7任意一项所述的车内盲区投影方法。

技术总结本申请公开了一种车内盲区投影方法、实现车内盲区透明的投影系统及计算机可读储存介质。该方法包括：获取车内盲区的外部场景的图像信息，并基于图像信息进行场景三维重建，以获取三维图像信息；基于三维图像信息获取投影坐标系下的投影图像信息；获取驾驶人员在车内盲区上的视线位置；基于投影图像信息在视线位置上形成投影图像。通过上述方式，本申请可以实时获取车内驾驶人员在车内盲区的视线位置，在对应的视线位置投影车内盲区的外部场景的图像信息，在不改变车辆结构的情况下保证了车辆结构的稳固性下实现了全车透明化。技术研发人员：吴超,郭奎,贾云,李屹受保护的技术使用者：深圳光峰科技股份有限公司技术研发日：技术公布日：2024/10/10