利用基于对象显著性的动态接缝布置的图像拼接用于环视可视化的制作方法

背景技术：

1、车辆环视系统(vehicle surround view systems)为车辆的占用者提供车辆周围区域的可视化。对于驾驶员而言，环视系统(surround view systems)为驾驶员提供观察周围区域的能力，而不需要重新定位(例如，转动他们的头部、离开驾驶员的座椅、倾斜某个方向等)，所述周围区域包括盲点，在盲点处，驾驶员的视线被车辆的部分或环境中的其他对象遮挡。该可视化可辅助和促进各种驾驶操纵，诸如平滑地进入或离开停车点，而不撞击易受攻击的道路用户，诸如行人或诸如路缘或其他车辆之类的对象。越来越多的车辆，特别是豪华品牌或新车型，正在生产配备有环视系统。

2、现有的车辆环视系统通常利用鱼眼相机——通常安装在车身的前侧、左侧、后侧和右侧)——从多个方向感知周围区域。在特殊情况下，如长卡车或带拖车的车辆，可能会包括额外的相机。使用相机参数对齐帧并且使用混合技术组合重叠区域以提供水平360°环视可视化，将来自各个相机的帧拼接在一起。

3、由于噪声或各种白平衡配置，在两个图像被拼接在一起的地方可出现明显的接缝。虽然可使用各种减轻措施来平滑图像像素值从一个图像到另一图像的过渡(例如，指派与其到边缘的距离成比例的像素权重、基于多分辨率的混合、基于神经网络的混合)，但显著接缝常常在拼接图像中仍可见。一些常规技术尝试避免在使用超声传感器检测到的对象之上布置接缝。然而，超声传感器通常在非常短的范围内操作。因此，常规技术仅在布置接缝时考虑非常接近的对象，有效地忽略在超声感测范围之外的潜在重要的对象，或者在超声感测范围内优先考虑较不重要的对象，并且在拼接图像的对于驾驶员安全操纵车辆潜在重要的区域上布置接缝。

4、遗憾的是，拼接图像的过程可引入多种伪影，包含几何失真(例如，未对齐)、纹理失真(例如，模糊、重影、对象消失、对象失真)和颜色失真。拼接图像中的失真可由各种问题引起，包括视差效应、透镜失真、移动对象以及曝光或照明中的差异。例如，在一些情况下，使用多个相机俘获移动对象的多个图像可实际上从不同视角捕获对象的图像，使得不同图像可用不同定向或姿势捕获对象。由于在拼接图像时对象的不同表示可能不完美地对齐，所以重叠区域可有效地将对象的图像与背景组合，从而产生可能出现在两个位置中的幻影状效果。一些对象甚至可从拼接图像中消失。由于这些拼接伪影可能使有用的视觉信息模糊并且可能使驾驶员分心，所以拼接伪影可能干扰车辆的安全操作。因此，需要改进的拼接技术，该改进的拼接技术减少拼接伪影、更好地表示拼接图像中的有用视觉信息和/或以其他方式改进拼接图像的视觉质量。

5、此外，在一些现有的环视系统中，二维(2d)图像用于近似车辆周围环境的三维(3d)视觉表示。对于给定鱼眼图像，例如，每个像素捕获从周围3d点发射并投射到鱼眼相机的中心并成像到相机传感器中的光线，该相机传感器捕获3d点的强度、颜色和取向。然而，在点与照相机中心之间的距离在投影过程中丢失。3d点可以是沿着由相机中心限定的光线和光线着陆在传感器上的点的任何地方。例如使用lidar数据或运动结构(structure frommotion，sfm)重建此距离在计算上是昂贵的并且经常是不切实际的。因此，一些环视系统将车辆周围的环境的几何形状建模成静态定形状和大小的3d碗形状，该3d碗形状包括用于碗的内部部分的圆形地平面，该圆形地平面连接至被表示为从地平面上升到一定高度或者具有与距碗中心的距离成比例地增加的斜率的曲面的外碗。照此，一些常规系统将图像投影到此3d碗形状上，从虚拟相机的视角渲染3d碗形状上的投影图像数据的视图，以及在车辆的占用者(例如，驾驶员)可见的监视器上呈现所渲染的视图。

6、然而，依赖于这种3d碗几何形状的常规技术具有多种缺点。通常，由于这种几何形状仅是模型，现实世界中的深度通常不匹配所假设的几何形状，从而导致各种视觉伪影。例如，如果相机捕获比碗的侧面更靠近车辆的对象(例如，碗的内部)，则将对象的图像投影到碗的侧面上会产生比例放大，因为深度是不正确的。碗的不同区域之间的所捕获的对象还可导致具有显著畸变的可视化。在一些情况下，碗内部的对象可能在投影过程期间部分或完全丢失，导致部分或完全对象消失。如果多个相机拾取比碗的侧面更远的对象(例如，碗的外部)，则将这些图像投影到碗的侧面上可能导致重影或复制。由于这些伪影可能使有用的视觉信息模糊或省略有用的视觉信息并且通常使驾驶员分心，这些伪影会干扰车辆的安全操作。因此，需要改进的可视化技术，该技术减少视觉伪影、更好地表示拼接图像中的有用视觉信息和/或以其他方式改进拼接图像的视觉质量。

7、此外，现有的环视系统通常不并入来自车辆下方的相机的帧，这是由于难以保持相机镜头清洁或不充分的视场覆盖。因此，现有的车辆环视系统仅能够看到车辆的前侧、左侧、后侧和右侧，留下显著的盲点：车辆下方的区域，其可以是几平方米或更多。常规技术不包括车辆下方的可视化，或者用人工像素填充区域，例如，使用纯黑来证明信息丢失，或者使用车辆的计算机图形3d模型。然而，这种车辆下方区域在许多情况下对于感知是重要的，例如：以受控的方式精确地操纵进入和离开具有高路缘的狭窄的停车空间或区域，越过减速块或坑洼，避开道路上的对象，在岩石或崎岖地形上越野驾驶，和/或其他场景。因此，传统的车辆环视系统不能提供有利于许多驾驶操纵的视觉信息。

8、最后，现有的环视系统通常限于捕获本地传感器数据并且向车辆的占用者(例如，驾驶员)呈现传感器数据的表示。随着通信和网络技术的进步，存在对促进各种远程体验和功能性的日益增长的需求。

技术实现思路

1、本公开的实施例涉及环绕视图或环境可视化、基于对象显著性的动态接缝布置、基于自我对象(ego-object)状态的动态接缝布置、用取决于距检测到的对象的距离和方向的形状建模周围环境的自适应3d碗、重建自我对象下方的区域、和/或流式传输自我对象中和自我对象周围的环境的表示。

2、与常规系统(例如上文所描述的系统)相比，动态接缝布置可用于在重叠图像数据的区域中定位接缝以避免跨越显著对象或区域。可以从表示诸如车辆的自我对象周围的环境的重叠视图的图像帧中检测对象。可以对齐图像以创建具有图像数据的重叠区域的对齐的合成图像或表面(例如，全景、360°图像、碗形表面)，并且可以生成所检测的对象和/或显著区域的表示(例如，显著性掩模(saliency mask))并且将其投影到对齐的合成图像或表面上。接缝可以被定位在重叠区域中以避免或最小化跨越投影掩模中表示的显著像素，并且图像数据可以在接缝处被混合以创建拼接的图像或表面(例如，拼接的全景图、拼接的360°图像、拼接的纹理化表面)。

3、在一些实施例中，状态机用于在默认接缝布置或避开显著区域的动态接缝布置之间进行选择，并且基于自我运动(ego-motion)的速度、自我运动的方向、与显著对象的接近度、活动视窗、驾驶员注视和/或其他因素来启用和禁用动态接缝布置。可以对齐表示环境的重叠视图的图像以创建具有图像数据的重叠区域的对齐的合成图像或表面(例如，全景、360°图像、碗形表面)，并且可以基于驾驶场景(例如，驾驶方向、速度、与附近对象的接近度)选择默认接缝布置或动态接缝布置。因此，接缝可以被定位在图像数据的重叠区域中，并且图像数据可以在接缝处被混合以创建拼接的图像或表面(例如，拼接的全景图、拼接的360°图像、拼接的纹理化表面)。

4、在一些实施例中，使用自适应3d碗使自我对象周围的环境可视化，该自适应3d碗利用基于与检测到的对象的距离(和方向)而改变的形状对环境进行建模。到检测到的对象的距离(和方向)可以使用3d对象检测或俯视的2d或3d占用栅格来确定，并且用于以不同方式适配自适应3d碗的形状(例如，通过将其地平面定尺寸为适配在距离最接近的检测到的对象的距离内)。自适应3d碗可在每个时间切片期间启用或禁用(例如，基于自我速度)，并且用于每个时间切片的3d碗可用于渲染环境的可视化(例如，俯视的投影图像、纹理化的3d碗和/或其渲染的视图)。

5、在一些实施例中，由自我对象捕获的缓存传感器数据和自我对象的自我运动用于实时重建车辆下方区域。例如，可以将车辆随时间捕获的图像数据缓存到可视化地面或可行驶区域的合成地图中，并且可以使用车辆的自我运动来检索合成地图的与车辆下方区域相对应的区域。对于每个时间切片，表示该时间切片的新捕获或生成的图像可用于生成地面的观察部分的局部地图，并且该局部地图可与表示先前观察的局部地图的合成地图合并。因此，可通过使用车辆的自我运动从合成图中检索对应像素来重建该时间切片的车辆下方区域。

6、在一些实施例中，传感器数据可由自我对象(例如，在物理环境中行驶的车辆)的传感器捕获，并且传感器数据的表示可从自我对象流式传输到远程位置以促进各种远程体验，例如，流式传输到远程观看者(例如，朋友或亲戚)、流式传输到远程或车队操作者、流式传输到被配置为自停或召唤自我对象的移动应用、渲染物理环境的3d增强现实(ar)或虚拟现实(vr)表示，和/或其他。在一些实施例中，所述流包括一个或更多个命令信道，所述命令信道用于控制数据收集、渲染、流内容或甚至车辆操纵，诸如在紧急情况、自停或召唤情境期间。