图像处理方法、介质、设备及图像处理系统与流程

1.本发明属于图像处理的技术领域，涉及一种图像处理方法、介质、设备及图像处理系统。


背景技术：

2.随着影像技术的发展，获取车辆周围的全景影像为用户带来较多便利，尤其是在驾驶过程中通过360度环视为用户带来更好的全景视觉体验。
3.然而，利用现有技术中生成的全景影像作图像处理及分析时，存在以下缺陷：现有的车载360环视系统所生成的全景影像大多是由4至8个摄像头拼接合成起来实现的，在进行全景影像显示时会存在图像缺乏立体感、拖影、叠影、变形、存在显示死角等问题，进一步地，车主在查看显示的全景影像或根据全景影像获取相关信息时，体验较差。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的一个目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，结合车辆当前的驾驶信息对车辆周围的全景影像进行高质量画面的局部影像显示。
5.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，可以根据车辆行进方向自动调整所采集的全景影像显示角度。
6.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，可以根据车外目标物体的位置自动调整所采集的全景影像显示角度。
7.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，可以根据用户需求手动调整查看全景影像中任意角度、完整清晰的影像。
8.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，在针对全景影像进行局部显示时，避免了图像缺乏立体感、拖影、叠影、变形、存在显示死角等问题。
9.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，能够将车辆采集的全景影像在不同终端上实时共享，以供不同的目标群体查看。
10.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，能够在驻车情况下识别拥堵情况而提示车主进行挪车。
11.本发明的另一目的在于提供一种图像处理方法、介质、电子设备及图像处理系统，其优势在于，能够识别靠近车辆人员的身份和意图而提示车主。
12.本发明的另一目的在于提供一种图像处理系统，其优势在于，通过全景影像设备与电子设备之间的通信，将全景影像设备生成的全景影像发送至电子设备进行图像处理，以使在后续电子设备可根据车辆行进方向/车位目标物体的位置自动调整全景影像的显示角度，其中，本发明的全景影像设备在车辆上的安装位置进行了优化，使得全景影像设备被
碰撞几率为全车最低，而且通过一体式全景镜头极大的减少了安装难度与后期维护难度。
13.为实现上述目的及其他相关目的，本发明一方面提供一种图像处理方法，所述方法包括以下步骤：获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
14.于本发明的一实施例中，所述车辆当前的驾驶信息至少包括车辆当前的方向盘角度信息、行驶速度信息和挡位信息。由此，可以结合车辆当前的方向盘角度信息、行驶速度信息和挡位信息，显示对应的局部全景影像。
15.于本发明的一实施例中，所述影像显示需求至少还包括刷新方向和刷新频率；所述车辆通过预设的传感器和/或导航定位数据确定所述车辆当前的方向盘角度信息、挡位信息和行驶速度信息；所述获取与所述车辆当前的驾驶信息匹配的影像显示需求包括以下步骤：基于所述传感器和/或所述导航定位数据计算所述全景影像的显示角度；基于所述挡位信息检测所述车辆的进退状态，进而基于所述进退状态确定所述全景影像的刷新方向；以及基于所述行驶速度信息确定所述全景影像的刷新频率。由此，可以通过传感器采集的车辆数据和/或导航定位数据提供的信息确定影像显示需求，以使显示的局部全景影像随车辆的状态变化而变化。
16.于本发明的一实施例中，所述基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分包括以下步骤：基于所述角度信息建立一角度坐标系，以将所述角度坐标系叠加于所述全景影像中；将所述显示角度在所述角度坐标系中进行定位；以及提取所述显示角度于定位处的待显示图片。由此，可以通过角度坐标系将车辆的偏转角度与全景影像的角度信息进行关联，以通过确定的显示角度定位全景影像中待显示的内容。
17.于本发明的一实施例中，所述方法还包括以下步骤：经由电子设备呈现所述全景影像。由此，可以将图像处理的电子设备与服务器进行关联，以针对生成的全景影像提供不同电子设备的多渠道显示，以及与他人之间进行影像分享；此外，还可以对生成的全景影像进行备份存储以及系统管理。
18.于本发明的一实施例中，所述方法还包括：在所述车辆处于停车状态时，对所述全景影像进行图像识别，以识别车外的会车情况；对所述全景影像进行语音识别，以识别车外人员的语音内容；基于所述会车情况和所述语音内容，确定是否需要挪车；以及响应于确定需要挪车，向所述车辆的车主发送挪车警示。由此，可以在车辆处于停车状态时，通过全景影像的识别开启“哨兵”模式，智能地识别堵车情况，以向车主发出挪车警示，使得车主在第一时间挪动车辆，更快的对道路状况进行疏通。
19.于本发明的一实施例中，所述方法还包括以下步骤：在所述车辆处于停车状态时，通过机器学习对所述全景影像进行图像识别，以识别车外人员的身份特征；基于所述身份特征，推测所述车外人员靠近所述车辆的意图；以及响应于确定所述车外人员靠近所述车辆的意图，向所述车辆的车主发送提示信息，以用于指示所述车外人员靠近所述车辆的意图和/或推荐应对措施。由此，可以在车辆处于停车状态时，通过全景影像的识别对车辆周
围的人员进行智能识别，预测车外人员接近车辆的意图，并向车主发送提示消息，使车主针对各种异常情况及时采取应对措施，还可以使车主尽量避免异常停车。
20.为实现上述目的及其他相关目的，本发明另一方面提供一种非瞬态计算机可读存储介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行所述方法的步骤。
21.为实现上述目的及其他相关目的，本发明又一方面提供一种电子设备，包括：存储器，被配置为存储一个或多个计算机程序；以及处理器，耦合至所述存储器并且被配置为执行所述一个或多个计算机程序使所述电子设备执行所述的方法。
22.为实现上述目的及其他相关目的，本发明最后一方面提供一种图像处理系统，所述图像处理系统包括：全景影像设备和所述的电子设备；所述全景影像设备与所述电子设备连接；所述全景影像设备用于生成全景影像，并将其发送至所述电子设备；所述电子设备用于获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
附图说明
23.图1显示为本发明的图像处理方法于一实施例中的原理流程图。
24.图2显示为本发明的图像处理方法于一实施例中的驾驶信息示意图。
25.图3显示为本发明的图像处理方法于一实施例中的影像显示需求获取流程图。
26.图4a显示为本发明的图像处理方法于一实施例中的显示角度计算示意图。
27.图4b显示为本发明的图像处理方法于另一实施例中的显示角度计算示意图。
28.图5显示为本发明的图像处理方法于一实施例中的全景影像提取示意图。
29.图6a显示为本发明的图像处理方法于一实施例中的角度坐标系建立流程图。
30.图6b显示为本发明的图像处理方法于一实施例中的角度坐标系建立示意图。
31.图7显示为本发明的图像处理方法于一实施例中的全景影像显示流程图。
32.图8显示为本发明的图像处理方法于一实施例中的车外人员监测示意图。
33.图9显示为本发明的图像处理方法于一实施例中的堵车检测示意图。
34.图10显示为本发明的图像处理方法于一实施例中的异常停车示意图。
35.图11显示为本发明的图像处理方法于一实施例中的儿童及携带物品监测示意图。
36.图12显示为本发明的电子设备于一实施例中的结构连接示意图。
37.图13显示为本发明的图像处理系统于一实施例中的结构原理图。
38.图14显示为本发明的图像处理系统于一实施例中的应用示意图。
39.元件标号说明
[0040]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0041]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0042]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0043]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
全景影像设备
[0044]
s11～s14
ꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
[0045]
s121～s123
ꢀꢀꢀꢀꢀꢀ
步骤
[0046]
s131～s133
ꢀꢀꢀꢀꢀꢀ
步骤
[0047]
s131a～s131c
ꢀꢀꢀꢀ
步骤
[0048]
s141～s142
ꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
[0049]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0050]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0051]
本发明所述的图像处理方法通过提供全景影像可以展示车辆各角度图像，并对采集的全景影像进行处理，为车主的生活带来更多安全保障以及提供更多便捷信息。
[0052]
以下将结合图1至图14详细阐述本实施例的一种图像处理方法、介质、设备及图像处理系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的图像处理方法、介质、设备及图像处理系统。
[0053]
请参阅图1，显示为本发明的图像处理方法于一实施例中的原理流程图。如图1所示，所述图像处理方法具体包括以下几个步骤：
[0054]
s11，获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息。
[0055]
具体地，全景影像通过720
°
全景镜头获取。720
°
全景镜头可以是前后两个大广角的鱼眼镜头一体生产而成，所获取的图像为上下左右共720
°
全角度的图像，全景镜头的固定方案优选为安装在车辆顶端，画面质量可达到4k水平，由此并不存在缺乏立体感和叠影的问题。由于全景镜头安装在车辆顶端，因此碰撞几率为全车最低；另外通过只有一个全景镜头极大的减少了安装难度与后期维护难度。
[0056]
请参阅图2，显示为本发明的图像处理方法于一实施例中的驾驶信息示意图。如图2所示，所述车辆当前的驾驶信息至少包括车辆当前的方向盘角度信息、行驶速度信息和挡位信息。
[0057]
s12，获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度。
[0058]
于一实施例中，所述影像显示需求至少还包括刷新方向和刷新频率；所述车辆通过预设的传感器和/或导航定位数据确定所述车辆当前的方向盘角度信息、挡位信息和行驶速度信息。于本实施例的一实施方式中，通过车辆的方向盘转角传感器检测所述方向盘角度信息，通过车辆的变速箱挡位传感器检测所述挡位信息，通过车辆的里程表传感器或
轮速传感器检测所述行驶速度信息，通过检测的上述信息对应确定全景影像的显示角度、刷新方向以及刷新频率。于本实施例的另一实施方式中，当方向盘转动多圈时，通过高精度的导航定位数据确定车辆的微小转动位移，从而侧面推测出车辆的转动方向，进而根据该转动方向确定显示角度，并结合车辆传感器测量的挡位信息及行驶速度信息全面的确定全景影像的影像显示需求。例如，用户在一路口进行车辆左转掉头操作，此时，方向盘向左转动多圈，将车辆掉头的整个轨迹上每一点的切线方向作为车辆的转动方向，进一步地，可选取道路中心线作为基准线，由此确定每一点切线方向的角度，进而得知车辆的转向角度。于本实施例的又一实施方式中，通过导航定位数据推测所述方向盘角度信息、挡位信息和行驶速度信息三个参数，进而根据三个参数确定影像显示需求，其中，导航定位数据推测的方式可以是车辆与导航定位设备进行通信，将方向盘角度信息、挡位信息和行驶速度信息传输至导航定位设备而获取，具体地，通过车辆传感器将采集的方向盘角度信息、挡位信息和行驶速度信息通过蓝牙、wifi等通信方式传送至导航定位设备(例如图像处理方法的执行设备为手机时，手机接收车辆传感器将采集的方向盘角度信息、挡位信息和行驶速度信息确定全景影像的显示角度)；也可以是导航定位数据根据车辆在地图上的位置变化确定车辆的偏转方向、前进与后退或行进速度等信息，例如，将车辆比作导航地图中的一个点，车辆行驶过程中，该点在地图上的位置不断变化，当该点相对于当前方向向左偏移，则判定车辆左转，当该点相对于当前位置向后移动，则判定车辆后退，该点移动的快慢则在一定程度上可以反映车辆的行驶速度。
[0059]
请参阅图3，显示为本发明的图像处理方法于一实施例中的影像显示需求获取流程图。如图3所示，s12包括：
[0060]
s121，基于所述传感器和/或所述导航定位数据计算所述全景影像的显示角度。例如，车辆向前行驶时，展示正前方画面，此时车辆右转，可以自动将画面随方向盘的转动而转动画面。
[0061]
请参阅图4a，显示为本发明的图像处理方法于一实施例中的显示角度计算示意图。如图4a所示，所述挡位信息包括d挡和r挡，通过车辆的方向盘转角传感器检测所述方向盘角度信息，所述方向盘角度信息包括左转角度和右转角度。显示角度的计算通过以下四种情况举例说明。
[0062]
响应于确定所述方向盘角度信息为所述d挡与所述左转角度，将第一预设角度减去所述左转角度作为所述显示角度。其中，所述第一预设角度为360
°
。例如，档位为d-前进档、方向盘角度为左转30度，则对应的坐标图像为360
°-
30
°
＝330
°
的显示角度所在方向。
[0063]
响应于确定所述方向盘角度信息为所述d挡与所述右转角度，将所述右转角度作为所述显示角度。例如，档位为d-前进档、方向盘角度为右转20度，则对应的坐标图像为20
°
的显示角度所在方向。
[0064]
响应于确定所述方向盘角度信息为所述r挡与所述左转角度，将第二预设角度加上所述左转角度作为所述显示角度。其中，所述第二预设角度为180
°
。例如，档位为r-倒退档，方向盘角度为左转40度，则对应的坐标图像为180
°
40
°
＝220
°
的显示角度所在方向。
[0065]
响应于确定所述方向盘角度信息为所述r挡与所述右转角度，将第二预设角度减去所述右转角度作为所述显示角度。例如，档位为r-倒退档，方向盘角度为右转10度，则对应的坐标图像为180
°-
10
°
＝170
°
的显示角度所在方向。
[0066]
请参阅图4b，显示为本发明的图像处理方法于另一实施例中的显示角度计算示意图。如图4b所示，呈现了通过导航定位数据计算所述全景影像的显示角度，以实现行车影像跟踪拍摄，可以在行车过程中通过全景影像全程记录周围影像，尤其是车主感兴趣的目标物或预测车主可能感兴趣的目标物。
[0067]
具体地，通过全景影像识别poi(point of information，信息点或兴趣点)地点，可根据周围poi地点数据通过语音提示驾驶者“您的右前方为东风明珠电视塔，是否需要跟踪拍摄”，或由驾驶者自行语音控制或点击屏幕位置圈选周围poi内容，来进行跟踪拍摄。输出拍摄指令后，基于poi地点的gps坐标、外形轮廓、明显标识在获取的全景影像中对poi进行识别，从而跟踪拍摄poi地点影像。
[0068]
于实际应用中，如图4b中的(a)图所示，poi点为东方明珠电视塔，poi点与车辆按照经纬度计算夹角：通过导航定位数据确定车辆的定位信息，以获取车辆坐标，于导航地图中确定车辆坐标和poi地点的坐标，通过角度计算可计算出夹角度数。例如，设车辆坐标为(0，0)，poi点位置为(x，y)，则tan∠a＝|x|
÷
|y|，因而可以求出∠a＝arctan(|x|
÷
|y|)。根据夹角可展示相应角度的全景影像。
[0069]
进一步地，如图4b中的(b)图所示，通过每秒计算一次角度，来实时展示poi图像，实现随车展示poi点影像，例如，通过导航定位数据确定东方明珠电视塔与车辆的夹角逐渐由30度变为75度，则相应的，全景影像的显示角度也由30度变为75度。
[0070]
更进一步的，在针对东方明珠电视塔进行跟踪拍摄与全景影像显示的同时，向用户提供东方明珠电视塔相关信息的语音解说，起到“智能导游”的作用。
[0071]
由此，可以实现根据车主的喜好及发出的指令智能地识别poi，并确定全景影像中poi的显示角度，进而持续跟踪、显示相应的全景影像部分；并且通过轮廓识别或地图中poi坐标智能预测车辆经过区域中的标志性事物(目标物或事件)，例如车主可能感兴趣的标志性建筑物，进而实现全景影像的自动跟踪拍摄与显示以及提供语音导游功能。
[0072]
s122，基于所述挡位信息检测所述车辆的进退状态，进而基于所述进退状态确定所述全景影像的刷新方向。
[0073]
s123，基于所述行驶速度信息确定所述全景影像的刷新频率。
[0074]
s13，基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
[0075]
请参阅图5，显示为本发明的图像处理方法于一实施例中的全景影像提取示意图。如图5所示，s13包括：
[0076]
s131，基于所述角度信息建立一角度坐标系，以将所述角度坐标系叠加于所述全景影像中。
[0077]
请参阅图6a，显示为本发明的图像处理方法于一实施例中的角度坐标系建立流程图。如图6a所示，s131包括：
[0078]
s131a，将所述全景影像转换为球型图像。具体地，全景影像是将2：1比例的图像，通过畸形图形处理算法将图像折成球型图像。具体地，畸形图形处理算法的实现步骤包括：首先，将全景影像放大为矩形图像，以进行局部変形，例如，输入全景影像的一个源像素点l(x，y)经过seam carving算法放大后，位置移动到l’(x，y)，由此，可以计算得到其运动场(光流场)u(x，y)＝l’(x，y)-l(x，y)，以便计算出全景图像变为矩形图像后，每个像素点的u
(x，y)运动向量；然后，对矩形图像进行网格划分，根据-u(x，y)记录每个网格顶点的新位置；最后，将网格顶点的新位置作为控制顶点，利用相似变换的变形方法，对全景图像进行全局变形，以得到球型图像。
[0079]
s131b，在所述球型图像中以水平线为中心标线，确定中心水平图像。
[0080]
s131c，对所述中心水平图像建立所述角度坐标系。
[0081]
s132，将所述显示角度在所述角度坐标系中进行定位。
[0082]
s133，提取所述显示角度于定位处的待显示图片。
[0083]
请参阅图6b，显示为本发明的图像处理方法于一实施例中的角度坐标系建立示意图。如图6b所示，图6b呈现了中心水平图像的实景图，车辆位于圆形的角度坐标系中心，由此，可以环视一周的所有景象。例如，车辆在行驶过程中在档位为d-前进档、方向盘角度为左转90度，此时，车辆的朝向为定位至图6b中的270
°
方向，由此，270
°
方向作为显示角度，车辆正前方可拍摄到高楼作为与显示角度对应的呈现出的全景影像部分，即当前时刻的待显示图片。
[0084]
请参阅图7，显示为本发明的图像处理方法于一实施例中的全景影像显示流程图。如图7所示，所述图像处理方法还包括s14，于一实施例中，s14包括：
[0085]
s141，结合所述影像显示需求的变化，连续确定不同时刻的所述待显示图片。
[0086]
s142，将多张所述待显示图片按照时间先后顺序进行显示，以此根据所述影像显示需求的实时变化进行全景影像不同部分的相应显示。
[0087]
于一实施例中，所述图像处理方法还包括：
[0088]
s15，经由电子设备呈现所述全景影像。
[0089]
于一实施例中，将所述全景影像发送至用于全景影像显示的电子设备，以便于呈现所述全景影像。
[0090]
于另一实施例中，将所述全景影像发送至服务器，以经由所述服务器将所述全景影像发送至用于显示全景影像的电子设备，以便于呈现所述全景影像。
[0091]
具体地，云端上传的全景图像可供家人、朋友查看行车周围全景视频，作为线上旅行的内容支持，家人在家可以看到行驶路上的全部风光。于实际应用中，所述全景影像的查看方式可以是通过车机、手机、iot(the internet of things，物联网)设备、hud(head up display，抬头显示)设备、全息影像设备或其他具备显示功能的设备进行显示。所述全景影像的查看可以随时随地，既可以是安全情况下驾车时，如堵车或正常驾驶时查看驾驶盲区的图像，也可以是停车时通过车内显示设备进行查看，还可以是亲朋好友在家中或其他场地通过手机或物联网设备进行查看，也可以是发生交通事故时，通过交通部门的工作设备调取后进行查看。
[0092]
本发明中所述的全景影像在车主停车期间，执行“哨兵”模式进行监测，通过对全景影像拍摄内容的识别，判断车辆可能发生的异常或突发情况。
[0093]
于实际应用场景中，全景影像全程记录车辆异常移动、碰撞、剐蹭等信息，为后期追溯提供佐证。
[0094]
于实际应用场景中，车主在临时停车(去买药或购买急需物品)时，通过全景影像的记录与识别，对靠近车辆的车外人员进行识别。于实际情况中，车外人员可以是车主临时停车堵塞道路，急需联系车主挪车，可以是发广告的车外人员、贴罚单的交警或附近大楼保
安人员，还可以是停车时即将进入该车辆的人员与走出该车辆的人员。请参阅图8，显示为本发明的图像处理方法于一实施例中的车外人员监测示意图。如图8所示，通过720度全景镜头拍摄到车辆周边有车外人员正在靠近该车辆，进而对全景影像进行图像识别，以分析该车外人员的靠近意图。
[0095]
一方面，车外人员为车主临时停车堵塞道路，急需联系车主挪车的人员。请参阅图9，显示为本发明的图像处理方法于一实施例中的堵车检测示意图。如图9所示，车主临时停车并离开车辆期间，全景影像全程记录车辆周边路况，通过全景影像中图像信息呈现出b车与c车与车主车辆的车距较小，通过全景影像中监测出车主车辆的车尾与b车和c车的车头横向间距较小，且继续行驶有碰撞的可能，判定为会车情况较差，具体地，对全景影像中车辆的车尾、b车的车头和c车的车头进行轮廓提取，计算车辆的车尾与b车的车头的横向间距d1，计算车辆的车尾与c车的车头的横向间距d2，根据全景影像的拍摄比例，将d1与d2转换为实际的横向间距d1、d2，当存在一间距d1或d2小于10cm时，则判定为会车情况较差；通过全景影像中音频信息提供的车外人员(c车中走出的驾驶员)谈话信息对车主是否需要挪车作出判断。例如，车外人员在讲“现在的距离无法通过，需联系车主挪车呀”，通过语音内容识别，提取语音中的关键词“距离”、“挪车”等，进而利用自然语言处理方法对提取的关键词进行语义识别，以判定车主需要挪车。具体包括以下步骤：
[0096]
(a1)在所述车辆处于临时停车状态时，对所述全景影像进行图像识别，以识别车外的会车情况，具体包括以下步骤：
[0097]
(a1-1)对所述全景影像中的他人车辆进行识别，根据所述全景影像与实景的呈现比例测算所述他人车辆与所述车辆之间的车距。
[0098]
(a1-2)将所述车距与预设车距阈值进行比较，以评估所述他人车辆正常通过的可能性。
[0099]
(a1-3)响应于确定所述车距小于所述预设车距阈值，判定车外的会车情况为拥堵。
[0100]
(a2)对所述全景影像进行语音识别，以识别车外人员的语音内容。
[0101]
(a3)根据所述会车情况和所述语音内容，确定是否需要挪车。
[0102]
(a4)响应于确定需要挪车，向所述车辆的车主发送挪车警示。
[0103]
另一方面，车外人员为发广告的车外人员、贴罚单的交警或附近大楼保安人员请参阅图10，显示为本发明的图像处理方法于一实施例中的异常停车示意图。如图10所示，通过720度全景镜头获取的全景影像中识别到有一身着工作服的车外人员正在靠近车辆。进一步识别工作服为保安服装、志愿者服装、交通警服或公司店铺服装，并识别车外人员随身携带物品。例如，图10中车外人员为大楼保安人员，手持手电筒，在晚上路过检查大楼车位上的异常停放车辆。具体包括以下步骤：
[0104]
(b1)在所述车辆处于临时停车状态时，通过机器学习对所述全景影像进行图像识别，以识别车外人员的身份特征。具体包括以下步骤：
[0105]
(b1-1)对所述全景影像进行静态图片提取。
[0106]
(b1-2)将所述静态图片输入预先训练的人员身份识别模型中进行图像识别，所述图像识别的因素包括人员着装及人员随身携带的标识物品。
[0107]
(b2)根据所述身份特征，推测所述车外人员靠近所述车辆的意图。
[0108]
(b3)响应于确定所述车外人员靠近所述车辆的意图，向所述车辆的车主发送提示信息，以用于指示所述车外人员靠近所述车辆的意图和/或推荐应对措施。
[0109]
另一方面，车外人员为停车时即将进入该车辆的人员与走出该车辆的人员。请参阅图11，显示为本发明的图像处理方法于一实施例中的儿童及携带物品监测示意图。如图11所示，通过全景影像识别出车主进车时携带一份文件并且有儿童陪同，离开车辆时仅有车主自己离开。结合车辆点火数据与熄火数据的时刻，提取对应时刻下全景影像中车主进车时的图像与离车时的图像，并进行图像对比，由此，判断车主离车时忘记携带文件或者将儿童遗忘至车内，以此向车主发出提醒，以使车主针对提醒信息进行灵活处理，作出判断，是否确实遗忘物品或儿童还是短时间离开，即刻返回，于该实施例中，通过全景影像的智能监测与图像识别，向用户发出遗忘提醒，由此，大大降低了车主因遗忘物品必须返回车辆中再次取出导致重要事务的耽搁这一可能性，或降低了车主将儿童遗忘至车内导致危险发生的可能性。
[0110]
本发明所述的图像处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0111]
本实施例提供一种非瞬态计算机可读存储介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行所述图像处理方法。所述图像处理方法包括：获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
[0112]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
[0113]
请参阅图12，显示为本发明的电子设备于一实施例中的结构连接示意图。如图12所示，本发明所述的电子设备1包括：处理器11和存储器12；所述存储器12被配置为存储一个或多个计算机程序；所述处理器11耦合至所述存储器12并且被配置为执行所述一个或多个计算机程序使所述电子设备1执行如图1-图5、图6a、图7所示的图像处理方法。所述电子设备包括但不限于可以通过网络连接获取全景影像的平板电脑、智能手机、个人数字助理(personal digital assistant，简称pda)、车机端或是智能眼镜、智能手表或其他可穿戴设备。
[0114]
上述的处理器11可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(alication specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。所述处理器11用于执行如图1-图5、图6a、图7所示的图像处理方法的计算机程序，所述图像处理方法包括：获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内
容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
[0115]
上述的存储器12可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述存储器12用于存储如图1-图5、图6a、图7所示的图像处理方法的计算机程序，所述图像处理方法包括：获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
[0116]
于一实施例中，所述电子设备为车机，由微处理器(mcu)、存储器(rom、ram)、输入/输出接口(i/o)、模数转换器(a/d)以及整形、驱动等大规模集成电路组成。其中，微处理器(mcu)用于执行所述图像处理方法的计算机程序，存储器(rom、ram)用于存储所述图像处理方法的计算机程序。所述图像处理方法包括：获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
[0117]
请参阅图13，显示为本发明的图像处理系统于一实施例中的结构原理图。如图13所示，本发明所述的图像处理系统包括：电子设备1和全景影像设备2；所述全景影像设备2与所述电子设备1连接。
[0118]
所述全景影像设备2用于生成全景影像，并将其发送至所述电子设备1。
[0119]
所述电子设备1用于获取车辆周围的全景影像以及车辆当前的驾驶信息；所述全景影像包含与其呈现内容对应的角度信息；获取与所述车辆当前的驾驶信息匹配的影像显示需求；所述影像显示需求中包括显示角度；基于与所述显示角度一致的角度信息，提取与所述角度信息对应的全景影像部分，以便在车内显示设备中结合所述影像显示需求的变化而呈现所述全景影像部分。
[0120]
请参阅图14，显示为本发明的图像处理系统于一实施例中的应用示意图。如图14所示，于实际应用中，所述全景影像设备为全景相机，所述电子设备为车机端。全景相机可在车辆出厂前，前装在车辆顶部完成安装，也可在后期改装的过程中增加全景相机。优选的，全景相机安装在车辆顶中间，通过usb数据线连接至车辆的tbox控制器，以实现将获取的全景影像传输至车辆中进行图像处理。具体地，通过车机端的车载控制器(即tbox控制器)对全景影像进行统一计算、处理、图像输出至中控屏幕上。进一步地，已经获取的全景影像，可保存在与tbox控制器有数据传输关联的存储设备中(例：u盘)，以供车主或拥有权限的车主的亲朋好友以及有查看需求的人员在后续查看行车全景影像记录视频。tbox控制器也可通过4g-sim卡将已经成像的全景影像，上传至云端服务器进行云端保存，以便对上传的全景影像进行存储备份、系统化管理以及按照查看需求向待显示的电子设备下发相应的
全景影像。
[0121]
本发明所述的图像处理系统可以实现本发明所述的图像处理方法，但本发明所述的图像处理方法的实现设备包括但不限于本实施例列举的图像处理系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0122]
综上所述，本发明所述图像处理方法、介质、设备及图像处理系统通过全景镜头获取的全景影像可动态地720
°
成像到显示设备上，可展示行车各角度图像。通过结合车辆的方向盘转角数据，可实现随车行驶自动转换成像的画面。通过在驾车或停车时提供全车720
°
全景图像记录，可以针对监测的全景图像中的异常情况向车主反馈提示信息，也可以在事故、违章、车辆剐蹭情况发生时提供画面证据。通过云端账户可以登录到全景镜头关联的应用程序界面，以便拥有权限的用户在任何地方均可查看车辆周围情况。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0123]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。