一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

分布式设备能力虚拟化方法、介质和电子设备与流程

2022-08-17 06:58:00 来源:中国专利 TAG:


1.本技术涉及物联网技术领域,特别涉及分布式设备能力虚拟化方法、介质和电子设备。


背景技术:

2.分布式设备能力虚拟化指的是在两台不同的电子设备之间,通过将其中一台电子设备的器件(例如摄像头、麦克风、扬声器等)作为另一台电子设备中的虚拟器件,达到分布式场景下,电子设备之间共享器件能力(例如拍摄能力、拾音能力、放音能力等)的效果。例如,手机使用智能电视的摄像头实现视频通话;又如手机使用平板电脑的屏幕显示内容,同时使用平板电脑的摄像头进行视频通话等。
3.现有技术仅支持两个电子设备之间的器件能力虚拟化。例如,手机借助无人机的拍摄能力拍摄广角视频。而在实际应用中,会存在两台电子设备都需要使用同一台电子设备的同一设备能力的诉求。例如,多个手机需要同时借助同一无人机的拍摄能力拍摄广角视频。
4.但是,由于提供器件能力的电子设备自身的结构性能限制,提供器件能力的电子设备仅支持与一台电子设备连接,提供器件能力的电子设备不支持分别与多台电子设备同时连接并传递多路相同的通过器件能力得到的数据。或者提供器件能力的电子设备与其他电子设备之间的距离较远,无法通过近距离通信技术直接实现提供器件能力的电子设备与其他电子设备连接并为其提供器件能力,影响用户体验。


技术实现要素:

5.本技术实施例提供了分布式设备能力虚拟化方法、介质和电子设备。
6.第一方面,本技术实施例提供了一种分布式设备能力虚拟化方法,该方法包括:第一电子设备与第二电子设备之间建立第一级通信关系,其中,所述第一级通信关系用于指示所述第一电子设备向所述第二电子设备提供预设能力;
7.第三电子设备向所述第二电子设备发送建立第二级通信关系请求;其中,所述第二级通信关系请求用于所述第三电子设备从所述第二电子设备获取通过所述第二电子设备利用所述预设能力的授权;
8.在所述第二电子设备根据所述第二级通信关系请求授予所述第三电子设备与所述第二电子设备之间建立第二级通信关系的情况下,所述第三电子设备与所述第二电子设备与之间建立第二级通信关系,其中,所述第二级通信关系用于指示所述第三电子设备通过所述第二电子设备利用所述预设能力。
9.本技术实施例中,所述预设能力可以为拍摄能力、音频播放能力、音频采集能力等。下面以拍摄能力为例进行说明。
10.本技术实施例中,第一电子设备可以为无人机,第二电子设备可以为主播助手的手机,第三电子设备可以为主播的手机。
11.在无人机与主播助手的手机之间建立第一级通信关系的情况下,无人机可以向主播助手的手机提供拍摄能力,即主播助手的手机可以控制无人机的工作状态和数据传输状态。
12.在主播的手机与主播助手的手机之间建立第二级通信关系的情况下,主播助手的手机为主播的手机提供拍摄能力,即主播的手机可以通过主播助手的手机控制无人机的工作状态和数据传输状态。
13.例如,主播助手的手机可以获取无人机采集的画面对应的视频数据,在主播助手观看该视频的情况下,主播助手可以通过主播助手的手机对无人机进行控制,例如调整无人机的拍摄视野和拍摄角度等,为主播选取较佳的画面。
14.而主播便可以通过主播助手的手机获取无人机拍摄的视频数据,同时使用自己手机的前置摄像头拍摄自己。且手机将通过主播助手的手机从手机获取到的视频数据和自己手机的物理摄像头采集的图像数据进行合并,可实现双景(同时采集两路画面,例如无人机采集的画面和主播的手机拍摄的画面)直播。
15.如此,解决了由于提供器件能力的电子设备(例如无人机)自身的结构性能限制,例如,提供器件能力的电子设备(例如无人机)仅支持与一台电子设备连接,不支持分别与多台电子设备(例如手机和手机)同时连接并传递多路相同的通过器件能力得到的数据。又如,提供器件能力的电子设备(例如无人机)与其他电子设备之间的距离较远,无法通过近距离通信技术直接实现提供器件能力的电子设备(例如无人机)与其他电子设备(手机)连接并为其提供器件能力的问题,实现了器件能力的多级共享(例如手机和手机共享视频数据),提高了用户体验。
16.本技术的另外一个实施例中,第一电子设备可以为矿车,第二电子设备可以为控制矿车运动来进行采煤的电脑,第三电子设备可以为通过电脑监督矿车在采煤过程中的运动视频的手机。
17.在矿车与电脑之间建立第一级通信关系的情况下,矿车可以向电脑提供拍摄能力,即电脑可以控制矿车的工作状态和/或数据传输状态。
18.在手机与电脑之间建立第二级通信关系的情况下,电脑为手机提供拍摄能力,即手机可以通过电脑控制矿车的工作状态和/或数据传输状态。
19.电脑可以获取矿车拍摄的前进路上的视频数据,电脑使用者便可以基于对电脑的虚拟摄像头的操作实现对矿车进行控制,例如调整矿车的运动方向和速度等。
20.而手机的使用者便可以通过电脑的虚拟摄像头获取矿车拍摄的视频数据,监督矿车在采煤过程。
21.如此,解决了由于提供器件能力的电子设备(例如矿车)自身的结构性能限制,提供器件能力的电子设备(例如矿车)仅支持与一台电子设备连接,提供器件能力的电子设备(例如矿车)不支持分别与多台电子设备(例如电脑和手机)同时连接并传递多路相同的通过器件能力得到的数据。或者提供器件能力的电子设备(例如矿车)与其他电子设备(手机)之间的距离较远,无法通过近距离通信技术直接实现提供器件能力的电子设备(例如矿车)与其他电子设备(手机)连接并为其提供器件能力的问题,实现了器件能力的多级共享(例如电脑和手机共享视频数据),提高了用户体验。
22.在上述方面的一种可能的实现中,上述方法还包括:在所述第三电子设备向第二
电子设备发送第一调用指令,所述第二电子设备根据所述第一调用指令向第一电子设备发送第二调用指令的情况下;
23.所述第一电子设备根据所述第二调用指令向所述第二电子设备提供所述预设能力;
24.所述第二电子设备根据所述第一调用指令向所述第三电子设备提供预设能力。
25.本技术实施例中,第一电子设备可以为无人机,第二电子设备可以为主播助手的手机,第三电子设备可以为主播的手机。
26.在主播的手机检测到用户调用分布式能力虚拟化的用户操作的情况下,主播的手机向主播助手的手机发送调用指令,主播助手的手机根据主播的手机发送的调用指令向无人机发送调用指令,然后无人机便可以根据主播助手的手机发送的调用指令向主播助手的手机提供拍摄功能。即主播助手的手机可以控制无人机的工作状态和/或数据传输关系。例如,无人机将通过拍摄采集的视频数据发送给主播助手的手机。又如,主播助手的手机可以向无人机发送控制指令,调整无人机的拍摄视野和拍摄角度等。
27.主播助手的手机根据主播的手机发送的调用指令向主播的手机提供无人机的拍摄功能。即主播的手机可以通过主播助手的手机控制无人机的工作状态和/或数据传输状态。例如,主播助手的手机向主播的手机发送从无人机接收到的视频数据。又如,主播的手机可以通过主播助手的手机向无人机发送控制指令,调整无人机的拍摄视野和拍摄角度等。又如,主播的手机可以向主播助手的手机发送控制指令,控制主播助手的手机的视频数据发送状态等,例如,暂停发送视频数据、关闭视频数据发送功能等。
28.在上述方面的一种可能的实现中,上述方法还包括:所述第一电子设备根据所述第二调用指令向所述第二电子设备提供所述预设能力;
29.所述第二电子设备根据所述第一调用指令向所述第三电子设备提供预设能力,包括:所述第一电子设备向所述第二电子设备发送实现所述预设能力产生的第一数据;
30.所述第二电子设备向所述第三电子设备发送从所述第一电子设备接收到的所述第一数据。
31.本技术实施例中,所述预设能力可以为拍摄能力、音频采集能力等。若预设能力为拍摄能力,则第一数据可以为视频数据或者图像数据,若预设能力为音频采集能力,则第一数据可以为音频数据,下面以拍摄能力为例进行说明。
32.在主播的手机向主播助手的手机发送调用指令,主播助手的手机根据主播的手机发送的调用指令向无人机发送调用指令的情况下,无人机根据主播助手的手机发送的调用指令向主播的手机提供拍摄能力。例如,无人机将通过拍摄采集的视频数据发送给主播助手的手机。主播助手的手机根据主播的手机发送的调用指令向主播的手机提供无人机的拍摄能力。例如,主播助手的手机向主播的手机发送无人机利用拍摄能力采集的视频数据。
33.在上述方面的一种可能的实现中,上述方法还包括:所述第一电子设备根据所述第二调用指令向所述第二电子设备提供所述预设能力;
34.所述第二电子设备根据所述第一调用指令向所述第三电子设备提供预设能力,包括:
35.所述第三电子设备向所述第二电子设备发送实现所述预设能力产生的第二数据;
36.所述第二电子设备向所述第一电子设备发送从所述第三电子设备接收到的所述
第二数据。
37.本技术实施例中,第一电子设备可以为音箱。所述预设能力可以为音频播放能力。第二数据可以为音频。所述第三电子设备向所述第二电子设备发送实现音频播放产生的音频数据;所述第二电子设备向音箱发送从所述第三电子设备接收到的音频数据,音箱根据音频数据播放声音。
38.在上述方面的一种可能的实现中,上述方法还包括:所述预设能力包括拍摄能力、音频播放能力、音频采集能力中的一种或者多种。
39.在上述方面的一种可能的实现中,上述方法还包括:在所述第三电子设备获取与所述第一电子设备建立第三级通信关系指令,所述第三电子设备根据所述建立第三级通信关系指令向第二电子设备发送解除第二级通信关系指令的情况下,所述第二电子设备根据所述解除第二级通信关系指令向第三电子设备发送所述第一电子设备的设备信息并关闭第二级通信关系;
40.所述第三电子设备根据所述第一电子设备的设备信息与所述第一电子设备之间建立第三级通信关系,其中,所述第三级通信关系用于指示所述第一电子设备向所述第三电子设备提供预设能力。
41.第二方面,本技术实施里提供了一种分布式设备能力虚拟化方法,该方法包括:第二电子设备接收第三电子设备发送的建立第二级通信关系请求;
42.在所述第二电子设备根据所述第二级通信关系请求授予所述第三电子设备与所述第二电子设备之间建立第二级通信关系的情况下,所述第三电子设备与所述第二电子设备与之间建立第二级通信关系,其中,所述第二级通信关系用于指示所述第三电子设备通过所述第二电子设备利用第一电子设备的预设能力。
43.在上述方面的一种可能的实现中,上述方法还包括:所述第二电子设备接收所述第三电子设备发送的第一调用指令,所述第二电子设备根据所述第一调用指令向第一电子设备发送第二调用指令的情况下;
44.所述第二电子设备根据所述第一调用指令向所述第三电子设备提供预设能力。
45.在上述方面的一种可能的实现中,所述第二电子设备向所述第三电子设备发送从所述第一电子设备接收到的第一数据。
46.在上述方面的一种可能的实现中,所述第二电子设备根据所述第一调用指令向所述第三电子设备提供预设能力,包括:
47.所述第二电子设备向所述第一电子设备发送从所述第三电子设备接收到的第二数据。
48.在上述方面的一种可能的实现中,所述预设能力包括拍摄能力、音频播放能力、音频采集能力中的一种或者多种。
49.在上述方面的一种可能的实现中,上述方法还包括:在所述第三电子设备获取与所述第一电子设备建立第三级通信关系指令,所述第三电子设备根据所述建立第三级通信关系指令向第二电子设备发送解除第二级通信关系指令的情况下,所述第二电子设备根据所述解除第二级通信关系指令向第三电子设备发送所述第一电子设备的设备信息并关闭第二级通信关系。
50.第三方面,本技术实施例还提供了一种可读介质,所述可读介质上存储有指令,该
指令在电子设备上执行时以实现第一方面和第二方面任一可能的实现分布式设备能力虚拟化方法。
51.第四方面,本技术实施例还提供了一种电子设备,包括:
52.存储器,用于存储指令;以及
53.处理器,所述处理器用于执行所述指令以实现第二方面任一可能的实现分布式设备能力虚拟化方法。
附图说明
54.图1a根据本技术的一些实施例,示出了三台电子设备通过级联方式实现视频数据共享的一种应用场景图;
55.图1b根据本技术的一些实施例,示出了三台电子设备通过级联方式实现视频数据共享的另一种应用场景图;
56.图2根据本技术的一些实施例,示出了一种实现手机300、手机200和无人机100之间的视频数据的多级无线传输的系统架构图;
57.图3根据本技术的一些实施例,示出了一种实现手机300的使用者(例如主播)通过手机200的虚拟摄像头获取无人机100(例如无人机)拍摄的视频数据,使用手机300的前置摄像头拍摄自己的手机300的软件架构图;
58.图4根据本技术的一些实施例,示出了无人机100、手机200和手机300之间建立级联关系的一种流程示意图;
59.图5根据本技术的一些实施例,示出了一种无人机100中的摄像头的控制和数据传输授权过程示意图;
60.图6根据本技术的一些实施例,示出了一种由无人机100发起的级联解除流程示意图;
61.图7根据本技术的一些实施例,示出了一种由中间设备手机200发起的级联解除流程示意图;
62.图8根据本技术的一些实施例,示出了一种实现本技术技术方案的无人机100的结构示意图;
63.图9根据本技术的一些实施例,示出了一种实现本技术技术方案的手机200的结构示意图;
64.图10根据本技术的一些实施例,示出了一种手机200的软件结构框图。
具体实施方式
65.本技术的说明性实施例包括但不限于分布式设备能力虚拟化方法、介质和电子设备。下面通过附图和实施例,对本技术实施例的技术方案做进一步地详细描述。
66.为了便于理解,先介绍本技术实施例中用到的一些术语。
67.原始设备:用于提供实际物理器件能力的设备。例如,实际物理器件可以为原始设备的摄像头、话筒、扬声器等,与实际物理器件对应的实际物理器件能力可以为拍摄能力、拾音能力(音频采集能力)、放音能力(音频播放能力、电声转换能力、扬声能力)等,但不限于此。
68.一级设备:用于使用原始设备的物理器件能力,在一级设备创建虚拟设备节点。例如,使用原始设备的摄像头,在一级设备创建虚拟摄像头节点,一级设备便可以接收原始设备的摄像头采集的视频数据。
69.二级设备:用于使用一级设备的虚拟设备能力,在二级设备创建二级虚拟设备节点。例如,使用一级设备的虚拟摄像头的拍摄能力,在二级设备创建二级虚拟摄像头节点,二级设备便可以接收一级设备从原始设备的摄像头采集的视频数据。
70.除了原始设备、一级设备和二级设备之间进行级联,即通过级联的方式实现多级的虚拟化能力,依次传输数据外,还可以为至少三个设备级联,并依次传输数据。如此,实现了多级设备之间依次传输源设备采集的数据功能。
71.下面以三个设备级联,虚拟设备能力为拍摄能力为例,介绍本技术实施例提供的数据传输方案。
72.图1a根据本技术的一些实施例,示出了三台电子设备通过级联方式实现视频数据共享的一种应用场景图。
73.如图1a所示,该应用场景中包括电子设备100、电子设备200和电子设备300,其中,电子设备100作为上文中提到的提供实际拍摄能力的原始设备,电子设备200作为使用原始设备的拍摄能力的一级设备,电子设备300作为上文中提到的使用一级设备的虚拟拍摄能力的二级设备。
74.为了便于说明,下面以电子设备100是无人机100、电子设备200为主播助手的手机200,电子设备300为主播的手机300的双景直播场景为例进行描述。
75.在采用拍摄性能较佳(例如拍摄视野较广)的无人机100的应用场景中,无人机100能够拍摄视野较广的视频数据,无人机100可以向主播助手的手机200提供拍摄视野较广的视频数据的能力,主播助手的手机200可以向主播的手机300提供无人机100拍摄视野较广的视频数据的能力。
76.具体地,在采用拍摄性能较佳(例如拍摄视野较广)的无人机100来实现双景直播(无人机100采集的画面和主播的手机300拍摄的画面)的应用场景中,例如,如图1a所示,在该应用场景中,无人机100能够拍摄视野较广的视频数据,主播助手的手机200将无人机100的摄像头通过虚拟化流程创建为一级虚拟摄像头,主播的手机300通过二级虚拟化的过程将主播助手的手机200上的虚拟摄像头创建为主播的手机300的二级虚拟摄像头。
77.如此,主播助手的手机200可以获取无人机100采集的画面对应的视频数据,在主播助手观看该视频的情况下,主播助手便可以基于对手机200的虚拟摄像头的操作实现对无人机100的控制,例如调整无人机100的拍摄视野和拍摄角度等,为主播选取较佳的画面。
78.而主播便可以通过手机200的虚拟摄像头获取无人机100拍摄的视频数据,同时使用手机300的前置摄像头拍摄自己。且手机300将通过虚拟摄像头从手机200获取到的的视频数据和手机300自身的物理摄像头采集的图像数据进行合并,可实现双景(同时采集两路画面,例如无人机100采集的画面和主播的手机300拍摄的画面)直播。
79.如上文所述,在图1a所示的场景中,为了解决背景技术中的问题,本技术实施例在无人机100中设置将无人机100拍摄的视频数据发送给手机200的数据传输路径关系,在手机200中设置手机200接收提供拍摄能力的无人机100发送过来的视频数据的数据传输路径关系以及设置手机200将从无人机100接收到的视频数据发送给手机300的数据传输路径,
在手机300中设置手机300从手机200接收到无人机100发送过来的视频数据的数据传输路径关系,如此,解决了由于提供器件能力的电子设备(例如无人机100)自身的结构性能限制,例如,提供器件能力的电子设备(例如无人机100)仅支持与一台电子设备连接,不支持分别与多台电子设备(例如手机200和手机300)同时连接并传递多路相同的通过器件能力得到的数据。又如,提供器件能力的电子设备(例如无人机100)与其他电子设备之间的距离较远,无法通过近距离通信技术直接实现提供器件能力的电子设备(例如无人机100)与其他电子设备(手机300)连接并为其提供器件能力的问题,实现了器件能力的多级共享(例如手机200和手机300共享视频数据),提高了用户体验。
80.图1b根据本技术的一些实施例,示出了三台电子设备通过级联方式实现视频数据共享的另一种应用场景图。
81.如图1b所示,该应用场景中包括电子设备100、电子设备200和电子设备300,其中,电子设备100作为上文中提到的提供实际拍摄能力的原始设备,电子设备200作为使用原始设备的拍摄能力的一级设备,电子设备300作为上文中提到的使用一级设备的虚拟拍摄能力的二级设备。
82.为了便于说明,下面再以电子设备100是采煤的矿车100、电子设备200为控制矿车100运动来进行采煤的电脑200,电子设备300为通过电脑200监督矿车100在采煤过程中的运动视频的手机300的控制矿车采煤应用场景为例进行描述。
83.在该场景中,具备拍摄能力的矿车100能够为电脑200拍摄前进路上的视频数据的能力,电脑200能够为手机300提供矿车100拍摄前进路上的视频数据的能力。
84.具体地,如图1b所示,在该应用场景中,一方面,若矿车100同时向电脑200和手机300发送两路相同的视频数据,需要占用较大的带宽,由于矿车100在井下,受限于网络较差的地下环境,矿车100无法同时或者稳定地向电脑200和手机300传输采集到的数据。矿车100不适合同时连接电脑200和手机300并向电脑200和手机300发送视频数据。另一方面,由于矿车100的性能较弱,不具有提供向电脑200和手机300发送两路相同的视频数据的能力。
85.因此,电脑200将矿车100的摄像头通过虚拟化流程创建为一级虚拟摄像头,手机300通过二级虚拟化的过程将电脑200上的虚拟摄像头创建为手机300的二级虚拟摄像头。
86.如此,电脑200可以获取矿车100拍摄的前进路上的视频数据,电脑200使用者便可以基于对电脑200的虚拟摄像头的操作实现对矿车100进行控制,例如调整矿车100的运动方向和速度等。
87.而手机300的使用者便可以通过电脑200的虚拟摄像头获取矿车100拍摄的视频数据,监督矿车100在采煤过程。
88.如上文所述,在图1b所示的场景中,为了解决背景技术中的问题,本技术实施例在矿车100中设置将矿车100拍摄的视频数据发送给电脑200的数据传输路径关系,在电脑200中设置电脑200接收提供拍摄能力的矿车100发送过来的视频数据的数据传输路径关系以及设置电脑200将从矿车100接收到的视频数据发送给手机300的数据传输路径,在手机300中设置手机300从电脑200接收到矿车100发送过来的视频数据的数据传输路径关系。
89.如此,解决了由于提供器件能力的电子设备(例如矿车100)自身的结构性能限制,提供器件能力的电子设备(例如矿车100)仅支持与一台电子设备连接,提供器件能力的电子设备(例如矿车100)不支持分别与多台电子设备(例如电脑200和手机300)同时连接并传
递多路相同的通过器件能力得到的数据。或者提供器件能力的电子设备(例如矿车100)与其他电子设备(手机300)之间的距离较远,无法通过近距离通信技术直接实现提供器件能力的电子设备(例如矿车100)与其他电子设备(手机300)连接并为其提供器件能力的问题,实现了器件能力的多级共享(例如电脑200和手机300共享视频数据),提高了用户体验。
90.可以理解,适用于本技术实施例的电子设备100可以为能够为其他设备提供各种能力(如拍摄能力、拾音能力、放音能力等)的电子设备,例如:摄像头、矿车、5g矿车、麦克风、无人机、手机、电脑、膝上型计算机、平板电脑等。
91.此外,可以理解,适用于本技术实施例的电子设备200和电子设备300可以为能够调用其他电子设备实现各项能力的电子设备,例如:手机、电脑、膝上型计算机、平板电脑、电视、车载终端等。
92.以上述三台电子设备参与的二级虚拟化场景为例,图2根据本技术的一些实施例,示出了一种在上述场景中,实现手机300、手机200和无人机100之间的视频数据的多级无线传输的系统架构图,该系统用于实现本技术的数据传输方法。下面主要介绍无人机100中设置的拓扑管理模块101和摄像头模块103,手机200中设置的拓扑管理模块201和摄像头虚拟模块203,手机300中设置的拓扑管理模块301和摄像头虚拟模块303。该系统中的其他功能模块将在下文介绍流程图的时候介绍。
93.如前所述,可以通过在无人机100中设置摄像头模块103,提供采集无人机100的摄像头拍摄的视频数据,并将视频数据发送给手机200的功能。在无人机100中设置拓扑管理模块101,提供管理数据传输关系的功能,例如,无人机100向手机200发送视频数据的路径关系。
94.可以通过在手机200中设置摄像头虚拟模块203,提供接收无人机100的摄像头拍摄的视频数据,并将视频数据发送给手机300的功能。在手机200中设置拓扑管理模块201,提供管理数据传输关系的功能,例如,手机200接收无人机100发送过来的视频数据并将接收到的视频数据传输给手机300的路径关系。
95.可以通过在手机300中设置摄像头虚拟模块303,提供接收手机200发送过来的无人机100的摄像头拍摄的视频数据。在手机300中设置拓扑管理模块301,提供管理数据传输关系的功能,例如,手机300接收手机200发送过来的无人机100拍摄视频数据路径关系。
96.如此,解决现有技术仅支持两台设备之间完成虚拟化的限制的问题,且多级电子设备共享视频数据,提高了用户体验。
97.下面示例性说明实现手机300的使用者(例如主播)通过手机200的虚拟摄像头获取无人机100(例如无人机)拍摄的视频数据,使用手机300的前置摄像头拍摄自己的手机300的软件架构图。
98.图3根据本技术的一些实施例,示出了一种实现手机300的使用者(例如主播)通过手机200的虚拟摄像头获取无人机100(例如无人机)拍摄的视频数据,使用手机300的前置摄像头拍摄自己的手机300的软件架构图。如图3所示:
99.该软件架构图中包括硬件驱动层的摄像头驱动、硬件抽象层的摄像头模块和摄像头虚拟化模块、框架层的摄像头框架和应用层的应用(程序)。
100.手机300的硬件驱动层包括摄像头驱动,摄像头驱动用于与手机300的摄像头器件连接,驱动手机300的摄像头器件拍摄图像或者视频,例如手机300的使用者(例如主播)使
用手机300的前置摄像头拍摄自己。
101.硬件驱动层的摄像头驱动将手机300的摄像头器件拍摄的图像或者视频依次通过硬件抽象层的摄像头模块、框架层的摄像头框架传递到应用层的应用(程序)展示。
102.硬件抽象层的摄像头虚拟化模块303将从手机200接收到的视频通过框架层的摄像头框架传递到应用层的应用(程序)展示。
103.下面将基于图2、从无人机100、手机200和手机300之间建立级联关系以及无人机100、手机200和手机300之间解除级联关系两个阶段对本技术技术方案进行阐述。
104.无人机100、手机200和手机300之间建立级联关系阶段:
105.图4根据本技术实施例,示出了无人机100、手机200和手机300之间建立级联关系的一种流程示意图。如图4所示,包括:
106.首先,无人机100和手机200之间建立一级设备虚拟化级联关系,具体参见以下步骤。
107.401:手机200的虚拟摄像头管理模块202和无人机100的摄像头管理模块102之间进行设备发现后建立连接关系。
108.可以理解,为了手机200和无人机100之间能够进行指令、摄像头能力协商结果、视频数据等的传输,手机200和无人机100之间需要建立有线或者无线连接关系。
109.在一些实施例中,手机200和无人机100之间可以通过usb线等建立有线连接关系。
110.在另一些实施例中,手机200和无人机100之间可以建立无线通信连接关系。
111.示例性地,手机200与无人机100登录同一个网络。例如,手机200可通过路由器与与无人机100建立wi-fi连接;或者,手机200可直接与无人机100建立wi-fi p2p连接。或者,手机200和无人机100之间建立蓝牙连接;
112.或者,手机200可直接与无人机100建立短距离无线连接,该短距离无线连接包括但不限于近场通信(near field communication,nfc)连接,红外线连接,(ultra wideband,uwb)超宽带连接,紫峰协议(zigbee)连接;或者,手机200可直接与无人机100建立移动网络连接,该移动网络包括但不限于支持2g,3g,4g,5g以及后续标准协议的移动网络。例如,手机200的虚拟摄像头管理模块202通过网络广播向周围的设备发送无线连接请求,当无人机100接收到该无线连接请求,无人机100的摄像头管理模块102向手机200发送应答反馈,从而使得手机200和无人机100之间建立无线通信关系。
113.又或者,手机200中可安装用于管理家庭内智能家居设备(例如无人机、电视、平板电脑、空调、音箱或冰箱等)的应用。以智能家居应用举例,用户可以在智能家居应用中添加一个或多个智能家居设备,使得用户添加的智能家居设备与手机200建立关联。例如,智能家居设备上可以设置包含设备标识等设备信息的二维码,用户使用手机200的智能家居应用扫描该二维码后,可将对应的智能家居设备添加至智能家居应用中,从而建立智能家居设备与手机200的关联关系。在本技术实施例中,当智能家居应用中添加的一个或多个智能家居设备上线时,例如,当手机200检测到已添加智能家居设备发送的wi-fi信号时,手机200可将该智能家居设备作为候选设备显示,提示用户选择使用相应的智能家居设备与手机200进行同步拍摄。
114.又或者,电视200自动搜索到了具有拍摄能力的无人机100并与无人机100建立无线通信连接关系,则手机300直接进入获取无人机100视频数据阶段。此时,无需用户手动选
择与手机200建立无线通信连接关系的具体设备。
115.又或者,电视200可能已经与一个或多个具有拍摄功能的电子设备建立了网络连接。例如,用户在电视200中打开支持视频通话的应用程序之前,已经与无人机100建立了无线通信连接关系。后续,则电视200可以不再搜索具有拍摄功能的电子设备。
116.402:手机200的虚拟摄像头管理模块202向手机200的摄像头虚拟化模块203发送配置虚拟摄像头指令。
117.可以理解,配置虚拟摄像头指令用于指示手机200调用摄像头虚拟化模块203,即根据手机200与无人机100之间的摄像头能力协商结果配置摄像头虚拟化模块203。下文将对摄像头能力协商结果进行进一步介绍。
118.403:手机200的摄像头虚拟化模块203与无人机100的摄像头代理模块104之间进行摄像头能力协商得到摄像头能力协商结果。
119.可以理解,摄像头能力协商结果可以包括摄像头配置参数,手机200和无人机100之间可以通过协商得出性能较佳的摄像头配置参数。
120.由于手机200和无人机100对视频数据处理的方式不一致,需要手机200和无人机100之间进行对视频数据处理的方式的协商,手机200才能有效的接收到无人机100传输过来的视频数据。例如,摄像头能力协商可以为无人机100和手机200对视频数据的编解码能力的协商,例如,在无人机100和手机200均支持h.264编解码能力和h.265编解码能力的情况下,摄像头能力协商结果为无人机200和手机200在视频数据传输的过程中使用性能更好的h.265编解码能力。
121.又例如,无人机100是否对视频数据进行色彩空间转换、缩放、旋转、镜像、填充、图像对比度、图像分辨率等处理。手机200是否对视频数据进行色彩空间转换、缩放、旋转、镜像、填充、图像对比度、图像分辨率等处理。摄像头能力协商结果可以为无人机100对视频数据进行色彩空间转换,手机200再对接收到的视频数据进行色彩空间转换、缩放、旋转、镜像等处理,但不限于此。
122.此外,可以理解的是,为了获得播放效果(例如画质)更好的视频数据,手机200可以将用户需求信息或者自身存储的用于配置无人机100相机的参数信息发送给无人机100。
123.例如,摄像头能力协商还可以为无人机100中的摄像头分辨率、帧率、感光度(iso值)、连拍速度、对焦速度、曝光时间、图像的位深度、像元尺寸、曝光模式、对焦模式等相机参数设置的协商。
124.404:手机200的摄像头虚拟化模块203根据摄像头能力协商结果配置摄像头虚拟化模块203。
125.手机200的摄像头虚拟化模块203可以根据对视频数据处理方式的摄像头能力协商结果配置摄像头虚拟化模块203,例如,手机200将摄像头虚拟化模块203配置为在视频数据传输的过程中使用性能更好的h.265编解码能力对从无人机100接收到的视频数据进行解码处理。
126.405:手机200的摄像头虚拟化模块203向手机200的虚拟摄像头节点管理模块205发送虚拟摄像头的配置信息。
127.可以理解,虚拟摄像头的配置信息可以为摄像头虚拟化模块203的配置时间和用于配置摄像头虚拟化模块203的摄像头能力协商结果。以便于后续手机300与手机200之间
建立数据传输关系的情况下,手机300可以从虚拟摄像头节点管理模块205直接获取手机200和无人机100之间的摄像头能力协商结果配置自身的摄像头虚拟化模块303,节省手机300与手机200之间建立数据传输关系的时间,提高手机300与手机200之间建立数据传输关系的效率。
128.406:手机200的虚拟摄像头节点管理模块205向手机200的虚拟摄像头管理模块202发送配置虚拟摄像头成功的通知。
129.407:手机200的虚拟摄像头管理模块202接收手机200的虚拟摄像头节点管理模块205发送的配置虚拟摄像头成功的通知后,向手机200的拓扑管理模块201发送更新数据传输关系通知。
130.其中,拓扑管理模块101用于管理多级设备间的数据传输关系。具体地,管理多级设备间的数据传输关系可以包括更新设备间的数据传输关系:增加数据传输关系中的设备节点、解除数据传输关系中的设备节点等。
131.在本技术实施例中,手机200的虚拟摄像头管理模块202接收手机200的虚拟摄像头节点管理模块205发送的配置虚拟摄像头成功的通知之前,数据传输关系为无人机100无视频数据传输对象。
132.手机200的虚拟摄像头管理模块202接收手机200的虚拟摄像头节点管理模块205发送的配置虚拟摄像头成功的通知之后,数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据。
133.由此可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据。
134.408:手机200的拓扑管理模块201接收到手机200的虚拟摄像头管理模块202发送的更新数据传输关系通知后,向无人机100的拓扑管理模块101发送更新数据传输关系通知。
135.更新数据传输关系通知包括新的数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据。
136.数据传输关系可以按照以下格式记录:
137.{
138.sourcedevice:无人机100
139.capability:camera
140.virtualization path:无人机100,手机200
141.}
142.其中,sourcedevice表示提供器件能力的源设备,“sourcedevice:”后面的内容表示提供器件能力的源设备为无人机100;capability表示源设备提供的器件能力,“capability:”后面的内容表示源设备提供的器件能力为拍摄能力。virtualization path表示数据传输关系,“virtualization path:”后面的内容表示无人机100向手机200传输摄像头拍摄的视频数据。
143.无人机100和手机200之间建立一级设备虚拟化级联关系后,手机200和手机300之间建立二级设备虚拟化级联关系。具体参见以下步骤。
144.409:手机300的虚拟摄像头管理模块302和手机200的虚拟摄像头管理模块202之
间进行设备发现后建立连接关系。
145.步骤409和上文中的步骤401基于相同的发明构思,在此不再赘述。
146.410:手机200的虚拟摄像头管理模块202向手机200的摄像头虚拟化模块203发送连接成功的信息。
147.411:手机200的摄像头虚拟化模块203接收到手机200的虚拟摄像头管理模块202向发送的连接成功的信息后,向手机200的虚拟摄像头管理模块202发送查询虚拟能力请求。
148.手机200可能同时使用外接设备的拍摄能力、拾音能力、放音能力,为了确定手机200使用了外接设备的拍摄能力,手机200的摄像头虚拟化模块203接收到手机200的虚拟摄像头管理模块202向发送的连接成功的信息后,向手机200的虚拟摄像头管理模块202发送查询虚拟能力请求,查询虚拟能力请求用于查询手机200使用的外接设备的能力。
149.412:手机200的虚拟摄像头管理模块202向手机300的虚拟摄像头管理模块302发送虚拟能力为虚拟拍摄能力。
150.413:手机300的虚拟摄像头管理模块302接收到手机200的虚拟能力为虚拟拍摄能力的情况下,手机200的虚拟摄像头管理模块302向手机300的摄像头虚拟化模块303发送配置虚拟摄像头指令。
151.414:手机300的摄像头虚拟化模块303与手机200的虚拟摄像头代理模块204之间进行摄像头能力协商得到摄像头能力协商结果。
152.具体协商过程如下:
153.414a:手机200的虚拟摄像头代理模块204向手机200的虚拟摄像头节点管理模块205发送查询虚拟摄像头能力请求。
154.由于手机200与无人机100在步骤403已经进行过一次摄像头能力协商了,查询虚拟摄像头能力请求为了获得步骤403的摄像头能力协商结果。
155.414b:手机200的虚拟摄像头代理模块204接收手机200的虚拟摄像头节点管理模块205发送的查询到的虚拟摄像头能力信息。
156.虚拟摄像头能力信息可以为摄像头能力协商结果。摄像头能力协商结果具体参见步骤403,在此不再赘述。
157.414c:手机200的虚拟摄像头代理模块204向无人机100的摄像头管理模块102发送无人机100的摄像头授权请求。
158.为了保证无人机100拍摄的视频数据传输的安全性,在无人机100授予手机300控制权的情况下,手机200向手机300提供拍摄功能。即在无人机100的授权后,手机200才可以将从无人机100接收到的数据传输到手机300。
159.例如,图5根据本技术的一些实施例,示出了一种无人机100中的摄像头的控制和数据传输授权过程示意图,如图5所示,手机200的显示界面显示提示框51,提示框51包括提示消息:“是否向无人机发送将无人机的摄像头的控制权和获取视频数据的权利授予手机300的请求?”,以及“是”控件511和“否”控件512,供用户选择。
160.在用户选择(例如点击)了“是”控件511后,手机200检测到此操作,向无人机100发送授权获取请求。
161.414c:无人机100的摄像头管理模块102判断是否指示授权,若是,则转至414e,若
否,则无人机100的摄像头管理模块102向手机200的虚拟摄像头代理模块204发送无人机100的摄像头未授权指示。
162.请继续参阅图5,控制无人机100的手机400通过无人机100接受到授权获取请求后,在手机400的显示界面显示提示框52,提示框52包括提示消息:“是否将无人机的摄像头的控制权和获取视频数据的权利授予手机300?”,以及“是”控件521和“否”控件522,供用户选择。在用户选择了“是”控件521后,无人机100的摄像头管理模块102判断收到手机400的授权反馈信息指示授权,转至414e。用户选择了“是”控件522后,则无人机100的摄像头管理模块102向手机200的虚拟摄像头代理模块204发送无人机100的摄像头未授权指示。
163.可以理解的是,控制无人机100的设备除了手机400,还可以为其他控制终端,例如电脑,遥控器等,在此不做限制。
164.此外,可以理解的是,该授权性质可以为临时(例如三天)授权也可以为永久授权。
165.414e:无人机100的摄像头管理模块102向手机200的虚拟摄像头代理模块204发送无人机100的摄像头授权指示。
166.415:手机300的摄像头虚拟化模块303根据摄像头能力协商结果配置摄像头虚拟化模块303。
167.步骤415与步骤404基于相同的发明构思,在此不再赘述。
168.416:手机300的摄像头虚拟化模块303向手机300的设备节点管理模块305发送虚拟摄像头的配置信息。
169.虚拟摄像头的配置信息可以为摄像头虚拟化模块303的配置时间和用于配置摄像头虚拟化模块303的摄像头能力协商结果。
170.417:手机300的设备节点管理模块305向手机300的虚拟摄像头管理模块302发送配置虚拟摄像头成功的通知。
171.手机300的设备节点管理模块305向手机300的虚拟摄像头管理模块302发送配置虚拟摄像头成功的通知之前,数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据。
172.手机300的设备节点管理模块305向手机300的虚拟摄像头管理模块302发送配置虚拟摄像头成功的通知之后,数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据,手机200将从无人机100接收到的视频数据再传输给手机300。
173.由此可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据,手机200将从无人机100接收到的视频数据再传输给手机300。
174.数据传输关系可以按照以下格式记录:
175.{
176.sourcedevice:无人机100
177.capability:camera
178.virtualization path:无人机100,手机200,手机300
179.}
180.418:手机300的虚拟摄像头管理模块302接收手机300的设备节点管理模块305发送的配置虚拟摄像头成功的通知后,向手机300的拓扑管理模块301发送更新数据传输关系
通知。
181.可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据,手机200将从无人机100接收到的视频数据再传输给手机300。
182.419:手机300的拓扑管理模块301接收到手机300的虚拟摄像头管理模块302发送的更新数据传输关系通知后,向手机200的拓扑管理模块201发送更新数据传输关系通知。
183.可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据,手机200将从无人机100接收到的视频数据再传输给手机300。
184.420:手机200的拓扑管理模块201接收到手机300的虚拟摄像头管理模块302发送的更新数据传输关系通知后,向无人机100的拓扑管理模块101发送更新数据传输关系通知。
185.可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机200传输摄像头拍摄的视频数据,手机200将从无人机100接收到的视频数据再传输给手机300。
186.现有技术不支持多级的设备虚拟化,因此也无需做多级设备的数据传输关系管理。而在本技术实施例中,在支持级联虚拟化的基础上,用户可以查看当前的数据传输关系并根据实际需要(级联接续和级联解除)管理数据传输关系中的设备,级联解除即支持参与数据传输关系中的设备的退出数据传输关系,否则随着设备数量的增加,业务实现难度和对最终用户的体验将会持续恶化。级联接续即支持未参与数据传输关系中的设备的加入到数据传输关系。
187.在实现了上述分布式能力虚拟化的基础上,在应用阶段:
188.在手机300检测到用户调用分布式能力虚拟化的用户操作的情况下,手机300向手机200发送调用指令,手机200根据手机300发送的调用指令向无人机发送调用指令,然后无人机100便可以根据手机200发送的调用指令向手机200提供拍摄功能。即手机200可以控制无人机100的工作状态和/或数据传输关系。例如,无人机100将通过拍摄采集的视频数据发送给手机200。又如,手机200可以向无人机100发送控制指令,调整无人机100的拍摄视野和拍摄角度等。
189.手机200根据手机300发送的调用指令向手机300提供无人机的拍摄功能。即手机300可以通过手机200控制无人机100的工作状态和/或数据传输状态。例如,手机200向手机300发送从无人机100接收到的视频数据。又如,手机300可以通过手机200向无人机100发送控制指令,调整无人机100的拍摄视野和拍摄角度等。又如,手机300可以向手机200发送控制指令,控制手机200的视频数据发送状态等,例如,暂停发送视频数据、关闭视频数据发送功能等。
190.在实现了上述分布式能力虚拟化的基础上,本技术实施例提供两种解除级联的方式,一种是源设备发起级联解除:即提供原始物理器件能力的原始设备发起解除虚拟化过程,则整个虚拟化链条上的设备逐次完成虚拟化能力的解除,最终全部退出虚拟化。
191.图6根据本技术的一些实施例,示出了一种由无人机100发起的级联解除流程示意图。如图6所示,包括:
192.601:无人机100的拓扑管理模块101向无人机100的摄像头管理模块102发送结束虚拟摄像头指令。
193.可以理解,在实现了上述分布式能力虚拟化后,用户可以在无人机100、手机200和
手机300上查询到数据传输关系,并根据用户需求动态地解除参与到数据传输关系中的设备,并在中间设备退出数据传输关系的情况下,将与中间设备相连的两个设备之间建立数据传输关系,从而使得数据传输的业务的连续性得到保证。
194.602:无人机100的摄像头管理模块102向手机200的虚拟摄像头管理模块202发送结束虚拟摄像头指令。
195.603:手机200的虚拟摄像头管理模块202向手机300的虚拟摄像头管理模块302发送结束虚拟摄像头指令,并携带原因为由源设备无人机100发起的。
196.604:手机200的虚拟摄像头管理模块202向手机200的拓扑管理模块201发送更新数据传输关系通知。
197.可以理解,更新的数据传输关系通知为数据关系为空,即无人机100、手机200和手机300之间的视频数据传输关系结束。
198.605:手机300的虚拟摄像头管理模块302向手机300的拓扑管理模块301发送更新数据传输关系通知。
199.可以理解,更新的数据传输关系通知为数据关系为空,即无人机100、手机200和手机300之间的视频数据传输关系结束。
200.606:手机300的拓扑管理模块301向手机200的拓扑管理模块201发送更新数据传输关系通知。
201.可以理解,更新的数据传输关系通知为数据关系为空,即无人机100、手机200和手机300之间的视频数据传输关系结束。
202.607:手机200的拓扑管理模块201向无人机100的拓扑管理模块101发送更新数据传输关系通知。
203.可以理解,更新的数据传输关系通知为数据关系为空,即无人机100、手机200和手机300之间的视频数据传输关系结束。
204.另一种是中间设备发起解除后接续:即仅解除中间设备的虚拟化能力,同时将上一级和下一级的设备接续起来,继续完成设备能力虚拟化。例如二级设备(手机300)发起,将一级设备(手机200)结束虚拟化,同时将源设备(无人机100)接续到二级设备(手机300),在压缩一级的同时,保证了原二级设备(手机300)与新的一级设备(手机200)的虚拟化业务不中断,与在仅解除中间设备的虚拟化能力的情况下,二级设备(手机300)和源设备(无人机100)之间需要重现认证等一系列操作来建立通信连接关系相比,简化了二级设备(手机300)和源设备(无人机100)之间建立虚拟化能力通信关系的流程。
205.图7根据本技术的一些实施例,示出了一种由中间设备手机200发起的级联解除流程示意图。如图7所示,包括:
206.701:手机300的拓扑管理模块301向手机300的虚拟摄像头管理模块302发送手机300与手机200解除数据传输关系指令。
207.702:手机300的虚拟摄像头管理模块302向手机200的虚拟摄像头管理模块202发送手机300与手机200解除数据传输关系指令。
208.703:手机200的虚拟摄像头管理模块202向手机300的虚拟摄像头管理模块302发送无人机100的设备信息。
209.可以理解,手机200向手机300发送无人机拍摄的视频数据的数据传输关系解除
后,手机300可以与为手机200提供拍摄能力的无人机之间建立数据传输关系,因此,手机200向手机300发送无人机100的设备信息,便于手机300重新与无人机100之间建立数据传输关系。
210.无人机100的设备信息可以为手机200和无人机100之间可以建立无线通信连接关系的ip地址、mac地址、设备id、无人机100与手机200的设备连接方式(例如通过wi-fi连接、通过wi-fi p2p连接、通过蓝牙连接、通过短距离无线连接。
211.704:手机300的虚拟摄像头管理模块302与无人机的摄像头管理模块102之间进行设备认证后建立连接关系。
212.可以理解,由于手机300已经获得了提供拍摄能力的无人机100的设备信息,因此,手机300和无人机100之间可以通过近距离通信技术(例如wifi、蓝牙等)建立无线连接关系,例如,手机300的虚拟摄像头管理模块302直接向无人机100发送无线连接请求,无人机100的摄像头管理模块102向手机200发送应答反馈,从而使得手机200和无人机100之间建立无线通信关系。
213.705:手机300的虚拟摄像头管理模块302向手机300的摄像头虚拟化模块303发送更新虚拟摄像头指令。
214.可以理解,配置虚拟摄像头指令用于指示手机300更新摄像头虚拟化模块303,即根据手机300与无人机100之间的摄像头能力协商结果配置摄像头虚拟化模块303。下文将对摄像头能力协商结果进行进一步介绍。
215.706:手机300的摄像头虚拟化模块303与无人机的摄像头代理模块104之间进行设备能力协商,得到设备能力协商结果。
216.步骤706与步骤403的技术手段相同,在此不再赘述。
217.707:手机300的摄像头虚拟化模块303根据设备能力协商结果更新虚拟摄像头。
218.步骤707与步骤404的技术手段相同,在此不再赘述。
219.708:手机300的摄像头虚拟化模块303向手机300的设备节点管理模块305发送虚拟摄像头的更新信息。
220.可以理解,虚拟摄像头的配置信息可以为摄像头虚拟化模块303的配置时间和用于配置摄像头虚拟化模块303的摄像头能力协商结果。以便于后续其他设备与手机300之间建立数据传输关系的情况下,其他设备可以从虚拟摄像头节点管理模块305直接获取手机300和无人机100之间的摄像头能力协商结果配置其他设备的摄像头虚拟化模块,节省其他设备与手机300之间建立数据传输关系的时间,提高其他设备与手机300之间建立数据传输关系的效率。
221.709:手机300的摄像头虚拟化模块303向手机300的虚拟摄像头管理模块302发送虚拟摄像头的更新成功的通知。
222.可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机300传输摄像头拍摄的视频数据。
223.710:手机300的虚拟摄像头管理模块302向手机300的拓扑管理模块301发送更新数据传输关系通知。
224.可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机300传输摄像头拍摄的视频数据。
225.级联解除及接续过程结束后,更新后数据传输关系可以按照以下格式记录:
226.{
227.sourcedevice:无人机100
228.capability:camera
229.virtualization path:无人机100,手机300
230.}
231.711:手机300的拓扑管理模块301向无人机100的拓扑管理模块101发送更新数据传输关系通知。
232.可以理解,更新数据传输关系通知包括新的数据传输关系为无人机100向手机300传输摄像头拍摄的视频数据。
233.图8根据本技术的一些实施例,示出了一种实现本技术技术方案的无人机100的结构示意图。
234.如图8所示,为根据本技术的实施例公开的一种无人机100的结构示意图。无人机100可以包括通信模块1001、摄像头1002、处理器1003以及电源模块1004等。
235.可以理解的是,本技术实施例示意的结构并不构成对无人机100的具体限定。在本技术另一些实施例中,无人机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
236.通信模块1001可以包括天线,并经由天线实现对电磁波的收发。无线通信模块1001可以提供应用在无人机100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无人机100可以通过无线通信技术与网络以及其他设备进行通信。本技术实施例中,无人机100可以通过通信模块1001与手机200进行通信,将摄取到的视频数据发送给手机200。
237.处理器1003可以包括一个或多个处理单元,例如,可以包括cpu、isp、图形处理器(graphics processing unit,gpu)、dsp、微处理器(micro-programmed control unit,mcu)、人工智能(artificial intelligence,ai)处理器或可编程逻辑器件(field programmable gate array,fpga)等的处理模块或处理电路。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器1002中可以设置存储单元,用于存储指令和数据。
238.摄像头1002用于捕获静态图像或视频。在申请实施例中,摄像头1002用于采集视频数据。
239.电源模块1004可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中,电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入;电源管理模块用于连接电源,充电管理模块与处理器1002。电源管理模块接收电源和/或充电管理模块的输入,为处理器1003,摄像头1002以及通信模块1001等供电。
240.图9根据本技术的一些实施例,示出了一种实现本技术技术方案的手机200的结构示意图。如图9所示:
241.手机200可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195和esim卡196等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
242.可以理解的是,本技术实施例示意的结构并不构成对手机200的具体限定。在本技术另一些实施例中,手机200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
243.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
244.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
245.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
246.手机200的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。本技术实施例中,手机200可以通过这些模块与无人机100交互,从无人机100获取视频数据,手机200还可以与手机300交互,手机200向手机300发送视频数据。
247.手机200通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
248.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),mini led,micro led,micro oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,手机200可以包括1个或n个显示屏194,n为大
于1的正整数。本技术实施例中,可以根据从无人机100获取的视频数据显示视频。
249.手机200可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
250.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展手机200的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
251.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括程序存储区和数据存储区。其中,程序存储区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。数据存储区可存储手机200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手机200的各种功能应用以及数据处理。
252.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和手机200的接触和分离。手机200可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。
253.在一些实施例中,手机200还包括esim卡196,即:嵌入式sim卡。esim卡196可以嵌在手机200中,不能和手机200分离。其中,esim卡196可以集成在手机的片上系统(system on chip,soc)芯片,调制解调(modem)芯片或者近场通信(near field communication,nfc)芯片中,本技术实施例对此不作任何限制。
254.手机200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的android系统为例,示例性说明电手机200的软件结构。
255.图10根据本技术的一些实施例,示出了一种手机200的软件结构框图。
256.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库(也可以为硬件抽象层),以及内核层。
257.应用程序层可以包括一系列应用程序包。如图10所示,应用程序包可以包括购物、新闻、相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
258.如图10所示,应用程序框架层可以包括窗口管理器,页面提供器,视图系统,电话管理器,资源管理器,通知管理器等。
259.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
260.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
261.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
262.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
263.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
264.系统库可以包括多个功能模块。例如:虚拟摄像头模块、表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
265.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
266.在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
267.虽然通过参阅本技术的某些优选实施例,已经对本技术进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本技术的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献