对手机的操控方法、装置和存储介质与流程

1.本技术涉及安卓类终端技术领域，特别是涉及一种对手机的操控方法、装置和存储介质。


背景技术：

2.现有的安卓模拟器技术，可以在个人计算机上模拟安卓手机系统的模拟器，在此模拟器上可以安装、运行和卸载安卓应用或游戏。安卓模拟器，是一种纯软件的技术方案，用户即使没有手机硬件设备，也能在模拟器中使用移动应用程序，这是安卓模拟器最大的魅力。同时，安卓模拟器上运行安卓应用或游戏(以下简称app)，可以享受电脑大屏、永不断电、鼠标和键盘操控等体验。现有的手机助手的电脑端软件，可以通过电脑端在手机上安装、更新、卸载手机app，可以将文件和图片等数据备份或拷贝，可以在电脑端给手机屏幕截图。
3.现有基于真机内核的模拟器可以在个人电脑上运行和操控安卓app，可以提供真机运行环境，将手机屏幕投放到电脑上，同时可以享受电脑操控手机的便捷，而且没有被封禁的风险，理论上可以运行任何app。但不足之处是，手机投屏到电脑上延迟很高，画面不流畅。
4.针对上述的现有技术中存在的终端设备基于手机内核操控手机所产生的延迟高和画面不流畅的技术问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本公开的实施例提供了一种对手机的操控方法、装置和存储介质，以至少解决现有技术中存在的终端设备基于手机内核操控手机所产生的延迟高和画面不流畅的的技术问题。
6.根据本公开实施例的一个方面，提供了一种对手机的操控方法，应用于手机，包括：创建用于与手机连接的终端设备进行通信的第一进程；通过第一进程与终端设备上的第二进程建立连接，其中第二进程用于通过终端设备操控手机；通过第一进程将手机所采集的音视频数据发送至第二进程；以及通过第一进程从第二进程接收用于操控手机的操控指令，执行与操控指令相应的操作。
7.根据本公开实施例的另一方面，还提供了一种对手机的操控方法，应用于终端设备，包括：创建第二进程，其中第二进程用于操控与终端设备连接的手机；通过第二进程与手机上的第一进程建立连接，其中第一进程用于通过手机与终端设备进行通信；通过第二进程从第一进程接收手机采集的音视频数据，并显示音视频数据；响应于用户在播放音视频数据的播放区域内的触发操作，通过第二进程生成与触发操作相应的操控指令；以及通过第二进程向第一进程发送操控指令。
8.根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项的方法。
9.根据本公开实施例的另一个方面，还提供了一种对手机的操控装置，包括：第一创建模块，用于创建用于与手机连接的终端设备进行通信的第一进程；第一连接模块，用于通过第一进程与终端设备上的第二进程建立连接，其中第二进程用于通过终端设备操控手机；第一发送模块，用于通过第一进程将手机所采集的音视频数据发送至第二进程；第一接收模块，用于通过第一进程从第二进程接收用于操控手机的操控指令，执行与操控指令相应的操作。
10.在本公开实施例中，通过设备之间的程序进程将手机与终端设备连接，达到了将手机中显示的画面投屏到终端设备，用户可以在终端设备中对手机进行操控的目的，从而提高了手机和终端设备之间的数据传输速度，达到了手机和终端设备同屏低延迟的有益效果，使得用户体验显著提高。进而解决了现有技术中存在的延迟高和画面不流畅的技术问题。
附图说明
11.此处所说明的附图用来提供对本公开的进一步理解，构成本技术的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
12.图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
13.图2是根据本公开实施例1所述的对手机的操控系统的示意图；
14.图3是根据本公开实施例1的第一个方面所述的对手机的操控方法的流程示意图；
15.图4是根据本公开实施例1的第二个方面所述的对手机的操控方法的流程示意图；
16.图5是根据本公开实施例1所述的对手机的操控方法的终端界面示意图；
17.图6是根据本公开实施例1所述的对手机的操控方法的模块结构示意图；
18.图7是根据本公开实施例1所述的对手机的操控方法的流程示意图；
19.图8是根据本公开实施例2的第一个方面所述的对手机的操控装置的示意图；
20.图9是根据本公开实施例2的第二个方面所述的对手机的操控装置的示意图；
21.图10是根据本公开实施例3的第一个方面所述的对手机的操控装置的示意图；以及
22.图11是根据本公开实施例3的第二个方面所述的对手机的操控装置的示意图。
具体实施方式
23.为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
24.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.实施例1
26.根据本实施例，提供了一种对手机的操控方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
27.本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现对手机的操控方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
28.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
29.存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的对手机的操控方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的对手机的操控方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
30.传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
31.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
32.此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
33.图2是根据本实施例所述的操控手机的系统的示意图。参照图2所示，该系统包括：互相通信连接的终端设备100和手机200。用户300可以通过终端设备100对手机200进行操
控。需要说明的是，系统中的终端设备100、手机200均可适用上面所述的硬件结构。
34.在上述运行环境下，根据本实施例的第一个方面，提供了一种对手机的操控方法，该方法由图2中所示的手机200实现。图3示出了该方法的流程示意图，参考图3所示，该方法包括：
35.s302：创建用于与手机连接的终端设备进行通信的第一进程；
36.s304：通过第一进程与终端设备上的第二进程建立连接，其中第二进程用于通过终端设备操控手机；
37.s306：通过第一进程将手机所采集的音视频数据发送至第二进程；以及
38.s308：通过第一进程从第二进程接收用于操控手机的操控指令，执行与操控指令相应的操作。
39.正如背景技术中所述的，现有基于真机内核的模拟器可以在个人电脑上运行和操控安卓app，可以提供真机运行环境，将手机屏幕投放到电脑上，同时可以享受电脑操控手机的便捷，而且没有被封禁的风险，理论上可以运行任何app。但不足之处是，手机投屏到电脑上延迟很高，画面不流畅。
40.为了解决该技术问题，本技术提供了一种通过终端设备100来操控手机200的技术方案。其中，参考图2所示，手机200通过usb接口或者无线网络与终端设备100进行连接，如果未有连接记录，则手机200会接收到终端设备100自动向其发送的与终端设备100中的模拟器系统相关联的手机软件安装包，手机200安装并启动该软件后，就可以与终端设备100连接。如果已有连接记录，则手机200就可以直接与终端设备100进行连接。从而，手机200的第一进程创建成功。手机200通过运行的手机程序进程(也就是第一进程)与终端设备100运行的模拟器系统(也就是第二进程)建立连接，之后手机200通过手机程序进程(也就是第一进程)向终端设备100的模拟器系统(也就是第二进程)实时发送手机200所采集的音视频数据(例如，手机屏幕内容)，终端设备100通过模拟器系统显示手机屏幕内容。手机200上的手机程序进程接收来自终端设备200上的模拟器系统的操作指令，并在手机200上执行与该操作指令相应的操作。其中，用户300可在终端设备100的模拟器系统上对手机200进行的多种操作，包括安装、更新、卸载和运行app等方式。例如，手机200根据手机程序进程(也就是第一进程)接收到终端设备100的安装app的操控指令，根据该指令对手机200进行一个安装app的操作。
41.从而，通过这种方式，使得在基于真机内核的模拟器系统中，能够将手机屏幕实时投放到终端设备100上，还可以通过终端设备100对手机200进行操控。提高了手机200和终端设备100之间的数据传输速度，解决了延迟高和画面不流畅的问题，达到了手机200和终端设备100同屏低延迟的有益效果，使得用户体验显著提高。
42.可选地，第一进程将手机所采集的音视频数据发送至第二进程的操作，包括：通过第一进程调用手机的操作系统，将音视频数据从与操作系统关联的第一缓存区暂存至与第一进程关联的第二缓存区；以及将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区。
43.具体地，手机200的用户进程(也就是第一进程)，通过调用手机操作系统的写函数，向手机操作系统内核发起数据写的操作。此时，手机操作系统调度手机cpu，手机cpu将手机用户缓冲区(也就是第一缓存区)中的音视频数据拷贝到对外通信的socket缓冲区(也
就是第二缓存区)；手机端socket缓冲区(也就是第二缓存区)中的音视频数据，通过通信协议传输到电脑端的socket缓冲区(也就是第三缓存区)。从而，使用零拷贝(zero-copy)技术，可以减少一次使用cpu进行内存复制的操作，从而降低cpu资源的使用，节省了大量时间，提升手机屏幕数据传送速度。
44.可选地，将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区的操作，包括：通过设置于手机的调试桥程序将音视频数据从第二缓存区传输至第三缓存区。
45.具体地，设备间的互通是需要使用ip地址通过tcp/ip协议进行通信的，即inet domain socket或inet6 domain socket协议。但是这两个协议在同屏软件手机端和终端设备100之间数据传输效果一般，数据延迟较大，导致投屏到终端设备100的画面不流畅。所以，在大量的对比测试之后，可以通过安卓系统调试桥程序的forward和reverse功能，将手机200和终端设备100连接在一起，将两个设备之间的通信转变为手机端和终端设备100两个程序进程之间的通信。采集的手机200的桌面显示内容通过手机200中的socket缓冲区(也就是第二缓存区)使用unix domain socket协议传输至终端设备100的socket缓冲区(也就是第二缓存区)，从而大大提高了手机端和终端设备100之间的数据传送效率，使终端设备100展示的手机屏幕的画面更加流畅。
46.可选地，将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区的操作，还包括：通过设置于手机的调试桥程序将音视频数据从第二缓存区直接复制到第三缓存区。
47.具体的，依据前文所述，设备间的互通是需要使用ip地址通过tcp/ip协议进行通信的，会造成数据延迟较大，导致投屏到终端设备100的画面不流畅。所以，可以使用更高效的unix domain socket协议进行数据传输。采集的手机200的桌面显示内容通过手机200中的socket缓冲区(也就是第二缓存区)使用unix domain socket协议传输至终端设备100的socket缓冲区(也就是第三缓存区)。通过安卓系统调试桥程序将手机200和终端设备100连接在一起，手机200则是将桌面显示内容直接复制到终端设备100的。从而进一步提高了手机端和终端设备100之间的数据传送效率，使终端设备100展示的手机屏幕的画面更加流畅。
48.从而根据本实施例的第一个方面，通过设备之间的程序进程将手机与终端设备连接，使得将手机中显示的画面投屏到终端设备，用户可以在终端设备中对手机进行操作。从而提高了数据传输速度，达到了低延迟和画面流畅的效果。
49.此外，根据本实施例的第二个方面，提供了一种对手机的操控方法，该方法由图2中所示的终端设备100实现。图4示出了该方法的流程示意图，参考图4所示，该方法包括：
50.s401：创建第二进程，其中第二进程用于操控与终端设备连接的手机；
51.s402：通过第二进程与手机上的第一进程建立连接，其中第一进程用于通过手机与终端设备进行通信；
52.s403：通过第二进程从第一进程接收手机采集的音视频数据，并显示音视频数据；
53.s404：响应于用户在播放音视频数据的播放区域内的触发操作，通过第二进程生成与触发操作相应的操控指令；以及
54.s405：通过第二进程向第一进程发送操控指令。
55.具体地，参考图2所示，本技术提供了一种通过终端设备100操控手机200的技术方案。其中，参考图2所示，终端设备100通过usb接口或者无线网络与手机200进行连接，如果未有连接记录，则终端设备100会自动向手机200发送与终端设备100中的模拟器系统相关联的手机软件安装包，手机200安装并启动该软件后，就可以与终端设备100连接。如果已有连接记录，则终端设备100就可以直接与手机200进行连接，第二进程创建成功。之后终端设备100上正在运行的模拟器系统(也就是第二进程)与手机200上正在运行的手机程序进程(也就是第一进程)进行连接，终端设备100接收到手机200实时发送的桌面显示内容(对应于手机200所采集的音视频数据)，并通过模拟器系统软件显示手机200的桌面显示内容。用户300可在终端设备100的模拟器系统上对手机200的桌面进行操作，包括安装、更新、卸载和运行app等操作。例如，在终端设备100的模拟器系统上显示有手机200的桌面，用户300可在该区域进行安装app的操作，在操作过程中，所产生的所有动作都要生成操控指令，并实时发送给手机200。其中，终端设备100是使用模拟器系统(也就是第二进程)将该操作回传给手机程序进程(也就是第一进程)，并使手机200执行与该操作指令相应的操作，以及手机200再将操作后的屏幕显示内容发送至终端设备100进行显示。
56.从而，通过这种方式，使得在基于真机内核的模拟器系统中，能够将手机屏幕实时投放到电脑上，还可以使终端设备对手机进行操控。提高了手机和终端设备之间的数据传输速度，解决了延迟高和画面不流畅的问题，达到了手机和终端设备同屏低延迟的有益效果，使得用户体验显著提高。
57.可选地，通过第二进程接收第一进程发送的音视频数据，包括：通过与第二进程关联的第三缓存区接收从与第一进程关联的第二缓存区直接复制的音视频数据。
58.具体地，参照图5所示，设备间的互通是需要使用ip地址通过tcp/ip协议进行通信的，即inet domain socket或inet6 domain socket协议。但是这两个协议在同屏软件手机端和电脑端数据传输效果一般，数据延迟较大，导致投屏到电脑端的画面不流畅。所以，在大量的对比测试之后，可以通过安卓系统调试桥程序的forward和reverse功能，将手机和电脑连接在一起，将两个设备之间的通信转变为手机端和电脑端两个程序进程之间的通信，进而可以使用更高效的unix domain socket协议进行数据传输。终端设备100的socket缓冲区(也就是第三缓存区)接收到采集的手机200的桌面显示内容，同时是通过手机200中的socket缓冲区(也就是第二缓存区)使用unix domain socket协议传输的。通过安卓系统调试桥程序将手机200和终端设备100连接在一起，手机200则是将桌面显示数据直接复制到终端设备100的。从而大大提高了手机端和终端设备之间的数据传送效率，使终端设备展示的手机屏幕的画面更加流畅。
59.可选地，响应于用户在播放音视频数据的播放区域内的触发操作，通过第二进程生成与触发操作相应的操控指令，包括：响应于用户在播放音视频数据的播放区域内的触发操作，确定播放区域中与触发操作对应的位置信息；根据位置信息，确定触发操作所对应的目标对象；以及根据所确定的目标对象，生成操控指令。
60.具体地，终端设备100中的模拟器系统与手机200同屏，显示手机屏幕此时的画面内容，用户300在终端设备100正在运行的模拟器系统中，对模拟显示的手机屏幕内容进行操作，包括但不限于安装、更新、卸载和运行app，以及对模拟显示的手机屏幕进行滑动或点击的操作。例如，用户300在终端设备200的模拟器系统中，对正在显示手机桌面内容的区域
进行点击操作，确定该点击操作的操作位置和目标对象，比如点击其中一个app，则该app就会打开，并将打开操作生成操控指令。从而，可以在终端设备中对手机进行操控，使得在更大屏幕中对手机进行操作，提高了用户的体验效果。
61.可选地，通过第二进程向第一进程发送操控指令的操作，包括：通过第二进程将操控指令传输至第三缓存区；以及通过设置于终端设备的调试桥程序将操控指令从第三缓存区直接复制到第二缓存区。
62.具体地，用户300通过终端设备100对手机200进行操控时，在终端设备100运行的模拟器系统会(第二进程)将用户300的操作通过socket缓冲区(也就是第三缓冲区)传输至手机端的socket缓冲区(也就是第二缓冲区)。其中，终端设备100和手机200之间的传输所使用的方法是通过安卓系统调试桥程序实现的。将两个设备之间的通信转变为两个程序进程之间的通信，进而可以使用更高效的unix domain socket协议进行数据传输。从而大大提高了手机端和终端设备之间的数据传送效率，使手机能更快接收来自终端设备的操作。
63.从而根据本实施例的第二个方面，通过设备之间的程序进程将手机与终端设备连接，使得将手机中显示的画面投屏到终端设备，用户可以在终端设备中对手机进行操作。从而提高了数据传输速度，达到了低延迟和画面流畅的效果。
64.此外，终端设备100上的模拟器系统还支持基于虚拟机的模拟方式。具体的，模拟器系统还包括在终端设备100上模拟安卓手机系统，可以安装、运行和卸载安卓应用或游戏。安卓模拟器，是一种纯软件的技术方案，用户即使没有手机硬件设备，也能在模拟器中使用移动应用程序。同时，安卓模拟器上运行安卓应用或游戏，可以享受电脑大屏、永不断电、鼠标和键盘操控等体验。
65.具体地，参照图6所示，当软件启动时，会出现一个界面，以便使用者决定使用哪一个内核，然后根据使用者的选择，执行不同的流程、使用不同的内核：
66.启动虚拟内核运行app：点击此按钮，将会在电脑上启动一个虚拟内核，然后在此内核引擎上安转、更新、卸载、运行手机app。该虚拟内核采用模拟器技术方案实现。目前市场上，夜神模拟器等产品已经实现了改方案。
67.连接手机使用真机内核运行app：点击此按钮，将会连接手机，在获得手机授权后，使用手机的内核(也即手机操作系统)在手机上安装、更新、卸载、运行手机app。该方案，采用手机真机作为运行环境。目前市场上，mirroid米卓同屏助手实现了该方案，该方案的系统结构如图7所示。
68.现有在电脑上运行和操控手机app的技术，都是虚拟内核技术或真机内核技术中的一种实现方案，本专利提出了一种融合方案，可以同时支持这两种方案，使用者可以自由选择虚拟内核或者真机内核，可以扬长避短充分发挥这两种方案的优势。
69.此外，参考图1所示，根据本实施例的第三个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。
70.从而根据本实施例，通过设备之间的程序进程将手机与终端设备连接，使得将手机中显示的画面投屏到终端设备，用户可以在终端设备中对手机进行操作。从而提高了数据传输速度，达到了低延迟和画面流畅的效果。
71.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为
依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
72.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
73.实施例2
74.图8示出了根据本实施例的第一个方面所述的对手机的操控装置800，该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示，该装置800包括：第一创建模块810，用于创建用于与手机连接的终端设备进行通信的第一进程；第一连接模块820，用于通过第一进程与终端设备上的第二进程建立连接，其中第二进程用于通过终端设备操控手机；第一发送模块830，用于通过第一进程将手机所采集的音视频数据发送至第二进程；以及第一接收模块840，用于通过第一进程从第二进程接收用于操控手机的操控指令，执行与操控指令相应的操作。
75.可选地，第一发送模块830，包括：暂存子模块，用于通过第一进程调用手机的操作系统，将音视频数据从与操作系统关联的第一缓存区暂存至与第一进程关联的第二缓存区；以及传输子模块，用于将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区。
76.可选地，传输子模块，包括：传输单元，用于通过设置于手机的调试桥程序将音视频数据从第二缓存区传输至第三缓存区。
77.可选地，传输子模块，还包括：复制单元，用于通过设置于手机的调试桥程序将音视频数据从第二缓存区直接复制到第三缓存区。
78.此外，图9示出了根据本实施例的第二个方面所述的对手机的操控装置900，该装置900与根据实施例1的第二个方面所述的方法相对应。参考图9所示，该装置900包括：第二创建模块910，用于创建第二进程，其中第二进程用于操控与终端设备连接的手机；第二连接模块920，用于通过第二进程与手机上的第一进程建立连接，其中第一进程用于通过手机与终端设备进行通信；第二接收模块930，用于通过第二进程从第一进程接收手机采集的音视频数据，并显示音视频数据；生成模块940，用于响应于用户在播放音视频数据的播放区域内的触发操作，通过第二进程生成与触发操作相应的操控指令；以及第二发送模块950，用于通过第二进程向第一进程发送操控指令。
79.可选地，第二接收模块930，包括：复制子模块，用于通过与第二进程关联的第三缓存区接收从与第一进程关联的第二缓存区直接复制的音视频数据。
80.可选地，生成模块940，包括：确定子模块，用于响应于用户在播放音视频数据的播放区域内的触发操作，确定播放区域中与触发操作对应的位置信息；确定子模块，用于根据位置信息，确定触发操作所对应的目标对象；以及生成子模块，用于根据所确定的目标对象，生成操控指令。
81.可选地，发送模块950，包括，传输子模块，用于通过第二进程将操控指令传输至第三缓存区；以及复制子模块，用于通过设置于终端设备的调试桥程序将操控指令从第三缓存区直接复制到第二缓存区。
82.从而根据本实施例，通过设备之间的程序进程将手机与终端设备连接，使得将手机中显示的画面投屏到终端设备，用户可以在终端设备中对手机进行操作。从而提高了数据传输速度，达到了低延迟和画面流畅的效果。
83.实施例3
84.图10示出了根据本实施例的第一个方面所述的对手机的操控装置1000，该装置1000与根据实施例1的第一个方面所述的方法相对应。参考图10所示，该装置1000包括：第一处理器1010；以及第一存储器1020，与第一处理器1010连接，用于为第一处理器1010提供处理以下处理步骤的指令：创建用于与手机连接的终端设备进行通信的第一进程；通过第一进程与终端设备上的第二进程建立连接，其中第二进程用于通过终端设备操控手机；通过第一进程将手机所采集的音视频数据发送至第二进程；以及通过第一进程从第二进程接收用于操控手机的操控指令，执行与操控指令相应的操作。
85.可选地，通过第一进程将手机所采集的音视频数据发送至第二进程的操作，包括：通过第一进程调用手机的操作系统，将音视频数据从与操作系统关联的第一缓存区暂存至与第一进程关联的第二缓存区；以及将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区。
86.可选地，将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区的操作，包括：通过设置于手机的调试桥程序将音视频数据从第二缓存区传输至第三缓存区。
87.可选地，将音视频数据从第二缓存区传输至终端设备的与第二进程关联的第三缓存区的操作，还包括：通过设置于手机的调试桥程序将音视频数据从第二缓存区直接复制到第三缓存区。
88.此外，图11示出了根据本实施例的第二个方面所述的对手机的操控装置1100，该装置1100与根据实施例1的第二个方面所述的方法相对应。参考图11所示，该装置1100包括：第二处理器1110；以及第二存储器1120，与第二处理器1110连接，用于为第二处理器1110提供处理以下处理步骤的指令：创建第二进程，其中第二进程用于操控与终端设备连接的手机；通过第二进程与手机上的第一进程建立连接，其中第一进程用于通过手机与终端设备进行通信；通过第二进程从第一进程接收手机采集的音视频数据，并显示音视频数据；响应于用户在播放音视频数据的播放区域内的触发操作，通过第二进程生成与触发操作相应的操控指令；以及通过第二进程向第一进程发送操控指令。
89.可选地，通过第二进程接收第一进程发送的音视频数据，包括：通过与第二进程关联的第三缓存区接收从与第一进程关联的第二缓存区直接复制的音视频数据。
90.可选地，响应于用户在播放音视频数据的播放区域内的触发操作，通过第二进程生成与触发操作相应的操控指令，包括：响应于用户在播放音视频数据的播放区域内的触发操作，确定播放区域中与触发操作对应的位置信息；根据位置信息，确定触发操作所对应的目标对象；以及根据所确定的目标对象，生成操控指令。
91.可选地，通过第二进程向第一进程发送操控指令的操作，包括：通过第二进程将操
控指令传输至第三缓存区；以及通过设置于终端设备的调试桥程序将操控指令从第三缓存区直接复制到第二缓存区。
92.从而根据本实施例，通过设备之间的程序进程将手机与终端设备连接，使得将手机中显示的画面投屏到终端设备，用户可以在终端设备中对手机进行操作。从而提高了数据传输速度，达到了低延迟和画面流畅的效果。
93.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
94.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
95.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
96.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
97.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
98.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，randomaccess memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
99.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。