界面控制方法、装置、设备、系统及存储介质与流程

本技术涉及界面控制领域，尤其涉及界面控制方法、装置、设备、系统及存储介质。

背景技术：

1、随着信息技术的快速发展，智能手机、平板电脑、智能显示屏等显示设备覆盖了人们生活的各个方面，成为人们生活中不可或缺的工具。

2、在显示设备的使用过程中，为了提升设备使用的可操作性或便利性，通常会利用控制设备对被控设备进行操作控制的方式，来实现对被控设备的控制，这种控制方式被称为远程控制。基于远程控制的方式，可以实现远程测绘、远程诊断、远程维护等功能。在目前的远程控制方案中，一般是通过在控制设备和被控设备之间实时传输视频流的方式实现远程控制，此种远程控制方案占用的带宽较大，成本较高。

技术实现思路

1、本技术提供界面控制方法、装置、设备、系统及存储介质，以解决现有远程控制方案占用的带宽较大的技术问题。

2、第一方面，提供一种界面控制方法，包括：

3、响应于来自控制设备的远程控制指令，对被控设备当前显示的目标应用界面进行截图，得到目标界面图像；

4、获取元素操作配置集合，元素操作配置集合包括目标应用界面中的可操作元素的配置信息；

5、向控制设备发送目标界面图像和元素操作配置集合，目标界面图像和元素操作配置集合用于控制设备根据目标界面图像和元素操作配置集合显示并控制目标应用界面。

6、在该技术方案中，通过响应于来自控制设备的远程控制指令，对被控设备当前显示的目标应用界面进行截图，得到目标界面图像；然后获取元素操作配置集合，元素操作配置集合中包含目标应用界面中的可操作元素的配置信息；最后将目标界面图像和元素操作配置集合发送给控制设备，使得控制设备可以根据目标界面图像和操作元素配置集合显示和控制被控设备中的目标应用界面，从而实现对被控设备的远程界面控制。由于被控设备是将目标应用界面的截图图像和目标应用界面的元素操作配置集合发送给控制设备，控制设备可以直接根据元素操作配置集合实现对被控设备中的界面的控制，即只需传输截图图像和元素配置集合即可实现对被控设备中的界面的控制，传输截图图像和元素配置集合所需的带宽资源较少，因而可以节省宽带资源，降低成本。

7、结合第一方面，在一种可能的实现方式中，界面控制方法还包括：接收控制设备发送的元素操作结果数据，元素操作结果数据为控制设备基于元素操作配置集合和用户操作得到的；响应于元素操作结果数据，更新被控设备显示的目标应用界面。在将截图得到的目标界面图像和元素操作配置集合发送给控制设备后，通过接收控制设备发送的元素操作结果数据并根据元素操作结果数据切换或更新目标应用界面，由于元素操作结果数据是由控制设备根据元素操作配置集合和用户操作计算得到，实现了基于用户操作进行远程界面更新。

8、结合第一方面，在一种可能的实现方式中，界面控制方法还包括：在更新被控设备显示的目标应用界面之后，返回执行对被控设备当前显示的目标应用界面进行截图，得到目标界面图像的步骤。被控设备在更新目标应用界面后，重新进行截图和获取元素操作配置集合并发送给控制设备，能够实现目标应用界面在控制设备和被控设备中的显示同步。

9、结合第一方面，在一种可能的实现方式中，响应于元素操作结果数据，更新被控设备显示的目标应用界面，包括：响应于元素操作结果数据，生成操作同步任务，操作同步任务包括元素操作结果数据；将操作同步任务分发给被控设备中的目标应用界面对应的目标应用，以使目标应用根据元素操作结果数据，执行操作同步任务，以更新目标应用界面。通过生成操作同步任务并向界面对应的应用分发任务的方式来实现对界面的更新，可对设备上的任意应用的界面进行远程控制，适用性强。

10、结合第一方面，在一种可能的实现方式中，获取元素操作配置集合，包括：向被控设备中的目标应用界面对应的目标应用，下发可操作元素上报指示，以使目标应用根据可操作元素上报指示，获取并组装目标应用界面中的可操作元素的元素操作配置信息，得到目标应用界面的元素操作配置集合，并上报元素操作配置集合。通过使界面对应的应用组装并上报元素配置集合，可对设备上的任意应用的界面进行远程控制，适用性强。

11、结合第一方面，在一种可能的实现方式中，元素操作配置信息包括可操作元素在目标应用界面中的位置信息和可操作元素的可操作类型信息。

12、第二方面，提供另一种界面控制方法，包括：

13、接收被控设备发送的目标界面图像和元素操作配置集合，目标界面图像由被控设备对被控设备当前显示的目标应用界面进行截图得到，元素操作配置集合包括目标应用界面中的可操作元素的配置信息；

14、根据目标界面图像和元素操作配置集合，在控制设备中显示目标应用界面；

15、响应于对控制设备显示的目标应用界面的用户操作指令，生成元素操作结果数据；

16、向被控设备发送元素操作结果数据，元素操作结果数据用于被控设备根据元素操作结果数据更新被控设备显示的目标应用界面。

17、在该技术方案中，通过接收被控设备发送的目标界面图像和元素操作配置集合，并根据目标界面图像和元素操作配置集合，在控制设备中显示被控设备中的目标界面图像，然后，响应于对空时设备中显示的目标应用界面的用户操作指令，生成元素操作结果数据，向被控设备发送元素操作结果数据，使得被控设备根据元素操作结果数据更新被控设备显示的目标应用界面，可实现对被控设备的远程界面显示和控制。由于被控设备是将目标应用界面的截图图像和目标应用界面的元素操作配置集合发送给控制设备，控制设备可以直接根据元素操作配置集合实现对被控设备中的界面的控制，即只需传输截图图像和元素配置集合即可实现对被控设备中的界面的控制，传输截图图像和元素配置集合所需的带宽资源较少，因而可以节省宽带资源，降低成本。

18、结合第二方面，在一种可能的实现方式中，根据目标界面图像和元素操作配置集合，在控制设备中显示目标应用界面，包括：在控制设备的显示界面中加载显示目标界面图像，并根据元素操作配置集合在显示界面中绘制可操作元素对应的可操作区域。通过加载显示目标界面图像并绘制操作区域，能够在控制设备中同步显示被控设备中的目标界面图像，实现界面图像的远程同步显示。

19、结合第二方面，在一种可能的实现方式中，界面控制方法还包括：在向被控设备发送元素操作结果数据之后，返回执行接收被控设备发送的目标界面图像和元素操作配置集合的步骤。控制设备在将元素操作结果数据发送给被控设备后，接收新的界面图像和元素操作配置集合，能够实现目标应用界面在控制设备和被控设备中的显示同步。

20、结合第二方面，在一种可能的实现方式中，元素操作配置信息包括可操作元素在目标应用界面中的位置信息和可操作元素的可操作类型信息。

21、结合第二方面，在一种可能的实现方式中，接收被控设备发送的目标界面图像和元素操作配置集合之前，还包括：获取被控设备的连接码，连接码用于唯一标识被控设备；根据连接码获取被控设备的通信连接信息；基于通信连接信息与被控设备建立通信连接。通过连接码获取被控设备的通信连接信息并与被控设备建立通信连接，可实现对被控设备的精准连接，实现方式更简单可靠。

22、第三方面，提供一种界面控制装置，包括：

23、截图模块，用于响应于来自控制设备的远程控制指令，对被控设备当前显示的目标应用界面进行截图，得到目标界面图像；

24、配置组装模块，用于获取元素操作配置集合，元素操作配置集合包括目标应用界面中的可操作元素的配置信息；

25、发送模块，用于向控制设备发送目标界面图像和元素操作配置集合，目标界面图像和元素操作配置集合用于控制设备根据目标界面图像和元素操作配置集合显示并控制目标应用界面。

26、第四方面，提供另一种界面控制装置，包括：

27、接收模块，用于接收被控设备发送的目标界面图像和元素操作配置集合，目标界面图像由被控设备对被控设备当前显示的目标应用界面进行截图得到，元素操作配置集合包括目标应用界面中的可操作元素的配置信息；

28、显示模块，用于根据目标界面图像和元素操作配置集合，在控制设备中显示目标应用界面；

29、结果数据生成模块，用于响应于对控制设备显示的目标应用界面的用户操作指令，生成元素操作结果数据；

30、发送模块，用于向被控设备发送元素操作结果数据，元素操作结果数据用于被控设备根据元素操作结果数据更新被控设备显示的目标应用界面。

31、第五方面，提供一种计算机设备，包括存储器、通信接口以及一个或多个处理器，存储器和通信接口连接至一个或多个处理器，一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序，一个或多个处理器在执行一个或多个计算机程序时，使得该计算机设备实现上述第一方面或上述第二方面的界面控制方法。

32、第六方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，上述程序指令当被处理器执行时使上述处理器执行上述第一方面或上述第二方面的界面控制方法。

33、第七方面，提供一种界面控制系统，包括被控设备和控制设备，被控设备用于执行上述第一方面的界面控制方法，控制设备用于执行上述第二方面的界面控制方法。

34、本技术可以实现如下技术效果：由于被控设备是将目标应用界面的截图图像和目标应用界面的元素操作配置集合发送给控制设备，控制设备可以直接根据元素操作配置集合实现对被控设备中的界面的控制，即只需传输截图图像和元素配置集合即可实现对被控设备中的界面的控制，传输截图图像和元素配置集合所需的带宽资源较少，因而可以节省宽带资源，降低成本。