触控设备控制方法、装置、计算机设备及存储介质与流程

本申请涉及人工智能领域，尤其涉及一种触控设备控制方法、装置、计算机设备及存储介质。

背景技术：

1、随着科技的发展，触控设备已经成为日常生活中使用的电子设备主流。在操作触控设备实现一些任务时，存在一些重复性操作，由人工来完成过程繁琐且成本较高，通过脚本完成又具有一定的局限性，灵活性较低，容易受到操作系统和应用程序版本更新以及应用程序的脚本检测等的影响。如何更灵活有效地控制触控设备自动化完成一定的任务成为了亟需解决的问题。

技术实现思路

1、本申请的主要目的在于提供一种触控设备控制方法、装置、设备及计算机存储介质，旨在提高触控设备自动化控制的灵活性和智能性。

2、第一方面，本申请提供一种触控设备控制方法，所述触控设备控制方法包括以下步骤：

3、获取所述触控设备显示的界面当前图像；

4、对所述界面当前图像进行图像分析，得到所述界面当前图像中的至少一个可操作元素；

5、根据预设的操作任务和所述可操作元素，确定为完成所述操作任务在所述界面当前图像中所需的目标触控操作；

6、控制机械臂对所述触控设备执行所述目标触控操作，并获取执行所述目标触控操作后所述触控设备显示的界面反馈图像。

7、第二方面，本申请还提供一种触控设备控制装置，所述触控设备控制装置包括：

8、图像获取模块，用于获取所述触控设备显示的界面当前图像；

9、图像分析模块，用于对所述界面当前图像进行图像分析，得到所述界面当前图像中的至少一个可操作元素；

10、触控操作确定模块，用于根据预设的操作任务和所述可操作元素，确定为完成所述操作任务在所述界面当前图像中所需的目标触控操作；

11、触控操作执行模块，用于控制机械臂对所述触控设备执行所述目标触控操作，并获取执行所述目标触控操作后所述触控设备显示的界面反馈图像。

12、第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的触控设备控制方法。

13、第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的触控设备控制方法。

14、本申请提供一种触控设备控制方法、装置、设备及计算机存储介质，本申请通过获取所述触控设备显示的界面当前图像；对所述界面当前图像进行图像分析，得到所述界面当前图像中的至少一个可操作元素；根据预设的操作任务和所述可操作元素，确定为完成所述操作任务在所述界面当前图像中所需的目标触控操作；控制机械臂对所述触控设备执行所述目标触控操作，并获取执行所述目标触控操作后所述触控设备显示的界面反馈图像。由于对界面当前图像进行图像分析从而控制机械臂进行触控实现预设的操作任务，提高了机械臂控制触控设备的智能性，降低了完成重复性操作任务所需的人力成本。

技术特征：

1.一种触控设备控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的触控设备控制方法，其特征在于，所述获取所述触控设备显示的界面当前图像，包括：

3.根据权利要求1所述的触控设备控制方法，其特征在于，所述对所述界面当前图像进行图像分析，得到所述界面当前图像中的至少一个可操作元素，包括：

4.根据权利要求3所述的触控设备控制方法，其特征在于，所述根据预设的操作任务和所述可操作元素，确定为完成所述操作任务在所述界面当前图像中所需的目标触控操作，包括：

5.根据权利要求4所述的触控设备控制方法，其特征在于，所述控制机械臂对所述触控设备执行所述目标触控操作，并获取执行所述目标触控操作后所述触控设备显示的界面反馈图像，包括：

6.根据权利要求5所述的触控设备控制方法，其特征在于，所述根据所述操作位置，基于预设的映射函数确定所述机械臂执行所述目标触控操作的移动参数之前，还包括：

7.根据权利要求1-6任一项所述的触控设备控制方法，其特征在于，所述控制机械臂对所述触控设备执行所述目标触控操作，并获取执行所述目标触控操作后所述触控设备显示的界面反馈图像，包括：

8.一种触控设备控制装置，其特征在于，所述触控设备控制装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的触控设备控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的触控设备控制方法的步骤。

技术总结本申请涉及人工智能领域，提供一种触控设备控制方法、装置、设备及计算机存储介质，该方法包括：获取所述触控设备显示的界面当前图像；对所述界面当前图像进行图像分析，得到所述界面当前图像中的至少一个可操作元素；根据预设的操作任务和所述可操作元素，确定为完成所述操作任务在所述界面当前图像中所需的目标触控操作；控制机械臂对所述触控设备执行所述目标触控操作，并获取执行所述目标触控操作后所述触控设备显示的界面反馈图像。通过对界面当前图像进行图像分析从而控制机械臂进行触控实现预设的操作任务，提高了机械臂控制触控设备的智能性，降低了完成重复性操作任务所需的人力成本。技术研发人员：叶鹏飞受保护的技术使用者：共达地创新技术（深圳）有限公司技术研发日：技术公布日：2024/11/21