一种基于RPA的操作说明自动生成方法、设备及介质与流程

本发明涉及计算机科学和信息，具体而言，涉及一种基于rpa的操作说明自动生成方法、设备及介质。

背景技术：

1、在现有信息技术领域，操作说明书的编写是一项耗时耗力耗人的任务，而且容易受制于操作者的经验水平和主观因素，存在一定的不确定性和主观性。另一方面，部分自动化生成的操作说明书存在语义不清晰、不符合实际操作流程的问题。操作说明书会面向各种不同的用户，包括面向用户、面向工程测试人员等类型。系统发生变动时需要订正或重新编制操作说明文档，比如新系统上线前需要工程人员耗费大量时间编制操作说明、系统页面改变时需要订正操作说明文档、更新新功能时需要额外耗费一定时间进行文档的变动等。其中容易出现很多问题，比如不同的用户终端可能存在不同的版本、历史文档遗失、人为编写错误等问题。在编制操作说明的过程中，需要人为思考梳理复杂的业务以及系统流程，并一一截取界面图片，同时要在图片上进行适当文本或图形的标记来辅助编制操作说明。

技术实现思路

1、有鉴于此，本发明提供一种基于rpa的操作说明自动生成方法、设备及介质，用于解决上述问题。

2、为解决以上技术问题，本发明提供了一种基于rpa的操作说明自动生成方法，包括：

3、s1：预定义操作说明文档模板、输出格式、输出形式以及输出操作；

4、s2：激活rpa使用场景，进入业务系统并进行权限验证；

5、s3：rpa根据预设操作逻辑执行业务流程，并在执行过程中对预设步骤和/或节点进行截图，并追踪关键步骤和/或关键操作节点；

6、s4：使用图像标注模型算法对上述s3产生的截图进行标注处理；

7、s5：rpa对生成标注的图像和预定义操作说明文档模板、输出格式、输出形式以及输出操作进行整合，生成操作说明文档。

8、作为一种可选方式，在上述s1中，

9、输出格式包括：所有专业领域和应用程序特定的文本格式，包括文本、图像、音频、视频、电子表格、数据库、结构化、非结构化、虚拟文档；

10、输出形式包括：输出为电子文档，电子文档涵盖上述所有形式和/或输出为结构化数据源和非结构化数据源，并对数据进行展示；

11、输出操作包括：导出、打印、发送、存储、上传、下载、后处理、删除。

12、作为一种可选方式，在上述s2中，业务系统包括：所有定义的本地和/或异地的系统和/或app、软硬件、虚拟终端；

13、权限验证包括输入可被识别为权限访问的系统凭证，系统凭证包括登录验证凭证、执行业务身份验证凭证、操作要求验证凭证、系统管理验证凭证、退出系统验证凭证的环节通过凭证。

14、作为一种可选方式，rpa根据预设操作逻辑执行业务流程包括：

15、依据预定义流程执行模式、人为可干扰执行模式、机器可干扰执行模式进行操作；

16、人为可干扰执行模式包括命令形式、交互操作形式；

17、机器可干扰执行模式包括所有纯rpa以外程序控制和干扰的模式。

18、作为一种可选方式，在上述s3中，

19、关键步骤包括：所有操作步骤、部分操作步骤；部分操作步骤包括连续操作步骤、非连续操作步骤；

20、截图包括：所有操作步骤截图、部分操作步骤截图；部分操作步骤截图包括连续操作步骤截图、非连续操作步骤截图；

21、关键操作节点包括：所有操作节点、部分操作节点；部分操作节点包括连续操作节点、非连续操作节点。

22、作为一种可选方式，在上述s4中，标注处理包括识别并标注关键步骤以及顺序，并在此基础上标注文本、特殊符号与图像，最终生成带标注的图像。

23、作为一种可选方式，在上述s4中，标注处理包括：

24、s41：rpa执行业务流程，获取操作端界面的图像数据集，为每个图像提供标签和/或名称，记录关键步骤的截图和操作节点；

25、s42：使用图像标注模型算法，训练目标检测模型，实现识别并定位界面的关键步骤以及操作区域；

26、s43：将训练的模型应用于自动捕获的系统界面图像，标注出关键步骤的位置区域；

27、s44：将原始图像与算法生成的标签处理整合，生成带有标注的图像。

28、作为一种可选方式，在上述s5中，包括：预定义一个操作说明书模板和/或给rpa预定义写作指令，rpa执行和图像标注处理后，生成n张带标注的图像；rpa将图像插入模板文档中和/或新建文档，并按照执行步骤顺序和图像集整合进行文档编辑，最终输出操作说明文档。

29、另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，作为一种可选方式，处理器执行计算机程序时实现如上述方法的步骤。

30、另一方面，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，作为一种可选方式，计算机程序被处理器执行时实现如上述方法的步骤。

31、本发明的有益效果为：

32、本发明基于rpa和图像标注处理算法模型，实现自动捕获系统操作过程、生成操作步骤、智能标注图像并将其结合形成操作说明书的方法，以解决传统操作说明书编写存在的繁琐、主观性强的问题，实现更加自动、准确、可靠的系统操作说明书生成。

技术特征：

1.一种基于rpa的操作说明自动生成方法，其特征在于，包括：

2.根据权利要求1所述的一种基于rpa的操作说明自动生成方法，其特征在于，在上述s1中，

3.根据权利要求1所述的一种基于rpa的操作说明自动生成方法，其特征在于，在上述s2中，所述业务系统包括：所有定义的本地和/或异地的系统和/或app、软硬件、虚拟终端；

4.根据权利要求1所述的一种基于rpa的操作说明自动生成方法，其特征在于，所述rpa根据预设操作逻辑执行业务流程包括：

5.根据权利要求1所述的一种基于rpa的操作说明自动生成方法，其特征在于，在上述s3中，

6.根据权利要求1所述的一种基于rpa的操作说明自动生成方法，其特征在于，在上述s4中，所述标注处理包括识别并标注关键步骤以及顺序，并在此基础上标注文本、特殊符号与图像，最终生成带标注的图像。

7.根据权利要求6所述的一种基于rpa的操作说明自动生成方法，其特征在于，在上述s4中，所述标注处理包括：

8.根据权利要求1所述的一种基于rpa的操作说明自动生成方法，其特征在于，在上述s5中，包括：预定义一个操作说明书模板和/或给rpa预定义写作指令，rpa执行和图像标注处理后，生成n张带标注的图像；rpa将图像插入模板文档中和/或新建文档，并按照执行步骤顺序和图像集整合进行文档编辑，最终输出操作说明文档。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。

技术总结本发明涉及计算机技术领域，尤其涉及自动化文档生成技术，包括RPA技术和图片处理技术的应用。本发明公开了一种基于RPA的操作说明自动生成方法、设备及介质，包括步骤S1：预定义操作说明文档模板、输出格式、输出形式以及输出操作；S2：激活RPA使用场景，进入业务系统并进行权限验证；S3：RPA根据预设操作逻辑执行业务流程，并在执行过程中对预设步骤和/或节点进行截图，并追踪关键步骤和/或关键操作节点；S4：使用图片标注模型算法对上述S3产生的截图进行标注处理；S5：RPA对生成标注的图片和预定义操作说明文档模板、输出格式、输出形式以及输出操作进行整合，生成操作说明文档。实现了操作说明书的自动生成，降低了人工编写的成本。技术研发人员：杨玉杰,胥绍刚,刘禹,姜超受保护的技术使用者：四川互慧软件有限公司技术研发日：技术公布日：2024/8/1