基于上下文感知的桌面操作辅助方法、装置、介质及设备与流程

本技术涉及桌面操作辅助，具体涉及一种基于上下文感知的桌面操作辅助方法、装置、介质及设备。

背景技术：

1、上下文感知是一种能够理解和响应用户的行为和环境信息的技术，其核心在于能够收集和分析用户的上下文信息，通过上下文信息，可以准确地预测用户的需求和行为，从而提供更加个性化和准确的服务。桌面操作指的是在图形用户界面（graphical userinterface，gui）中，用户通过鼠标、键盘等输入设备与计算机进行交互的行为。桌面操作辅助指的是计算机桌面上提供的一系列辅助功能，帮助用户更轻松、更有效地执行日常任务，从而提高用户在计算机桌面上的工作效率和操作便捷性。

2、目前，桌面操作辅助模式通常采用通用式的向导模式，向导模式为一种用户交互模式，旨在通过一系列步骤化的教程界面来指导用户完成复杂的任务或流程，这种模式对每个步骤进行说明和指示。用户按照教程界面进行操作时，一旦某一步操作存在错误，此向导模式下无法及时对用户进行正确地引导，做出正确的桌面操作，导致桌面操作辅助实时响应的效果较差。

技术实现思路

1、为了改善桌面操作辅助实时响应的效果，本技术提供一种基于上下文感知的桌面操作辅助方法、装置、介质及设备。

2、在本技术的第一方面提供了一种基于上下文感知的桌面操作辅助方法，具体包括：

3、获取用户的终端的桌面界面信息和桌面操作信息；

4、根据所述桌面界面信息和所述桌面操作信息，基于上下文感知技术，确定对应的上下文信息；

5、基于所述上下文信息和所述用户的当前桌面操作，生成对应的操作辅助信息；

6、确定所述操作辅助信息在所述终端界面中对应的显示位置，并在所述显示位置以透明层显示所述操作辅助信息。

7、通过采用上述技术方案，获取到终端的桌面界面信息和桌面操作信息后，利用上下文感知技术，从桌面界面信息和桌面操作信息中分析并提取出上下文信息，从而一定程度上反映出用户在终端上的操作意图，接着根据上下文信息，分析推测出用户的操作意图，并结合用户当前的桌面操作，生成对应的操作辅助信息，从而确定与用户的操作意图相匹配的操作提醒，最后确定操作辅助信息在界面中的显示位置，并以透明层的形式进行显示，不仅不会对用户的桌面操作产生干扰，而且还能使操作辅助信息实时在终端界面中相应位置进行显示，对用户的桌面操作进行针对性提醒或引导，从而改善桌面操作辅助实时响应的效果。

8、可选的，所述基于所述上下文信息和所述用户的当前桌面操作，生成对应的操作辅助信息，具体包括：

9、所述基于所述上下文信息，确定所述用户下一步桌面操作的下步操作类型，并判断所述用户的当前桌面操作是否正确；

10、若是，则在所述下步操作类型为鼠标点击类型时，生成下一步鼠标点击建议并确定为操作辅助信息；

11、若否，则在所述当前桌面操作的操作类型为鼠标点击类型时，生成正确鼠标点击建议并确定为操作辅助信息；

12、在所述当前桌面操作的操作类型为键盘输入类型时，生成正确键盘输入信息并确定为操作辅助信息。

13、通过采用上述技术方案，如果用户当前的桌面操作正确，并且下一步桌面操作的操作类型为鼠标点击类型时，说明对用户的桌面操作建议应该为下一步正确的鼠标点击操作，那么生成下一步鼠标点击建议并确定为操作辅助信息；如果用户当前的桌面操作错误，应该针对当前桌面操作显示正确的操作建议，那么当前桌面操作的操作类型为鼠标点击类型时，将正确鼠标点击建议确定为操作辅助信息；在当前桌面操作的操作类型为键盘输入类型时，将正确键盘输入信息确定为操作辅助信息，从而基于当前桌面操作确定具有针对性和实时性的响应。

14、可选的，所述确定所述操作辅助信息在所述终端界面中对应的显示位置，并在所述显示位置以透明层显示所述操作辅助信息，具体包括：

15、对所述桌面界面信息进行解析，得到至少一个界面元素；

16、若所述当前桌面操作正确，则在所述下步操作类型为鼠标点击类型时，从各所述界面元素中确定所述下一步鼠标点击建议对应的第一界面元素；

17、将所述第一界面元素所在的位置确定为对应的操作辅助信息在所述终端界面中的第一显示位置，并在所述第一显示位置以透明层显示对应的操作辅助信息；

18、若所述当前桌面操作错误，则在所述当前桌面操作的操作类型为鼠标点击类型时，从各所述界面元素中确定所述正确鼠标点击建议对应的第二界面元素；

19、将所述第二界面元素所在的位置确定为对应的操作辅助信息在所述终端界面中的第二显示位置，并在所述第二显示位置以透明层显示对应的操作辅助信息。

20、通过采用上述技术方案，如果当前桌面操作正确，并且下步操作类型为鼠标点击类型时，说明基于用户的操作意图，下一步桌面操作为鼠标点击操作，那么确定下一步鼠标点击建议对应的第一界面元素，即下一步鼠标所要点击的界面元素，进一步地，将操作辅助信息显示在第一界面元素所在的位置；如果当前桌面操作错误，并且当前桌面操作的操作类型为鼠标点击类型时，说明基于用户的操作意图当前的鼠标点击操作存在错误，那么根据正确鼠标点击建议，确定用户应该点击的界面元素，即第二界面元素。最后在第二界面元素所在的位置显示操作辅助信息，从而为用户下一步的桌面操作提供精准的、个性化的操作提醒。

21、可选的，所述在所述显示位置以透明层显示所述操作辅助信息，具体包括：

22、在所述操作辅助信息为目标界面元素的鼠标点击建议时，获取所述用户的第一群体类型，从预设的透明度推荐表中匹配所述第一群体类型对应的第一透明度范围，并在所述显示位置以第一透明度的第一透明层显示对应的操作辅助信息，所述透明度推荐表中包括不同群体类型和对应的透明度范围，所述第一透明度为所述第一透明度范围中的最低透明度，所述目标界面元素为所述显示位置处的界面元素；

23、若超过第一预设时长未检测到所述用户点击所述目标界面元素，则统计所述用户对所述目标界面元素预设范围内的实际点击次数；

24、在所述实际点击次数不小于预设的次数阈值时，则基于所述第一透明度范围将所述第一透明度调高至目标透明度，并在所述显示位置以所述目标透明度的目标透明层显示对应的操作辅助信息；

25、若所述实际点击次数小于所述次数阈值，获取所述终端发送的第二群体类型，并将所述第一透明度替换为所述第二群体类型对应的第二透明度范围中的第二透明度，所述第二透明度为所述第二透明度范围中的最低透明度；

26、在所述显示位置以所述第二透明度的第二透明层显示对应的操作辅助信息。

27、通过采用上述技术方案，如果实际点击次数不小于预设的次数阈值，说明用户对目标界面元素附近区域点击次数较多，说明第一透明度过低，对目标界面元素遮挡严重，那么在第一透明度范围内，将第一透明度进行调高，改善对目标界面元素的遮挡问题。如果实际点击次数小于次数阈值，用户对目标界面元素附近区域点击次数较少，说明用户从一开始就未观看到第一透明层，不知晓第一透明层在终端界面中位置，进而说明当前的第一透明度范围与用户并不贴合，可能是此用户的第一群体类型确定时存在偏差，那么将第一透明度替换为第二透明度，使得用户易于观察到显示操作辅助信息的透明层。

28、可选的，所述鼠标点击建议包括对所述目标界面元素的鼠标建议点击动作，所述在所述显示位置以所述第二透明度的第二透明层显示对应的操作辅助信息之后，还包括：

29、若超过第二预设时长未检测到所述用户以所述鼠标建议点击动作点击所述目标界面元素，则获取所述显示位置的第一界面颜色；

30、计算所述第一界面颜色与所述第二透明层内显示的操作辅助信息的颜色的第一对比度；

31、若所述第一对比度低于预设的第一对比度阈值，则将所述第二透明层内显示的操作辅助信息的颜色调整为第一目标颜色，所述第一目标颜色与所述第一界面颜色的对比度不低于所述第一对比度阈值。

32、通过采用上述技术方案，如果超过第二预设时长没有检测到用户按照鼠标建议点击动作点击目标界面元素，说明大概率是用户无法清晰看到第二透明层内显示的操作辅助信息，导致用户未按照鼠标建议点击动作对目标界面元素进行点击，那么确定第一对比度，如果第一对比度低于预设的第一对比度阈值，说明第一界面颜色与操作辅助信息的颜色的对比度较低，颜色较为接近，导致用户无法看清操作辅助信息，那么将操作辅助信息的颜色调整为第一目标颜色，使得用户易于观察到第一透明层内的操作辅助信息。

33、可选的，所述在所述显示位置以所述第二透明度的第二透明层显示对应的操作辅助信息之后，还包括：

34、若超过第三预设时长未检测到所述用户点击所述目标界面元素，则获取所述显示位置的第二界面颜色；

35、计算所述第二界面颜色与所述第二透明层的颜色的第二对比度；

36、若所述第二对比度低于预设的第二对比度阈值，则将所述第二透明度恢复至所述第一透明度，并将所述第一透明层的颜色调整为预设的第二目标颜色，所述第二目标颜色与所述第二界面颜色的对比度不低于所述第二对比度阈值。

37、通过采用上述技术方案，如果超过第三预设时长未检测到用户点击目标界面元素，说明用户可能未能观看到第二透明层，进一步地，如果第二对比度低于预设的第二对比度阈值，说明是由于第二透明层的颜色与第二界面颜色较为接近，导致第二透明层不容易被用户观看到，并非由于第一透明度范围与用户不匹配所导致，那么将第二透明度恢复至第一透明度，并调整第一透明层的颜色，从而使得第一透明层易于被用户观察到，提升对用户桌面操作的辅助效果。

38、可选的，所述在所述显示位置以透明层显示所述操作辅助信息，具体包括：

39、确定所述显示位置与所述终端的屏幕中心的距离；

40、将所述距离与预设的距离阈值进行对比，若所述距离小于所述距离阈值，则获取所述用户的第三群体类型；

41、根据所述第三群体类型，确定所述用户易于观察到所述透明层的第三透明度，并在所述显示位置以所述第三透明度的第三透明层显示所述操作辅助信息；

42、若所述距离不小于所述距离阈值，则根据所述距离，确定所述用户易于观察到所述透明层的第四透明度，并在所述显示位置以所述第四透明度的第四透明层显示所述操作辅助信息，所述距离越大，第四透明度越低。

43、通过采用上述技术方案，如果距离小于距离阈值，说明操作辅助信息的显示位置较为符合用户观看屏幕的视野习惯，根据用户的群体类型，确定适合用户的透明度较为合理；如果距离不小于距离阈值，说明显示位置距离屏幕中心距离较远，不符合用户观看屏幕的视野习惯，如果透明层的透明度偏高，容易被用户忽视，那么根据距离确定适合用户的透明度较为合理。从而使用户更容易观看到透明层，以按照操作辅助信息进行桌面操作。

44、在本技术的第二方面提供了一种基于上下文感知的桌面操作辅助装置，具体包括：

45、信息获取模块，用于获取用户的终端的桌面界面信息和桌面操作信息；

46、上下感知模块，用于根据所述桌面界面信息和所述桌面操作信息，基于上下文感知技术，确定对应的上下文信息；

47、辅助生成模块，用于基于所述上下文信息和所述用户的当前桌面操作，生成对应的操作辅助信息；

48、操作辅助模块，用于确定所述操作辅助信息在所述终端界面中对应的显示位置，并在所述显示位置以透明层显示所述操作辅助信息。

49、通过采用上述技术方案，信息获取模块获取到桌面界面信息和桌面操作信息后，由上下感知模块基于上下文感知技术，确定对应的上下文信息，接着辅助生成模块，基于上下文信息和当前桌面操作，生成相匹配的操作辅助信息，最后操作辅助模块在对应的显示位置以透明层的形式显示此操作辅助信息。

50、在本技术的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被处理器加载并执行时，执行如第一方面中任意一项所述的方法步骤。

51、在本技术的第四方面提供了一种电子设备，具体包括：

52、处理器、存储器及存储在存储器中并能够在处理器上运行的计算机程序，所述处理器用于加载并执行所述存储器中存储的计算机程序，以使所述电子设备执行如第一方面中任意一项所述的方法。

53、综上所述，本技术包括以下至少一种有益技术效果：获取到终端的桌面界面信息和桌面操作信息后，利用上下文感知技术，从桌面界面信息和桌面操作信息中分析并提取出上下文信息，从而一定程度上反映出用户在终端上的操作意图，接着根据上下文信息，分析推测出用户的操作意图，并结合用户当前的桌面操作，生成对应的操作辅助信息，从而确定与用户的操作意图相匹配的操作提醒，最后确定操作辅助信息在界面中的显示位置，并以透明层的形式进行显示，不仅不会对用户的桌面操作产生干扰，而且还能使操作辅助信息实时在终端界面中相应位置进行显示，对用户的桌面操作进行针对性提醒或引导，从而改善桌面操作辅助实时响应的效果。