信息处理方法、装置、设备及存储介质与流程

1.本技术实施例涉及信息技术领域，尤其涉及一种信息处理方法、装置、设备及存储介质。


背景技术：

2.相关技术中，基于访问应用过程中出现的文本信息或图像信息，确定此次访问产生的访问信息，这样得到的访问信息精准度不够高。


技术实现要素：

3.本技术实施例提供一种信息处理技术方案。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种信息处理方法，所述方法包括：
6.获取待访问应用；
7.响应于针对所述待访问应用的访问操作，确定与所述待访问应用关联的多模态访问信息；
8.对所述多模态访问信息进行归类，得到目标访问信息。
9.在一些实施例中，所述响应于针对所述待访问应用的访问操作，确定与所述待访问应用关联的多模态访问信息，包括：响应于针对所述待访问应用的访问操作，获取所述待访问应用在被访问过程中生成的待处理页面；对所述待处理页面中的页面信息进行信息提取，得到所述多模态访问信息。如此，能够得到更加丰富且更加精准的多模态访问信息。
10.在一些实施例中，所述多模态访问信息，至少包括以下之一：文字信息、图像信息、视频信息、音频信息、访问行为信息、访问事件。如此，通过对多种不同形态的信息进行获取，得到更加丰富的访问信息，即多模态访问信息。
11.在一些实施例中，所述对所述多模态访问信息进行归类，得到目标访问信息之前，所述方法还包括：确定所述待访问应用的应用场景；构建与所述应用场景匹配的知识图谱；所述对所述多模态访问信息进行归类，得到目标访问信息，包括：基于所述知识图谱对所述多模态信息进行归类，得到所述目标访问信息。如此，基于构建的知识图谱对获取的多模态访问信息进行归类，得到更加精准的目标访问信息，以便后续管理和检索相关访问信息。
12.在一些实施例中，所述基于所述知识图谱对所述多模态信息进行归类，得到所述目标访问信息，包括：对所述多模态访问信息进行信息处理，得到处理结果；基于所述知识图谱对所述处理结果进行归类，得到所述目标访问信息。如此，能够使得确定的目标访问信息内部的框架体系更加完善，以便后续对该目标访问信息进行管理和检索。
13.在一些实施例中，在所述访问操作包括访问子操作集的情况下，所述对所述多模态访问信息进行信息处理，得到处理结果之前，所述方法还包括：基于预设访问规则，从所述访问子操作集中确定目标访问子操作；在所述多模态信息中，确定与目标访问子操作关联的中间信息；所述对所述多模态访问信息进行信息处理，得到处理结果，包括：对所述中
间信息进行信息处理，得到所述处理结果。如此，能够实现对获取的多模态信息进行信息筛选以及处理，以便后续得到更加精细化的目标访问信息。
14.在一些实施例中，所述信息处理，至少包括以下之一：文本解析、图像识别、视频处理、音频识别、行为分类、事件分析。如此，能够使得信息处理过程更加精准。
15.在一些实施例中，所述对所述多模态访问信息进行归类，得到目标访问信息之后，所述方法还包括：响应于接收到展示指令，展示所述目标访问信息和所述目标访问信息关联的推荐信息中的至少之一。如此，以便相关用户及时获取此次访问过程中产生的相关信息。
16.在一些实施例中，所述方法还包括：基于所述待访问应用的应用场景，生成与所述待访问应用匹配的预设虚拟助理；基于所述访问操作和所述多模态访问信息中的至少之一，对所述预设虚拟助理的形象参数进行调整，得到并展示目标虚拟助理。如此，能够提高访问应用过程中的用户体验。
17.本技术实施例提供一种信息处理装置，所述装置包括：
18.获取模块，用于获取待访问应用；
19.确定模块，用于响应于针对所述待访问应用的访问操作，获取与所述待访问应用关联的多模态访问信息；
20.归类模块，用于对所述多模态访问信息进行归类，得到目标访问信息。
21.本技术实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的信息处理方法。
22.本技术实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的信息处理方法。
23.本技术实施例提供一种信息处理方法、装置、设备及存储介质，其中，首先获取待访问应用；然后响应于针对该待访问应用的访问操作，确定与待访问应用关联的多模态访问信息；最后对确定的多模态访问信息进行归类，得到目标访问信息。如此，能够提高确定访问应用过程中产生的访问记录和访问信息的准确度和精准度。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
25.图1为本技术实施例提供的第一种信息处理方法的流程示意图；
26.图2为本技术实施例提供的第二种信息处理方法的流程示意图；
27.图3为本技术实施例提供的第三种信息处理方法的流程示意图；
28.图4为应用本技术实施例提供的信息处理方法实现一种访问信息确定的流程示意图；
29.图5为应用本技术实施例提供的信息处理方法实现另一种访问信息确定的流程示意图；
30.图6为本技术实施例提供的信息处理装置的结构组成示意图；
31.图7为本技术实施例提供的计算机设备的组成结构示意图。
具体实施方式
32.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本技术实施例，但不用来限制本技术实施例的范围。
33.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
34.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
35.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术实施例的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术实施例。
36.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
37.知识图谱：(knowledge graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
38.下面说明本技术实施例提供的信息处理设备的示例性应用，本技术实施例提供的信息处理方法可以应用在具有数据处理功能的笔记本电脑，平板电脑，台式计算机，相机，移动设备(例如，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。
39.该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
40.本技术实施例提供一种信息处理方法，如图1所示，为本技术实施例提供的第一种信息处理方法的流程示意图；结合图1所示步骤进行说明：
41.步骤s101，获取待访问应用。
42.在一些实施例中，待访问应用可以是能够在电子设备上运行的任一应用；其中，待访问应用可以按应用划分，为网络通信类应用、文字处理类应用、视频/音频播放类应用、电子表格类应用等任意应用，也可以按应用场景划分，为教学类应用、生活类应用、工作类应用、娱乐类应用等任意应用。
43.在一些实施例中，获取待访问应用，可以是按照事先设定好的规则从电子设备中选取的，还可以是响应于操作用户对电子设备的操作，确定与该操作关联的应用，即待访问应用；在一些实施例中，可以是用户想要看视频，则在电子设备中启动视频播放类应用，即
待访问应用，也可以是用户需要在电子设备上启动线上教学类的应用进行学习，进而获取待访问应用，即任意教学类应用。
44.在一些实施例中，待访问应用的数量可以是一个，也可以是两个及以上，在待访问应用的数量为两个及以上的情况下，两个及以上的待访问应用中不同应用的类型不同，例如可以包括：即时通信类应用、教学类应用。
45.步骤s102，响应于针对所述待访问应用的访问操作，确定与所述待访问应用关联的多模态访问信息。
46.在一些实施例中，响应于针对该待访问应用的访问操作，感知并获取与待访问应用关联的多模态访问信息；其中，该多模态访问信息可以是在待访问应用被访问时，从相关服务器获取并输出，或生成的信息。
47.在一些实施例中，多模态访问信息，包括但不限于：基于访问操作访问的文本信息、图像信息、视频信息、音频信息；同时还可以包括访问操作内部携带的针对访问信息的一些访问行为或访问事件，比如：针对访问信息的长时间连续点击、周期性地反复查看、收藏访问信息、保存或下载访问信息等。
48.在一些实施例中，待访问应用为浏览网页类应用，通过页面内容自适应的解析，对页面内容进行解析以及记录，并以此来记录基于访问浏览页面的记录以及相关访问数据，进而得到多模态访问信息。
49.在一些实施例中，针对待访问应用的访问操作，可以任意操作对象发出，比如：操作电子设备的任意用户，或与电子设备进行信息交互的任意设备。
50.在一些实施例中，在待访问应用包括电子设备上的多个不同应用的情况下，在操作对象针对多个不同应用进行相关访问操作，确定出多模态访问信息，包括但不限于：个人即时通信信息、个人网页浏览信息、个人文档浏览记录信息、个人语音或短信信息等。
51.步骤s103，对所述多模态访问信息进行归类，得到目标访问信息。
52.在一些实施例中，对多模态信息进行归类，可以是按照多模态信息的信息类型进行归类，也可以是按照多模态信息的信息内容进行归类等，进而得到目标访问信息。
53.在一些实施例中，可以采用预设的知识图谱，对多模态访问信息进行归类处理，进而得到目标访问信息；其中，该知识图谱可以是待访问应用的应用场景确定。
54.在一些实施例中，可以先对多模态信息进行解析，得到解析结果，进而将该解析结果按照相关类型填充至预设的知识图谱，得到目标访问信息。其中，该目标访问信息也可以多模态信息进行呈现，比如：视频、音频、文本等。
55.在一些实施例中，通过对待访问应用在访问过程中输出或显示的信息，即访问过程中展示的多模态信息，包括但不限于：文本信息、音频信息、视频信息、图像信息以及访问过程中产生的访问行为、访问事件进行归类，能够得到此次访问，即访问对象与待访问应用之间在此次访问过程，即交互过程中生成的具体且详细的目标访问信息；同时基于该目标访问信息，以便后续管理和检索本次访问的相关信息。
56.在一些实施例中，可以在对不同应用进行访问时，实时获取不同应用在访问过程中产生的所有类型的信息，即多种模态信息，并对该多种模态信息进行归类处理，进而得到访问不同应用各自对应的访问意图信息；也就是说，能够实现跨应用、跨模态收集信息，进一步可以将收集的不同应用的多种模态信息进行展示或反馈。这样，能够提高确定访问应
用过程中产生的访问记录和访问信息的准确度和精准度。
57.本技术实施例提供一种信息处理方法，首先获取待访问应用；然后响应于针对该待访问应用的访问操作，确定与待访问应用关联的多模态访问信息；最后对确定的多模态访问信息进行归类，得到目标访问信息。如此，能够提高确定访问应用过程中产生的访问记录和访问信息的准确度和精准度。
58.在一些实施例中，基于访问操作，从待访问应用在被访问过程中生成的待处理页面中进行信息提取，得到多模态访问信息。如此，能够得到更加丰富且更加精准的多模态访问信息。即上述实施例提供的步骤s102可以通过以下步骤s201至步骤s202的方式来实现，如图2所示，为本技术实施例提供的第二种信息处理方法的流程示意图，结合图1和图2所示的步骤进行以下说明：
59.步骤s201，响应于针对所述待访问应用的访问操作，获取所述待访问应用在被访问过程中生成的待处理页面。
60.在一些实施例中，响应于针对待访问应用的访问操作，获取待访问应用在被访问过程中生成或展示的待处理页面；其中该待处理页面可以是待访问应用在被访问过程中在电子设备的显示装置上呈现的相关信息。其中，待处理页面可以随访问操作实时发生变化。且待处理页面的数量也可以一个，也可以是两个及以上。
61.在一些实施例中，在待访问应用的数量为两个及以上的情况下，不同待访问应用在被访问过程中生成的待处理页面不同，且对应的待处理页面的数量也不同。
62.步骤s202，对所述待处理页面中的页面信息进行信息提取，得到所述多模态访问信息。
63.在一些实施例中，通过对待处理页面中的页面内容、页面后台记录以及对该待处理页面上的相关访问操作进行信息提取，得到多模态访问信息。其中，可以通过感知待处理页面中的页面信息并将该页面信息进行存储。
64.在一些可能的实现方式中，多模态访问信息包括多种被访问的数据，包括但不限于以下，即多模态访问信息至少包括以下之一：
65.文字信息、图像信息、视频信息、音频信息、访问行为信息、访问事件。
66.在一些实施例中，文字信息、图像信息、视频信息、音频信息可以是待访问应用在被访问过程中生成的信息，其中，访问行为信息可以为访问待访问应用的过程中产生的访问行为，比如：长时间点击操作、反复观看同一视频等；访问事件可以是访问待访问应用过程中产生的事件，比如：保存、收藏、点评、转发等。
67.在一些实施例中，通过对多种不同形态的信息进行获取，得到更加丰富的访问信息，即多模态访问信息。
68.在一些实施例中，基于待访问应用的应用场景，构建对应的知识图谱；进而基于构建的知识图谱对获取的多模态访问信息进行归类，得到更加精准且准确的目标访问信息，以便后续管理和检索相关访问信息。即上述实施例提供的步骤s103之前，还可以执行以下步骤s301和步骤s302，如图3所示，为本技术实施例提供的第三种信息处理方法的流程示意图，结合图1至图3所示的步骤进行以下说明：
69.步骤s301，确定所述待访问应用的应用场景。
70.在一些实施例中，可以基于待访问应用的类型，确定对应的应用场景，也可以基于
待访问应用的功能，确定对应的应用场景。
71.在一些实施例中，待访问应用为教学类应用的情况下，则确定对应的应用场景为学习场景；待访问应用为即时通信类应用用于进行会议沟通的情况下，则确定对应的应用场景为会议场景。
72.步骤s302，构建与所述应用场景匹配的知识图谱。
73.在一些实施例中，构建与应用场景匹配的知识图谱，可以是生成与学习场景、会议场景、购物场景、娱乐场景等各自对应的知识图谱。
74.在一些实施例中，在待访问应用为教学类应用的情况下，确定的知识图谱为教学体系知识框架，包括但不限于：不同类型知识体系框架、不同用户维度的知识体系框架、通用知识体系框架。在待访问应用为会议类应用的情况下，确定的知识图谱为会议类框架，包括但不限于：不同参会人员体系框架、不同岗位的体系框架等。
75.在一些实施例中，不同待访问应用所对应的知识图谱可以不同。
76.这里，对多模态访问信息进行归类，得到目标访问信息，可以通过以下步骤s303的方式来实现：
77.步骤s303，基于所述知识图谱对所述多模态信息进行归类，得到所述目标访问信息。
78.在一些实施例中，可以是将多模态信息按照不同信息内容，归类至知识图谱对应的位置处，进而得到目标访问信息。
79.在一些实施例中，可以首先对多模态访问信息进行信息处理，进而将得到的处理结果基于知识图谱进行归类，得到目标访问信息。如此，能够使得确定的目标访问信息内部的框架体系更加完善，以便后续对该目标访问信息进行管理和检索。即上述步骤s303可以通过以下步骤s3031和步骤s3032的方式来实现(图中未示出)：
80.步骤s3031，对所述多模态访问信息进行信息处理，得到处理结果。
81.在一些实施例中，对获取的多模态访问信息进行处理，可以基于多模态信息中不同模态信息，进行不同处理，以便得到对应的处理结果。
82.在一些可能的实现方式中，在所述访问操作包括访问子操作集的情况下，可以从访问子操作集中选取目标访问子操作，进而从获取的多模态信息中筛选对应的中间信息，并将中间信息进行信息处理，得到最终的处理结果。如此，能够实现对获取的多模态信息进行信息筛选以及处理，以便后续得到更加精细化的目标访问信息。即上述步骤s3031中的对所述多模态访问信息进行信息处理，得到处理结果之前，还可以执行以下过程：
83.第一步，基于预设访问规则，从所述访问子操作集中确定目标访问子操作。
84.在一些实施例中，该预设访问规则可以是事先设定好的，也可以随待访问应用的属性信息或应用场景确定。其中，基于预设访问规则，从访问子操作集中确定该目标访问子操作，可以将从访问子操作集中的保存、转发、收藏等操作确定为目标访问子操作。
85.第二步，在所述多模态信息中，确定与目标访问子操作关联的中间信息。
86.在一些实施例中，从获取的多模态信息中，将于该目标访问子操作关联的信息，确定为中间信息，比如将保存的图片确定为中间信息，将点评的视频确定为中间信息。其中，中间信息也可以是多模态信息，即可以包括但不限于：图像信息、视频信息、文字信息、语音信息、行为信息以及事件信息等。
87.在一些实施例中，在待访问应用的数量为两个及以上，且待访问应用的属性信息不同的情况下，可以分别从不同的待访问应用中获取对应的中间信息，其中不同待访问应用对应的目标访问子操作可以相同，也可以不同。
88.这里，所述对所述多模态访问信息进行信息处理，得到处理结果，即上述步骤s3031可以通过以下过程来实现：
89.对所述中间信息进行信息处理，得到所述处理结果。
90.在一些实施例中，通过对筛选出来的中间信息进行信息处理，得到对应的处理结果；如此，能够得到与访问操作更加匹配的多模态信息。
91.在一些可能的实现过程中，信息处理包括但不限于对各种模态的信息进行不同方式的处理。如此，能够使得信息处理过程更加精准。这里，上述的信息处理至少包括以下之一：
92.文本解析、图像识别、视频处理、音频识别、行为分类、事件分析。
93.步骤s3032，基于所述知识图谱对所述处理结果进行归类，得到所述目标访问信息。
94.在一些实施例中，可以基于确定的知识图谱对得到的处理结果进行分类以及归档，进而得到目标访问信息。
95.在一些可能的实现方式中，在对多模态访问信息进行归类，得到目标访问信息之后，还可以对该目标访问信息进行展示，以便相关用户及时获取此次访问过程中产生的相关信息。本技术实施例提供的信息处理方法还可以实现以下步骤：
96.响应于接收到展示指令，展示所述目标访问信息和与所述目访问信息关联的推荐信息中的至少之一。
97.在一些实施例中，响应于接收到的展示指令，该展示指令可以是操作对象操作电子设备时发出的，也可以是在目标访问信息生成的情况下，生成对应的展示指令，也可以是基于目标访问信息中的相关展示命令，生成对应的展示指令。
98.在一些实施例中，该推荐信息可以是与目标访问信息关联的推荐广告数据；其中，在展示目标访问信息和推荐信息的同时，可以按照预设展示规则进行展示，同样在单独展示目标访问信息或推荐信息可以随预设展示规则进行展示。
99.这里，在本技术实施例提供的信息处理方法中，还可以生成与待访问应用匹配的虚拟助理，并基于访问过程中的访问操作和确定的多模态访问信息，对该虚拟助理进行调整，以便提高访问应用过程中的用户体验，即可以通过以下过程来实现：
100.第一步，基于所述待访问应用的应用场景，生成与所述待访问应用匹配的预设虚拟助理。
101.在一些实施例中，可以基于待访问应用的应用场景，比如：学习场景，生成对应的预设虚拟助理，如：虚拟学生形象；可以基于待访问应用的应用场景，比如：购物场景，则生成对应的预设虚拟助理，如：虚拟购物车形象。
102.第二步，基于所述访问操作和所述多模态访问信息中的至少之一，对所述预设虚拟助理的形象参数进行调整，得到并展示目标虚拟助理。
103.在一些实施例中，可以基于此次访问过程的访问操作和/或多模态访问信息，对预设虚拟助理的形象参数进行调整，比如预设虚拟助理的表情、动作、显示颜色、显示亮度、显
示时长进行调整，进而得到与访问操作和/或多模态访问信息动态匹配的目标虚拟助理，同样，也可以将该目标虚拟助理同步显示在此次访问过程中，即存在访问操作的情况下，动态显示该目标虚拟助理。
104.下面结合一个具体实施例对上述信息处理方法进行说明，然而值得注意的是，该具体实施例仅是为了更好地说明本技术实施例，并不构成对本技术实施例的不当限定。
105.相关技术中，以下业务背景，比如：在线检索资料场景、电子设备中不同应用之间检索信息，或者线上或线下交互学习过程中，如何帮助老师/听众实时管理各自信息以及各种状态的方法，以及在移动设备，比如：手机作为智能终端交互所产生的内容、行为、事件、日程安排的管理和协同；通常是对单模态内容进行理解和解析，同时主要利用自然语言处理，文本处理、用户意图识别等来实现用户意图和文本交互。这样使得得到最终的用户意图和文本交互准确度较低。
106.基于此，本技术实施例提供一种信息处理方法，可以在访问相关应用的过程中，实时动态获取与相关应用关联的多模态信息，并将该多模态信息进行融合和解析，以便得到访问应用过程中更加丰富且更加精准的访问信息和交互信息，进而能够更加精准地识别访问意图。本方案主要通过以下几个步骤来实现：
107.第一步，根据被访问的应用所对应的应用场景，构建应用驱动的内容或行动知识图谱。
108.第二步，在访问应用过程中，实时收集访问过过程中交互双方，产生的多模态信息，包括但不限于：被访问的应用产生的相关信息，比如：文字信息、语音信息、图像信息、视频信息等，以及与访问操作对应的行为或事件。
109.第三步，对于多模态信息进行信息处理，主要包括：信息处理；信息识别；信息解析；信息归类，这里可以具体涉及对不同信息进行不同方式的处理，包括：语音识别、文字理解或解析、图像识别或视频处理、行为分类、事件分析；进而得到对应的处理结果。
110.第四步，根据第一步确定的知识图谱对多模态信息处理之后得到的处理结果进行分类和归档，依次建立此次访问过程中生成的最终的知识图谱，即目标访问信息。同时基于该最终的知识图谱，以便后续快速检索和管理对应的访问信息。
111.如图4所示，为应用本技术实施例提供的信息处理方法实现一种访问信息确定的流程示意图；这里，可以默认本技术实施例提供的信息处理方法为电子设备内部的一代理服务(助理服务)实现的；首先，启动助理服务即401，即基于该助理服务来实现以下操作；402为助理服务相关参数，例如启动助理服务之后，设置助理服务的服务范围、服务时长、服务应用权限等；其次，在服务开启之后，采用该助理服务实时接收多模态信息即403，例如可以是获取电子设备内部多个不同应用在被访问过程中产生的数据，包括但不限于：即时通信信息、浏览网页信息、浏览文档信息以及语音/短信信息。并在获取该多模态信息之后，继续采用该助理服务对该多模态信息进行处理即404，包括但不限于：自然语言处理、网页信息抓取、个人文档信息解析、语音识别/理解、图像信息识别/理解、行为交互识别/理解等。最后，可以采用该助理服务基于预设规则或预设关键参数对多模态信息处理之后的数据进行抽取，即405、抽取信息摘要，并将该信息摘要生成最终访问信息即406。这里，通过405的信息抽取可以使得得到的此次服务的数据更加精准，以便后续高效地对其进行访问、管理和检索。
112.同样，如图5所示，为应用本技术实施例提供的信息处理方法实现另一种访问信息确定的流程示意图；可在线上教学过程中使用本技术实施例提供的信息处理方法，例如在开启线上教学应用的过程中，使用助理服务对此次教学过程中进行多模态信息获取、处理、归类以及展示等，进而得到此次教学过程中信息量更加丰富且信息体系更加具体的教学信息。
113.首先，启动501的线上教学过程，同时可以同步获取当前教学内容，即502，包括但不限于：教学过程中老师主体身份画像、学生身份画像以及教学课程内容；其次，基于获取的当前教学内容，建立对应的知识图谱，即建立知识框架503：不同类型知识体系、不同用户或不同维度知识结构、通用信息框架结构等。
114.再次，在教学过程中，实时获取交互双方信息504，包括但不限于：互动问答信息、学生/老师状况信息、老师课程内容信息；并同步对获取的交互双方信息，即多模态信息进行处理即505，进而基于建立的知识框架对获取的多模态信息进行归类，得到对应的教辅助信息集506。这里，可以基于不同用户(老师和学生)划分为两大类：对学生而言5061，可以得到：个性化重点突出学习笔记、课堂重点摘要自动汇总、个人错题记录；对老师而言5062，可以得到：不同学生听课记录、课堂交互信息记录摘要、教学疏忽点汇总、课后教学辅导内容摘要等。
115.最后，可以基于角度维度信息进行信息反馈，即执行507，可以基于老师和学生进行不同维度的信息反馈，同时也可执行智能数据多维度分析508以及生成教或学工作助理报告509。
116.基于此，本技术实施例提供的信息处理方法，可以通过对访问或服务的应用，在访问或服务过程中该应用对应的页面内容进行自适应的解析，以此来记录浏览页面的记录、相关行为以及数据；并且可以实现跨页面、跨应用的感知访问过程中的多模态信息；同时可以同步对多模态信息进行处理，包括但不限于：对文档内容进行文档识别、网络页面内容的文本理解和解析、访问过程中的访问行为的识别和分类、访问过程中的信息收集和整理等。以此来得到更加精准和信息量更加丰富的访问数据。
117.此外，还可以同步生成浏览相关页面或访问相关用户对应的虚拟助理，同时该虚拟助理可以根据访问行为、访问过程中产生的信息动态调整自身的参数。以及可根据事先设定好的相关规则和/或参数，实现动态展示访问应用中获取的多模态信息以及与该多模态信息关联的广告信息。
118.本技术实施例提供一种信息处理装置，图6为本技术实施例提供的信息处理装置的结构组成示意图，如图6所示，所述信息处理装置600包括：获取模块601、确定模块602和归类模块603；其中：
119.获取模块601，用于获取待访问应用；
120.确定模块602，用于响应于针对所述待访问应用的访问操作，获取与所述待访问应用关联的多模态访问信息；
121.归类模块603，用于对所述多模态访问信息进行归类，得到目标访问信息。
122.在一些实施例中，所述确定模块602，还用于响应于针对所述待访问应用的访问操作，获取所述待访问应用在被访问过程中生成的待处理页面；对所述待处理页面中的页面信息进行信息提取，得到所述多模态访问信息。
123.在一些实施例中，所述多模态访问信息，至少包括以下之一：文字信息、图像信息、视频信息、音频信息、访问行为信息、访问事件。
124.在一些实施例中，所述信息处理装置600，还包括：构建模块，用于确定所述待访问应用的应用场景；构建与所述应用场景匹配的知识图谱；所述归类模块603，还用于基于所述知识图谱对所述多模态信息进行归类，得到所述目标访问信息。
125.在一些实施例中，所述归类模块603，还用于对所述多模态访问信息进行信息处理，得到处理结果；基于所述知识图谱对所述处理结果进行归类，得到所述目标访问信息。
126.在一些实施例中，在所述访问操作包括访问子操作集的情况下，所述确定模块602，还用于基于预设访问规则，从所述访问子操作集中确定目标访问子操作；在所述多模态信息中，确定与目标访问子操作关联的中间信息；所述归类模块603，还用于对所述中间信息进行信息处理，得到所述处理结果。
127.在一些实施例中，所述信息处理，至少包括以下之一：文本解析、图像识别、视频处理、音频识别、行为分类、事件分析。
128.在一些实施例中，所述信息处理装置600，还包括：展示模块，用于响应于接收到展示指令，展示所述目标访问信息和所述目标访问信息关联的推荐信息中的至少之一。
129.在一些实施例中，所述信息处理装置600，调整模块，用于基于所述待访问应用的应用场景，生成与所述待访问应用匹配的预设虚拟助理；基于所述访问操作和所述多模态访问信息中的至少之一，对所述预设虚拟助理的形象参数进行调整，得到并展示目标虚拟助理。
130.需要说明的是，以上装置侧实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置侧实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
131.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的数据显示方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、运动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
132.对应地，本技术实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本技术实施例提供的信息处理方法。
133.相应的，本技术实施例提供一种计算机设备，图7为本技术实施例提供的计算机设备的组成结构示意图，如图7所示，所述计算机设备700包括：一个处理器701、至少一个通信总线704、通信接口702、至少一个外部通信接口和存储器703。其中，通信接口702配置为实现这些组件之间的连接通信。其中，通信接口702可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中的程序，以实现上述实施例提供的信息处理方法。
134.相应的，本技术实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的信息处理方法。
135.以上信息处理装置和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可参照上述方法实施例的记载，故在此不再赘述。对于本技术信息处理装置和存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
136.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术实施例的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
137.在本技术实施例所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
138.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
139.另外，在本技术实施例各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
140.或者，本技术实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设
备(可以是个人计算机、服务器、或者网络设备等)执行本技术实施例各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以所述权利要求的保护范围为准。