一种基于云边协同的多模态分析方法、装置、设备及介质与流程

1.本技术涉及人工智能技术领域，具体而言，本技术涉及一种基于云边协同的多模态分析方法、装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.目前，现有的单模态方案、多模态方案和基于编排的方案都可以作为人工智能分析方案来接解决相应的问题。
3.具体地，上述3种方案中，单模态方案使用较多，但单模态方案只能解决单一简单场景下的问题，对于复杂的个性化场景识别精度不高或者无法识别。于是，出现了多模态方案，多模态方案主要集中在语音和视觉的多模态识别上，但成熟的模型不多。因此，出现了在多模态方案的基础上，基于流程的编排方式来实现多模态的方案，但是，该方案的编排分析能力较简单，存在因重复执行导致的算力浪费、未考虑资源调度导致的性能问题，而且，也不支持云边场景。
4.因此，现有的多模态方案优势并不明显，并不支持云边场景。


技术实现要素：

5.本技术实施例的目的旨在能解决缺乏在云边场景中支持多模态方案的问题。
6.根据本技术实施例的第一方面，提供了一种基于云边协同的多模态分析方法，应用于云终端，该方法包括：
7.将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端；
8.在确定分析流程的当前分析节点处于云终端之后，若当前分析节点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作包括通过ai模型对待分析的多模态数据进行分析；
9.若当前分析节点的下一分析节点处于边缘终端，将分析结果发送边缘终端。
10.根据本技术实施例的第二方面，提供了一种基于云边协同的多模态分析方法，应用于边缘终端，该方法包括：
11.接收云终端分配的与分析任务对应的分析流程的分析节点；
12.在确定分析流程的当前分析节点处于边缘终端之后，若当前分析节点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作至少包括通过ai模型对待分析的多模态数据进行分析；
13.若当前分析节点的下一分析节点处于云终端，将分析结果发送至云终端。
14.根据本技术实施例的第三方面，提供了一种基于云边协同的多模态分析装置，应用于云终端，该装置包括：
15.分配模块，用于将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端；
16.执行模块，用于在确定分析流程的当前分析节点处于云终端之后，若当前分析节
点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作包括通过ai模型对待分析的多模态数据进行分析；
17.收发模块，用于若当前分析节点的下一分析节点处于边缘终端，将分析结果发送边缘终端。
18.根据本技术实施例的第四方面，提供了一种基于云边协同的多模态分析装置，应用于边缘终端，该装置包括：
19.收发模块，用于接收云终端分配的与分析任务对应的分析流程的分析节点；
20.执行模块，用于在确定分析流程的当前分析节点处于边缘终端之后，若当前分析节点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作至少包括通过ai模型对待分析的多模态数据进行分析；
21.收发模块，用于若当前分析节点的下一分析节点处于云终端，将分析结果发送至云终端。
22.根据本技术实施例的第五方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行计算机程序以实现本技术第一方面或者第二方面中任一方面所示方法的步骤。
23.根据本技术实施例的第六方面，提供了一种计算机可读存储介质，该介质上存储有计算机程序，该计算机程序被处理器执行时实现本技术第一方面或者第二方面中任一方面所示方法的步骤。
24.根据本技术实施例的一个方面，提供了一种计算机程序产品，该产品包括计算机程序，该计算机程序被处理器执行时实现本技术第一方面或者第二方面中任一方面所示方法的步骤。
25.本技术实施例提供的技术方案带来的有益效果是：
26.本技术实施例提供了一种基于云边协同的多模态分析方法，分别应用于云/边缘终端，其中应用于云终端的方法包括：将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端，在执行分析流程的过程中，在确定分析流程的当前分析节点处于云终端之后，若当前分析节点未配置重复标识，执行相应的包括针对多模态数据的进行分析的分析操作，得到分析结果，然后，在确定下一分析节点处于边缘终端之后，将该分析结果发送给边缘终端，否则，在云终端继续下一分析节点的分析操作。该方法通过综合利用云/边缘终端的资源，处理多模态数据的分析任务，实现了云边协同分析多模态数据的目的。
附图说明
27.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
28.图1为本技术实施例提供的一种基于云边协同的多模态分析系统的架构示意图；
29.图2a为本技术实施例提供的一种合并过程的流程示意图；
30.图2b为本技术实施例提供的一种资源调度过程的流程示意图；
31.图3为本技术实施例提供的一种基于云边协同的多模态分析方法的流程示意图；
32.图4为本技术实施例提供的另一种基于云边协同的多模态分析方法的流程示意图；
33.图5为本技术实施例提供的一种基于云边协同的多模态分析装置的结构示意图；
34.图6为本技术实施例提供的另一种基于云边协同的多模态分析装置的结构示意图。
具体实施方式
35.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
36.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”可以实现为“a”，或者实现为“b”，或者实现为“a和b”。
37.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
38.首先对本技术涉及的几个名词进行介绍和解释：
39.多模态，即多模态生物识别，是指整合或融合两种及两种以上生物识别技术，利用其多重生物识别技术的独特优势，并结合数据融合技术，使得认证和识别过程更加精准、安全。与传统的单一生物识别方式的主要区别在于，多模态生物识别技术可通过独立的或多种采集方式合而为一的采集器，采集不同的生物特征(如指纹、静脉、人脸、虹膜图像等)，并通过分析，判断多种生物识别方式的特征值，并进行识别和认证。
40.随着ai技术和信息采集方式的不停迭代，信息的来源和处理方式也越来越多样化，单一识别技术已经很难满足这样的发展，多模态生物识别技术越来越受到重视。在多模态生物识别技术的发展中，比较热门的研究方向是对图像、视频、音源、语义之间的多模态学习。目前多模态生物识别技术，主要应用于线上娱乐、身份认证、医疗健康、智慧金融、安防、教育、军工和园区管理等领域。
41.承接背景技术，背景技术中记载了3种人工智能方案，具体地：
42.单模态方案：目前，大部分场景下都是使用单模态分析模型进行智能分析，但这只能解决单一简单场景下的问题，单模态模型对于复杂的个性化场景识别精度不高或无法识别。
43.多模态方案：多模态分析模型是最近几年才开始研究的一个人工智能技术方向，该方案主要应用在语音和视觉的多模态识别上，但成熟的模型不多。
44.基于编排的方案：基于流程的编排方式来实现多模态分析，但是其编排分析能力较简单，存在因重复执行导致的算力浪费、未考虑资源调度导致的性能问题，而且，也不支持云边场景。
45.相比较而言，基于编排的方案要明显优于单模态方案和多模态方案，但是优势并不明显，并存在算力浪费、未考虑资源调度的问题，而且不明确是否能够应用于云边场景。
46.本技术提供的一种基于云边协同的多模态分析方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，旨在解决现有技术的如上技术问题。
47.下面通过对几个示例性实施方式的描述，对本技术实施例的技术方案以及本技术的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
48.参见图1，本技术实施例提供了一种基于云边协同的多模态分析系统的架构示意图。其中，该系统100包括云终端110和边缘终端120。该云终端110中主要包括流程库111、流程管理引擎112、多个执行器113(具体可以包括执行器113a、执行器113b
…
)、资源调度器114，该执行器113还连接着知识库115和ai模型处理器116，该流程管理引擎112可提供流程解析功能和流程控制功能；边缘终端120包括模态数据处理器121、多个执行器122(具体可以包括执行器122a、执行器122b
…
)，该执行器122还连接着知识库123和ai模型处理器124。其中，流程管理引擎112还连接着执行器122，以便于向执行器122下发任务。
49.示例性地，下面将通过系统100处理分析任务(1)的过程来阐述系统100各个模块和子模块的作用。其中，在处理分析任务(1)的过程中，主要涉及到3个过程：智能分析过程、资源调度过程，以及新增分析任务(1)时的合并过程。其中，分析任务(1)对应分析流程(1)。
50.参见图2a，本技术实施例提供了一种合并流程的流程示意图，用来详细说明上述合并过程。当云终端110接收到携带分析任务(1)的新增指令时，流程管理引擎112根据分析任务(1)读取分析流程(1)，并从读取分析流程(1)的起始分析节点开始，对分析流程(1)的所有的分析节点进行合并操作。
51.具体地，获取当前分析节点的特征，例如，该当前分析节点的特征可以包括输入参数、处理过程、输出结果等。根据分析流程集，判断该分析流程集中是否存在相同特征的分析节点，相同特征具体可以指：与当前分析节点具有相同输入参数、相同处理过程、相同输出结果的分析节点，将分析流程集中的该分析节点称作相匹配的分析节点。针对于存在或者不存在相匹配的分析节点的两种情形，本技术实施例对应合并方式。其中，该分析流程集由流程库111中所有的历史分析流程的分析节点按照预设方式合并而成。
52.若存在相匹配的分析节点，为当前分析节点和分析流程集中相匹配的分析节点配置相同的重复标识。其中，若该相匹配的分析节点已配置过重复标识，为当前分析节点配置同样的重复标识即可。
53.若不存在相匹配的分析节点，按照预设方式将该当前分析节点加入分析流程集中。该预设方式可以为：确定当前分析节点的路由信息，该路由信息包括当前分析节点的上一个分析节点，以及从上一个分析节点路由到当前分析节点的路由条件，该上一个分析节点处于分析流程集中。根据该路由信息，将该当前分析节点合并至分析流程集中，并与路由信息中的上一个分析节点相连接。
54.在对当前分析节点进行合并操作之后，可以针对分析流程(1)的下一个分析节点按照相同的方式合并到分析流程集中。为描述简便，在此不再赘述。
55.若下一分析节点为终止分析节点，结束合并流程。
56.此外，在接收到携带分析任务(1)的新增指令之后，可以将分析流程(1)存储至流程库111中，并为该分析流程(1)分配相应的标识。
57.再次参见图1，本技术实施例还提供了一种智能分析过程。具体地，在接收到携带分析任务(1)的启动指令之后，云终端110启动分析任务(1)。
58.首先，流程管理引擎112从流程库111中读取出分析流程(1)，流程管理引擎112对分析流程(1)进行解析，以确定分析流程(1)中每个分析节点的资源分配方案，然后流程管理引擎112根据每个分析节点的资源分配方案将所有的分析节点分为两部分，由云终端110处理的部分和由边缘终端处理的部分，并根据资源分配方案将分析节点分配给相应的终端。
59.流程管理引擎112启动云终端110和边缘终端120的执行器开始执行分析任务(1)。
60.模态数据处理器121在接收到多模态数据之后，对该多模态数据进行预处理操作，得到待分析的多模态数据。若分析流程(1)的当前分析节点处于边缘终端120，则模态数据处理器121将待分析的多模态数据发送至执行器122，若分析流程(1)的当前分析节点处于云终端110，模态数据处理器121将待分析的多模态数据发送至云终端110的执行器113。其中，该多模态数据包括但不限于：视频、音频、文本、传感器采集的数据等。其中，该预处理包括但不限于：时空对齐，例如，将视频、音频中出现了宠物猫b的视频，进行汇总得到集合，该集合可以为待分析的多模态数据；以天为单位，将与小区门口有关的视频、音频、文本、传感器等数据汇集到一个集合中，该集合可以为待分析的多模态数据。
61.执行器113在接收到待分析的多模态数据之后，调用ai模型处理器116对该待分析的多模态数据进行分析，得到分析结果；执行器112在接收到待分析的多模态数据之后，调用ai模型处理器124对该待分析的多模态数据进行分析。其中，执行器113和执行器122在执行分析节点对应的分析操作之前，可以先确定分析节点是否配置了重复标识，若确定配置了重复标识，则从系统100的数据库中查询是否有关于该分析节点的历史分析结果(即配置了相同的重复标识的分析节点的分析结果)，若历史分析结果存在，则放弃执行分析操作，并将历史分析结果作为分析结果。
62.在经过处理，任一执行器得到分析结果之后，流程管理引擎112还负责确定下一分析节点，并将分析结果和/或待分析的多模态数据发送至下一分析节点。
63.当执行至分析流程(1)的最后一个分析节点，并得到最后的一个分析节点的分析结果，云终端110输出分析结果。
64.示例性地，当小区的物业采用了系统100之后，可以输入的分析任务有：(a)小区门口的安全监测；(b)针对宠物猫b的轨迹跟踪。针对于分析任务(a)，可以将小区附近的摄像头、传感器等采集的视频等数据进行汇集，得到待分析的多模态数据，根据与分析任务(a)相对应的分析流程对该待分析的多模态数据的分析处理，得到关于该小区门口的安全监测的具体信息，例如：人流量信息、外来人员进入信息(外卖员、快递员等)。针对于分析任务(b)，可以将含有宠物猫b的视频、音频等数据进行汇集，得到待分析的多模态数据，根据与分析任务(b)相对应的分析流程对该待分析的多模态数据进行分析，得到关于宠物猫b的轨迹信息。若宠物猫b在小区走失了，分析任务(b)还可以给出有价值的信息，以便于找到宠物猫b。
65.参见图2b，本技术实施例还提供了一种资源调度过程的流程示意图，在启动分析
任务(1)之后，流程管理引擎112从流程库111中根据分析任务(1)读取分析流程(1)，流程管理引擎112对分析流程(1)进行解析，以确定分析流程(1)中每个分析节点的资源分配方案。
66.具体地，首先，通过估算分析流程(1)中每个分析节点所需的资源量，来估算分析流程(1)的资源消耗量。在估算出每个分析节点所需消耗的资源量之后，计算分析流程(1)的资源消耗量。获取系统100的当前剩余资源(云终端110和边缘终端120的所有执行器的剩余资源之和)；判断分析流程(1)的资源消耗量和当前剩余资源的大小。其中，若资源消耗量不大于当前剩余资源，则进一步为分析流程(1)中每个分析节点寻找匹配的执行器(可以是执行器113、也可以是执行器122)，匹配的标准为执行器的剩余资源不小于分析节点所需的资源量。
67.另外，可以使用统一的单位来具体描述资源量，云终端110的一个执行器可以提供100算力的资源量，现在被占有的算力为60算力，剩余的算力为40算力。其中，该执行器可以是服务器，不同型号和不同配置的服务器对应的算力不同，该云终端110和边缘终端120可以是服务器集群。
68.继续判断是否分析流程(1)的所有的分析节点都有相匹配的执行器，若每个分析节点都有相匹配的执行器，则将每个相匹配的执行器以及，该相匹配的执行器所属的终端确定为相应分析节点的分配方案，并将分析任务(1)添加至任务调度队列。若仅有部分分析节点有相匹配的执行器，则匹配识别，无法将分析任务(1)添加至任务调度队列中。
69.参见图3，本技术实施例还提供了一种基于云边协同的多模态分析方法，可以应用于上述实施例的系统100中的云终端110，该方法包括：
70.s310，将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端。
71.其中，一个分析流程包括至少一个分析节点。该分析任务可以是上述实施例中的分析任务(1)，该分析流程可以是分析流程(1)。
72.s320，在确定分析流程的当前分析节点处于云终端之后，若当前分析节点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作包括通过ai模型对待分析的多模态数据进行分析。
73.s330，若当前分析节点的下一分析节点处于边缘终端，将分析结果发送边缘终端。
74.本技术实施例提供了一种基于云边协同的多模态分析方法，分别应用于云/边缘终端，其中应用于云终端的方法包括：将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端，在执行分析流程的过程中，在确定分析流程的当前分析节点处于云终端之后，若当前分析节点未配置重复标识，执行相应的包括针对多模态数据的进行分析的分析操作，得到分析结果，然后，在确定下一分析节点处于边缘终端之后，将该分析结果发送给边缘终端，否则，在云终端继续下一分析节点的分析操作。该方法通过综合利用云/边缘终端的资源，处理多模态数据的分析任务，实现了云边协同处理多模态数据的分析任务的目的。
75.本技术实施例还提供了一种可能的实现方式，在将与分析任务对应的分析流程的分析节点分别分配给云终端和边缘终端之前，该方法还包括：
76.从数据库中读取分析流程；解析分析流程，以确定分析流程中每个分析节点的分配方案；
77.其中，将与分析任务对应的分析流程的分析节点分别分配给云终端和边缘终端，
包括；根据每个分析节点的分配方案，将分析流程的分析节点分配给云终端或者边缘终端。
78.在一种可能的实现方式中，云终端和边缘终端分别包括至少一个执行器，该解析分析流程，以确定分析流程中每个分析节点的分配方案，包括：
79.计算分析流程的资源消耗量；若资源消耗量不大于当前剩余资源，执行与分析流程中每个分析节点相对应的匹配操作，以确定与每个分析节点相匹配的执行器。
80.其中，当前剩余资源为云终端和边缘终端的所有执行器的剩余资源之和；若所有匹配操作的结果都为匹配成功，将每个相匹配的执行器及所所属的终端确定为相应分析节点的分配方案。
81.其中，该分析流程的资源消耗量，为估算的每个分析节点所需的资源量之和。该资源包括但不限于：cpu资源、gpu资源、内存资源。
82.其中，该执行器为上述实施例中的执行器113。在实际应用中，该执行器可以为服务器，云终端和边缘终端可以为服务器集群。
83.本技术实施例还提供了一种可能的实现方式，在将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端之前，该方法还包括：
84.若接收到携带分析流程的新增指令，针对分析流程中每个分析节点执行以下操作：根据历史分析流程集对分析节点执行匹配操作，其中，历史分析流程集由所有的历史分析流程的分析节点按照预设方式合并而成
85.其中，若匹配成功，为分析节点和相匹配的分析节点配置重复标识，其中，分析节点和相匹配的分析节点具有相同输入、相同处理过程和相同输出；若匹配失败，按照预设方式将分析节点合并至历史分析流程集中。
86.其中，该预设方式可以参考上述实施例，为描述简便，在此不再赘述。
87.在一种可能的实现方式中，在确定分析流程的当前分析节点处于云终端之后，该方法还包括：
88.若当前分析节点已配置重复标识，查询与分析节点配置了同样重复标识的其他分析节点的历史分析结果；若历史分析结果不为空，放弃执行与当前分析节点对应的分析操作，并将历史分析结果作为当前分析节点的分析结果。
89.具体地，向云终端中的流程管理引擎发送携带重复标识的查询指令，流程管理引擎根据重复标识从数据库中查询历史分析结果，若存在，则将该历史分析结果发送至相应的执行器。
90.在一种可能的实现方式中，该方法还包括存储分析结果，具体地：
91.若分析结果是在执行与当前分析节点对应的分析操作之后得到的，检查当前分析节点是否配置了重复标识。若检查结果为已配置重复标识，根据重复标识存储该分析结果。
92.或者，
93.若接收到边缘终端发送携带分析结果和相应重复标识的存储请求，根据该相应的重复标识存储携带的分析结果。
94.参见图4，本技术实施例还提供了一种基于云边协同的多模态分析方法，可应用于上述实施例中的边缘终端120，该方法包括：
95.s410，接收云终端分配的与分析任务对应的分析流程的分析节点。
96.s420，在确定分析流程的当前分析节点处于边缘终端之后，若当前分析节点未配
置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作至少包括通过ai模型对待分析的多模态数据进行分析。
97.其中，边缘终端包括多个执行器，由执行器执行域当前分析节点对应的分析操作。该执行器可以是上述实施例中的执行器122。
98.在一种可能的实现方式中，该方法还可以包括：
99.若当前分析节点已配置重复标识，查询与分析节点配置了同样重复标识的其他分析节点的历史分析结果；若历史分析结果不为空，放弃执行与当前分析节点对应的分析操作，并将历史分析结果作为当前分析节点的分析结果。
100.具体地，向云终端发送携带重复标识的查询消息，云终端根据重复标识从数据库中查询历史分析结果。
101.s430，若当前分析节点的下一分析节点处于云终端，将分析结果发送至云终端。
102.在一种可能的实现方式中，该方法还包括：
103.若分析结果是在执行与当前分析节点对应的分析操作之后得到的，检查当前分析节点是否配置了重复标识。
104.若检查结果为已配置重复标识，则向云终端发送携带分析结果和相应重复标识的存储请求。
105.本技术实施例还提供了一种可能的实现方式，在接收云终端分配的与分析任务对应的分析流程的至少一个分析节点之后，该方法还包括：
106.接收原始多模态数据；对原始多模态数据进行预处理，得到待分析的多模态数据；若确定分析流程的初始节点处于云终端，向云终端反馈待分析的多模态数据。
107.其中，该预处理过程和多模态数据可以参考上述实施例，为描述简便，在此不再赘述。
108.参见图5，本技术实施例还提供了一种基于云边协同的多模态分析装置，可应用于上述实施例中的云终端110，该装置500包括：
109.分配模块510，用于将与分析任务对应的分析流程的分析节点分配给云终端和边缘终端；
110.执行模块520，用于在确定分析流程的当前分析节点处于云终端之后，若当前分析节点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作包括通过ai模型对待分析的多模态数据进行分析；
111.收发模块530，用于若当前分析节点的下一分析节点处于边缘终端，将分析结果发送边缘终端。
112.在一种可能的实现方式中，装置500包括解析模块540，在将与分析任务对应的分析流程的分析节点分别分配给云终端和边缘终端之前，具体用于：
113.从数据库中读取分析流程；解析分析流程，以确定分析流程中每个分析节点的分配方案；
114.其中，将与分析任务对应的分析流程的分析节点分别分配给云终端和边缘终端，包括；根据每个分析节点的分配方案，将分析流程的分析节点分配给云终端或者边缘终端。
115.在一种可能的实现方式中，云终端和边缘终端分别包括至少一个执行器，解析模块540在解析分析流程，以确定分析流程中每个分析节点的分配方案中，具体用于：
116.计算分析流程的资源消耗量；
117.若资源消耗量不大于当前剩余资源，执行与分析流程中每个分析节点相对应的匹配操作，以确定与每个分析节点相匹配的执行器，其中，当前剩余资源为云终端和边缘终端的所有执行器的剩余资源之和；
118.若所有匹配操作的结果都为匹配成功，将每个相匹配的执行器及所所属的终端确定为相应分析节点的分配方案。
119.在一种可能的实现方式中，装置500还包括合并模块550，具体用于：
120.若接收到携带分析流程的新增指令，针对分析流程中每个分析节点执行以下操作：
121.根据历史分析流程集对分析节点执行匹配操作，其中，历史分析流程集由所有的历史分析流程的分析节点按照预设方式合并而成；
122.若匹配成功，为分析节点和相匹配的分析节点配置重复标识，其中，分析节点和相匹配的分析节点具有相同输入、相同处理过程和相同输出；
123.若匹配失败，按照预设方式将分析节点合并至历史分析流程集中。
124.在一种可能的实现方式中，执行模块520在确定分析流程的当前分析节点处于云终端之后，还可以用于：
125.若当前分析节点已配置重复标识，查询与分析节点配置了同样重复标识的其他分析节点的历史分析结果；
126.若历史分析结果不为空，放弃执行与当前分析节点对应的分析操作，并将历史分析结果作为当前分析节点的分析结果。
127.参见图6，本技术实施例还提供了一种基于云边协同的多模态分析装置，应用于边缘终端，该装置600包括：
128.收发模块610，用于接收云终端分配的与分析任务对应的分析流程的分析节点；
129.执行模块620，用于在确定分析流程的当前分析节点处于边缘终端之后，若当前分析节点未配置重复标识，执行与当前分析节点对应的分析操作，得到分析结果，其中，分析操作至少包括通过ai模型对待分析的多模态数据进行分析；
130.收发模块610，用于若当前分析节点的下一分析节点处于云终端，将分析结果发送至云终端。
131.在一种可能的实现方式中，收发模块610还用于：
132.接收原始多模态数据；对原始多模态数据进行预处理，得到待分析的多模态数据；若确定分析流程的初始节点处于云终端，向云终端反馈待分析的多模态数据。
133.本技术实施例中提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行计算机程序以实现本技术上述实施例所示的任一种基于云边协同的多模态分析方法的步骤。
134.其中，电子设备包括但不限于：服务器。
135.本技术实施例提供了一种计算机可读存储介质，该介质上存储有计算机程序，该计算机程序被处理器执行时实现本技术上述实施例所示的任一种基于云边协同的多模态分析方法的步骤。
136.本技术实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处
理器执行时可实现本技术上述实施例所示的任一种基于云边协同的多模态分析方法的步骤。
137.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除图示或文字描述以外的顺序实施。
138.应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
139.以上所述仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。