一种基于深度学习的多源异构数据融合方法

1.本技术实施例涉及图像处理技术领域，尤其涉及一种基于深度学习的多源异构数据融合方法。


背景技术：

2.多源数据中可能包括指向同一对象的信息，也就是说，针对同一对象的信息可以以不同的形式载体被记录在不同类型的多源数据中，不同的数据表达了该同一对象不同方面的信息，如何对多源数据进行信息融合，从而多维度立体表达该同一对象，或者说充分从多源数据中心充分融合汲取该同一对象的信息，并基于融合结果进行其他应用一直是图像处理领域致力于研究的重要课题。


技术实现要素：

3.为了解决上述至少一个技术问题，本技术实施例提供基于深度学习的多源异构数据融合方法。
4.一方面，本技术实施例提供了一种基于深度学习的多源异构数据融合方法，所述方法包括：
5.获取文本类型的场景信息和图片类型的图像，所述场景信息用于对所述图像进行场景描述，所述场景信息至少包括一级对象信息和二级对象信息，所述一级对象信息表征场景，所述二级对象信息表征所述场景中关联的目标下位对象；
6.根据所述一级对象信息确定模型集群，所述模型集群中包括所述一级对象信息所表征的场景中的各个下位对象分别对应的用于进行分割的模型；
7.根据所述二级对象信息，在所述模型集群中确定每一目标下位对象对应的目标模型；
8.基于各所述目标模型对所述图像进行粗分割，得到各所述目标下位对象分别对应的第一图像；
9.对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果；
10.根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果。
11.在一个实施例中，所述精细分割结果包括掩码矩阵，所述对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果，包括：
12.针对每一第一图像，将所述第一图像输入对应的集聚化信息提取器，所述集聚化信息提取器基于所述第一图像所对应的目标下位对象对应的检测器训练得到，所述集聚化信息提取器用于针对所述第一图像中的目标下位对象进行集聚化信息提取，得到所述第一图像对应的融合特征信息；
13.将所述融合特征信息输入所述第一图像所对应的目标下位图像对应的分割器，得到所述掩码矩阵。
14.在一个实施例中，所述根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果，包括：
15.根据各第一图像分别对应的掩码矩阵和所述图像，渲染所述主体图像。
16.在一个实施例中，所述集聚化信息提取器主要包括提取网络和掩膜生成网络，所述掩膜生成网络用于生成目标掩膜，所述目标掩膜用于区分输入至所述集聚化信息提取器的图像中的下位对象和非下位对象，所述提取网络和掩膜生成网络通过下述方法训练得到：
17.获取样本图像和所述样本图像对应的下位对象的类型所对应的检测器，所述样本图像携带标注信息，所述标注信息表征所述样本图像中所述下位对象的位置信息，一个样本图像只包括单一类型的下位对象；
18.将所述样本图像输入所述提取网络，所述提取网络执行下述操作：针对所述样本图像中的每个像素区域，提取所述像素区域对应的样本第一特征，提取各关联像素位置对应的关联位置特征，并对所述关联位置特征进行融合，得到所述像素区域对应的样本第二特征，所述关联像素位置为所述像素区域所在的邻域中不属于所述像素区域的其他像素位置；
19.将各像素区域所对应的样本第一特征和样本第二特征输入掩膜生成网络，得到样本目标掩膜；
20.针对每一像素区域，将除去其对应的所述样本第一特征之外的其他样本第一特征输入所述检测器，得到所述像素区域对应的第一检测结果，以及将除去其对应的所述样本第二特征之外的其他样本第二特征输入所述检测器，得到所述像素区域对应的第二检测结果；
21.根据各所述第一检测结果、各所述第二检测结果和所述标注信息，得到指示目标掩膜；
22.根据所述样本目标掩膜和所述指示目标掩膜的差异，调整所述提取网络和所述掩膜生成网络的参数，直至训练完成。
23.在一个实施例中，所述根据各所述第一检测结果、各所述第二检测结果和所述标注信息，得到指示目标掩膜，包括：
24.针对每一像素区域所对应的第一检测结果和第二检测结果，若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度大于第二阈值，判定所述像素区域属于核心像素区域；
25.若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度小于或等于第二阈值，判定所述像素区域属于边界像素区域；
26.根据所述核心像素区域和所述边界像素区域，生成所述指示目标掩膜。
27.在一个实施例中，所述方法还包括：
28.针对每一像素区域，计算其对应的所述样本第一特征和其对应的所述样本第二特征之间的差异，得到差异度信息；
29.所述若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度小于或等于第二阈值，判定所述像素区域属于边界像素区域，包括：
30.若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度小于或等于第二阈值，并且所述差异度信息大于第三阈值，判定所述像素区域属于边界像素区域。
31.在一个实施例中，所述集聚化信息提取器还包括集聚化网络，所述将所述第一图像输入对应的集聚化信息提取器之后，所述集聚化信息提取器执行下述操作：
32.将所述第一图像输入所述提取网络，触发所述掩膜生成网络生成所述第一图像对应的目标掩膜；
33.基于集聚化网络对所述第一图像中被目标掩膜覆盖的部分进行深度特征提取，得到第一目标特征；
34.基于所述集聚化网络对所述第一图像中未被所述目标掩膜掩盖的部分进行多尺度特征提取，得到第二目标特征；
35.融合所述第一目标特征和所述第二目标特征，得到所述融合特征信息。
36.另一方面，本技术实施例提供一种基于深度学习的多源异构数据融合装置，所述装置包括：
37.多源异构数据获取模块，用于获取文本类型的场景信息和图片类型的图像，所述场景信息用于对所述图像进行场景描述，所述场景信息至少包括一级对象信息和二级对象信息，所述一级对象信息表征场景，所述二级对象信息表征所述场景中关联的目标下位对象；
38.集群确定模块，用于根据所述一级对象信息确定模型集群，所述模型集群中包括所述一级对象信息所表征的场景中的各个下位对象分别对应的用于进行分割的模型；
39.模型确定模块，用于根据所述二级对象信息，在所述模型集群中确定每一目标下位对象对应的目标模型；
40.粗分割模块，用于基于各所述目标模型对所述图像进行粗分割，得到各所述目标下位对象分别对应的第一图像；
41.精细分割模块，用于对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果；
42.主体图像渲染模块，用于根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果。
43.另一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种基于深度学习的多源异构数据融合方法。
44.另一方面，本技术实施例提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现上述的一种基于深度学习的多源异构数据融合方法。
45.另一方面，本技术实施例提供了一种计算机程序产品，包括计算机程序或指令，该
计算机程序或指令被处理器执行时实现上述的一种基于深度学习的多源异构数据融合方法。
46.本技术实施例提供一种基于深度学习的多源异构数据融合方法，该方案通过粗分割首先完成基于场景信息对图像的粗略分割，但是粗略分割的精度是有限的，并且只是在初步融合场景信息和图像的基础上实现的，为了达到更深层地的多源异构数据融合，还可以进一步结合场景信息选取其中的目标下位对象所对应的集聚化信息提取器，由该集聚化信息提取器对图像进行信息集聚，这一信息集聚的操作可以被认为是在该目标下位对象所相关的先验知识的指导下进行的，从而信息集聚的过程就完成了深度的该场景信息相关的先验知识和图像的信息融合，基于这一集聚过程的结果可以进行精细化的分割，从而得到精准的精细分割结果，基于这一精细分割结果所渲染出的主体图像，体现了所述场景信息和所述图像的融合结果，甚至还用到了相关的先验知识，是一种多源异构数据深入融合的体现。
附图说明
47.为了更清楚地说明本技术实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
48.图1是本说明书实施例提供的基于深度学习的多源异构数据融合方法的一种可行的实施框架示意图；
49.图2是本技术实施例提供的信息集聚方法的流程示意图；
50.图3是本技术实施例提供的基于深度学习的多源异构数据融合装置的框图。
具体实施方式
51.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
52.需要说明的是，本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.为了使本技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术实施例，并不用于限定本技术实施例。
54.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。为了便于理解本技术实施例上述的技术方案及其产生的技术效果，本技术实施例首先对于相关专业名词进行解释：
55.以下介绍本技术实施例的一种基于深度学习的多源异构数据融合方法，图1示出了本技术实施例提供的一种基于深度学习的多源异构数据融合方法的流程示意图。本技术实施例提供了如实施例或流程图上述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统、终端设备或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)，上述方法可以包括：
56.s101.获取文本类型的场景信息和图片类型的图像，所述场景信息用于对所述图像进行场景描述，所述场景信息至少包括一级对象信息和二级对象信息，所述一级对象信息表征场景，所述二级对象信息表征所述场景中关联的目标下位对象。
57.场景信息是一种文本信息，其描述了一级对象信息和二级对象信息，其中一级对象信息就是场景本身，比如，办公场景、运动场景、动物园场景等。二级对象信息表征在该场景中的并且体现在图像中的目标下位对象。以动物园场景为例，该场景中可以有猫科动物、鸟类、爬行类和鱼类四种类型的下位对象，而图像中只有两个猫和一个狗，则存在三个目标下位对象，两个猫和一个狗。场景信息的构建方法可以使用现有技术，并非本技术的发明重点，在此不做赘述。
58.s102.根据所述一级对象信息确定模型集群，所述模型集群中包括所述一级对象信息所表征的场景中的各个下位对象分别对应的用于进行分割的模型。
59.本技术还需要构建涉及到的各个场景下的模型集群，模型集群中的模型可以来自现有技术也可以由相关的开发人员自行训练得到，模型集群中的模型用于进行粗略的基于下位对象的分割，分割精度要求不高，模型的获取难度和训练难度也不高，因此，也不是本技术的发明重点，在此不做赘述。以动物园场景为例，该动物园场景所对应的模型集群中可以包括用于分割猫、狗、鱼、鸟等下位对象的分割模型。
60.s103.根据所述二级对象信息，在所述模型集群中确定每一目标下位对象对应的目标模型。
61.s104.基于各所述目标模型对所述图像进行粗分割，得到各所述目标下位对象分别对应的第一图像。
62.以图像中有两个猫和一个狗为例，可能确定出两个目标模型，用于分割猫的目标模型1和用于分割狗的目标模型2，基于目标模型1可以分割出两个第一图像，基于目标模型2可以分割出一个第一图像。
63.s105.对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果。
64.本技术实施例中每一类型的下位对象对应设置一个集聚化信息提取器，该集聚化信息提取器是基于这种类型的下位对象所对应的检测器训练得到的，该检测器可以通过该下位对象所对应的检测模型或者分割模型得到，也可以使用现有技术得到，只需要可以检
测出这种类型的下位对象即可，对于检测器的获取方式不做限定。该集聚化信息提取器可以对其对应的第一图像进行集聚化信息提取，得到其对应的融合特征信息。
65.以前文为例，目标模型1可以在所述图像中分割出包括一个猫的第一图像，该第一图像中肯定是有猫的，但是具体的猫的轮廓如何还无法清晰的确定，这种情况下可以将该第一图像输入对应的集聚化信息提取器，即可得到关于猫的特征融合信息。这个集聚化信息提取器是根据可以检测猫的检测器训练得到的，所以特别适合于融合猫这种对象的特征，得到关于猫的特征融合信息。
66.具体来说，可以针对每一第一图像，将所述第一图像输入对应的集聚化信息提取器，所述集聚化信息提取器基于所述第一图像所对应的目标下位对象对应的检测器训练得到，所述集聚化信息提取器用于针对所述第一图像中的目标下位对象进行集聚化信息提取，得到所述第一图像对应的融合特征信息。
67.然后，可以将所述融合特征信息输入所述第一图像所对应的目标下位图像对应的分割器，得到所述掩码矩阵。沿用前文实例，因为通过集聚化的信息提取，可以得到非常丰富的关于猫的融合特征信息，也就是说，融合特征信息本身的信息集聚度和信息质量都是非常高，将这种信息输入能够对猫这种类型的对象进行分割的分割器，即可得到用于表征精细分割结果的掩码矩阵。本技术对于这一分割器的获取方法不做限定，其使用现有技术中的分割器也可以，自行训练得到也可以，因为精细化分割效果主要是取决于融合特征信息的质量，对于分割器的要求并不是特别高。
68.s106.根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果。
69.精细化的分割相较于粗分割可以非常精准地分割出猫、狗这些具体的对象的轮廓，因此，根据精细分割结果即可渲染得到所述对象对应的主体图像，即将所述图像的被记录在场景信息中的主要的对象的轮廓以及实质内容都渲染出来，得到主体图像，本质上是基于场景信息完成图像的精细化的轮廓分割，因此，得到了表征所述场景信息和所述图像的融合结果的主体图像。
70.具体来说，可以根据各第一图像分别对应的掩码矩阵和所述图像，渲染所述主体图像。
71.本技术实施例的主要构思是基于场景信息中的目标下位对象来进行粗分割、信息集聚和精细分割，也就是说，在这三个阶段所使用的神经网络都是针对这类目标下位对象的，从而在各个逻辑节点，分别进行的是目标下位对象所适应的粗分割、信息集聚和精细分割，这些节点都使用神经网络，因为神经网络的训练过程必然使用的目标下位对象所在的这类对象的知识，因此，可以认为在各个处理阶段，本技术实施例在全过程都使用到目标下位对象这个类型的对象的先验知识，这些知识都可以最终作用到精细分割所输出的掩码矩阵中，使得该掩码矩阵清晰准确。
72.其中，粗分割和精细分割阶段所使用的用于进行分割的模型或者分割器的获取方法或者训练方法并不难，可以参考现有技术，对此，本技术实施例不做限定，本技术实施例限定的是自行提出的粗分割、信息集聚和精细分割所形成的全过程针对目标下位对象的处理方式，从而最终保证目标下位对象所述类型的对象的知识都能够被作用于精细分割所输出的掩码矩阵，从而得到清晰准确的掩码矩阵的这一整体发明构思。
73.当然，信息集聚概念也是在本技术实施例中被提出，因此，本技术实施例对信息集聚相关的步骤的原创部分进行详述。具体来说，所述集聚化信息提取器主要包括提取网络和掩膜生成网络，所述掩膜生成网络用于生成目标掩膜，所述目标掩膜用于区分输入至所述集聚化信息提取器的图像中的下位对象和非下位对象，对于本技术而言，其可以用于将第一图像中的目标下位对象和其他的对象区分开来。
74.如图2所示，所述提取网络和掩膜生成网络通过下述方法训练得到：
75.s201.获取样本图像和所述样本图像对应的下位对象的类型所对应的检测器，所述样本图像携带标注信息，所述标注信息表征所述样本图像中所述下位对象的位置信息，一个样本图像只包括单一类型的下位对象。
76.本技术实施例以猫这种下位对象对应的集聚化信息提取器中提取网络和掩膜生成网络的训练为例进行阐述，样本图像中只包括猫，并且标注有猫的位置信息，检测器也是可以用于检测猫这种对象的检测器。
77.s202.将所述样本图像输入所述提取网络，所述提取网络执行下述操作：针对所述样本图像中的每个像素区域，提取所述像素区域对应的样本第一特征，提取各关联像素位置对应的关联位置特征，并对所述关联位置特征进行融合，得到所述像素区域对应的样本第二特征，所述关联像素位置为所述像素区域所在的邻域中不属于所述像素区域的其他像素位置。
78.本技术实施例对像素区域的划分不做限定，可以根据实际情况来自行设定。粗分割得到的结果是检测框，将检测框中的图像截取出来即可得到第一图像，对于分割得到检测框的相关知识也可以参考现有技术，对此不做赘述，因此，第一图像是矩形图像。可以对第一图像进行九宫格或者十六宫格的划分，每个格子就对应一个像素区域，当然，像素区域划分越细分割效果越好。
79.本技术实施例并不限定邻域的范围和确定方法，比如，只需要包括像素区域并且还包括像素区域外围的不属于像素区域的其他像素即可。
80.本技术实施例中样本第一特征表征了像素区域的本身特征，而样本第二特征其实表征了像素区域所在的场景特征，关于这两种特征的提取方式不做赘述，可以通过卷积、多层卷积、基于自注意力的卷积、多通道融合、池化等方式中的一种或多种的组合来实施，对此，本技术实施例不做赘述。
81.s203.将各像素区域所对应的样本第一特征和样本第二特征输入掩膜生成网络，得到样本目标掩膜。
82.掩膜生成网络根据样本第一特征和样本第二特征来预测样本目标掩膜，样本图像中被该样本目标掩膜覆盖的部分可以认为是较为重要的像素形成的区域，从而筛选出样本图像中有效信息含量最高的区域。
83.s204.针对每一像素区域，将除去其对应的所述样本第一特征之外的其他样本第一特征输入所述检测器，得到所述像素区域对应的第一检测结果，以及将除去其对应的所述样本第二特征之外的其他样本第二特征输入所述检测器，得到所述像素区域对应的第二检测结果。
84.针对每一像素区域，除去其对应的所述样本第一特征之外的其他样本第一特征形成了不包括该像素区域中的样本第一特征的样本第一特征信息集合，将该样本第一特征信
息集合输入检测器，得到第一检测结果，如果该第一检测结果非常符合标注信息，则说明有没有该像素区域影响不大，那么该像素区域必然是不重要的像素形成的区域，其中的有效信息含量必然较低，该像素区域很可能与样本图像中的下位对象无关。
85.针对每一像素区域，除去其对应的所述样本第二特征之外的其他样本第二特征形成了不包括该像素区域中的样本第二特征的样本第二特征信息集合，将该样本第二特征信息集合输入检测器，得到第二检测结果，如果该第二检测结果非常符合标注信息，则说明有没有该像素区域的场景信息影响不大，那么该像素区域的邻域中除了该像素区域之外的其他位置必然是不重要的像素所在的位置，该像素区域的邻域中除了该像素区域之外其他位置的有效信息含量必然较低，该像素区域很可能与样本图像中的下位对象无关或者位于样本图像中的下位对象的边缘。
86.s205.根据各所述第一检测结果、各所述第二检测结果和所述标注信息，得到指示目标掩膜。
87.具体来说，针对每一像素区域所对应的第一检测结果和第二检测结果，若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度大于第二阈值，判定所述像素区域属于核心像素区域。本技术实施例对于差异度不做限定，其表征的就是检测结果与标注信息的差异程度，任意计算方式均可，本技术实施例不限定差异度计算方法，神经网络领域有很多度量差异度的方法都可以被使用，只要可以体现两个信息的差异就可以。如果不论是第一检测结果还是第二检测结果，都与标注信息差异较大，说明像素区域非常重要，那么其很可能是属于核心像素区域，核心像素区域表征携带有下位对象部分信息的区域，本技术对第一阈值和第二阈值不做限定，可以在实际的神经网络训练过程中进行设定，第一阈值可以大于第二阈值。
88.若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度小于或等于第二阈值，判定所述像素区域属于边界像素区域。
89.具体来说，如果第一检测结果与标注信息差异较大，说明像素区域非常重要，没这个区域不行，但是第二检测结果与标注信息差异很小，说明该像素区域周围的区域没那么重要，有没有都行，则该像素区域很可能位于样本图像中的下位对象的边界。
90.根据所述核心像素区域和所述边界像素区域，即可生成所述指示目标掩膜，该指示目标掩膜是根据标注信息所确定的，可以认为是掩膜生成网络预测出的样本目标掩膜所对应的真值信息。
91.基于第一检测信息和第二检测信息结合标注信息可以生成准确度很高指示目标掩膜，但是，在本技术另一实施例中，还可以利用样本第一特征和样本第二特征之间的差异度信息，进一步提升指示目标掩膜的准确度。具体来说：
92.s301.针对每一像素区域，计算其对应的所述样本第一特征和其对应的所述样本第二特征之间的差异，得到差异度信息。
93.该差异度信息可以通过计算样本第一特征和样本第二特征之间的特征距离来得到，特征距离属于一种信息距离，可以使用信息距离的度量方法进行度量，对此，本技术实施例不做限定，该差异度信息表征了像素区域与其周围的相邻的区域之间的信息的距离，如果距离很近像素不出现大幅度跳跃，很可能像素区域位于样本图像中的下位对象的内
部，或者外部，总之不会出现交叉。反之，该像素区域很可能位于下位对象的边缘。
94.所述若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度小于或等于第二阈值，判定所述像素区域属于边界像素区域，包括：
95.若所述第一检测结果与所述标注信息的差异度大于第一阈值，并且所述第二检测结果与所述标注信息的差异度小于或等于第二阈值，并且所述差异度信息大于第三阈值，判定所述像素区域属于边界像素区域。
96.s206.根据所述样本目标掩膜和所述指示目标掩膜的差异，调整所述提取网络和所述掩膜生成网络的参数，直至训练完成。
97.所述样本目标掩膜和所述指示目标掩膜的差异的表达方法，反馈调整参数的方法以及训练完成的条件都可以参考神经网络领域的现有技术，在此不做赘述。并且提取网络和掩膜生成网络的网络结构也可以根据实际情况设计，比如，基于深度卷积神经网络来进行设计，对此，本技术实施例不做限定。
98.在训练好之后，本技术实施例就可以基于集聚化信息提取器来提取第一图像中的信息，以得到融合特征信息了，具体来说，所述集聚化信息提取器还包括集聚化网络，所述将所述第一图像输入对应的集聚化信息提取器之后，所述集聚化信息提取器执行下述操作：
99.将所述第一图像输入所述提取网络，触发所述掩膜生成网络生成所述第一图像对应的目标掩膜，这一过程可以参考前文，是由提取网络和掩膜生成网络执行的。基于集聚化网络对所述第一图像中被目标掩膜覆盖的部分进行深度的特征提取，得到第一目标特征。本技术实施例中认为被目标掩膜覆盖的部分是携带有重要的有效信息的部分，是有效信息集聚区域，这部分区域与第一图像中的目标下位对象所在的区域是高度重合的，因此，对这一部分区域要进行重要的第一目标特征的提取，第一目标特征可以通过具备金字塔多尺度结构的集聚化网络来进行提取，可以提取出层次丰富的多尺度信息，对多尺度信息进行融合处理，即可得到第一目标特征。
100.本技术实施例认为，有效信息虽然集聚在目标掩膜所覆盖的区域，但是在目标掩膜未覆盖的区域中也可能存在稀薄的有效信息，而这些稀薄的有效信息如果和目标掩膜所在的区域的有效信息同时被提取，则这部分稀薄的有效信息会被目标掩膜所覆盖的区域中的集聚化的有效信息所淹没，难以被提取出来。为了将稀薄的有效信息提取出来，进一步提升融合特征信息的集聚化程度，并且充分利用目标掩膜，本技术实施例在得到第一目标特征之后，还可以基于所述集聚化网络对所述第一图像中未被所述目标掩膜掩盖的部分进行多尺度特征提取，得到第二目标特征。具体来说，可以将第一图像中被目标掩膜掩盖的部分的像素均置零，从而抹除目标掩膜所覆盖的区域中的集聚化的有效信息，对抹除结果进行多尺度特征提取，即可得到第二目标特征，通过抹除操作降低淹没效果，从而提取出上述稀薄的有效信息。
101.最后融合所述第一目标特征和所述第二目标特征，即可得到所述融合特征信息。本技术实施例中融合的方法可以有很多，比如，加权相加、相乘、卷积等都可以用于进行融合，可以根据需要自行选用，对此不做限定。
102.本技术实施例提供一种基于深度学习的多源异构数据融合方法，该方案通过粗分
割首先完成基于场景信息对图像的粗略分割，但是粗略分割的精度是有限的，并且只是在初步融合场景信息和图像的基础上实现的，为了达到更深层地的多源异构数据融合，还可以进一步结合场景信息选取其中的目标下位对象所对应的集聚化信息提取器，由该集聚化信息提取器对图像进行信息集聚，这一信息集聚的操作可以被认为是在该目标下位对象所相关的先验知识的指导下进行的，从而信息集聚的过程就完成了深度的该场景信息相关的先验知识和图像的信息融合，基于这一集聚过程的结果可以进行精细化的分割，从而得到精准的精细分割结果，基于这一精细分割结果所渲染出的主体图像，体现了所述场景信息和所述图像的融合结果，甚至还用到了相关的先验知识，是一种多源异构数据深入融合的体现。
103.请参考图3，其示出本实施例中一种基于深度学习的多源异构数据融合装置的框图，上述装置包括：
104.多源异构数据获取模块101，用于获取文本类型的场景信息和图片类型的图像，所述场景信息用于对所述图像进行场景描述，所述场景信息至少包括一级对象信息和二级对象信息，所述一级对象信息表征场景，所述二级对象信息表征所述场景中关联的目标下位对象；
105.集群确定模块102，用于根据所述一级对象信息确定模型集群，所述模型集群中包括所述一级对象信息所表征的场景中的各个下位对象分别对应的用于进行分割的模型；
106.模型确定模块103，用于根据所述二级对象信息，在所述模型集群中确定每一目标下位对象对应的目标模型；
107.粗分割模块104，用于基于各所述目标模型对所述图像进行粗分割，得到各所述目标下位对象分别对应的第一图像；
108.精细分割模块105，用于对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果；
109.主体图像渲染模块106，用于根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果。
110.在一个实施例中，所述精细分割模块，用于：
111.针对每一第一图像，将所述第一图像输入对应的集聚化信息提取器，所述集聚化信息提取器基于所述第一图像所对应的目标下位对象对应的检测器训练得到，所述集聚化信息提取器用于针对所述第一图像中的目标下位对象进行集聚化信息提取，得到所述第一图像对应的融合特征信息；
112.将所述融合特征信息输入所述第一图像所对应的目标下位图像对应的分割器，得到所述掩码矩阵。
113.在一个实施例中，所述主体图像渲染模块，用于：
114.根据各第一图像分别对应的掩码矩阵和所述图像，渲染所述主体图像。
115.本技术实施例中装置部分与方法实施例基于相同发明构思，在此不做赘述。
116.另一方面，本技术实施例提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现上述的一种基于深度学习的多源异构数据融合方法。
117.另一方面，本技术实施例提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述的一种基于深度学习的多源异构数据融合方法。
118.以上上述仅为本技术实施例的较佳实施例，并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实施例的保护范围之内。