一种基于张量化高阶互注意力机制的多源域适应方法与流程

1.本发明属于无监督多源域适应领域，具体涉及一种基于张量化高阶互注意力机制的多源域适应方法，具体是一种利用高阶互注意力机制挖掘多源域数据特征间相关性的技术，通过该技术有效挖掘目标域与多个源域间的域不变特征以增强域适应效果，从而进行无监督的分类。


背景技术：

2.无监督多源域适应通常应用于缺乏大规模标记数据的实际应用中，该类方法利用多源域大量带标签数据，训练有效的方法应用于只包含无标签数据的目标域完成任务。由于域偏移不仅存在于目标域与源域之间，还存在于多源域之间，因此多源域适应比单源域适应更具有挑战性。
3.无监督多源域适应的一种常见的策略是分别训练每个源域的特征提取器与分类器，继而成对地对齐目标域和每个源域的特征分布，最后将不同地分类器结果整合作为最终目标域样本的预测结果。该策略能有效地避免多源域间的域偏移，但忽略了多个源域的特性级交互。近年来，交互注意机制在描述多种特征的相关性方面表现出了强大的表达能力。现有的交互注意力只关注成对特征交互或通过外积以建模多个特征间的高阶相关性，但该过程可能产生大量的稀疏特征，并导致模型复杂度随特征数量的增加而增加。因此现有的交互注意力机制不能有效挖掘多源域特征间的相关性，不适用于多源域适应。


技术实现要素：

4.本发明的一个目的是针对现有技术的不足，提出一种基于高阶交互注意力机制的多源域适应方法。首先，通过共享子网络构建初级特征提取器以提取多源域数据的浅层共有特征。其次，分别构造不同源域的深层特征提取器，目标域数据分别通过这些深层特征提取器以提取与不同源域相关的特征。在深层特征的基础上，通过高阶互注意力机制挖掘多源域空间深层特征之间的高阶相关性，并应用于目标域，从而与度量目标域与源域特征分布差异的损失函数一起指导目标域与源域的域不变特征提取。最后，分别训练每个源域的特征分类器，将目标域数据特征分别输入这些分类器，得到所有预测结果的平均作为最终目标域数据的预测结果。
5.一种基于张量化高阶互注意力机制的多源域适应方法，包括以下步骤：
6.步骤1、获取带标签的多源域数据和不带标签的目标域数据，并将带标签的多源域数据作为第一训练集；其中多源域包含n个源域，n≥2；
7.步骤2、由于每个源域拥有一个特征提取器，故利用第一训练集各源域数据训练各自的特征提取器；
8.所述的特征提取器包括初级特征提取器、深层特征提取器；
9.步骤3、由于目标域映射对应n个源域，故目标域拥有每个源域的特征提取器，共n个；然后利用训练好的所有源域特征提取器以不带标签的目标域数据作为输入，得到目标
域在各源域空间的深层特征；
10.步骤4、提取多源域数据的特定域空间特征
[0011]4‑
1获取不同源域空间深层特征之间的交互关系
[0012]
1)假设深层特征提取器输出的各源域空间深层特征1)假设深层特征提取器输出的各源域空间深层特征其中n表示深层特征提取器中子网络的个数，也是域的个数，i
n
，j
n
分别表示第n个源域空间深层特征矩阵的两个维度大小，n∈[1，n]；根据公式(1)将各源域空间深层特征与高阶交互张量的不同维度进行模乘，得到一个高阶互注意张量
[0013][0014]
其中
×
n表示第n维上的模乘，n∈[1，n]；
[0015]
所述高阶互注意张量中的每个元素可以表示为：
[0016][0017]
其中表示高阶交互张量的一个元素，表示第n个源域空间深层特征a
(n)
的元素，n∈[1，n]，i
n
∈[1，i
n
]，j
n
∈[1，j
n
]；
[0018]
2)通过对的不同维度进行平均池化操作，得到不同源域空间的互注意向量b；其中第n个源域空间的互注意向量的第p个元素如下：
[0019][0020]
其中n∈[1，n]，i
n
表示互注意向量b
(n)
的大小；
[0021]
由公式(3)得：
[0022][0023]
其中，
[0024][0025]
表示第k个源域空间的深层特征和第k个核张量按第二个维度模乘结果；
[0026]
表示第二维度上第i
k
个矩阵，表示第n个源域对应模乘结果的第二维度上第p个矩阵；
[0027]
3)注意机制是一个概率模型，因此采用softmax(
·
)得到b
(n)
的归一化概率如下：
[0028]
b
(n)
＝softmax(b
(n)
)
ꢀꢀ
公式(6)
[0029]4‑
2考虑归一化后各源域空间的深层特征之间的交互关系b
(n)
，对各源域深层特征进一步提取每个源域空间的特定域空间特征：
[0030][0031]
步骤5、提取目标域数据的特定域空间特征
[0032]5‑
1获取目标域在各源域空间的深层特征之间的交互关系
[0033]
1)假设深层特征提取器输出的目标域在各源域空间的深层特征1)假设深层特征提取器输出的目标域在各源域空间的深层特征其中n表示深层特征提取器中子网络的个数，也是域的个数，i
n
，j
n
分别表示目标域在第n个源域空间深层特征矩阵的两个维度大小，n∈[1，n]；根据公式(1)将目标域在各源域空间的深层特征与高阶交互张量的不同维度进行模乘，得到一个高阶互注意张量
[0034]
2)通过对的不同维度进行平均池化操作，得到目标域在各源域空间的互注意向量b；由公式(3)得：
[0035][0036]
3)注意机制是一个概率模型，因此采用softmax(
·
)得到b
(n)
的归一化概率如下：
[0037]
b
(n)
＝softmax(b
(n)
)
ꢀꢀ
公式(9)
[0038]5‑
2考虑归一化后目标域在各源域空间的深层特征之间的交互关系b
(n)
，对目标域在各源域空间的深层特征进一步提取目标域数据的特定域空间特征：
[0039][0040]
步骤6、目标域与多源域数据对齐
[0041]
采用mmd方法以度量目标域数据与每个源域数据在同一域空间的特定域空间特征分布距离，通过神经网络反向传播损失值约束特征分布的距离，以实现目标域与多源域数据对齐；
[0042]
步骤7、将对齐处理后多源域数据的特定域空间特征作为第二训练集，并对其进行步骤(1)对应源域数据的标签标注；
[0043]
步骤8、构建一组对应不同源域的分类器，并利用第二训练集进行训练；然后利用对齐处理后目标域数据的特定域空间特征对训练好的分类器进行测试，分类器输出n个预测结果，取平均作为目标域最终预测结果；
[0044]
作为优选，步骤2中，所述的初级特征提取器采用共享子网络resnet
‑
50，以多源域数据作为输入，多源域初级特征作为输出；
[0045]
作为优选，步骤2中，所述的深层特征提取器采用一组包含三层卷积的特定子网络
(即由三层串联的卷积层构成)，以初级特征提取器输出的各源域初级特征作为深层特征提取器中对应子网络的输入，各源域空间深层特征作为输出；
[0046]
作为优选，步骤4中，由于每个高阶交互张量都能通过张量环的形式近似表示，因此采用张量环形式进行压缩，中的每个元素可以用核张量中的每个元素可以用核张量表示：
[0047][0048]
即中的每个元素为核张量间特定矩阵之积的迹，可以通过迹操作trace{
·
}实现，其中g
k
[j
k
]为对应的第k维的核张量在第二维上的第j
k
个切片矩阵，r＝[r1，r2，...，r
n
]
t
为张量环的秩；
[0049]
由公式(2)，(11)高阶互注意张量中的每个元素为：
[0050][0051]
作为优选，步骤4中，由于每个源域样本的类别并不对应，因此利用张量环中核张量之间的相关性，迭代地得到不同域之间的相关性；因此，公式(4)，(8)可以被改写为：
[0052][0053]
目标域数据在不同源域空间的特定域空间特征和每个源域的特定域空间特征为所求的域不变特征，通过这一步骤，不同源域之间与目标任务相关的联系被建立以更准确地提取域不变特征。
[0054]
本发明的另一个目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的方法。
[0055]
本发明的又一个目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述的方法。
[0056]
本发明的有益效果是：本发明考虑到不同源域之间存在与目标任务相关的联系，通过高阶互注意力机制有效捕获多源域之间的相关性，从而提高目标域与每个源域之间域不变特征提取的有效性。考虑到一般的高阶交互张量的参数会随着源域数的增长呈指数增长，会造成维度灾难。因此本发明采用张量环形式以近似表示高阶交互张量，通过张量环中
核张量间的交互以捕获多源域之间的相关性，同时其参数量呈线性增长，是对当前多源域适应方法的一个有效补充。
附图说明
[0057]
图1为本发明方法流程图；
[0058]
图2为常规的高阶互注意力机制；
[0059]
图3为基于张量化高阶互注意力机制的多源域适应流程图。
具体实施方式
[0060]
下面结合附图，对本发明方法做详细描述。
[0061]
图1为本发明多源域适应方法流程图。
[0062]
本发明方法基于张量化高阶互注意力机制的多源域适应方法，该方法可应用于具有数据分布差异的场景，例如在油画、水彩画等风格的图像上训练的分类模型也能够在素描风格图像上具有良好的分类效果，如图1所示。
[0063]
步骤1、获取带标签的多源域数据和不带标签的目标域数据，并将带标签的多源域数据作为第一训练集；其中多源域包含n个源域，n≥2；
[0064]
多源域数据d
s
＝{d1，d2，...，d
n
}定义为n个包含与目标域dt相关但数据分布不同的领域，并且多源域数据带有数据标签其中是第j个带标签y
sj
的源域数据集合。是不带标签的目标域数据。例如，目标域数据为包含多个类别的素描风格图像，多源域数据为包含相同类别的油画、水彩画等风格的图像，每一风格图像数据构成一个数据域。多源域适应的目的在于通过大量与目标域相关的带标签数据，训练有效的方法应用于只包含无标签数据的目标域以增强目标域的任务表现；
[0065]
步骤2、由于每个源域拥有一个特征提取器，故利用第一训练集各源域数据训练各自的特征提取器；
[0066]
所述的特征提取器包括初级特征提取器、深层特征提取器；
[0067]
步骤3、由于目标域映射对应n个源域，故目标域拥有每个源域的特征提取器，共n个；然后利用训练好的所有源域特征提取器以不带标签的目标域数据作为输入，得到目标域在各源域空间的深层特征；
[0068]
步骤4、提取多源域数据的特定域空间特征
[0069]4‑
1获取不同源域空间深层特征之间的交互关系
[0070]
1)假设深层特征提取器输出的各源域空间深层特征1)假设深层特征提取器输出的各源域空间深层特征其中n表示深层特征提取器中子网络的个数，也是域的个数，i
n
，j
n
分别表示第n个源域空间深层特征矩阵的两个维度大小，n∈[1，n]；如图2所示为常规的高阶互注意力机制，根据公式(1)将各源域空间深层特征与高阶交互张量的不同维度进行模乘，得到一个高阶互注意张量
[0071]
[0072]
其中
×
n表示第n维上的模乘，n∈[1，n]；
[0073]
所述高阶互注意张量中的每个元素可以表示为：
[0074][0075]
其中表示高阶交互张量的一个元素，表示第n个源域空间深层特征a
(n)
的元素，n∈[1，n]，i
n
∈[1，i
n
]，j
n
∈[1，j
n
]；
[0076]
2)通过对的不同维度进行平均池化操作，得到不同源域空间的互注意向量b；
[0077]
其中第n个源域空间的互注意向量的第p个元素如下：
[0078][0079]
其中n∈[1，n]，i
n
表示互注意向量b
(n)
的大小；
[0080]
由公式(3)得：
[0081][0082]
其中，
[0083][0084]
表示第k个源域空间的深层特征和第k个核张量按第二个维度模乘结果；
[0085]
表示第二维度上第i
k
个矩阵，表示第n个源域对应模乘结果的第二维度上第p个矩阵；
[0086]
3)注意机制是一个概率模型，因此采用softmax(
·
)得到b
(n)
的归一化概率如下：
[0087]
b
(n)
＝softmax(b
(n)
)
ꢀꢀ
公式(6)
[0088]4‑
2考虑归一化后各源域空间的深层特征之间的交互关系b
(n)
，对各源域深层特征进一步提取每个源域空间的特定域空间特征：
[0089][0090]
步骤5、提取目标域数据的特定域空间特征
[0091]5‑
1获取目标域在各源域空间的深层特征之间的交互关系
[0092]
1)假设深层特征提取器输出的目标域在各源域空间的深层特征1)假设深层特征提取器输出的目标域在各源域空间的深层特征其中n表示深层特征提取器中子网络的个数，也是域的个数，i
n
，j
n
分别表示目标域在第n个源域空间深层特征矩阵的两个维度大小，n∈
[1，n]；根据公式(1)将目标域在各源域空间的深层特征与高阶交互张量的不同维度进行模乘，得到一个高阶互注意张量
[0093]
2)通过对的不同维度进行平均池化操作，得到目标域在各源域空间的互注意向量b；由公式(3)得：
[0094][0095]
3)注意机制是一个概率模型，因此采用softmax(
·
)得到b(n)的归一化概率如下：
[0096]
b
(n)
＝softmax(b
(n)
)
ꢀꢀ
公式(9)
[0097]5‑
2考虑归一化后目标域在各源域空间的深层特征之间的交互关系b
(n)
，对目标域在各源域空间的深层特征进一步提取目标域数据的特定域空间特征：
[0098][0099]
步骤6、目标域与多源域数据对齐
[0100]
采用mmd方法以度量目标域数据与每个源域数据在同一域空间的特定域空间特征分布距离，通过神经网络反向传播损失值约束特征分布的距离，以实现目标域与多源域数据对齐；
[0101]
步骤7、将对齐处理后多源域数据的特定域空间特征作为第二训练集，并对其进行步骤(1)对应源域数据的标签标注；
[0102]
步骤8、构建一组对应不同源域的分类器，并利用第二训练集进行训练；利用第二训练集训练多个分类器，采用损失值来控制分类的准确性。再由来控制目标域数据在不同源域空间上的特定域特征分别通过对应的分类器。利用对齐处理后目标域数据的特定域空间特征对训练好的分类器进行测试，分类器输出n个预测结果，取平均作为目标域最终预测结果，最终该方法的损失函数定义为域最终预测结果，最终该方法的损失函数定义为其中λ，γ为权衡参数；
[0103]
步骤2中，所述的初级特征提取器采用共享子网络resnet
‑
50，以多源域数据作为输入，多源域初级特征作为输出；
[0104]
步骤2中，所述的深层特征提取器采用一组包含三层卷积的特定子网络(即由三层串联的卷积层构成)，以初级特征提取器输出的各源域初级特征作为深层特征提取器中对应子网络的输入，各源域空间深层特征作为输出；
[0105]
步骤4中，由于每个高阶交互张量都能通过张量环的形式近似表示，因此采用张量环形式进行压缩，中的每个元素可以用核张量表示：
[0106][0107]
即中的每个元素为核张量间特定矩阵之积的迹，可以通过迹操作trace{
·
}实现，其中g
k
[j
k
]为对应的第k维的核张量在第二维上的第j
k
个切片矩阵，r＝[r1，r2，...，r
n
]
t
为张量环的秩；
[0108]
由公式(2)，(11)高阶互注意张量中的每个元素为：
[0109][0110]
步骤4中，由于每个源域样本的类别并不对应，因此利用张量环中核张量之间的相关性，迭代地得到不同域之间的相关性；因此，公式(4)，(8)可以被改写为：
[0111][0112]
目标域数据在不同源域空间的特定域空间特征和每个源域的特定域空间特征为所求的域不变特征，通过这一步骤，不同源域之间与目标任务相关的联系被建立以更准确地提取域不变特征，具体流程如图3所示。
[0113]
如表1
‑
4所示，本发明与其他多源域适应方法在office
‑
31、imageclef、office
‑
caltech和office
‑
home四个数据集上进行对比试验，实验结果证明了本发明所提出方法的有效性。
[0114]
表1.数据集office
‑
31上准确率对比表(％)
[0115][0116][0117]
注：a为amazon领域，d为dslr领域，w为webcam领域。(a，w)
→
d表示a、w作为源域，d作为目标域。
[0118]
表2.数据集office
‑
caltech上准确率对比表(％)
[0119][0120]
注：i为imagenet ilsvrc 2012领域，c为caltech
‑
256领域，p为pascal
‑
voc 2012领域。(c，i)
→
p表示c、i作为源域，p作为目标域。
[0121]
表3.数据集imageclef上准确率对比表(％)
[0122][0123]
注：a为amazon领域，d为dslr领域，w为webcam领域，c为caltech
‑
256领域。(a，c，d)
→
w表示a、c、d作为源域，w作为目标域。
[0124]
表4.数据集office
‑
home上准确率对比表(％)
[0125][0126]
注：a为art领域，c为clipart领域，p为product领域，r为real
‑
world领域。(c，p，r)
→
a表示c、p、r作为源域，a作为目标域。