一种基于多尺度的车型识别算法的制作方法

1.本发明涉及计算机视觉的技术领域，具体涉及一种基于多尺度的车型 识别算法。


背景技术：

2.目前的车型识别主要是采用的方式是分类和检索，分类的方法常常受到 样本不均衡等问题影响，导致在某一类车型数据集上过拟合。检索的方式和 车辆(行人)再识别方式是一样的，在训练过程中以分类任务为主，测试过 程中移除网络的分类层，来提取车型的特征信息进行匹配。然而，目前的方 法却忽略了车型识别和行人再识别的不同之处，行人再识别可能更多需要 依靠的是高层的语义信息，而车型识别需要依靠的是外观轮廓信息。虽然高 层的语义信息对分类任务、识别任务起到重要的重要，但是车型识别中应该 特别注重外观轮廓信息的学习，这些信息主要由低层的残差卷积块获得，对 低层的信息进行学习，能获取局部的细粒度特征。
[0003][0004]
基于这样的考虑，本发明提出了一种基于多尺度的车型识别算法，该算 法构建了基于多尺度的车辆识别框架，利用该框架从一系列的局部区域中 提取特征，从而提高车型识别精度。


技术实现要素：

[0005]
为了解决现有技术中的车型识别方法识别精度较低的技术问题，本发 明提出了一种基于多尺度的车型识别算法，用于解决上述技术问题。
[0006]
本技术提出了一种基于多尺度的车型识别算法，包括：
[0007]
s1、将原图输入至resnet50网络中进行卷积池化，对所述resnet50网 络的最后一个残差卷积块输出的特征信息进行广义均值池化，得到全局特 征信息；
[0008]
s2、对所述原图进行移除背景处理，得到二值化掩膜，将所述二值化掩 膜与所述原图相乘得到前景图像；
[0009]
s3、将所述前景图像输入至所述resnet50网络的第一个残差卷积块， 并将所述resnet50网络的第一个残差卷积块输出的特征信息输入至hrnet 网络中，对所述hrnet网络输出的特征信息进行广义均值池化，得到多尺 度特征信息；
[0010]
s4、对所述全局特征信息和所述多尺度特征信息进行级联得到级联特 征，将所述级联特征输入至bn层和分类层，并利用三元组损失函数和交叉 熵损失函数进行分类训练，从而识别车型。
[0011]
通过上述技术方案，构建了包括两个分支的车型识别框架，其中一个分 支以原图作为输入，另一个分支以移除背景后的前景图像作为输入，该框架 从一系列的局部区域中提取特征，通过高分辨率到低分辨率的并行卷积，通 过hrnet网络进行并行连接高分辨率到低分辨率卷积来保持高分辨率的表 示，并通过重复并行卷积执行多尺度融合来增强高分辨率表示，从而提升车 辆局部特征的判别能力，同时，利用前景分割算法来滤除背景杂
波，增强模 型在真实场景应用的泛化性。相比resnet50网络75％的性能，本发明的性 能可以达到82％ 的top-1。
[0012]
优选的，所述三元组损失函数的表达式具体为：
[0013][0014]
其中，p代表不同车型类别的数量，k0代表每个车型所选择的原图的数 量，a表示原图，p表示正样本，n表示负样本，为设定的阈值，d(
·
,
·
)定 义为欧式距离，batch表示批处理的参数大小。
[0015]
优选的，所述交叉熵损失函数的表达式具体为：
[0016][0017]
其中，k是车型的类别数，p(k)代表预测属于类别k的概率，q(k)代 表真实标签的分布。
[0018]
优选的，所述步骤s1中所述对所述resnet50网络的最后一个卷积块 输出的特征信息进行广义均值池化的表达式具体为：
[0019][0020][0021]
其中，x代表广义均值池化的输入，k代表resnet50网络的最后一个 卷积块中特征图的个数，f代表广义均值池化的输出，pk为广义均值池化 参数。
[0022]
优选的，所述步骤s3中所述将所述前景图像输入至所述resnet50网 络的第一个残差卷积块的表达式具体为：
[0023]fr1
＝{b
r1
(ii|(w
r1
,b
r1
))}
[0024]
其中，f
r1
代表resnet50网络的第一个残差卷积块输出的特征信息， b
r1
代表resnet50网络的第一个残差卷积块，ii表示原图，(w
r1
，b
r1
)代 表resnet50网络的第一个残差卷积块的权重和偏置。
[0025]
优选的，所述步骤s3中所述对所述hrnet网络输出的特征信息进行 广义均值池化的表达式具体为：
[0026]
f＝gem{b
hrnet
(f
r1
|(w
hrnet
,b
hrnet
))}
[0027]
其中，b
hrnet
代表hrnet网络，(w
hrnet
，b
hrnet
)代表hrnet网络的权 重和偏置，gem表示广义均值池化。
[0028]
进一步优选的，所述hrnet网络通过在高分辨率特征图主网络逐渐并 行加入低分辨率特征图子网络，从而在不同网络实现多尺度融合与特征提 取，最终输出包含有车辆不同区域的局部外观轮廓信息的特征信息。
[0029]
通过hrnet网络进行并行连接高分辨率到低分辨率卷积来保持高分辨 率的表示，并通过重复并行卷积执行多尺度融合来增强高分辨率表示，从而 提升车辆局部特征的判别能力。
[0030]
进一步优选的，所述全局特征信息和所述多尺度特征信息采用对应通 道级联。
[0031]
进一步优选的，所述步骤s4中所述识别车型的过程具体包括：去除最 后的所述分类层，提取最后的所述级联特征进行相似度计算，从而识别车型。
[0032]
优选的，所述原图通过mask r-cnn进行背景移除处理。
[0033]
本技术提出了一种基于多尺度的车型识别算法，该算法的一个分支以 原图作为输入，通过resnet50网络进行卷积池化得到全局特征信息，另一 个分支以移除背景后的前景图像作为输入，通过resnet50网络的第一个残 差卷积层的卷积以及hrnet网络的卷积池化得到多尺度特征信息，然后将 全局特征信息和多尺度特征信息级联后送入bn层和分类层，利用三元组 损失函数和交叉熵损失函数进行分类训练，最终识别出车型。本技术的车型 识别算法从一系列的局部区域中提取特征，通过高分辨率到低分辨率的并 行卷积，提高了局部特征的判断能力，同时，利用前景分割得到的前景图像 提取局部特征，增强模型在真实场景应用的泛化性，相比resnet50网络75％ 的性能，本发明的性能可以达到82％ 的top-1。
附图说明
[0034]
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并 且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本 发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过 引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照 比例的。同样的附图标记指代对应的类似部件。
[0035]
图1是根据本发明实施例的基于多尺度的车型识别算法的流程图；
[0036]
图2是根据本发明一个具体实施例的车型识别框架图；
[0037]
图3是根据本发明一个具体实施例的hrnet网络的结构图。
具体实施方式
[0038]
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本 发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置 为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本 发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施 例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
[0039]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者 暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语
ꢀ“
包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而 使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而 且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物 品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括......”限定的要素，并不排除在包括要素的过程、方法、物品或者设备 中还存在另外的相同要素。
[0040]
图1示出了根据本发明实施例的基于多尺度的车型识别算法的流程图， 如图1所示，该车型识别算法包括以下步骤：
[0041]
s1、将原图输入至resnet50网络中进行卷积池化，对resnet50网络 的最后一个残
差卷积块输出的特征信息进行广义均值池化，得到全局特征 信息。
[0042]
在具体的实施例中，原图为摄像头所拍摄到的汽车的照片，即训练样本。 该车型识别算法构建了一个包含两个分支的车型识别框架，图2示出了根 据本发明一个具体实施例的车型识别框架图，如图2所示，该框架包括一 个全局分支和一个局部分支，此步骤对应为全局分支，在全局分支中，原图 依次经过resnet50网络的4个残差卷积层进行卷积池化，在该过程中，特 征信息从最初的外观轮廓信息到最后的高层语义信息，将resnet50网络的 最后一个残差卷积块输出的特征信息当作全局特征，然后将最后的全局平 均池化替换为广义均值池化，得到全局特征信息。其中，上述的广义均值池 化(gem)的表达式具体为：
[0043][0044][0045]
其中，x代表广义均值池化的输入(即resnet50网络的最后一个残差 卷积块输出的特征信息)，k代表resnet50网络的最后一个卷积块中特征 图的个数，f代表广义均值池化的输出(即全局特征信息)，pk为广义均 值池化参数。
[0046]
继续参照图1，在步骤s1之后，
[0047]
s2、对原图进行移除背景处理，得到二值化掩膜，将二值化掩膜与原图 相乘得到前景图像。
[0048]
在具体的实施例中，获取前景图像的表达式具体为：
[0049][0050]
其中，fi为前景图像，ii为原图，bi为二值化掩膜。
[0051]
继续参照图2，此步骤对应为车型识别框架的局部分支中的输入部分， 在利用车型识别模型训练识别车型的过程中，考虑到数据集和真实场景的 数据差异往往在于背景差异较大，因此先对原图进行移除背景处理，增强车 型识别模型在真实场景应用的泛化性。本实施例中，原图通过mask r-cnn 进行移除背景处理，在其它实施方式中，同样可以采用其它前景分割算法来 滤除原图中的背景杂波。
[0052]
继续参照图1，在步骤s2之后，
[0053]
s3、将前景图像输入至resnet50网络的第一个残差卷积块，并将 resnet50网络的第一个残差卷积块输出的特征信息输入至hrnet网络中， 对hrnet网络输出的特征信息进行广义均值池化，得到多尺度特征信息。
[0054]
在具体的实施例中，将前景图像输入至resnet50网络的第一个残差卷 积块的表达式具体为：
[0055]fr1
＝{b
r1
(ii|(w
r1
,b
r1
))}
[0056]
其中，f
r1
代表resnet50网络的第一个残差卷积块输出的特征信息， b
r1
代表resnet50网络的第一个残差卷积块，ii表示原图，(w
r1
，b
r1
)代 表resnet50网络的第一个残差卷积块的权重和偏置。
[0057]
这样一来，通过resnet50网络的第一个残差卷积块(低层卷积块)输 出的特征信息即为低层信息，后续在对低层信息进行学习的过程中，可以获 得局部的细粒度特征。
[0058]
继续参照图2，此步骤对应为车型识别框架的局部分支中的多尺度融合 与特征提取部分。图3示出了根据本发明一个具体实施例的hrnet网络的 结构图，如图3所示，hrnet网络通过在高分辨率特征图主网络逐渐并行 加入低分辨率特征图子网络，从而在不同网络实现多尺度融合与特征提取， 最终输出包含有车辆不同区域的局部外观轮廓信息的特征信息，增强外观 轮廓信息在多尺度上的信0息表征。通过这种并行连接高分辨率到低分辨 率卷积来保持高分辨率的表示，并通过重复并行卷积执行多尺度融合来增 强高分辨率表示的方式，可以提升车辆局部特征的判别能力。
[0059]
在具体的实施例中，对hrnet网络输出的特征信息进行广义均值池化 (gem)的表达式具体为：
[0060]
f＝gem{b
hrnet
(f
r1
|(w
hrnet
,b
hrnet
))}
[0061]
其中，f代表多尺度特征信息，b
hrnet
代表hrnet网络，(w
hrnet
，b
hrnet
) 代表hrnet网络的权重和偏置，gem表示广义均值池化。
[0062]
继续参照图1，在步骤s3之后，
[0063]
s4、对全局特征信息和多尺度特征信息进行级联得到级联特征，将级联 特征输入至bn层和分类层，并利用三元组损失函数和交叉熵损失函数进 行分类训练，从而识别车型。
[0064]
在具体的实施例中，全局特征信息和多尺度特征信息采用对应通道级 联，即级联后的特征维度数为全局特征信息维度加多尺度特征信息维度。在 训练阶段，将级联特征送入bn层以及分类层，然后在三元组损失函数和交 叉熵损失函数下进行分类训练。在测试过程中，去除最后的分类层，提取最 后的特征进行相似度计算，来识别车型。其中，三元组损失函数的表达式具 体为：
[0065][0066]
其中，p代表不同车型类别的数量，k0代表每个车型所选择的原图的数 量，对于三元组损失函数，a表示原图，p表示正样本(从a相同类别的原 图中选择相似度最大的原图p作为正样本)，n表示负样本(从a不同类别 的原图中选择相似度最小的原图n作为负样本)，为设定的阈值，d(
·
,
·
) 定义为欧式距离，batch表示批处理的参数大小。
[0067]
标签平滑正则化的交叉熵损失函数的表达式具体为：
[0068][0069]
其中，k是车型的类别数，p(k)代表预测属于类别k的概率，q(k)代 表真实标签的分布。
[0070]
本发明提出了一种基于多尺度的车型识别算法，该算法构建了一个基 于多分辨率的车型识别框架，车型识别框架的全局分支以原图作为输入，通 过resnet50网络进行卷积池化得到全局特征信息(高层语义信息)，而局 部分支则以移除背景后的前景图像作为输入，通过resnet50网络的第一个 残差卷积层的卷积获得低层信息，低层信息再经过hrnet网络的卷积池化 得到多尺度特征信息，然后将全局特征信息和多尺度特征信息级联后送入 bn层和分类层，利用三元组损失函数和交叉熵损失函数进行分类训练，最 终识别
出车型。本发明的车型识别算法从一系列的局部区域中提取特征，通 过高分辨率到低分辨率的并行卷积，提高了局部特征的判断能力，同时，利 用前景分割得到的前景图像提取局部特征，增强模型在真实场景应用的泛 化性，相比resnet50网络75％的性能，本发明的性能可以达到82％ 的top
‑ꢀ
1。
[0071]
在本技术实施例中，应该理解到，所揭露的技术内容，可通过其它的方 式实现。其中，以上所描述的装置/系统/方法实施例仅仅是示意性的，例如 所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分 方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特 征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦 合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可 以是电性或其它的形式。
[0072]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
[0073]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一 个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功 能单元的形式实现。
[0074]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销 售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解， 本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方 案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储 在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算 机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分 步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、 随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘 等各种可以存储程序代码的介质。
[0075]
显然，本领域技术人员在不偏离本发明的精神和范围的情况下可以作 出对本发明的实施例的各种修改和改变。以该方式，如果这些修改和改变处 于本发明的权利要求及其等同形式的范围内，则本发明还旨在涵盖这些修 改和改变。词语“包括”不排除未在权利要求中列出的其它元件或步骤的存 在。某些措施记载在相互不同的从属权利要求中的简单事实不表明这些措 施的组合不能被用于获利。权利要求中的任何附图标记不应当被认为限制 范围。