仅在推理阶段预旋转的卷积神经网络旋转模式识别方法与流程

1.本发明属于图像模式识别技术领域，尤其涉及一种仅在推理阶段预旋转的卷积神经网络旋转模式识别方法。


背景技术：

2.目前，旋转模式识别是卷积神经网络的一个挑战。目前通常采用以下两种方法解决：(1)构建一个包含物体各种旋转模式的数据集训练神经网络，其本质是数据增强(2)对卷积神经网络特征图或卷积核进行旋转以学习旋转不变特征。这些方法对角度信息的处理是低效的，一个理想的神经网络应当不需要额外的样本学习就可以泛化到新的视角上。
3.卷积神经网络是目前图像物体识别领域最有效、最流行的工具之一。典型的卷积神经网络由卷积层和汇聚层组成。卷积层的设计遵循了物体识别的一个基础规律，即如果一个特征检测器在图像中的某个位置有效，那么在其他位置也应同样有效。因此，相较于全连接网络，卷积神经网络的“滑动卷积”和参数共享机制保证了其对平移物体的特征提取的等变性，并使其物体识别能力泛化到图像平面任意位置。
4.为使cnns的识别能力泛化到任意方向，目前的解决思路是为cnns建立旋转不变学习任务，即对于输入图像和其任意旋转副本卷积神经网络需要预测出相同的类别标签。旋转不变学习的本质是利用cnns强大的函数拟合能力学习多种方向模式向单一类别标签的映射，而这种映射的学习可以通过在网络训练期间将输入图像、特征图或卷积核旋转多个角度实现。旋转图像是最易实施的旋转不变学习策略，其中最广泛使用的方法是在网络训练期间使用旋转数据增强，数据增强不需要改变cnns结构但其效果严重依赖于训练集所包含旋转模式的多样性。为了获得更鲁棒的旋转不变模式识别效果，在训练和推理期间为cnns建立多个旋转通道是一种常用的方法。d.laptev等人在全角度空间内将训练集内原本就角度随机的输入图像分别旋转至24个角度后使用一组结构相同、参数共享的cnn组进行特征提取，并对得到的多通道特征向量应用“最大池化”以提取最终的不变特征。除了旋转图像外，亦有研究通过旋转cnns中间特征图或卷积核建立旋转通道。
5.旋转不变学习虽然在旋转模式识别中被广泛接受，但其具备两个显著的缺点：其一，网络训练阶段需要提供旋转的样本。旋转不变识别的研究大都使用mnist-rot数据集进行网络训练，而该数据集训练集图像本身就包含360
°
范围内任意方向的字符。所以，从某种程度上可以认为旋转不变学习是在迫使cnns“记忆”同一模式的不同旋转方向副本，这将导致cnns学习难度剧增以及提取的特征图可解释性变差。其二，旋转不变的学习目标摒弃了cnns本身所携带的角度信息，对不同旋转方向的模式都采用单一的类别标签作为学习目标，这就导致要预测旋转模式方向只能通过额外地添加显式的角度回归任务实现。
6.解决以上问题及缺陷的难度为：
7.目前的旋转模式识别方法都以旋转不变作为学习目标，而旋转不变的学习目标摒弃了cnns提取的二维特征本身所携带的角度信息，对不同方向角的旋转模式采用仅相同的类别标签作为学习目标，不能在模式类别分类的同时显式地给出模式旋转角度信息。对不
同旋转通道信息的处理均采用串行的方式实现，后一级的特征提取层需要加工前一级所有旋转通道特征，串行网络结构需要限制旋转通道的数目以保证推理实时性的要求，而限制通道数也就意味着降低了对旋转信息的处理效率。
8.解决以上问题及缺陷的意义为：
9.使现有的卷积神经网络在不改变原有结构的前提下具备旋转模式识别的能力，而且这种对旋转模式识别的能力不依赖于网络训练阶段对旋转样本地学习。根据任务类别分类准确度和角度分类精度的需求，可人为地通过改变并行旋转通道数来实现，实现了对旋转模式识别准确度的主观控制，使旋转模式识别的机理可解释性更强。旋转通道的计算是完全相互独立的，能够借助并行计算实现较高的旋转信息处理效率。


技术实现要素：

10.针对现有技术存在的问题，本发明提供了一种基于图像预旋转的卷积神经网络平面识别方法、系统、终端，具体涉及一种仅在推理阶段预旋转的卷积神经网络旋转模式识别方法。
11.本发明是这样实现的，一种仅在推理阶段预旋转的卷积神经网络旋转模式识别方法，包括两个阶段：训练阶段和推理阶段。在训练阶段，仅使用一种方向的模式训练一个参数量较少的cnn。在推理阶段，首先通过将测试样本预旋转至所有可能方向后建立多个旋转通道；然后在旋转通道间使用一组共享网络结构与权值的cnn组并行地计算分类置信度；最后根据各通道分类置信度最大值同时预测模式类别和方向。
12.具体来说在处理一个实际的旋转模式识别任务时，可以通过以下步骤实现本发明：
13.步骤一，图像样本收集、预处理和数据集制作；
14.步骤二，设计卷积神经网络结构；
15.步骤三，不使用任何旋转数据增强进行卷积神经网络参数学习；
16.步骤四，对待测试的随机方向图像进行预旋转以构建预旋转通道；
17.步骤五，使用步骤三训练所得卷积神经网络的完全孪生实例并行地对旋转模式进行推理，计算多通道分类置信度矩阵f；
18.步骤六，根据置信度最大准则由f矩阵同时预测出物体类别和方向角。
19.进一步，步骤一中，所述图像样本收集、预处理和数据集制作，包括：
20.(1)对于待识别的图像模式，分别对不同类别模式设定各自的规范方向；
21.(2)分别对对每类模式收集图像样本，尽可能保证样本类间数量均衡；
22.(3)对收集到的样本依次进行规范化处理，将样本旋转到规范方向；
23.将物体旋转方向角记为物体方向y轴正方向时物体沿逆时针方向旋转时方向角为负，沿顺时针方向旋转时方向角为正；对于收集到的第i类模式的图像样本，方向角可能是任意的，任意旋转模式表示为：对样本规范化的目的在于将任意旋转模式调整为方向角为0度的标准模式
24.(4)将预处理后的图像样本按7：1：2的比例划分为训练、验证和测试集；
25.(5)在训练和测试期间，将输入图像规范成方形后输入。
26.进一步，步骤二中，所述设计卷积神经网络结构，包括：
27.(1)根据任务数据集尺寸合理地设计卷积神经网络结构，以获取在测试集上较高的泛化性能；
28.(2)用于旋转模式识别的卷积网络结构可以通过手工设计，也可使用神经架构搜索等自动化机器学习方法设计，设计的核心原则是保证网络规模与任务数据集相适应并在测试数据集上取得最优的泛化性能；
29.(3)网络第一层采用32个大小为的5卷积核，卷积步长为1，采用“same padding”方式填充图像边缘特征图输出尺寸不变；
30.网络第二层采用步长为2的最大池化操作，使网络尺寸缩减一半；
31.网络第三卷积层采用32个大小为的5卷积核，卷积步长为1，采用“same padding”方式填充图像边缘特征图输出尺寸不变；
32.网络第四层采用步长为2的最大池化操作，使网络尺寸缩减一半；
33.网络第五、六、七层采用全连接网络；其中，第五层接受第四层特征图打平后的向量特征，具有120个神经元输出；
34.网络第六层由84个神经元输出；
35.网络第七层由10个神经元输出，分别对应于mnist多分类任务的十个类别。
36.进一步，步骤三中，所述卷积神经网络参数学习，包括：
37.(1)采用softmax回归处理卷积神经网络的多个神经元输出，交叉熵损失作为网络学习准则，并使用小批量梯度下降来进行网络参数学习；
38.(2)将规范处理后的训练样本集小批量地输入至卷积神经网络模型，采用交叉熵损失函数计算结构化损失，然后采用小批量梯度下降对网络进行更新；其中，所述训练时学习率采用可调学习率。
39.进一步，步骤四中，所述对测试集图像进行随机预旋转构建旋转通道，包括：
40.(1)对于测试集中任意方向为θ的输入图像其中，h、w、d分别表示图像高、宽、通道数；在[-φ, φ]度范围内进行等间隔旋转，旋转次数为n，旋转角度间隔δφ＝2φ/n；
[0041]
(2)旋转后的模式及其角度分别为：
[0042][0043][0044]
其中，φ、δφ分别表示预期的旋转模式识别角度估计范围和精度，根据任务需求设置，0≤φ≤π，δφ通过设置旋转通道数n调节；
[0045]
(3)图像旋转采用双线性插值算法实现，旋转角度间隔分别设置为1度和0.1度，估计区间φ分别设置为π和
[0046]
进一步，步骤五中，所述使用训练所得卷积神经网络的完全孪生实例并行地对旋转模式进行推理，计算多通道分类置信度矩阵f，包括：
[0047]
(1)在对图像进行预旋转后，对物体模式在第n个旋转通道中的副本采用训练得到的卷积神经网络进行特征提取和类别预测：
[0048][0049]
其中，fn是第n个通道的分类度响应；
[0050]
(2)将所有旋转通道的卷积神经网络分类置信度输出排列成旋转多通道分类置信度矩阵：
[0051][0052]
其中，c为待预测的类别数。
[0053]
进一步，步骤六中，所述根据置信度最大准则由f矩阵同时预测出物体类别和方向角，包括：
[0054]
(1)以分类置信度作为模式识别的最终判据，采用多通道响应矩阵最大值坐标(j,k)同时预测物体类别和方向角：
[0055][0056]
(j,k)＝argmax(fn×c)；
[0057]
(2)使用经典卷积神经网络进行监督分类时，以分类置信度最大准则进行类别和角度预测，同样还可以使用相似度最大准则；
[0058]
(3)分别对rotated mnist、rotated fashion mnist数据集执行上述流程可以得到类别和角度估计性能。
[0059]
本发明的另一目的在于提供一种应用所述的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法的基于图像预旋转的卷积神经网络平面旋转模式识别系统，所述基于图像预旋转的卷积神经网络平面旋转模式识别系统包括：
[0060]
图像预处理模块，用于进行图像样本收集、预处理和数据集制作；
[0061]
网络结构设计模块，用于设计卷积神经网络结构；
[0062]
参数学习模块，用于实现卷积神经网络参数学习；
[0063]
旋转通道构建模块，用于对待测试的随机方向图像进行预旋转以构建预旋转通道；
[0064]
多通道分类置信度矩阵计算模块，用于通过训练所得卷积神经网络的完全孪生实例并行地对旋转模式进行推理，计算多通道分类置信度矩阵f；
[0065]
物体类别和方向角预测模块，用于根据置信度最大准则由f矩阵同时预测出物体类别和方向角。
[0066]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法。
[0067]
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法。
[0068]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0069]
本发明提供的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法，限定卷积神经网络在训练期间只学习一组标准的旋转模式。而在测试期间通过对方向随机的输入图像进行预旋转建立多个旋转通道，并使用一组并行的孪生网络计算多旋转通道的分类置信度响应，通过这种方式可以使卷积神经网络在不增加学习任务的前提下具备同时预测模式类别和旋转方向角的能力。本发明可广泛用于通用图像、医学图像、遥感图像等的模式识别和物体检测任务。
[0070]
本发明提供的卷积神经网络在训练期间只学习一个方向的旋转模式，存储时也只需存储一组网络权重；测试期间通过对输入图像预旋转建立多个旋转通道，并使用一组并行的孪生网络计算多旋转通道的分类置信度响应；通过减小角度旋转间隔，可以有效地增加旋转模式识别准确度和方向角估计精度。
[0071]
本发明的网络训练方式不依赖于旋转数据增强即可从推理阶段预旋转图像中同时预测旋转模式的类别及其方向角；通过这种图像预旋转方法，卷积神经网络可以摒弃旋转数据增强操作，并减少需要学习的参数量。同时，本发明进行旋转模式识别和角度估计的优越性在在rotated mnist等数据集上得到了验证，可用于通用光学图像、医学图像、遥感图像等的模式识别和物体检测任务。
[0072]
本发明与当前旋转模式识别方法的区别主要体现在：
[0073]
(1)为了使卷积神经网络具备旋转模式识别能力，本发明不需要改变原有结构，且不依赖于训练阶段对旋转样本学习。
[0074]
(2)目前的旋转模式识别出于计算复杂度的考虑大多采用单通道处理方式，而推理阶段图像预旋转方法对旋转模式采用了并行的多角度通道处理方式，从而允许角度信息可以在物体方向旋转的过程中通过计算分类响应得到。尽管d.laptev和dieleman等人也采用了多通道处理方式，但本发明的方法不依赖于特征融合决策，而是每个旋转角度通道都会给出预测结果，真正实现了模式类别预测上的并行推理。
[0075]
(3)推理阶段图像预旋转方法根据任务类别分类准确度和角度分类精度可人为地通过改变并行旋转通道数来实现，实现了对旋转模式识别准确度的主观控制，使旋转模式识别在机理上可解释。
[0076]
本发明对旋转模式识别研究的贡献主要体现在，不依赖于对旋转实例的学习就实现了旋转模式识别，且可以对类别和角度同时预测，为现有研究尤其是卷积神经网络旋转等变性研究拓展了应用方式。本发明可以有效的兼容现有卷积神经网络，只需调整卷积网络结构和通道数即可有效改善卷积神经网络对旋转模式的适应性，而不需要增加额外的参数和学习任务，在网络结构设计上可以选用神经网络架构搜索算法进行网络结构设计以取得更好的旋转模式识别效果。此外，本发明可以有效地与其他计算机视觉任务，如目标检测任务相适应。
附图说明
[0077]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0078]
图1是本发明实施例提供的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法流程图。
[0079]
图2是本发明实施例提供的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法原理图。
[0080]
图3是本发明实施例提供的基于图像预旋转的卷积神经网络平面旋转模式识别系统结构框图；
[0081]
图中：1、图像预处理模块；2、网络结构设计模块；3、参数学习模块；4、旋转通道构建模块；5、多通道分类置信度矩阵计算模块；6、物体类别和方向角预测模块。
[0082]
图4是本发明实施例提供的平面图像旋转模式的方向角定义示意图。
[0083]
图5是本发明实施例提供的旋转多通道构建和推理方法流程图。
[0084]
图6是本发明实施例提供的对rotated mnist、fashion mnist数据集进行分类和角度估计的效果示意图。
具体实施方式
[0085]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0086]
针对现有技术存在的问题，本发明提供了一种仅在推理阶段预旋转的卷积神经网络旋转模式识别方法，下面结合附图对本发明作详细的描述。
[0087]
如图1所示，本发明实施例提供的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法包括以下步骤：
[0088]
s101，图像样本收集、预处理和数据集制作；
[0089]
s102，设计卷积神经网络结构；
[0090]
s103，卷积神经网络参数学习；
[0091]
s104，对测试集图像进行随机预旋转构建旋转通道；
[0092]
s105，使用s103训练所得卷积神经网络的完全孪生实例并行地对旋转模式进行推理，计算多通道分类置信度矩阵；
[0093]
s106，根据置信度最大准则由所述多通道分类置信度矩阵同时预测出物体类别和方向角。
[0094]
如图3所示，本发明实施例提供的基于图像预旋转的卷积神经网络平面旋转模式识别系统包括：
[0095]
图像预处理模块1，用于进行图像样本收集、预处理和数据集制作；
[0096]
网络结构设计模块2，用于设计卷积神经网络结构；
[0097]
参数学习模块3，用于实现卷积神经网络参数学习；
[0098]
旋转通道构建模块4，用于对测试集图像进行随机预旋转构建旋转通道；
[0099]
多通道分类置信度矩阵计算模块5，用于通过训练所得卷积神经网络的完全孪生实例并行地对旋转模式进行推理，计算多通道分类置信度矩阵f；
[0100]
物体类别和方向角预测模块6，用于根据置信度最大准则由f矩阵同时预测出物体类别和方向角。
[0101]
下面结合实施例对本发明作进一步描述。
[0102]
区别于现有技术和实验方法，本发明限定卷积神经网络在训练期间只学习一组标准的旋转模式。而在测试期间通过对输入图像预旋转建立多个旋转通道，并使用一组并行的孪生网络计算多旋转通道的分类置信度响应。
[0103]
本发明根据通过这种学习方式计算出的多通道响应的最大值可以同时预测旋转模式的类别及其方向角；通过这种图像预旋转方法，卷积神经网络可以摒弃旋转数据增强操作，并减少需要学习的参数量。同时，本发明进行旋转模式识别和角度估计的优越性在在rotated mnist等数据集上得到了验证，可用于通用光学图像、医学图像、遥感图像等的模式识别和物体检测任务。
[0104]
针对卷积神经网络模式识别的固有缺陷，本发明探索了在输入图像的多个旋转通道上进行旋转模式识别的方法，在旋转通道间共享网络权重以实现对旋转信息的并行处理，可以在不增加学习任务(如回归任务)的前提下直接预测出待识别的旋转模式相对于标准模式的平面旋转角。具体来说，本发明首先构造了一个标准方向模式组成的训练数据集用于网络学习，在训练时不使用旋转数据增强。在推理时则将待分类图像区域预先旋转m个不同方向后送入到同一卷积神经网络进行模式分类，并同时根据旋转通道最大响应直接预测出物体的相对方向角。
[0105]
如图2所示，本发明实施例提供的仅在推理阶段预旋转的卷积神经网络旋转模式识别方法，包括如下步骤：
[0106]
步骤s1：图像样本收集、预处理和数据集制作。
[0107]
(a)对于待识别的图像模式，分别对不同类别模式设定各自的规范方向(规范方向如图4箭头指向)。
[0108]
(b)分别对对每类模式收集图像样本，尽可能保证样本类间数量均衡。
[0109]
(c)对收集到的样本依次进行规范化处理，将样本旋转到规范方向。
[0110]
将物体旋转方向角记为物体方向y轴正方向时物体沿逆时针方向旋转时方向角为负，沿顺时针方向旋转时方向角为正。对于收集到的第i类模式的图像样本，其方向角可能是任意的，该任意旋转模式可以表示为对样本规范化的目的在于将任意旋转模式调整为方向角为0度的标准模式
[0111]
(d)将预处理后的图像样本按照一定比例划分为训练、验证和测试集，本实施例划分比例取7：1：2。
[0112]
(e)为排除旋转时物体尺度、长宽比变化的影响，在训练和测试期间，本发明将输入图像规范成方形后输入。
[0113]
步骤s2：设计卷积神经网络结构。
[0114]
(a)根据任务数据集尺寸合理地设计卷积神经网络结构，以获取在测试集上较高的泛化性能。
[0115]
(b)用于旋转模式识别的卷积网络结构可以通过手工设计，也可使用神经架构搜索等自动化机器学习方法设计，设计的核心原则是保证网络规模与任务数据集相适应并在测试数据集上取得最优的泛化性能。
[0116]
(c)具体到本实施例，网络第一层采用32个大小为的5卷积核，卷积步长为1，采用“same padding”方式填充图像边缘特征图输出尺寸不变；
[0117]
网络第二层采用步长为2的最大池化操作，使网络尺寸缩减一半；
[0118]
网络第三卷积层采用32个大小为的5卷积核，卷积步长为1，采用“same padding”方式填充图像边缘特征图输出尺寸不变；
[0119]
网络第四层采用步长为2的最大池化操作，使网络尺寸缩减一半；
[0120]
网络第五、六、七层采用全连接网络。其中，第五层接受第四层特征图打平后的向量特征，具有120个神经元输出；
[0121]
网络第六层由84个神经元输出；
[0122]
网络第七层由10个神经元输出，分别对应于mnist多分类任务的十个类别。
[0123]
步骤s3：卷积神经网络参数学习。
[0124]
采用softmax回归处理卷积神经网络的多个神经元输出，交叉熵损失作为网络学习准则，并使用小批量梯度下降来进行网络参数学习。
[0125]
具体来说，需要将规范处理后的训练样本集小批量地输入至卷积神经网络模型，然后采用交叉熵损失函数计算结构化损失，然后采用小批量梯度下降对网络进行更新。训练时学习率采用可调学习率。具体到本实施例，网络权重采用随机初始化方法；初始学习率设置为1e-3，学习率衰减方式用余弦退火模型；梯度估计修正采用adam算法，批训练尺寸设置为256，训练600轮后即可得到学习后的卷积神经网络的参数。
[0126]
步骤s4：对测试集图像进行随机预旋转构建旋转通道。
[0127]
(a)如图5所示，对于测试集中任意方向为θ的输入图像(h、w、d分别表示图像高、宽、通道数)，首先将其在[-φ, φ]度范围内进行等间隔旋转，旋转次数为n，旋转角度间隔δφ＝2φ/n。
[0128]
(b)旋转后的模式及其角度分别为：
[0129][0130][0131]
式中，φ、δφ分别表示预期的旋转模式识别角度估计范围和精度，根据任务需求设置，0≤φ≤π，δφ通过设置旋转通道数n调节。
[0132]
(c)本实施例中，图像旋转采用双线性插值算法实现，旋转角度间隔分别设置为1度和0.1度，估计区间φ分别设置为π和
[0133]
步骤s5：使用步骤s3训练所得卷积神经网络的完全孪生实例并行地对旋转模式进行推理，计算多通道分类置信度矩阵f。
[0134]
(a)在对图像进行预旋转后，对物体模式在第n个旋转通道中的副本采用步骤s3训练得到的卷积神经网络进行特征提取和类别预测：
[0135][0136]
其中，fn是第n个通道的分类度响应。
[0137]
(b)将所有旋转通道的卷积神经网络分类置信度输出排列成旋转多通道分类置信
度矩阵：c为待预测的类别数。
[0138]
步骤s6：根据置信度最大准则由f矩阵同时预测出物体类别和方向角。
[0139]
(a)以分类置信度作为模式识别的最终判据，采用多通道响应矩阵最大值坐标(j,k)同时预测物体类别和方向角：
[0140][0141]
(b)使用经典卷积神经网络进行监督分类时，(5)式以分类置信度最大准则进行类别和角度预测，同样还可以使用其他准则构建f矩阵，如相似度最大准则。
[0142]
分别对rotated mnist、rotated fashion mnist数据集执行上述流程可以得到类别和角度估计性能如表1、2所示。
[0143]
表1在rotated mnist上的测试集分类误差
[0144][0145]
(注:表中“rotx—》roty”表示输入在x度范围内随机旋转，输出在y度范围内随机旋转)
[0146]
从表1可知本发明相对于传统的旋转不变模式识别方法，本文提出的预旋转方法在各个指标上都能取得更好的性能；此外，“rot0—》rot180”和“rot0—》rot360”表明即便训练样本不包含旋转实例，预旋转方法仍然可以有效地识别未知旋转的模式。
[0147]
表2在rotated fashion mnist上的测试集分类误差
[0148][0149]
由表2可知，本发明在rotated fashion mnist这种更复杂的模式上同样有效，并且能够取得超越现有方法的识别性能。
[0150]
本发明与当前旋转模式识别方法的区别主要体现在：(1)目前的旋转模式识别出于计算复杂度的考虑大多采用单通道处理方式，而旋转最大响应方法对旋转模式采用了并行的多角度通道处理方式，从而允许角度信息可以在物体方向旋转的过程中通过计算分类响应得到。(2)区别于d.laptev和dieleman等人的多通道处理方式，旋转最大响应方法不依赖于融合决策，而是每个旋转角度通道都会给出预测结果，真正实现了模式类别预测上的
并行推理。
[0151]
本发明对旋转模式识别研究的贡献主要体现在，实现了类别和角度的同时预测，为现有研究尤其是卷积神经网络旋转等变性研究拓展了应用方式。本发明可以有效的兼容现有卷积神经网络，只需调整卷积网络结构和通道数即可有效改善卷积神经网络对旋转模式的适应性，而不需要增加额外的参数和学习任务。此外，本发明可以有效地与其他计算机视觉任务，如目标检测任务相适应。
[0152]
表1、表2表明本发明可以取得比现有方法更高的旋转模式分类准确性。除此以外，本发明相对于现有模式识别的另一优势在于实现模式分类的同时还可以同时给出角度信息，根据步骤s6(a)之公式(4)，可以得到本发明对rotated mnist、fashion mnist数据集进行角度估计的效果示意图。从图中可以看出，本发明对旋转模式角度估计具备较高的精度。
[0153]
图6是本发明实施例提供的对rotated mnist、fashion mnist数据集进行分类和角度估计的效果示意图。其中图6(a)rotated mnist数据集识别效果图。
[0154]
图6(b)rotated fashion mnist数据集识别效果图。
[0155]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0156]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。