晋级网络自强化的图像语音深度学习模型的制作方法

技术特征：
1.晋级网络自强化的图像语音深度学习模型，其特征在于，通过基于自强化网络晋级方案的元模型来自动化cnn架构的选择过程，将晋级方案与神经网络结构融合设计出一种可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构；采用非线性形态晋级自强化网络，包括最大形态晋级和中值形态晋级两种方案，然后通过两种松散型和紧凑型两种方式，分别将线性和非线性晋级方案与神经网络分类模型相结合构造深度学习分类模型；在网络结构方面，提出自强化网络晋级方案生成神经网络层架构的方法,对卷积和池化层进行自主联合，用自适应卷积核代替估计推理算子和改造算子,分别替换卷积和池化，进而实现全晋级网络；在网络运算方面，用晋级操作来实现卷积运算和池化运算，实现线性与非线性的统一；在神经网络的训练过程中，采用分层低熵来加速网络训练,将改进的晋级架构与神经网络的紧凑型结合,不仅使网络保留卷积的可学习性，还使得池化层变得可学习；第一，针对cnn层结构包括层顺序和层类型的灵活选择问题，提出一种改进的自强化网络晋级方案作为元模型来对网络中的线性和非线性模块进行自主联合实现，基础网络是将lenet-5与晋级自强化网络相结合，构造的一个具有五层结构的松散型神经网络，通过构建不同的晋级框架来实现对神经网络不同模块的拟合，采用改进的晋级框架分别实现cnn线性卷积和非线性池化构建融合型网络；第二，针对图像分类网络的训练过程中容易产生内部变量漂移现象,采用调整改进的神经网络优化算法，考虑到感受野大小对网络性能的影响，对改进的晋级方案中的估计推理和改造算子进行修改优化，网络中的晋级和改造滤波的窗口大小为3
×
3，使用分层低熵方法后，分类精度大幅提高。2.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，晋级网络自强化的深度学习框架：基于晋级框架的深度学习模型，基于自强化网络晋级方案自身的设计灵活性和自适应特征,将晋级方案与神经网络结构融合设计出一种可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构，上部分是卷积神经网络架构，下部分是拟实现的全晋级网络模型，整个框架实现分为三个步骤：(1)晋级实现线卷积；(2)晋级实现池化；(3)晋级实现其它非线性模块；通过一个参数化、可学习的架构实现卷积神经网络的包括卷积、池化、softmax在内的多个基元，并将这些模块都参数化，最终将bp算法传递的可学性从卷积系数扩充到架构类型和模块选择，实现自主学习的全晋级网络。3.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，晋级方案驱动的线性自强化网络：采用二维离散强化网络、图像强化网络和语音强化网络构造晋级自强化网络；(1)二维离散强化网络的滤波器组的z变换为：p(z)为互补滤波器组(h,g)的多相矩阵，对偶滤波器组(h
*
,g
*
)的多相矩阵为p
*
(z)，x＝{x[n]|n∈z}表示输入序列，c＝{c[n]|n∈z}和d＝{d[n]|n∈z}分别表示x[n]经过滤波器
组(h,g)并下采样后得到的序列,则应用欧氏范数算法，其多相矩阵可表示为：则分析多相矩阵为；得二维离散强化网络的晋级自强化正变换为：逆变换只需改变对应的符号，如下：通过上述方法对二维离散强化网络进行晋级构造就得到二维离散晋级自强化网络；(2)对于图像强化网络，其分析多相矩阵表示为：则相应的晋级过程如下：图像分割：d[n]
(0)
＝x[2n 1]，c[n]
(0)
＝x[2n]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式7估计推理1：d[n]
(1)
＝d[n]
(0)
α(c[n]
(0)
c[n 1]
(0)
)
ꢀꢀꢀꢀꢀꢀ
式8图像改造1：c[n]
(1)
＝c[n]
(0)
β(d[n]
(1)
d[n-1]
(1)
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
式8估计推理2：d[n]
(2)
＝d[n]
(1)
γ(c[n]
(1)
c[n 1]
(1)
)
ꢀꢀꢀꢀꢀꢀ
式9图像改造2：c[n]
(2)
＝c[n]
(1)
δ(d[n]
(2)
d[n-1]
(2)
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式10收缩因子：
其中，α，β，δ，γ，k均为无理数，近似值为：由上述晋级过程得到图像强化网络晋级方案，增加一组估计推理和图像改造步骤，并基于原位计算，计算所需内存较少，不增加运算成本，对运算速度也无影响；(3)语音强化网络变换的算法表示如下：语音分割：采用惰性自强化网络变换实现；估计推理：语音改造：得到语音强化网络变换晋级方案。4.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，形态晋级自强化网络：(1)最大晋级格形态自强化网络采用最大值算子作为估计推理算子和改造算子来构造形态晋级自强化网络，假设原始信号分解采用自强化网络分解，即：估计推理算子p和改造算子u分别采用：p(x
e
[n])＝x
e
[n]∨x
e
[n 1]u(d[n])＝-(0∨d[n-1]∨d[n])
ꢀꢀꢀꢀꢀꢀꢀꢀ
式16其中，∨为表示上确界的符号，x
e
[n]∨x
e
[n 1]表示集合{x
e
[n]，x
e
[n 1]}的上确界；晋级过程表示为：估计推理：d[n]＝x
o
[n]-(x
e
[n]∨x
e
[n 1])＝x[2n 1]-(x[2n]∨x[2n 2])
ꢀꢀꢀꢀꢀꢀ
式17改造融合：c[n]＝x
e
[n] (0∨d[n-1]∨d[n])＝x[2n] (0∨(x[2n-2]-(x[2n-2]∨x[2h]))∨(x[2n 1]-(x[2n]∨x[2n 2])))
ꢀꢀꢀ
式18最大晋级方法选择偶部分信号x
e
[n]的两个邻域值x
e
(n)与x
e
(n 1)的最大值作为x
o
(n)的估计推理，改造晋级中同样将x
e
[n]的局部最大值映射为尺度信号x
e
[n]，如果x(n)≥x(n
±
1)，则信号x在点n具有局部最大值x(n)；(2)中值晋级自强化网络原始信号分解采用惰性自强化网络分解，利用中值算子作为改造算子来构造形态晋级自强化网络，估计推理和改造算子分别为：p(x
e
[n])＝x
e
[n]u(d[n])＝-median(0，d[n-1]，d[n])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式19其中，median()函数返回给定数值的中值，按照上述方法得到一个非对偶自强化网络晋级方案，表示如下：图像分割：x
e
[n]＝x[2n]x
o
[n]＝x[2n 1]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式20估计推理：d[n]＝x
o
[n]-p(x
e
[n])＝x[2n 1]-x[2n]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式21改造融合：c[n]＝x
e
[n] u(d[n])＝x[2n]-median(0，d[n-1]，d[n])
ꢀꢀꢀꢀꢀ
式22分析用的偶部信号通过对输入信号x[n]的局部估计推理误差进行改造融合，如果d[n-1]＝x[2n-1]-x[2n-2]与d[n]＝x[2n 1]-x[2n]的值异号，则x[2n]保持不变，当x[2n]是一个局部极值时，x[2n]的值保持不变，否则x[2n]按照x[2n-1]-x[2n-2]和x[2n 1]-x[2n]的最小差值完成自动调整。5.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，晋级网络自强化的自强化网络特征提取：图像语音噪声为孤立像素点的灰度突变，带有高频特性且空间不相关，经晋级自强化网络处理后的图像语音被分解为包含图像语音细节和混入噪声的高频估计推理误差和体现图像语音轮廓的低频分量，利用晋级自强化网络进行图像语音特征提取，将改造融合得到的平滑分量作为卷积神经网络的输入，自强化网络与卷积神经网络采用松散融合方式，模型采用[conv relu pool]
×
n-conv-relu-[full connect]
×
m-softmax形式，将该网络记为lsq-1，在该网络模型中，l
i
代表晋级层，c
i
表示卷积层，fc
i
表示全连接层；晋级模块的具体实现过程为：对输入图像语音的每行和每列分别进行晋级，针对不同的自强化网络，其晋级方案不同，采用二维离散强化网络、图像强化网络和语音强化网络，利用估计推理误差改造得到的平滑分量输入到下层卷积神经网络，提取的晋级自强化网络特征图大小是输入的四分之一。6.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，晋级网络自强化的神经网络模型：利用自强化网络变换的空间域，提出估计推理误差解释，提供用于设计定制变换的框架，使用任何线性、非线性或空间变化的估计推理器和改造器以匹配给定信号的特性；本申请基于晋级网络提出一种自适应自强化网络变换晋级框架,通过估计推理器和改造器的自适应来对信号进行分析处理，通过优化基于数据的估计推理误差准则来自适应的将这种晋级结构的处理调谐到期望的信号；新变换利用更好的估计推理变量获得更有效的信号表示,即获取更好的特征表达，改
进的晋级方案将原晋级方案的估计推理和改造算子用卷积核来代替。7.根据权利要求6所述晋级网络自强化的图像语音深度学习模型，其特征在于，(一)从晋级到卷积：在lsq-1模型中，晋级模块的l1层并没有参数化，在训练过程中不可学，这相当于对输入图像语音的前置处理操作，为将晋级自强化网络与神经网络紧密结合，对晋级方案做进一步改进，通过对神经网络的训练，让该晋级层的估计推理算子和改造算子实现自主学习，从而自适应的调整来匹配输入信号，并且更好的进行特征提取，晋级方案与网络的采用交融结合方式；改进后的模型记为lsq-2，它是将lsq-1中的晋级层换成改进后的晋级结构并加入到神经网络结构内部，采用的形式是：(conv relu pool)
×
n-lifting
×
z-(conv relu)
×
m-full connect-softmax；具体实现：
⑴
将原晋级方案的估计推理改造算子设计成卷积核，训练实现自适应性以克服其固定结构对特征提取结果的影响；(2)对输入进行惰性自强化网络变换,得到的奇偶部分按照估计推理和改造进行处理，p、u采取与卷积基元相同的局部连接与权值共享结构，改造所得的特征值组合成一张晋级特征图,输入到下层卷积神经网络中。8.根据权利要求6所述晋级网络自强化的图像语音深度学习模型，其特征在于，(二)晋级网络：将模型lsq-2中的卷积层全部用晋级结构来实现得到的网络记为lsq-3，采用的形式是：lifting
×
m-full connect
×
n-softmax；晋级层的处理过程与lsq-2相同，大小为32
×
32的输入数据进入网络后，每过一个晋级层大小都变为该层输入的四分之一，这样经过第三个晋级层的处理之后，就进入全连接层，最后通过softmax层输出进行判别分类。9.根据权利要求6所述晋级网络自强化的图像语音深度学习模型，其特征在于，(三)晋级实现池化：形态晋级自强化网络不仅保留多分辨率分析的特征还具有良好的细节保留和抑制图像语音噪声的能力，并且集成晋级方案的灵活性，其局部极值保持的特征，对信号特征提取极为重要，将模型lsq-1中的池化层分别用晋级结构实现，将原始晋级框架中的线性估计推理算子和改造算子替换成非线性形态滤波器；(1)晋级实现max pooling按照最大晋级格形态自强化网络，将估计推理算子p和改造算子u分别设置成最大值算子来构造形态晋级方案,并将该晋级模块嵌进神经网络替换max pooling层，将lsq-1网络中第一层卷积后面的max pooling层替换掉，第三层和第四层卷积后面的average pooling层保留；(2)晋级实现average pooling将估计推理算子p和改造算子u分别设置成常数1和中值算子,即构造一个中值形态晋级框架，然后用该晋级模块替换掉lsq-1网络中第三层和第四层卷积后面的average pooling层，第一层卷积后面的max pooling层保留；(3)晋级实现池化将lsq-1网络中第一层卷积后面的max pooling层用最大晋级格形态自强化网络替换，
第三层和第四层卷积后面的average pooling层用中值形态晋级框架来实现，得到的新模型记作lsq-4。

技术总结
晋级网络自强化的图像语音深度学习模型。本申请将晋级方案与神经网络结构融合设计出一种可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构，系统稳定性提高；通过松散和紧凑分别将线性和非线性晋级方案与神经网络分类模型相结合构造深度学习分类模型，泛化能力强；网络结构方面对卷积和池化层进行自主联合，实现全晋级网络，分级处理在分类和估计推理任务上有更好效果；网络运算方面用晋级实现卷积运算和池化运算，实现线性与非线性的统一，计算复杂度低；网络训练过程采用分层低熵来加速网络训练,不仅使网络保留卷积的可学习性，还使得池化层变得可学习，模型学习能力强，误差比现有技术方法的都小，图像语音识别分类的准确性和鲁棒性更好。音识别分类的准确性和鲁棒性更好。音识别分类的准确性和鲁棒性更好。


技术研发人员：潘振华
受保护的技术使用者：潘振华
技术研发日：2022.03.25
技术公布日：2022/7/1