一种适应含有像素级分割的多任务场景的方法及系统与流程

技术特征：
1.一种适应含有像素级分割的多任务场景的方法，其特征在于，所述适应含有像素级分割的多任务场景的方法通过对特征层的一次卷积和上采样操作，得到与上一层特征图相同尺寸的特征图；在主干网络后对特征层的add操作，得到不同尺度的特征信息；通过对特征层的两次卷积操作，进行特征信息融合；通过对特征层的两次上采样操作，对特征层线性插值得到像素级分割任务所需的原图尺寸的特征图；通过对特征层后增加一个与原始主干网络结构相同的克隆层，用于后续的检测网络的特征提取。2.如权利要求1所述适应含有像素级分割的多任务场景的方法，其特征在于，所述适应含有像素级分割的多任务场景的方法包括以下步骤：步骤一，主干网络输出多尺度特征层lay1、lay2、lay3；在lay3后增加卷积层和上采样层，特征层lay3经过卷积和上采样后尺度放大一倍输出为特征层lay1；并与上一层特征层进行数值叠加得到特征层lay2＝lay1 lay2，同时得到浅层特征图中的细节信息和深层特征图中的语义信息；在特征层lay2后增加两次卷积层输出特征层lay3；步骤二，特征层lay3后增加卷积层和上采样层，特征层lay3经过卷积和上采样后尺度放大一倍得到特征层lay4；并与上一层特征层进行数值叠加得到特征层lay5＝lay4 lay1，同时得到浅层特征图中的细节信息和深层特征图中的语义信息；在特征层lay5后增加两次卷积层输出特征层lay6；步骤三，特征层lay6后增加上采样层，特征层lay6经过上采样后尺度放大一倍得到特征层lay7；步骤四，特征层lay7后增加上采样层，特征层lay7经过上采样后尺度放大一倍得到原图尺寸的特征层lay8，而后增加一个与原始主干网络结构相同的克隆层；同时获得像素级分割和目标检测等计算机视觉任务所需的特征信息。步骤五，视觉任务分支从原图尺寸的特征图进行参数计算；形成原图尺寸的特征图适用于含有像素级分割的多种计算机视觉任务。3.如权利要求1所述适应含有像素级分割的多任务场景的方法，其特征在于，所述适应含有像素级分割的多任务场景的方法，还包括：(1)在基础的主干网络得到的最深一层的特征层lay3，其尺度为h3*w3；增加一次卷积操作和上采样操作后输出的特征层lay1，其尺度为h2*w2，其中h3＝2*h2，w3＝2*w2；(2)由步骤(1)得到的特征图lay1后，增加add层，与上一层的特征层lay2进行数值加和得到特征层lay2＝lay1 lay2，用于得到不同尺度的特征信息，其中，lay1的尺度为h1*w1，lay2的尺度为h2*w2，h1＝h2，w1＝w2；(3)由步骤(2)得到特征图lay2后，增加两次卷积输出特征层lay3，用于特征信息融合，其中卷积操作不改变特征层尺度，仅改变特征层的通道数；(4)由步骤(3)得到的特征层lay3，其尺度为h3*w3；增加一次卷积操作和上采样操作后输出的特征层lay4，其尺度为h4*w4，其中h4＝2*h3，w4＝2*w3；(5)由步骤(4)得到的特征图lay4后，增加add层，与上一层的特征层lay1进行数值加和得到特征层lay5＝lay4 lay1，用于得到不同尺度的特征信息，其中，lay4的尺度为h4*w4，lay1的尺度为h1*w1，h4＝h1，w4＝w1；(6)由步骤(5)得到特征图lay5后，增加两次卷积输出特征层lay6，用于特征信息融合，其中卷积操作不改变特征层尺度，仅改变特征层的通道数；
(7)由步骤(6)得到的特征图lay6，其尺度为h6*w6；增加一次上采样操后输出的特征层lay7，其尺度为h7*w7，其中h7＝2*h6，w7＝2*w6；(8)由步骤(7)得到的特征图lay7，其尺度为h7*w7；增加一次上采样操后输出的特征层lay8，其尺度为h8*w8，为原图的尺寸，其中h8＝2*h7，w8＝2*w7；(9)由步骤(8)得到的特征图lay8后，增加轻量级的基础主干网络，用于对特征信息进行二次提取。4.一种实施权利要求1～3任意一项所述适应含有像素级分割的多任务场景的方法的全卷积神经网络结构适应多任务场景的系统，其特征在于，所述适应含有像素级分割的多任务场景的系统包括：上采样和数值叠加模块，用于通过在主干网络后增加上采样层，并与上一层特征层进行数值叠加；克隆层构建模块，用于通过数次上采样和数值叠加后得到一个原图尺寸的特征图，而后增加一个与原始主干网络结构相同的克隆层；参数计算模块，用于通过视觉任务分支从原图尺寸的特征图进行参数计算。5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：通过对特征层的一次卷积和上采样操作，得到与上一层特征图相同尺寸的特征图；通过对特征层的add操作，得到不同尺度的特征信息；通过对特征层的两次卷积操作，进行特征信息融合；通过对特征层的两次上采样操作，对特征层线性插值得到像素级分割任务所需的原图尺寸的特征图；通过对特征层后增加一个与原始主干网络结构相同的克隆层，用于后续的检测网络的特征提取。6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：通过对特征层的一次卷积和上采样操作，得到与上一层特征图相同尺寸的特征图；通过对特征层的add操作，得到不同尺度的特征信息；通过对特征层的两次卷积操作，进行特征信息融合；通过对特征层的两次上采样操作，对特征层线性插值得到像素级分割任务所需的原图尺寸的特征图；通过对特征层后增加一个与原始主干网络结构相同的克隆层，用于后续的检测网络的特征提取。7.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用如权利要求4所述适应含有像素级分割的多任务场景的系统。8.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机应用如权利要求4所述适应含有像素级分割的多任务场景的系统。9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述适应含有像素级分割的多任务场景的系统。10.一种如权利要求4所述适应含有像素级分割的多任务场景的系统在多种计算机视觉任务的特征提取中的应用。

技术总结
本发明属于计算机视觉算法技术领域，公开了一种适应含有像素级分割的多任务场景的方法及系统，在主干网络后增加上采样层，并与上一层特征层进行数值叠加；数次上采样和数值叠加后得到一个原图尺寸的特征图，而后增加一个与原始主干网络结构相同的克隆层；视觉任务分支从原图尺寸的特征图进行参数计算。本发明提供原图尺寸的特征图的卷积神经网络结构，方便后续进行像素级分割的计算机视觉任务而不需要设计额外的算子，实现含有像素级分割的计算机视觉任务的算法落地的可行性提高的目的，降低算法设计的难度，不需要单独设计算子来兼容不同计算机视觉任务，因此降低了算法应用到边缘端、服务端等多任务场景时对边缘端的要求。服务端等多任务场景时对边缘端的要求。服务端等多任务场景时对边缘端的要求。


技术研发人员：陈浩
受保护的技术使用者：西安深度计算信息科技有限公司
技术研发日：2021.12.08
技术公布日：2022/4/29