光流估计方法、相关装置、设备及计算机可读存储介质与流程

技术特征：
1.一种光流估计方法，其特征在于，所述方法应用于特征金字塔网络，所述特征金字塔网络包括2层网络，所述方法包括：获取第一帧图像和第二帧图像；其中，所述第一帧图像和所述第二帧图像包含目标物体；通过所述2层网络对所述第一帧图像进行2次不同尺度的特征提取，得到2个第一光流特征图；通过所述2层网络对所述第二帧图像进行2次不同尺度的特征提取，得到2个第二光流特征图；其中，第1层网络提取到的光流特征图的分辨率大于第2层网络提取到的光流特征图的分辨率；通过第1层网络将第2层网络对应的第一融合特征图以及所述第1层网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到所述第1层网络对应的光流结果；其中，所述第2层网络对应的第一融合特征图为对所述第2层网络提取到的第2个第一光流特征图和第2个第二光流特征图进行特征融合得到的；输出所述第1层网络对应的光流结果；其中，所述光流结果用于表征所述目标物体的运动信息。2.如权利要求1所述的方法，其特征在于，所述特征金字塔网络包括金字塔特征网络和特征融合网络；所述特征金字塔网络的第1至2层分别设有所述金字塔特征网络；所述特征金字塔网络的第1层设有所述特征融合网络；所述金字塔特征网络用于对所述第一帧图像和所述第二帧图像进行特征提取；所述特征融合网络用于对所述金字塔特征网络提取到的光流特征图进行融合；所述通过第1层网络将第2层网络对应的融合特征图以及所述第1层网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到所述第1层网络对应的光流结果，包括：通过所述特征金字塔网络中第1层特征融合网络将第2层金字塔特征网络提取到的第2个第一光流特征图和第2个第二光流特征图进行特征融合，得到第2层金字塔特征网络对应的第一融合特征图；通过所述特征金字塔网络中第1层特征融合网络将所述第2层金字塔特征网络对应的第一融合特征图以及第1层金字塔特征网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到所述第1层特征融合网络对应的光流结果。3.如权利要求2所述的方法，其特征在于，所述第2层金字塔特征网络提取到的光流特征图包括第2个第一光流特征图和第2个第二光流特征图；所述第1层金字塔特征网络提取到的光流特征图包括第1个第一光流特征图和第1个第二光流特征图；所述第2个第一光流特征图的分辨率和所述第2个第二光流特征图的分辨率属于第一范围；所述第1个第一光流特征图的分辨率和所述第1个第二光流特征图的分辨率属于第二范围，所述第一范围和所述第二范围不重叠；所述通过所述特征金字塔网络中第1层特征融合网络将所述第2层金字塔特征网络对应的融合特征图以及第1层金字塔特征网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到所述第1层网络对应的光流结果，包括：通过所述第1层特征融合网络将所述第1个第一光流特征图和所述第1个第二光流特征图进行特征融合，得到第一融合图像；通过所述第1层特征融合网络根据所述第1个第二光流特征图和所述第一融合特征图得到第二融合图像，并提取所述第二融合图像的特征，得到第三融合图像；
通过所述第1层特征融合网络对所述第一融合图像和所述第三融合图像进行特征融合，得到第四融合图像；通过所述第1层特征融合网络对所述第四融合图像进行放大，得到所述第1层特征融合网络对应的光流结果。4.如权利要求3所述的方法，其特征在于，所述通过所述第1层特征融合网络将所述第1个第一光流特征图和所述第1个第二光流特征图进行特征融合，得到第一融合图像，包括：通过所述第1层特征融合网络从所述第1个第一光流特征图中确定n个像素点作为n个第一特征点，从所述第1个第二光流特征图中确定n个像素点作为n个第二特征点，匹配所述n个第一特征点和所述n个第二特征点，得到所述n个第一特征点和所述n个第二特征点之间的对应关系；通过所述第1层特征融合网络根据所述n个第一特征点和所述n个第二特征点之间的对应关系获取所述n个第一特征点和所述n个第二特征点之间的相关度；通过所述第1层特征融合网络根据所述相关度对所述所述n个第一特征点和所述n个第二特征点进行特征融合，得到所述第一融合图像。5.如权利要求3所述的方法，其特征在于，所述通过所述第1层特征融合网络对所述第一融合图像和所述第三融合图像进行特征融合，得到第四融合图像之后，所述通过所述第1层特征融合网络对所述第四融合图像进行放大，得到所述第1层特征融合网络对应的光流结果之前，还包括：通过所述第1层特征融合网络去除所述第四融合图像中的噪声以及保留所述第四融合图像的边界信息，得到第五融合图像；所述通过所述第1层特征融合网络对所述第四融合图像进行放大，得到所述第1层特征融合网络对应的光流结果，包括：通过所述第1层特征融合网络对所述第五融合图像进行放大，得到所述第1层特征融合网络对应的光流结果。6.一种光流估计方法，其特征在于，所述方法应用于特征金字塔网络，所述特征金字塔网络包括n层网络，所述n为大于2的正整数，所述方法包括：获取第一帧图像和第二帧图像；其中，所述第一帧图像和所述第二帧图像包含目标物体；通过所述n层网络对所述第一帧图像进行n次不同尺度的特征提取，得到n个第一光流特征图；通过所述n层网络对所述第二帧图像进行n次不同尺度的特征提取，得到n个第二光流特征图；其中，第n-1层网络提取到的光流特征图的分辨率大于第n层网络提取到的光流特征图的分辨率；通过第n-1层网络将第n层网络对应的第一融合特征图以及所述第n-1层网络提取到的第n-1个第一光流特征图和第n-1个第二光流特征图进行特征融合，得到所述第n-1层网络对应的光流结果和特征输出结果；其中，所述第n层网络对应的第一融合特征图为对所述第n层网络提取到的第n个第一光流特征图和第n个第二光流特征图进行特征融合得到的；通过第i-1层网络将第i层网络对应的光流结果和特征输出结果，以及所述第i-1层网络提取到的第i-1个第一光流特征图和第i-1个第二光流特征图进行特征融合，得到所述第i-1层网络输出的光流结果；所述i从n-1至2依次进行取值；所述第i层网络对应的特征输出
结果为根据第i个第二光流特征图和第i 1层网络对应的特征输出结果确定的；输出第1层网络对应的光流结果；其中，所述光流结果用于表征所述目标物体的运动信息。7.如权利要求6所述的方法，其特征在于，所述特征金字塔网络包括金字塔特征网络和特征融合网络；所述特征金字塔网络的第1至n层分别设有所述金字塔特征网络；所述特征金字塔网络的第1至n-1层分别设有所述特征融合网络；所述通过第n-1层网络将第n层网络对应的第一融合特征图以及所述第n-1层网络提取到的第n-1个第一光流特征图和第n-1个第二光流特征图进行特征融合，得到所述第n-1层网络对应的光流结果和特征输出结果；其中，所述第n层网络对应的第一融合特征图为对所述第n层网络提取到的第n个第一光流特征图和第n个第二光流特征图进行特征融合得到的；通过第i-1层网络将第i层网络对应的光流结果和特征输出结果，以及所述第i-1层网络提取到的第i-1个第一光流特征图和第i-1个第二光流特征图进行特征融合，得到所述第i-1层网络输出的光流结果，包括：通过所述特征金字塔网络中第n-1层特征融合网络将第n层金字塔特征网络提取到的第n个第一光流特征图和第n个第二光流特征图进行特征融合，得到第n层金字塔特征网络对应的第一融合特征图；通过所述特征金字塔网络中第n-1层特征融合网络将所述第n层金字塔特征网络对应的第一融合特征图以及第n-1层金字塔特征网络提取到的第n-1个第一光流特征图和第n-1个第二光流特征图进行特征融合，得到所述第n-1层特征融合网络对应的光流结果和特征输出结果；通过所述特征金字塔网络中第i-1层特征融合网络将第i层网络对应的光流结果和特征输出结果，以及所述第i-1层网络提取到的第i-1个第一光流特征图和第i-1个第二光流特征图进行特征融合，得到所述第i-1层网络输出的光流结果；所述i从n-1至2依次进行取值；所述第i层网络对应的特征输出结果为根据第i个第二光流特征图和第i 1层网络对应的特征输出结果确定的。8.如权利要求7所述的方法，其特征在于，所述第n层金字塔特征网络提取到的光流特征图包括第n个第一光流特征图和第n个第二光流特征图；所述第n-1层金字塔特征网络提取到的光流特征图包括第n-1个第一光流特征图和第n-1个第二光流特征图；所述第n个第一光流特征图的分辨率和所述第n个第二光流特征图的分辨率属于第一范围；所述第n-1个第一光流特征图的分辨率和所述第n-1个第二光流特征图的分辨率属于第二范围，所述第一范围和所述第二范围不重叠；所述通过第n-1层网络将第n层网络对应的第一融合特征图以及所述第n-1层网络提取到的第n-1个第一光流特征图和第n-1个第二光流特征图进行特征融合，得到所述第n-1层网络对应的光流结果和特征输出结果，包括：通过所述第n-1层特征融合网络将所述第n-1个第一光流特征图和所述第n-1个第二光流特征图进行特征融合，得到第一融合图像；通过所述第n-1层特征融合网络根据所述第n-1个第二光流特征图和所述第一融合特征图得到第二融合图像，并提取所述第二融合图像的特征，得到第三融合图像；通过所述第n-1层特征融合网络对所述第三融合图像进行放大，得到所述第n-1层特征融合网络对应的特征输出结果；通过所述第n-1层特征融合网络对所述第一融合图像和所述第三融合图像进行特征融
合，得到第四融合图像；通过所述第n-1层特征融合网络对所述第四融合图像进行放大，得到所述第n-1层特征融合网络对应的光流结果。9.如权利要求8所述的方法，其特征在于，所述通过所述第n-1层特征融合网络将所述第n-1个第一光流特征图和所述第n-1个第二光流特征图进行特征融合，得到第一融合图像，包括：通过所述第n-1层特征融合网络从所述第n-1个第一光流特征图中确定n个像素点作为n个第一特征点，从所述第n-1个第二光流特征图中确定n个像素点作为n个第二特征点，匹配所述n个第一特征点和所述n个第二特征点，得到所述n个第一特征点和所述n个第二特征点之间的对应关系；通过所述第n-1层特征融合网络根据所述n个第一特征点和所述n个第二特征点之间的对应关系获取所述n个第一特征点和所述n个第二特征点之间的相关度；通过所述第n-1层特征融合网络根据所述相关度对所述所述n个第一特征点和所述n个第二特征点进行特征融合，得到所述第一融合图像。10.如权利要求8所述的方法，其特征在于，所述通过所述第n-1层特征融合网络对所述第一融合图像和所述第三融合图像进行特征融合，得到第四融合图像之后，所述通过所述第n-1层特征融合网络对所述第四融合图像进行放大，得到所述第n-1层特征融合网络对应的光流结果之前，还包括：通过所述第n-1层特征融合网络去除所述第四融合图像中的噪声以及保留所述第四融合图像的边界信息，得到第五融合图像；所述通过所述第n-1层特征融合网络对所述第四融合图像进行放大，得到所述第n-1层特征融合网络对应的光流结果，包括：通过所述第n-1层特征融合网络对所述第五融合图像进行放大，得到所述第n-1层特征融合网络对应的光流结果。11.一种光流估计装置，其特征在于，所述装置应用于特征金字塔网络，所述特征金字塔网络包括2层网络，所述装置包括：图像获取模块，用于获取第一帧图像和第二帧图像；其中，所述第一帧图像和所述第二帧图像包含目标物体；金字塔特征模块，用于通过所述2层网络对所述第一帧图像进行2次不同尺度的特征提取，得到2个第一光流特征图；通过所述2层网络对所述第二帧图像进行2次不同尺度的特征提取，得到2个第二光流特征图；其中，第1层网络提取到的光流特征图的分辨率大于第2层网络提取到的光流特征图的分辨率；特征融合模块，用于通过第1层网络将第2层网络对应的第一融合特征图以及所述第1层网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到所述第1层网络对应的光流结果；其中，所述第2层网络对应的第一融合特征图为对所述第2层网络提取到的第2个第一光流特征图和第2个第二光流特征图进行特征融合得到的；输出模块，用于输出所述第1层网络对应的光流结果；其中，所述光流结果用于表征所述目标物体的运动信息。12.如权利要求11所述的装置，其特征在于，所述特征金字塔网络包括金字塔特征网络
和特征融合网络；所述特征金字塔网络的第1至2层分别设有所述金字塔特征网络；所述特征金字塔网络的第1层设有所述特征融合网络；所述金字塔特征网络用于对所述第一帧图像和所述第二帧图像进行特征提取；所述特征融合网络用于对所述金字塔特征网络提取到的光流特征图进行融合；所述特征融合模块包括第一特征融合模块，所述第一特征融合模块用于：通过所述特征金字塔网络中第1层特征融合网络将第2层金字塔特征网络提取到的第2个第一光流特征图和第2个第二光流特征图进行特征融合，得到第2层金字塔特征网络对应的第一融合特征图；通过所述特征金字塔网络中第1层特征融合网络将所述第2层金字塔特征网络对应的第一融合特征图以及第1层金字塔特征网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到所述第1层特征融合网络对应的光流结果。13.如权利要求12所述的装置，其特征在于，所述第2层金字塔特征网络提取到的光流特征图包括第2个第一光流特征图和第2个第二光流特征图；所述第1层金字塔特征网络提取到的光流特征图包括第1个第一光流特征图和第1个第二光流特征图；所述第2个第一光流特征图的分辨率和所述第2个第二光流特征图的分辨率属于第一范围；所述第1个第一光流特征图的分辨率和所述第1个第二光流特征图的分辨率属于第二范围，所述第一范围和所述第二范围不重叠；所述第一特征融合模块，具体用于：通过所述第1层特征融合网络将所述第1个第一光流特征图和所述第1个第二光流特征图进行特征融合，得到第一融合图像；通过所述第1层特征融合网络根据所述第1个第二光流特征图和所述第一融合特征图得到第二融合图像，并提取所述第二融合图像的特征，得到第三融合图像；通过所述第1层特征融合网络对所述第一融合图像和所述第三融合图像进行特征融合，得到第四融合图像；通过所述第1层特征融合网络对所述第四融合图像进行放大，得到所述第1层特征融合网络对应的光流结果。14.如权利要求13所述的装置，其特征在于，所述第一特征融合模块，具体用于：通过所述第1层特征融合网络从所述第1个第一光流特征图中确定n个像素点作为n个第一特征点，从所述第1个第二光流特征图中确定n个像素点作为n个第二特征点，匹配所述n个第一特征点和所述n个第二特征点，得到所述n个第一特征点和所述n个第二特征点之间的对应关系；通过所述第1层特征融合网络根据所述n个第一特征点和所述n个第二特征点之间的对应关系获取所述n个第一特征点和所述n个第二特征点之间的相关度；通过所述第1层特征融合网络根据所述相关度对所述所述n个第一特征点和所述n个第二特征点进行特征融合，得到所述第一融合图像。15.如权利要求13所述的装置，其特征在于，所述第一特征融合模块，还用于：通过所述第1层特征融合网络去除所述第四融合图像中的噪声以及保留所述第四融合图像的边界信息，得到第五融合图像；所述第一特征融合模块，具体用于：通过所述第1层特征融合网络对所述第五融合图像进行放大，得到所述第1层特征融合
网络对应的光流结果。16.一种光流估计装置，其特征在于，所述装置应用于特征金字塔网络，所述特征金字塔网络包括n层网络，所述n为大于2的正整数，所述装置包括：图像获取模块，用于获取第一帧图像和第二帧图像；其中，所述第一帧图像和所述第二帧图像包含目标物体；金字塔特征模块，用于通过所述n层网络对所述第一帧图像进行n次不同尺度的特征提取，得到n个第一光流特征图；通过所述n层网络对所述第二帧图像进行n次不同尺度的特征提取，得到n个第二光流特征图；其中，第n-1层网络提取到的光流特征图的分辨率大于第n层网络提取到的光流特征图的分辨率；特征融合模块，用于通过第n-1层网络将第n层网络对应的第一融合特征图以及所述第n-1层网络提取到的第n-1个第一光流特征图和第n-1个第二光流特征图进行特征融合，得到所述第n-1层网络对应的光流结果和特征输出结果；其中，所述第n层网络对应的第一融合特征图为对所述第n层网络提取到的第n个第一光流特征图和第n个第二光流特征图进行特征融合得到的；通过第i-1层网络将第i层网络对应的光流结果和特征输出结果，以及所述第i-1层网络提取到的第i-1个第一光流特征图和第i-1个第二光流特征图进行特征融合，得到所述第i-1层网络输出的光流结果；所述i从n-1至2依次进行取值；所述第i层网络对应的特征输出结果为根据第i个第二光流特征图和第i 1层网络对应的特征输出结果确定的；输出模块，用于输出第1层网络对应的光流结果；其中，所述光流结果用于表征所述目标物体的运动信息。17.如权利要求16所述的装置，其特征在于，所述特征金字塔网络包括金字塔特征网络和特征融合网络；所述特征金字塔网络的第1至n层分别设有所述金字塔特征网络；所述特征金字塔网络的第1至n-1层分别设有所述特征融合网络；所述特征融合模块包括第n-1特征融合模块和第i-1特征融合模块；其中，所述第n-1特征融合模块，用于：通过所述特征金字塔网络中第n-1层特征融合网络将第n层金字塔特征网络提取到的第n个第一光流特征图和第n个第二光流特征图进行特征融合，得到第n层金字塔特征网络对应的第一融合特征图；通过所述特征金字塔网络中第n-1层特征融合网络将所述第n层金字塔特征网络对应的第一融合特征图以及第n-1层金字塔特征网络提取到的第n-1个第一光流特征图和第n-1个第二光流特征图进行特征融合，得到所述第n-1层特征融合网络对应的光流结果和特征输出结果；所述第i-1特征融合模块，用于：通过所述特征金字塔网络中第i-1层特征融合网络将第i层网络对应的光流结果和特征输出结果，以及所述第i-1层网络提取到的第i-1个第一光流特征图和第i-1个第二光流特征图进行特征融合，得到所述第i-1层网络输出的光流结果；所述i从n-1至2依次进行取值；所述第i层网络对应的特征输出结果为根据第i个第二光流特征图和第i 1层网络对应的特征输出结果确定的。18.如权利要求17所述的装置，其特征在于，所述第n层金字塔特征网络提取到的光流特征图包括第n个第一光流特征图和第n个第二光流特征图；所述第n-1层金字塔特征网络提取到的光流特征图包括第n-1个第一光流特征图和第n-1个第二光流特征图；所述第n个
第一光流特征图的分辨率和所述第n个第二光流特征图的分辨率属于第一范围；所述第n-1个第一光流特征图的分辨率和所述第n-1个第二光流特征图的分辨率属于第二范围，所述第一范围和所述第二范围不重叠；所述第n-1特征融合模块，具体用于：通过所述第n-1层特征融合网络将所述第n-1个第一光流特征图和所述第n-1个第二光流特征图进行特征融合，得到第一融合图像；通过所述第n-1层特征融合网络根据所述第n-1个第二光流特征图和所述第一融合特征图得到第二融合图像，并提取所述第二融合图像的特征，得到第三融合图像；通过所述第n-1层特征融合网络对所述第三融合图像进行放大，得到所述第n-1层特征融合网络对应的特征输出结果；通过所述第n-1层特征融合网络对所述第一融合图像和所述第三融合图像进行特征融合，得到第四融合图像；通过所述第n-1层特征融合网络对所述第四融合图像进行放大，得到所述第n-1层特征融合网络对应的光流结果。19.如权利要求18所述的装置，其特征在于，所述第n-1特征融合模块，具体用于：通过所述第n-1层特征融合网络从所述第n-1个第一光流特征图中确定n个像素点作为n个第一特征点，从所述第n-1个第二光流特征图中确定n个像素点作为n个第二特征点，匹配所述n个第一特征点和所述n个第二特征点，得到所述n个第一特征点和所述n个第二特征点之间的对应关系；通过所述第n-1层特征融合网络根据所述n个第一特征点和所述n个第二特征点之间的对应关系获取所述n个第一特征点和所述n个第二特征点之间的相关度；通过所述第n-1层特征融合网络根据所述相关度对所述所述n个第一特征点和所述n个第二特征点进行特征融合，得到所述第一融合图像。20.如权利要求18所述的装置，其特征在于，所述第n-1特征融合模块，还用于：通过所述第n-1层特征融合网络去除所述第四融合图像中的噪声以及保留所述第四融合图像的边界信息，得到第五融合图像；所述第n-1特征融合模块，具体用于：通过所述第n-1层特征融合网络对所述第五融合图像进行放大，得到所述第n-1层特征融合网络对应的光流结果。21.一种光流估计设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5或6-10任一项所述的方法。22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5或6-10任一项所述的方法。

技术总结
本申请提供了一种光流估计方法、相关装置、设备及计算机可读存储介质，涉及人工智能领域，具体涉及计算机视觉领域，该方法包括：获取第一帧图像和第二帧图像；通过2层网络对第一帧图像进行2次不同尺度的特征提取，得到2个第一光流特征图；通过2层网络对第二帧图像进行2次不同尺度的特征提取，得到2个第二光流特征图；通过第1层网络将第2层网络对应的第一融合特征图以及第1层网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到第1层网络对应的光流结果；输出第1层网络对应的光流结果。实施本申请，可以在提高深度学习模型的运算效率的同时，尽可能地保持深度学习模型的光流估计结果接近实时检测。深度学习模型的光流估计结果接近实时检测。深度学习模型的光流估计结果接近实时检测。


技术研发人员：孔令通 沈春华 杨杰 许松岑 周一韧
受保护的技术使用者：华为技术有限公司
技术研发日：2020.05.13
技术公布日：2021/11/19