一种提升图像拼接质量的方法及系统与流程

1.本技术涉及图像处理的技术领域，尤其是涉及一种提升图像拼接质量的方法及系统。


背景技术：

2.为了对移动的物体如自行车、摩托车、汽车等进行信息记录，可采用摄像头拍摄视频的方式来存储信息，但是通过视频记录信息，需要的较大的存储空间；图像拼接的方式来存储视频中移动物体的主要信息，可以大大节省存储资源。
3.在相关技术中，进行图像拼接时，通过低帧率相机进行逐帧跟踪，然后选择每帧移动的位移大小进行剪裁，拼接，得到移动物体至少一面（例如，侧面的图像。
4.针对上述中的相关技术，发明人发现：通过低帧率相机进行逐帧跟踪并进行图像拼接时，当移动的物体速度较高，容易导致跟踪失败而导致丢帧的情况。


技术实现要素：

5.为了在移动的物体速度较高时，减少图像拼接出现丢帧的可能性，本技术提供了一种提升图像拼接质量的方法及系统。
6.第一方面，本技术提供的一种提升图像拼接质量的方法采用如下的技术方案。
7.一种提升图像拼接质量的方法，包括：获取包含移动物体的视频的一帧图像；所述视频由帧率不小于60帧的相机拍摄；设定所述图像中移动物体的跟踪区域；使用跟踪算法对所述跟踪区域进行跟踪，获得相邻两帧中所述移动物体的位移；基于获取的所述位移，获得所述图像对应的待拼接图像；以及，对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。
8.通过采用上述技术方案，使用帧率不小于60帧的相机进行图像采集，可以有效减少每帧之间移动物体的位移长度，从而减少目标跟踪时图像特征的变化，减少了丢帧的可能性，从而提高了跟踪准确率。
9.可选的，使用跟踪算法对所述跟踪区域进行跟踪之后，还包括：过滤误检步骤；所述过滤误检步骤的方法为：若和/或；则，基于上一帧图像对应的位移，得到当前图像所对应的待拼接图像；其中，其中为跟踪区域初始位置的中心点在x轴上的坐标，为跟踪后的所述跟踪区域的中心点在x轴上的坐标；为所述跟踪区域初始位置的中心点在y轴上的坐标，为跟踪后的所述跟踪区域的中心点在y轴上的坐标；为预设的跟踪结果有效的x轴位移最大值；为指定的跟踪结果有效的y轴位移最大值。
10.通过采用上述技术方案，帧率不小于60帧的相机帧率比较高，两帧图像之间物体移动的位移较小；过滤误检步骤将位移比较大的结果过滤，使用之前一帧的跟踪结果作为
当前帧跟踪的位移，从而使得拼接图像的更加准确。
11.可选的，所述的基于获取的所述位移，获得所述图像对应的待拼接图像包括：基于当前图像的位移、当前图像前n帧图像的位移以当前图像后n帧的位移，得到当前图像的拼接尺寸；以及，基于所述拼接尺寸得到当前图像对应的待拼接图像；其中，计算当前图像的所述拼接尺寸的计算公式为：为当前图像的拼接尺寸；为位移。
12.通过采用上述技术方案，利用历史图像跟踪得到的位移以及未来图像跟踪得到的位移配置当前图像的拼接尺寸，可以消除拖影并且节省跟踪的误差。
13.可选的，计算当前图像的所述拼接尺寸的计算公式替换为：；；其中，为当前图像的拼接尺寸；为权重；当时，；当时，。
14.通过采用上述技术方案，权重是根据该图像靠近当前图像的帧数距离决定的，越靠近当前图像权重的增大，结合历史图像的位移、未来图像的位移、当前图像的位移及对应的权重得到拼接尺寸，从而使得拼接得到的图像更加准确。
15.可选的，在获取包含移动物体的视频的一帧图像之后，还包括：对所述图像进行畸变矫正。
16.通过采用上述技术方案，进行畸变矫正，可以提高跟踪算法的准确率。
17.可选的，在获取包含移动物体的视频的一帧图像之后，还包括：对所述图像进行自适应均衡化处理。
18.通过采用上述技术方案，对获取的图像进行自适应均衡化处理后，可以自动均衡图片亮度，使移动物体的细节更突出，提升跟踪算法的准确度。
19.可选的，所述跟踪算法包括kcf算法或stamfc算法。
20.第二方面，本技术提供的一种提升图像拼接质量的方法采用如下的技术方案。
21.一种提升图像拼接质量的系统，包括：获取模块，用于：获取包含移动物体的视频的一帧图像；所述视频由帧率不小于60帧的相机拍摄；跟踪区域设定模块，用于：设定所述图像中移动物体的跟踪区域；跟踪模块，用于：使用跟踪算法对所述跟踪区域进行跟踪，获得相邻两帧中移动物体的位移；待拼接图像获取模块，用于：基于获取的所述位移，获得所述图像对应的待拼接图像；以及，拼接模块，用于对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。
22.第三方面，本技术公开一种计算机设备，包括存储器和服务器，所述存储器上存储有被服务器加载并执行上述的任一方法的计算机程序。
23.第四方面，本技术公开一种计算机可读存储介质，存储有能够被服务器加载并执行上述的任一方法的计算机程序。
附图说明
24.图1是本技术实施例一种提升图像拼接质量的方法的流程图；图2是本技术实施例一种提升图像拼接质量的系统的框图；图3是图2中的待拼接图像获取模块的框图；图中，201、获取模块；202、跟踪区域设定模块；203、跟踪模块；204、待拼接图像获取模块；205、拼接模块；206、过滤误检模块；2041、拼接尺寸获取子模块；2042、待拼接图像获取子模块；207、畸变矫正模块；208、自适应均衡化模块。
具体实施方式
25.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图1-3及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
26.本技术实施例公开一种提升图像拼接质量的方法。参照图1，作为一种提升图像拼接质量的方法的一种实施方式，一种提升图像拼接质量的方法包括以下步骤：步骤101、获取包含移动物体的视频的一帧图像；视频由帧率不小于60帧的相机拍摄。
27.步骤102、设定图像中移动物体的跟踪区域。
28.步骤103、使用跟踪算法对跟踪区域进行跟踪，获得相邻两帧中移动物体的位移。
29.步骤104、基于获取的位移，获得图像对应的待拼接图像。
30.步骤105、对得到的待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到移动物体的完整的拼接图像。
31.在步骤101其中一种实现方式中，包含移动物体的视频是移动物体进入相机的拍摄区域后由相机拍摄得到。按照帧的排列顺序，依次获取得到每一帧图像。获取图像可以是处理器直接获取包含移动物体的视频，然后由该视频得到若干帧图像；也可以是第三方处理器先获取上述视频，对上述视频进行分帧后再将图像依次发送给处理器。
32.使用帧率不小于60帧的相机进行图像采集，可以有效减少每帧之间移动物体的位移长度，从而减少目标跟踪时图像特征的变化，从而提高了跟踪准确率。同时，使用帧率不小于60帧的相机，可以更快地纠正白平衡，使得相机输出视频或图像在极端光线环境下有较好的表现，减少了丢帧的可能性，进而提高了图像拼接的质量。
33.在步骤102其中一种实现方式中，由于图像中不仅包含移动物体还包括背景等元素，单纯使用算法设置跟踪区域结果会非常不理想。在其中一种实施例中，设定跟踪区域的步骤包括：人工在第一帧图像中划定跟踪区域，在人工划定的跟踪区域内对移动物体经过区域进行背景建模，得到移动物体的驶入位置。对于后续帧的图像，均与背景建模的图像进行图像差值处理和图像二值化处理，确定出相应图像中移动物体的跟踪区域。通过动态设置移动物体跟踪区域，使得跟踪准确度大大提高。
34.在步骤103其中一种实现方式中，使用跟踪算法对跟踪区域进行跟踪包括：将跟踪区域中移动物体的轮廓提取出来，并过滤掉干扰特征；使用跟踪算法对的移动物体的轮廓进行跟踪。可使用canny算子提取跟踪区域中移动物体的轮廓。干扰特征包括背景及污渍等特征，滤掉干扰特征能够提高跟踪算法的准确度。跟踪算法包括kcf算法或（官方训练好参
数的）stamfc算法。
35.在步骤105其中一种实现方式中，在获取相邻两帧移动物体的位移之后，处理器判断当前图像是否为最后一帧；如果否，则对下一帧图像进行处理；下一帧图像重新执行步骤s101-步骤s103；如果是，则执行步骤104，得到每一帧图像对应的待拼接图像。在对所有的待拼接图像进行拼接后，得到移动物体的完整的拼接图像。
36.作为一种提升图像拼接质量的方法的另一种实施方式，使用跟踪算法对跟踪区域进行跟踪之后，还包括：过滤误检步骤；过滤误检步骤的方法为：若和/或；则，基于上一帧图像对应的位移，得到当前图像所对应的待拼接图像；其中，其中为跟踪区域初始位置的中心点在x轴上的坐标，为跟踪后的跟踪区域的中心点在x轴上的坐标；为跟踪区域初始位置的中心点在y轴上的坐标，为跟踪后的跟踪区域的中心点在y轴上的坐标；为预设的跟踪结果有效的x轴位移最大值；为指定的跟踪结果有效的y轴位移最大值。
37.具体地，及根据相机的帧率进行配置，例如，使用120帧的相机时，可以设置为15像素，可以设置为3像素。帧率不小于60帧的相机（例如60帧的相机或者120帧的相机）帧率比较高，两帧图像之间物体移动的位移较小。过滤误检步骤将位移比较大的结果过滤，使用之前一帧的跟踪结果（即上一帧跟踪的位移大小）作为当前帧跟踪的位移，从而使得拼接图像的更加准确。
38.作为一种提升图像拼接质量的方法的另一种实施方式，基于获取的位移，获得图像对应的待拼接图像包括：基于当前图像的位移、当前图像前n帧图像的位移以当前图像后n帧的位移，得到当前图像的拼接尺寸；以及，基于拼接尺寸得到当前图像对应的待拼接图像；其中，计算当前图像的拼接尺寸的计算公式为：为当前图像的拼接尺寸；为位移。
39.具体地，拼接尺寸即待拼接图像的尺寸。经过发明人不断实验，发明人发现：当物体在拍摄区域内由移动状态变为静止状态，此时进行图像拼接时，容易出现拖影的现象；由于相机的帧率不小于60帧，相邻两帧之间物体的位移较小；设定跟踪区域时，如果物体的特征比较少，此时进行目标跟踪就比较容易出现误检。利用历史图像跟踪得到的位移以及未来图像跟踪得到的位移配置当前图像的拼接尺寸，可以消除拖影并且节省跟踪的误差。
40.作为一种提升图像拼接质量的方法的另一种实施方式，基于获取的位移，获得图像对应的待拼接图像包括：基于当前图像的位移、当前图像前n帧图像的位移以当前图像后n帧的位移，得到当前图像的拼接尺寸；以及，基于拼接尺寸得到当前图像对应的待拼接图像；计算当前图像的拼接尺寸的计算公式替换为：；；其中，为当前图像的拼接尺寸；为权重；为位移；当时，；当时，。
41.具体地，上述的权重是根据该图像靠近当前图像的帧数距离决定的，越靠近当前图像权重的增大。物体在移动的时候，速度不会突变；例如，车速不会由某30千米每小时突
变为100千米每小时，而是会经过一个加速的过程，结合历史图像的位移、未来图像的位移、当前图像的位移得到拼接尺寸，从而使得拼接得到的图像更加准确。
42.作为一种提升图像拼接质量的方法的另一种实施方式，在获取包含移动物体的视频的一帧图像之后，还包括：对图像进行畸变矫正。
43.具体地，当使用鱼眼镜头进行拍摄时，若选用的鱼眼镜头不具备畸变矫正功能，则可以采用相机内参矩阵和畸变矫正参数对获取的图像进行畸变矫正。进行畸变矫正，可以提高跟踪算法的准确率，使得拼接图像更圆滑，比例更正常。
44.作为一种提升图像拼接质量的方法的另一种实施方式，在获取包含移动物体的视频的一帧图像之后，还包括：对图像进行自适应均衡化处理。
45.具体地、相机的成像效果受光线的影响比较大，对获取的图像进行自适应均衡化处理后，可以自动均衡图片亮度，还可以对于图像曝光过度或曝光不足的进行修复，使移动物体的细节更突出，提升跟踪算法的准确度。
46.参照图2，本技术还提供了一种提升图像拼接质量的系统，包括：获取模块201，用于：获取包含移动物体的视频的一帧图像；视频由帧率不小于60帧的相机拍摄；跟踪区域设定模块202，用于：设定图像中移动物体的跟踪区域；跟踪模块203，用于：使用跟踪算法对跟踪区域进行跟踪，获得相邻两帧中移动物体的位移；待拼接图像获取模块204，用于：基于获取的位移，获得图像对应的待拼接图像；以及，拼接模块205，用于对得到的待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到移动物体的完整的拼接图像。
47.继续参照图2，作为一种提升图像拼接质量的系统的另一种实施方式，该系统还包括过滤误检模块206；过滤误检模块206用于：使用跟踪算法对跟踪区域进行跟踪之后，还包括：过滤误检步骤；过滤误检步骤的方法为：若和/或；则，基于上一帧图像对应的位移，得到当前图像所对应的待拼接图像；其中，其中为跟踪区域初始位置的中心点在x轴上的坐标，为跟踪后的跟踪区域的中心点在x轴上的坐标；为跟踪区域初始位置的中心点在y轴上的坐标，为跟踪后的跟踪区域的中心点在y轴上的坐标；为预设的跟踪结果有效的x轴位移最大值；为指定的跟踪结果有效的y轴位移最大值。
48.参照图3，作为一种提升图像拼接质量的系统的另一种实施方式，待拼接图像获取模块204包括：拼接尺寸获取子模块2041，用于：基于当前图像的位移、当前图像前n帧图像的位移以当前图像后n帧的位移，得到当前图像的拼接尺寸；待拼接图像获取子模块2042，用于：基于拼接尺寸得到当前图像对应的待拼接图像；其中，计算当前图像的拼接尺寸的计算公式为：为当前图像的拼接尺寸；为位移。
49.继续参照图2，作为一种提升图像拼接质量的系统的另一种实施方式，计算当前图像的拼接尺寸的计算公式替换为：；；
其中，为当前图像的拼接尺寸；为权重；当时，；当时，。
50.继续参照图2，作为一种提升图像拼接质量的系统的另一种实施方式，该系统还包括畸变矫正模块207；畸变矫正模块207用于：在获取包含移动物体的视频的一帧图像之后，对图像进行畸变矫正。
51.继续参照图2，作为一种提升图像拼接质量的系统的另一种实施方式，该系统还包括自适应均衡化模块208；自适应均衡化模块208用于：在获取包含移动物体的视频的一帧图像之后，对图像进行自适应均衡化处理。
52.本技术实施例还公开一种计算机设备。
53.具体来说，该设备包括存储器和服务器，存储器上存储有能够被服务器加载并执行上述任意一种图像拼接方法的计算机程序。
54.本技术实施例还公开一种计算机可读存储介质。
55.具体来说，该计算机可读存储介质，其存储有能够被服务器加载并执行如上述任意一种图像拼接方法的计算机程序，该计算机可读存储介质例如包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
56.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。