基于航拍视频的路径综合信息流生成方法及系统与流程

1.本发明涉及航拍图像数据处理的技术领域，特别涉及一种基于航拍视频的路径综合信息流生成方法及系统。


背景技术：

2.传统地面航拍影像获取主要通过遥感卫星和有人驾驶飞机实现，但随着无人机技术的快速发展，利用无人机进行区域覆盖航拍并获取任务区域全景底图像数据的研究占据重要的研究地位。无人机上安装有摄像设备、无线图传设备、电池等。无线图传设备与电池固定在无人机底部，运用馈线将发射天线垂直安装在机尾。将无人机视频源与无线图传设备连接，使其形成完整的无人机无线视频图传系统。
3.现有技术中，通过获取卫星遥感图像生成地面信息时，易受到云层、天气等环境因素的影响；有人驾驶飞机则受到固定起降场的限制，成本偏高；而单架无人机多次执行目标区域拍摄任务，又存在耗时长、效率低等问题。


技术实现要素：

4.发明目的：提出一种基于航拍视频的路径综合信息流生成方法及系统，以解决现有技术存在的上述问题。通过多架无人机的目标区域图像获取，以及图像数据的整合，实现区域覆盖航拍以及获取任务区域全景图像数据。
5.技术方案：第一方面，提出了一种基于航拍视频的路径综合信息流生成方法，该方法具体包括以下步骤：
6.步骤1、根据已有的航拍无人机数量划分目标研究区域；
7.步骤2、基于划分好的目标研究区域规划无人机的航拍路径；
8.步骤3、按照规划好的航拍路径进行实时的图像数据采集；
9.步骤4、通过无线传输技术将采集到的图像数据传输至用户总控终端；
10.步骤5、所述用户总控终端通过构建的图像数据分析模型对采集到的图像数据进行目标分析，识别图中的目标物；
11.步骤6、基于目标物分析结果通过添加标记的形式，以及目标分析结果融合至同一画面中的操作，将最终的画面呈现至用户可视化终端。
12.在第一方面的一些可实现方式中，划分目标研究区域的过程具体包括以下步骤：
13.步骤1.1、采用外围角点标识的方式对目标区域进行表示；
14.步骤1.2、通过边界外扩的方式将目标研究区域转化成规则的矩形区域；
15.步骤1.3、根据预设边长将所述矩形区域进行栅格化处理，获取栅格图；
16.步骤1.4、基于获取到的栅格图建立二维直角坐标系，并标记目标区域相应的栅格位置，用于后续航拍路径规划的依据。
17.在第一方面的一些可实现方式中，基于划分好的目标研究区域规划无人机的航拍路径时，具体包括以下步骤：
18.步骤2.1、根据需求设定目标区域分配限制条件；
19.步骤2.2、读取划分好的目标研究区域，基于分配限制条件以及航拍无人机数量分配对应的区域集合；
20.步骤2.3、基于分配好的区域集合中规划无人机的航拍路径。
21.其中，分配限制条件的属性包括：航拍无人机之间对应的覆盖区域之间不存在交集、所有航拍无人机对饮的覆盖区域总和等于总的目标研究区域、每个航拍无人机对应的覆盖区域大小差异在预设范围之内。
22.在第一方面的一些可实现方式中，识别图中的目标物的过程具体包括以下步骤：
23.步骤5.1、读取获取到的图像数据；
24.步骤5.2、对获取到的图像数据进行预处理；
25.步骤5.3、通过聚类分析提取目标特征值；
26.步骤5.4、采用边缘检测对聚类分析后的图像进行处理，提取目标轮廓；
27.步骤5.5、基于提取到的目标轮廓，采用图像数据分析模型进行目标种类的识别分析。
28.在第一方面的一些可实现方式中，融合图像数据分析结果并将最终的画面呈现至用户可视化终端的过程中，采用最佳缝合线的方式对视频图像数据进行融合，具体包括以下步骤：
29.步骤6.1、获取处理后的视频图像数据；
30.步骤6.2、对获取到的图像数据进行背景消除处理，检测图像中的运动物体；
31.步骤6.3、基于运动物体的检测结果，获取每一帧视频图像的前景图像；
32.步骤6.4、依据当前帧的前景图像动态更新最佳缝合线；
33.步骤6.5、优化缝合线产生的裂缝，实现最终的图像融合。
34.对图像数据进行融合操作之前还包括以下步骤：
35.步骤6.0、通过缩小图像尺寸的方式，对待融合的图像进行下采样。
36.在第一方面的一些可实现方式中，检测视频中运动物体的过程具体包括以下步骤：
37.步骤6.2.1、通过背景建模获取近似背景图像的像素值，得到背景参考图像数据；
38.步骤6.2.2、将每一帧图像数据与所述背景参考图像数据进行差分运算，并进行二值化处理；
39.步骤6.2.3、根据二值化处理后的区域颜色，判断运动物体所在区域。
40.其中，二值化处理后的区域颜色包括黑色跟白色，当二值化处理后的区域颜色为白色时表示当前区域为运动物体所在区域；反之，则不是运动物体所在区域。
41.第二方面，提出一种基于航拍视频的路径综合信息流生成系统，该系统具体包括以下模块：
42.用于划分目标研究区域的区域划分模块；
43.用于规划无人机的航拍路径的路径规划模块；
44.用于实现数据采集的数据获取模块；
45.用于传输数据至用户总控终端的数据传输模块；
46.用于识别采集数据中目标物的目标分析模块；
47.用于呈现目标物的显示模块。
48.第三方面，提出一种基于航拍视频的路径综合信息流生成设备，该设备包括：
49.处理器以及存储有计算机程序指令的存储器；
50.所述处理器读取并执行所述计算机程序指令，以实现路径综合信息流生成方法。
51.第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，对应的计算机程序指令被处理器执行时实现路径综合信息流生成方法。
52.有益效果：本发明提出了一种基于航拍视频的路径综合信息流生成方法及系统，通过多架无人机的目标区域图像获取，以及图像数据的整合，实现区域覆盖航拍以及获取任务区域全景图像数据。相比于现有技术中仅采用单个航拍无人机获取目标区域的方式，本发明采用多架航拍设备并行的操作方式有效缩短了获取目标区域覆盖范围的数据采集时间，同时通过将采集到的数据汇总到总控终端处理的方式，可以有效减少对航拍设备实时处理数据的高性能需求，降低对航拍设备的硬件投入成本。
附图说明
53.图1为本发明的数据处理流程图。
54.图2为本发明外围角点标记示意图。
55.图3为本发明检测视频中运动物体的流程图。
具体实施方式
56.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
57.在一个实施例中，提出一种基于航拍视频的路径综合信息流生成方法，如图1所示，该方法具体包括以下步骤：
58.步骤1、根据已有的航拍无人机数量划分目标研究区域；
59.具体的，首先通过数字化处理的方式对目标研究区域进行位置标记；其次，采用标记点外扩边长的方式将目标研究区域转化成规则的矩形区域；再次，根据实际航拍视野设定栅格边长；从次，根据栅格边长对矩形区域进行栅格化处理，获取栅格图；最后，建立二维直角坐标系标记目标区域相应的栅格位置，并将其作为后续航拍路径规划的依据。
60.优选实施例中，划分目标研究区域具体包括以下步骤：
61.步骤1.1、采用如图2所示的外围角点标识方式对目标区域进行表示；
62.步骤1.2、通过边界外扩的方式将目标研究区域转化成规则的矩形区域；
63.步骤1.3、根据实际航拍无人机的视野宽度确认栅格区域的边长，并根据设定的边长对矩形区域进行栅格化处理，获取栅格图；
64.在进一步的实施例中，由于实际应用环境中会存在阵风等干扰性因素，因此会导致航拍无人机会出现航线偏离等情况，从而导致采集到的图像数据出现遗漏偏差，为了提高精准度，在确认栅格区域的边长时，采用小于航拍无人机实际视野宽度的长度进行矩形区域的栅格化处理。
65.步骤1.4、基于获取到的栅格图建立二维直角坐标系，并标记目标区域相应的栅格位置，用于后续航拍路径规划的依据。
66.通过将目标研究区域进行栅格化的处理，可以有效将区域采集覆盖任务转换为航拍无人机在栅格中的路径规划问题。
67.步骤2、基于划分好的目标研究区域规划无人机的航拍路径；
68.具体的，首先根据航拍无人机的数量分配对应的栅格，其次基于预设的约束条件，在分配到的栅格集合中规划无人机的航拍路径，使得拍摄范围能全面覆盖目标研究区域。优选实施例中具体包括以下步骤：
69.步骤2.1、根据需求设定目标区域分配限制条件；
70.其中分配限制条件应满足的属性包括：航拍无人机之间对应的覆盖区域之间不存在交集、所有航拍无人机对饮的覆盖区域总和等于总的目标研究区域、每个航拍无人机对应的覆盖区域大小差异在预设范围之内。
71.步骤2.2、读取划分好的目标研究区域，基于分配限制条件以及航拍无人机数量分配对应的区域集合；
72.步骤2.3、基于分配好的区域集合中规划无人机的航拍路径。
73.步骤3、按照规划好的航拍路径进行实时的图像数据采集；
74.步骤4、通过无线传输技术将采集到的图像数据传输至用户总控终端；
75.步骤5、用户总控终端通过构建的图像数据分析模型对采集到的图像数据进行目标分析，识别图中的目标物；
76.具体的，识别过程包括以下步骤：
77.步骤5.1、读取获取到的图像数据；
78.步骤5.2、对获取到的图像数据进行预处理；
79.具体的，通过预处理的方式加强图像整体或局部的特征，降低图像噪声带来的影响，优选实施例中，采用中值滤波的方式，在保护目标图像边缘信息的同时，去除图像噪声。首先以预设的像素点为中心，选用固定的滤波窗口，随后，根据像素的灰度值对选定的滤波窗口内的像素点进行重新排列，并将中间灰度值作为当前区域的灰度值。
80.步骤5.3、通过聚类分析提取目标特征值；
81.步骤5.4、采用边缘检测对聚类分析后的图像进行处理，提取目标轮廓；
82.步骤5.5、基于提取到的目标轮廓，采用图像数据分析模型进行目标种类的识别分析。
83.其中，为了提高图像数据分析模型的性能，采用误差逆传播的方式进行性能训练，属于包括隐藏层的多层前馈式网络。优选实施例中，图像数据分析模型采用bp神经网络进行目标分析。在进一步的实施例中，为了解决bp神经网络训练效率低以及误差大的问题，进一步采用lm算法对其进行优化，提高寻优速度。运算过程中，针对迭代方程对应的hessian矩阵不可逆的问题，进一步引入校正系数，通过合理的控制校正系数的值，找到最佳点满足图像数据分析模型达到最佳的精度和收敛。
84.步骤6、基于目标物分析结果通过添加标记的形式，以及目标分析结果融合至同一画面中的操作，将最终的画面呈现至用户可视化终端。
85.具体的，在进行图像进行配准融合的过程中，由于不同图像间受到视差、曝光差
异、不同程度的变形扭曲以及计算误差等因素影响，往往会导致最终得到的拼接图像中出现模糊、重影、拼接缝和重叠区域过度不平滑等问题，进而严重影响视觉效果。除此之外，相比于静态图像中的图像融合，针对视频这种类型的动态图像，往往会面对的场景比静态图像融合复杂的多，持续性的采用传统的图像融合方法，最终拼接处的图像效果往往会因为重影、模糊以及接缝的现象导致效果不佳。本实施采用基于最佳缝合线更新和改进渐入渐出的视频融合算法进行视频图像的拼接融合。
86.其中，采用最佳缝合线的方式对视频图像数据进行融合，具体包括以下步骤：
87.步骤6.1、获取处理后的视频图像数据；
88.步骤6.2、对获取到的图像数据进行背景消除处理，检测图像中的运动物体；
89.步骤6.3、基于运动物体的检测结果，获取每一帧视频图像的前景图像；
90.步骤6.4、依据当前帧的前景图像动态更新最佳缝合线；
91.步骤6.5、优化缝合线产生的裂缝，实现最终的图像融合。
92.优选实施例中，针对视频图像融合，首先采用基于混合高斯模型的背景减除法，检测视频中的运动物体，得到每一帧视频图像的前景图像，其次依据当前帧的前景图像判断当前帧是否需要动态地更新最佳缝合线，有效地避免了运动物体经过缝合线的情况，接着采用改进的渐入渐出融合算法消除缝合线所产生的拼接缝，最终得到了具有良好视觉效果的全景视频图像。另外，为了进一步提高图像融合的速度，在进行图像融合操作之前首先通过减小图像尺寸的方式，对将要进行融合的图像进行下采样。
93.在进一步的实施例中，如图3所示，检测视频中运动物体的过程具体包括以下步骤：
94.步骤6.2.1、通过背景建模获取近似背景图像的像素值；
95.步骤6.2.2、将每一帧图像数据与背景图像进行差分运算，并进行二值化处理；
96.步骤6.2.3、根据二值化处理后的图像数据判断运动物体所在区域，其中二值化处理后的区域颜色包括黑色跟白色；当二值化处理后的区域颜色为白色时表示当前区域为运动物体所在区域；反之，则不是运动物体所在区域。
97.在进一步的实施例中，由于实际采集到的视频数据往往会因为光照、抖动、噪声等外界不可控因素导致背景画面常常会出现较大的变化，因此采用混合高斯分布的方式描述背景中的任意像素点的分布排列情况，从而实现混合高斯背景建模。在得到前景与背景分离的标准后，对于视频中的每帧图像中的任意像素点，判断其是否与得到的高斯分布模式匹配，如果匹配，则它是背景中的一点，如果不匹配，则它是前景中的一点。于是，可以标记出每帧视频图像中运动物体所在的区域，之后再运用形态学中的膨胀与腐蚀操作进行降噪处理，最后即可从整幅图像中分割出前景。
98.具体的，获取前景与背景分离的标准的过程如下：首先令某个像素点x在某段时间内的像素值变化集合为{x1,x2,
…
,x
t
,
…
,xn}，其中x
t
表示在t时刻的像素值；其次，采用k个独立分布的高斯分布组成的混合高斯模型对x
t
的概率密度函数进行表示，其表达式为：
[0099][0100]
式中，k为预设常数；g(x
t
,μ
i,t
,τ
i,t
)表示t时刻的第i个高斯分布函数；μ
i,t
表示g
(x
t
,μ
i,t
,τ
i,t
)的均值；τ
i,t
表示g(x
t
,μ
i,t
,τ
i,t
)的协方差矩阵；w
i,t
表示t时刻第i时刻第i个高斯分布在最终混合分布模型中的权重。
[0101]
随后，将像素值x
t
与当前时刻的所有高斯分布模式进行比较，直到匹配到像素值x
t
的分布模型；当检测出x
t
对应的混合高斯模型中至少有一个分布模式与x
t
匹配，则对于未匹配的模式，令其均值和标准差不变，对于匹配的则进行对应的参数更新，对应的参数更新表达式为：
[0102][0103]
式中，α表示参数估计的学习速率；σ表示标准差。
[0104]
反之，测出x
t
所对应的混合高斯模型中没有一个分布模式与x
t
匹配，则对所占权重最小的模式进行重新赋值，使用x
t
作为它的均值，并给它赋予一个比所有高斯分量的方差都大的方差和一个比所有高斯分量所占的权重都小的权重，随后再对所有模式在t时刻所占的权重进行更新，并在更新完成后对其进行归一化的操作。
[0105]
最后，在所有像素所对应的模型都更新完后，将各模式按降序的方式进行排序，此时排列靠前的是那些权重大且标准差小的模式，选取前b个模式作为背景。
[0106]
在进一步的实施例中，为了克服实际融合应用中会出现的图像细节模糊现象，首先依据最佳缝合线将重叠区域划分成三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线本身，第三部分为最佳缝合线到重叠区域右边界之间的区域。然后，对第一和第三两个部分依旧根据现有的渐入渐出法进行融合，之后再加上最佳缝合线即可实现图像融合，最终可以达到消除重影、模糊、和拼接缝等问题。
[0107]
其中，现有的最佳缝合线搜索算法都是从多个像素点中依据一定的要求选择一个像素点作为缝合线的扩展，在这情况下，对缝合线的扩展仅仅考虑到了局部最优，导致最终搜索到的最佳缝合线并不一定是全局最优的。因此，本实施例从多条缝合线中选择一条最优的来连接当前像素点，具体步骤如下：
[0108]
步骤6.5.1、初始化；
[0109]
图像重叠区域最后一行中的每个像素点都对应一条缝合线的终点，对重叠区域中第一行各列的像素点计算其相似度值，对应的各位置的累积相似度度量值被初始化为各点的相似度值。
[0110]
步骤6.5.2、向下扩展，上一行的计算完成后，向下扩展来计算缝合线的累积相似度度量值。
[0111]
其中，优选实施例中扩展的方法是将每一行的当前点的相邻上一行的左上方、垂直上方和右上方的三个像素点处的累积相似度度量值进行比较，将取值最小的点与当前点连在一起，记录下抵达当前点的传播方向并计算当前点的累积相似度度量值。以此方法计算当前行所有像素点的累积相似度度量值。
[0112]
步骤6.53、回溯选择最佳缝合线；
[0113]
扩展完成之后，遍历最后一行的所有累积相似度度量值，找到其中的最小值，对应的像素点即为最佳缝合线的终点，再根据每个像素记录的传播方向进行回溯直到重叠区域的第一行，即可确定最佳缝合线。
[0114]
相比于现有技术中仅采用单个航拍无人机获取目标区域的方式，本实施例采用多架航拍设备并行的操作方式有效缩短了获取目标区域覆盖范围的数据采集时间，同时通过将采集到的数据汇总到总控终端处理的方式，可以有效减少对航拍设备实时处理数据的高性能需求，降低对航拍设备的硬件投入成本。
[0115]
在一个实施例中，提出一种基于航拍视频的路径综合信息流生成系统，用于实现一种基于航拍视频的路径综合信息流生成方法，该系统具体包括以下模块：
[0116]
用于划分目标研究区域的区域划分模块；
[0117]
用于规划无人机的航拍路径的路径规划模块；
[0118]
用于实现数据采集的数据获取模块；
[0119]
用于传输数据至用户总控终端的数据传输模块；
[0120]
用于识别采集数据中目标物的目标分析模块；
[0121]
用于呈现目标物的显示模块。
[0122]
在进一步的实施例中，为实现基于航拍视频的路径综合信息流生成方法，首先采用区域划分模块对目标研究区域进行划分，并基于划分好的研究区域采用路径规划模块对无人机的航拍路径进行规划；其次，基于规划好的航拍路径采用数据获取模块中的航拍无人机进行实时的图像数据采集；再次，采用数据传输模块通过无线传输技术将采集到的图像数据传输至用户总控终端；从次，用户总控终端利用目标分析模块对图像数据中的目标物进行识别分析；最后，显示模块对目标分析模块输出的分析结果进行标记显示，通过添加地面路径和地标物标识的方式将目标呈现在实时传输过来的画面中。
[0123]
在一个实施例中，提出一种基于航拍视频的路径综合信息流生成设备，该设备包括：处理器以及存储有计算机程序指令的存储器。
[0124]
其中，处理器读取并执行计算机程序指令，以实现路径综合信息流生成方法。
[0125]
在一个实施例中，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。
[0126]
其中，计算机程序指令被处理器执行时，以实现路径综合信息流生成方法。
[0127]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。