运动轨迹生成方法、装置、设备和介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种运动轨迹生成方法、装置、设备和介质。


背景技术：

2.计算机视觉指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。在现有方案中，运动轨迹的捕捉依赖多个角度的捕捉设备，然而计算量较大，并且运动速度较快，会导致运动轨迹的准确度较低。


技术实现要素：

3.本发明的主要目的在于提供一种运动轨迹生成方法、装置、设备和介质，旨在解决目标轨迹的准确度较低的问题。
4.为实现上述目的，本发明提供的一种运动轨迹生成方法，所述运动轨迹生成方法包括以下步骤：
5.基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，所述画面区域为待处理视频帧进行区域划分得到的；
6.根据所述像素位移量确定待处理视频帧中的目标区域；
7.根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹。
8.在一实施例中，所述根据所述像素位移量确定待处理视频帧中的目标区域的步骤包括：
9.当相邻帧所述画面区域的像素位移量大于预设阈值，则将大于预设阈值的所述画面区域作为高值区域；
10.确定所述高值区域中运动目标的物体形状；
11.当所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
12.在一实施例中，所述将大于预设阈值的所述画面区域作为高值区域的步骤之后，还包括：
13.若所述高值区域的数量为多个，确定所述高值区域中是否存在运动目标的物体形状，当所述高值区域中是否存在所述物体形状，则确定所述物体形状的外接区域为所述目标区域；
14.若所述高值区域的数量为一个，确定所述高值区域中运动目标的物体形状，确定所述物体形状的外接区域为所述目标区域。
15.在一实施例中，所述根据所述像素位移量确定待处理视频帧中的目标区域的步骤包括：
16.当相邻帧所述画面区域的像素位移量小于或等于预设阈值，则扩大相邻帧中的后
帧的所述目标区域，确定基于视频播放时序的逆方向，前移预设帧数的目标视频帧；
17.确定所述目标视频帧中的扩大的所述目标区域中的物体形状；
18.若所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
19.在一实施例中，所述确定所述高值区域中运动目标的物体形状的步骤包括：
20.将所述高值区域输入预设识别模型，得到所述物体形状，所述识别模型为神经网络模型训练得到的。
21.在一实施例中，所述确定待处理视频帧的相邻帧在每一画面区域的像素位移量的步骤包括：
22.确定所述相邻帧中的两帧待处理视频帧在每一画面区域的各个像素点的像素差值；
23.根据所述画面区域中所述像素差值的平均值确定所述画面区域的所述像素位移量。
24.在一实施例中，所述根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹的步骤包括：
25.确定每帧所述待处理视频帧中的目标区域的中心像素点；
26.根据所述中心像素点确定所述运动目标的运动轨迹。
27.为实现上述目的，本发明还提供一种运动轨迹生成装置，所述运动轨迹生成装置包括：
28.计算模块，用于基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，所述画面区域为待处理视频帧进行区域划分得到的；
29.确定模块，用于根据所述像素位移量确定待处理视频帧中的目标区域；
30.生成模块，用于根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹。
31.为实现上述目的，本发明还提供一种运动轨迹生成设备，所述运动轨迹生成设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的运动轨迹生成程序，所述运动轨迹生成程序被所述处理器执行时实现如上所述的运动轨迹生成方法的各个步骤。
32.为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有运动轨迹生成程序，所述运动轨迹生成程序被处理器执行时实现如上所述的运动轨迹生成方法的各个步骤。
33.本发明提供的一种运动轨迹生成方法、装置、设备和介质，基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，画面区域为待处理视频帧进行区域划分得到的；根据像素位移量确定待处理视频帧中的目标区域；根据每帧待处理视频帧中的目标区域确定运动目标的运动轨迹。通过视频播放时序的逆方向，确定待处理视频的相邻帧中的目标区域，并确定运动目标的运动轨迹，避免了由于运动目标的运动速度较大，导致目标区域难以确定或者准确度较低的情况，提高了运动目标的运动轨迹的准确度。
附图说明
34.图1为本发明实施例涉及的运动轨迹生成设备的硬件结构示意图；
35.图2为本发明运动轨迹生成方法的第一实施例的流程示意图；
36.图3为本发明运动轨迹生成方法的待处理视频划分的画面区域的示意图；
37.图4为本发明运动轨迹生成方法的运动轨迹的示意图；
38.图5为本发明运动轨迹生成方法的目标区域的示意图；
39.图6为本发明运动轨迹生成方法的目标区域的示意图；
40.图7为本发明运动轨迹生成方法的第二实施例的步骤s20的细化流程示意图；
41.图8为本发明运动轨迹生成装置的逻辑结构示意图。
42.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
43.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
44.本发明实施例的主要解决方案是：基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，画面区域为待处理视频帧进行区域划分得到的；根据像素位移量确定待处理视频帧中的目标区域；根据每帧待处理视频帧中的目标区域确定运动目标的运动轨迹。
45.通过视频播放时序的逆方向，确定待处理视频的相邻帧中的目标区域，并确定运动目标的运动轨迹，避免了由于运动目标的运动速度较大，导致目标区域难以确定或者准确度较低的情况，提高了运动目标的运动轨迹的准确度。
46.作为一种实现方案，运动轨迹生成设备可以如图1所示。
47.本发明实施例方案涉及的是运动轨迹生成设备，运动轨迹生成设备包括：处理器101，例如cpu，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
48.存储器102可以是高速ram存储器，也可以是稳定的存储器(non-vo l at i l ememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括运动轨迹生成程序；而处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
49.基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，所述画面区域为待处理视频帧进行区域划分得到的；
50.根据所述像素位移量确定待处理视频帧中的目标区域；
51.根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹。
52.在一实施例中，处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
53.当相邻帧所述画面区域的像素位移量大于预设阈值，则将大于预设阈值的所述画面区域作为高值区域；
54.确定所述高值区域中运动目标的物体形状；
55.当所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
56.在一实施例中，处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
57.若所述高值区域的数量为多个，确定所述高值区域中是否存在运动目标的物体形状，当所述高值区域中是否存在所述物体形状，则确定所述物体形状的外接区域为所述目标区域；
58.若所述高值区域的数量为一个，确定所述高值区域中运动目标的物体形状，确定所述物体形状的外接区域为所述目标区域。
59.在一实施例中，处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
60.当相邻帧所述画面区域的像素位移量小于或等于预设阈值，则扩大相邻帧中的后帧的所述目标区域，确定基于视频播放时序的逆方向，前移预设帧数的目标视频帧；
61.确定所述目标视频帧中的扩大的所述目标区域中的物体形状；
62.若所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
63.在一实施例中，处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
64.将所述高值区域输入预设识别模型，得到所述物体形状，所述识别模型为神经网络模型训练得到的。
65.在一实施例中，处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
66.确定所述相邻帧中的两帧待处理视频帧在每一画面区域的各个像素点的像素差值；
67.根据所述画面区域中所述像素差值的平均值确定所述画面区域的所述像素位移量。
68.在一实施例中，处理器101可以用于调用存储器102中存储的运动轨迹生成程序，并执行以下操作：
69.确定每帧所述待处理视频帧中的目标区域的中心像素点；
70.根据所述中心像素点确定所述运动目标的运动轨迹。
71.基于上述运动轨迹生成设备的硬件构架，提出本发明运动轨迹生成方法的实施例。
72.参照图2，图2为本发明运动轨迹生成方法的第一实施例，所述运动轨迹生成方法包括以下步骤：
73.步骤s10，基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，所述画面区域为待处理视频帧进行区域划分得到的；
74.具体的，视频播放时序是按照时间先后顺序进行播放，例如，第1帧为00:01时播放，第2帧为00:11时播放，第n帧为01:01播放。视频播放时序的逆方向为将时间在后的视频帧排序在前，例如，第1帧至第n帧的视频播放时序的逆方向为，第n帧至第1帧。
75.基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，示例性的，相邻帧为第n帧和第n-1帧。其中，画面区域为待处理视频帧进行区域划
分得到的，可选的，根据预设尺寸的方格对每帧待处理视频帧进行划分，得到每帧所述待处理视频帧的画面区域。如图3所示，由上至下编号01234567行，由左至右编号01234567列，画面区域的位置可用行列标定，如第5行第5列为运动员所在画面区域；第5行第6列和第5行第7列为羽毛球所在画面区域。可选的，对每帧待处理视频帧进行二分法，先将每帧待处理视频帧划分为两个画面区域，对像素位移量大的画面区域进行进一步划分，直到最小的画面区域为预设尺寸。
76.确定待处理视频帧的相邻帧在每一画面区域的像素位移量，可选的，确定相邻帧中的两帧待处理视频帧在每一画面区域的各个像素点的像素差值；根据画面区域中像素差值的平均值确定画面区域的像素位移量。示例性的，如图3所示，确定第1行第1列的画面区域，确定相邻帧中的前帧和后帧分别在第1行第1列的画面区域中的各个像素点的像素值，并确定在第1行第1列的画面区域中，前帧和后帧各个相同位置的像素点的像素差值，确定第1行第1列的画面区域像素差值的平均值，根据像素差值的平均值确定第1行第1列的画面区域的像素位移量。
77.步骤s20，根据所述像素位移量确定待处理视频帧中的目标区域；
78.具体的，根据像素位移量确定待处理视频帧中的目标区域，其中，目标区域为运动目标所在的画面区域，每帧待处理视频帧对应的目标区域大小可以不相同，例如，运动目标为羽毛球，在高速状态下，羽毛球的目标区域较长，在低速状态下，羽毛球的目标区域更贴近于羽毛球本身的大小。
79.可选的，当相邻帧画面区域的像素位移量大于预设阈值，则将大于预设阈值的画面区域作为高值区域；若高值区域的数量为多个，由于在待处理视频帧中进行运动的不仅仅为运动目标，还可能存在其他的运动物体，例如，运动目标为羽毛球，但是运动员也会跟随运动目标进行相应的移动，因此需要对高值区域进行一步识别。可选的，确定高值区域中是否存在运动目标的物体形状，当高值区域中是否存在物体形状，则确定物体形状的外接区域为目标区域；若高值区域的数量为一个，确定高值区域中运动目标的物体形状，确定物体形状的外接区域为目标区域。
80.可选的，当相邻帧画面区域的像素位移量大于预设阈值，则将大于预设阈值的画面区域作为高值区域；由于在待处理视频帧中进行运动的不仅仅为运动目标，还可能存在其他的运动物体，例如，运动目标为羽毛球，但是运动员也会跟随运动目标进行相应的移动，因此需要对高值区域进行一步识别。确定高值区域中运动目标的物体形状，可选的，将高值区域输入预设识别模型，得到物体形状，识别模型为神经网络模型训练得到的。当物体形状满足预设条件，则确定物体形状的外接区域为目标区域。
81.步骤s30，根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹。
82.具体的，根据每帧待处理视频帧中的目标区域确定运动目标的运动轨迹，其中目标区域在不同待处理视频帧中的大小可能不相同。可选的，确定每帧待处理视频帧中的目标区域的中心像素点；根据中心像素点确定运动目标的运动轨迹，如图4所示，轨迹1-5为运动目标在不同时间段的运动轨迹。
83.基于视频播放时序的待处理视频帧，在前的视频帧会存在运动目标的速度过快的情况，导致视频帧中的目标区域过大，如图5所示，在后的视频帧的运动目标的速度较小，目标区域的大小正常，如图6所示，基于视频播放时序较难确定待处理视频帧中的目标区域。
而基于视频播放时序的逆方向，由于在后的待处理视频帧中运动目标的速度较小，更容易确定待处理视频帧的目标区域，根据目标区域实现运动目标的运动轨迹的确定。示例性的，羽毛球的典型球路，羽毛球在飞行末端因其特殊形状和材料的影响，速度衰减很大，因此沿着播放时序的逆方向能够获得相比于正方向更优越的图像特征。
84.在本实施例的技术方案中，基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，画面区域为待处理视频帧进行区域划分得到的；根据像素位移量确定待处理视频帧中的目标区域；根据每帧待处理视频帧中的目标区域确定运动目标的运动轨迹。通过视频播放时序的逆方向，确定待处理视频的相邻帧中的目标区域，并确定运动目标的运动轨迹，避免了由于运动目标的运动速度较大，导致目标区域难以确定或者准确度较低的情况，提高了运动目标的运动轨迹的准确度。
85.参照图7，图7为本发明运动轨迹生成方法的第二实施例，基于第一实施例，所述步骤s20包括：
86.步骤s21，当相邻帧所述画面区域的像素位移量小于或等于预设阈值，则扩大相邻帧中的后帧的所述目标区域，确定基于视频播放时序的逆方向，前移预设帧数的目标视频帧；
87.步骤s22，确定所述目标视频帧中的扩大的所述目标区域中的物体形状；
88.步骤s23，若所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
89.具体的，在待处理视频帧的图像特征被遮挡导致变形或缺失的情况下，相邻帧的像素位移量会出现显著下降，可以适当基于视频播放时序的逆方向，前移相邻帧中前一帧的位置，例如，前移一帧后，第n帧待处理视频变成了第n-1帧待处理视频帧。若像素位移量仍然显著下降，则继续前移一帧，并适当放大后一帧目标区域的大小。确定目标视频帧中的扩大的目标区域中的物体形状，若物体形状满足预设条件，则确定物体形状的外接区域为目标区域。
90.在本实施例的技术方案中，当相邻帧画面区域的像素位移量小于或等于预设阈值，则扩大相邻帧中的后帧的目标区域，确定基于视频播放时序的逆方向，前移预设帧数的目标视频帧；确定目标视频帧中的扩大的目标区域中的物体形状；若物体形状满足预设条件，则确定物体形状的外接区域为目标区域。在待处理视频帧的图像特征被遮挡导致变形或缺失的情况，准确确定了待处理视频的相邻帧中的目标区域，便于准确确定运动目标的运动轨迹。
91.参照图8，本发明还提供一种运动轨迹生成装置，所述运动轨迹生成装置包括：
92.计算模块100，用于基于视频播放时序的逆方向，确定待处理视频帧的相邻帧在每一画面区域的像素位移量，所述画面区域为待处理视频帧进行区域划分得到的；
93.确定模块200，用于根据所述像素位移量确定待处理视频帧中的目标区域；
94.生成模块300，用于根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹。
95.在一实施例中，在根据所述像素位移量确定待处理视频帧中的目标区域方面，所述确定模块200具体用于：
96.当相邻帧所述画面区域的像素位移量大于预设阈值，则将大于预设阈值的所述画
面区域作为高值区域；
97.确定所述高值区域中运动目标的物体形状；
98.当所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
99.在一实施例中，在将大于预设阈值的所述画面区域作为高值区域之后，所述确定模块200具体用于：
100.若所述高值区域的数量为多个，确定所述高值区域中是否存在运动目标的物体形状，当所述高值区域中是否存在所述物体形状，则确定所述物体形状的外接区域为所述目标区域；
101.若所述高值区域的数量为一个，确定所述高值区域中运动目标的物体形状，确定所述物体形状的外接区域为所述目标区域。
102.在一实施例中，在根据所述像素位移量确定待处理视频帧中的目标区域方面，所述确定模块200具体用于：
103.当相邻帧所述画面区域的像素位移量小于或等于预设阈值，则扩大相邻帧中的后帧的所述目标区域，确定基于视频播放时序的逆方向，前移预设帧数的目标视频帧；
104.确定所述目标视频帧中的扩大的所述目标区域中的物体形状；
105.若所述物体形状满足预设条件，则确定所述物体形状的外接区域为所述目标区域。
106.在一实施例中，在确定所述高值区域中运动目标的物体形状方面，所述确定模块200具体用于：
107.将所述高值区域输入预设识别模型，得到所述物体形状，所述识别模型为神经网络模型训练得到的。
108.在一实施例中，在确定待处理视频帧的相邻帧在每一画面区域的像素位移量方面，所述计算模块200具体用于：
109.确定所述相邻帧中的两帧待处理视频帧在每一画面区域的各个像素点的像素差值；
110.根据所述画面区域中所述像素差值的平均值确定所述画面区域的所述像素位移量。
111.在一实施例中，在根据每帧所述待处理视频帧中的目标区域确定运动目标的运动轨迹方面，所述生成模块300具体用于：
112.确定每帧所述待处理视频帧中的目标区域的中心像素点；
113.根据所述中心像素点确定所述运动目标的运动轨迹。
114.本发明还提供一种运动轨迹生成设备，所述运动轨迹生成设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的运动轨迹生成程序，所述运动轨迹生成程序被所述处理器执行时实现如上实施例所述的运动轨迹生成方法的各个步骤。
115.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有运动轨迹生成程序，所述运动轨迹生成程序被处理器执行时实现如上实施例所述的运动轨迹生成方法的各个步骤。
116.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
117.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、系统、物品或者装置中还存在另外的相同要素。
118.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例系统可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，停车管理设备，空调器，或者网络设备等)执行本发明各个实施例所述的系统。
119.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。