一种空中技巧快速包装方法与流程

1.本发明涉及高动态视频范围视频处理相关技术领域，尤其是指一种空中技巧快速包装方法。


背景技术：

2.现有的两种技术方案中，“方案一”可以满足实时性的要求，但基本上只是慢镜头回放，没有更详细的技术说明等附加信息，对于观众而言，可以观察到，“方案二”通过后期处理，可以叠加一定的技术说明等附加信息，但实时性可能无法保证。


技术实现要素：

3.本发明是为了克服现有技术中存在上述的不足，提供了一种满足实时性以及附加说明的空中技巧快速包装方法。
4.为了实现上述目的，本发明采用以下技术方案：
5.一种空中技巧快速包装方法，具体包括如下步骤：
6.(1)通过现场的高帧率超高清的视频采集系统，实时的将原始的画面采集，并导入到ai视频分析合成模块中；
7.(2)通过ai视频分析合成模块，将会对画面中的目标运动员进行检测并提取目标图像，按时间先后的顺序，并根据目标在画面前后所处的位置，提取一系列的目标图像；
8.(3)根据目标这些时间位置关系，结合后台的数据测量分析，以及相应的可视化处理返回的目标相关数据信息，生成叠加的信息数据集合；
9.(4)将生成的信息数据集合，结合到最终的视频流中，最终将合成的视频流从系统中导出，不仅实现了实时叠加数据信息，并且以目标路径残影的方式，呈现了目标的运动轨迹及相关数据信息。
10.通过高帧率超高清的视频采集系统，将现场的实时原始的画面采集并导入到ai视频分析合成模块中，将会对画面中的目标(主要指运动员)进行检测并提取目标图像，然后按时间先后的顺序，将一系列的提取的目标图像，以及后台的数据测量分析，可视化处理返回的数据信息，结合到统一的视频流中，最终将合成的视频流从中导出，实现了实时叠加数据信息，并以路径残影的方式，呈现了目标的运动轨迹及相关数据信息。进一步也可以通过配置，可以调整输出视频的播放速率，实现了慢速播放的观看效果，大大提升的观看的参与度，丰富了观看的体验，给观众一种子弹时间的观看体感。子弹时间(bullet time)是一种使用在电影、电视广告或电脑游戏中的摄影技术模拟变速特效，例如强化的慢镜头、时间静止等效果。
11.作为优选，在步骤(2)中，具体为：当空中技巧快速包装的监测和处理被触发后，后台服务开始监测视频内容，会先将视频进行解码处理，生成视频对应的图片序列集合，然后通过ai视频分析合成模块，该模块基于ai深度学习能力，以研究视频运动前景提取为算法目标，利用目标检测跟踪技术对摄像机所拍摄区域内的前景目标进行准确的捕捉，获得目
标所在位置，利用图像分割技术获取目标的轮廓，根据轮廓信息提取前景目标，进行快速图像合成，包括目标检测跟踪、人体关键点检测、人体目标分割提取三个子模块实现不同帧序列内运动员目标的前景提取。
12.作为优选，所述目标检测跟踪模块用于提供当前视频帧目标运动员所在矩形框的坐标信息，对指定区域进行实时检测，当检测到目标运动时，开启跟踪，获取后续视频帧的目标人体区域坐标。
13.作为优选，目标检测跟踪模块的具体操作方法为：目标检测利用卷积神经网络提取候选窗口，筛选感兴趣区域存在的目标，检测出前景目标所在位置，目标跟踪在目标检测的基础上，采用跟踪算法获取目标在连续帧中的位置。
14.作为优选，所述人体关键点检测模块用于获取人体17个关键点的坐标信息，为后续人体高度速度的计算提供位置信息，由于运动员在空中进行旋转时和常规人体姿态差异较大，针对该场景，加入不同姿态的运动员素材，同时在训练过程中加入扰动模拟运动员在空中的姿态，丰富数据集，并使用focalloss损失函数指导网络学习困难样本。
15.作为优选，人体关键点检测模块的具体操作方法为：对目标检测区域中的人体进行关键点检测，输入由目标检测提供的人体所在区域矩形框的顶点坐标，输出17个人体姿态关键点，分别是：鼻子、左右眼睛、左右耳朵、左右肩膀、左右肘、左右手腕、左右臀、左右膝盖、左右脚踝。
16.作为优选，所述人体目标分割提取模块输出二值图像，用于后续的相邻视频帧人体重叠区域的叠加，该模块是一个基于关键点检测网络的融合模型，通过和关键点网络共享部分网络权重，利用关键点模型对于背景区域的鲁棒性，对分割网络的特性图信息进行约束，进而提升分割网络的背景鲁棒性，并在训练过程中加入边缘区域的像素级约束以及二值图像的梯度约束来提升分割网络对于困难区域的分割效果，对于复杂的样本的学习，采用了类似的focalloss损失函数，缓解类间相似度问题。
17.作为优选，人体目标分割提取模块的具体操作方法为：根据人体关键点检测结果，利用基于人体关节的目标分割技术，获取目标的分割结果，根据目标分割结果，以及输入的视频流信息，提取前景目标。
18.作为优选，在步骤(3)中，具体为：基于图像的运动目标交互数据测量分析、可视化数据与图像叠加生成并输出，其中人体高度速度信息的测量是基于人体关键点检测模块输出的坐标信息，首先基于跳台的实际高度获取画面中预估的跳台像素高度，以及运动员的初始速度信息、运动员初始高度、视频帧数信息获取像素距离和实际距离之间关系；高度信息由当前视频帧运动员关键点的最高点的纵坐标提供，然后基于前一帧的高度信息更新当前显示的高度信息，速度信息基于当前视频帧运动员人体重心坐标，通过计算前一帧和当前帧的重心偏移距离以及时间间隔，实现速度信息的更新。
19.作为优选，图像叠加支持参数化的自动模式和手动等间隔模式，其中自动模式基于目标检测模块，当当前帧运动员的检测框与上一个被叠加显示的检测框不重叠时，将该检测框内的运动员选为新的叠加目标；手动等间隔模式是每隔若干帧将输出的分割结果进行叠加。
20.本发明的有益效果是：可以调整输出视频的播放速率，实现了慢速播放的观看效果,大大提升的观看的参与度，丰富了观看的体验，给观众一种子弹时间的观看体感。
附图说明
21.图1是本发明的方法流程图；
22.图2是目标检测跟踪模块的示意图；
23.图3、图4是人体关键点检测的示意图；
24.图5是人体目标分割提取的示意图；
25.图6是慢速播放说明的示意图。
具体实施方式
26.下面结合附图和具体实施方式对本发明做进一步的描述。
27.如图1所述的实施例中，一种空中技巧快速包装方法，具体包括如下步骤：
28.(1)通过现场的高帧率超高清的视频采集系统，实时的将原始的画面采集，并导入到ai视频分析合成模块中；
29.(2)通过ai视频分析合成模块，将会对画面中的目标运动员进行检测并提取目标图像，按时间先后的顺序，并根据目标在画面前后所处的位置，提取一系列的目标图像；具体为：当空中技巧快速包装的监测和处理被触发后，后台服务开始监测视频内容，会先将视频进行解码处理，生成视频对应的图片序列集合，然后通过ai视频分析合成模块，该模块基于ai深度学习能力，以研究视频运动前景提取为算法目标，利用目标检测跟踪技术对摄像机所拍摄区域内的前景目标进行准确的捕捉，获得目标所在位置，利用图像分割技术获取目标的轮廓，根据轮廓信息提取前景目标，进行快速图像合成，包括目标检测跟踪、人体关键点检测、人体目标分割提取三个子模块实现不同帧序列内运动员目标的前景提取。
30.如图2所示，目标检测跟踪模块用于提供当前视频帧目标运动员所在矩形框的坐标信息，该模块基于centernet，对指定roi区域进行实时检测，当检测到目标运动时，开启跟踪，获取后续视频帧的目标人体区域坐标。目标检测跟踪模块的具体操作方法为：目标检测利用卷积神经网络提取候选窗口，筛选感兴趣区域存在的目标，检测出前景目标所在位置，目标跟踪在目标检测的基础上，采用meanshift等跟踪算法获取目标在连续帧中的位置。
31.如图3、图4所示，人体关键点检测模块用于获取人体17个关键点的坐标信息，为后续人体高度速度的计算提供位置信息，该模块基于alphapose，由于运动员在空中进行旋转时和常规人体姿态差异较大，针对该场景，加入不同姿态的运动员素材，同时在训练过程中加入旋转、翻转等扰动模拟运动员在空中的姿态，丰富数据集，并使用focalloss损失函数指导网络学习困难样本，人体关键点检测模块负责。人体关键点检测模块的具体操作方法为：对目标检测区域中的人体进行关键点检测，输入由目标检测提供的人体所在区域矩形框的顶点坐标，输出17个人体姿态关键点，分别是：鼻子、左右眼睛、左右耳朵、左右肩膀、左右肘、左右手腕、左右臀、左右膝盖、左右脚踝。
32.如图5所示，人体目标分割提取模块输出二值图像，用于后续的相邻视频帧人体重叠区域的叠加，该模块是一个基于关键点检测网络的融合模型，通过和关键点网络共享部分网络权重，利用关键点模型对于背景区域的鲁棒性，对分割网络的特性图信息进行约束，进而提升分割网络的背景鲁棒性，并在训练过程中加入边缘区域的像素级约束以及二值图像的梯度约束来提升分割网络对于困难区域(人体边缘区域)的分割效果，对于复杂的样本
的学习，采用了类似的focalloss损失函数，缓解类间相似度问题。人体目标分割提取模块的具体操作方法为：根据人体关键点检测结果，利用基于人体关节的目标分割技术，获取目标的分割结果，根据目标分割结果，以及输入的视频流信息，提取前景目标。
33.(3)根据目标这些时间位置关系，结合后台的数据测量分析，以及相应的可视化处理返回的目标相关数据信息，生成叠加的信息数据集合；具体为：基于图像的运动目标交互数据测量分析、可视化数据与图像叠加生成并输出，其中人体高度速度信息的测量是基于人体关键点检测模块输出的坐标信息，首先基于跳台的实际高度获取画面中预估的跳台像素高度，以及运动员的初始速度信息、运动员初始高度、视频帧数信息获取像素距离和实际距离之间关系；高度信息由当前视频帧运动员关键点的最高点的纵坐标提供，然后基于前一帧的高度信息更新当前显示的高度信息，速度信息基于当前视频帧运动员人体重心坐标，通过计算前一帧和当前帧的重心偏移距离以及时间间隔，实现速度信息的更新。图像叠加支持参数化的自动模式和手动等间隔模式，其中自动模式基于目标检测模块，当当前帧运动员的检测框与上一个被叠加显示的检测框不重叠时，将该检测框内的运动员选为新的叠加目标；手动等间隔模式是每隔若干帧将输出的分割结果进行叠加。
34.(4)将生成的信息数据集合，结合到最终的视频流中，最终将合成的视频流从系统中导出，不仅实现了实时叠加数据信息，并且以目标路径残影的方式，呈现了目标的运动轨迹及相关数据信息。
35.综上所述，本方法中通过现实中实际已知的跳台高度信息和画面中的跳台图像像素进行关联，预设像素和实际距离的对应关系，并通过实际的画面高帧率的数值，确定画面每一帧之间的时间间隔，同时将每一帧画面导入使用人体肢体识别技术的人体关键点检测模块，确认运动员人体的重心坐标，通过重心坐标在时间间隔中偏移像素值，推定运动目标实际的运动速度。通过人体肢体识别技术，对运动员重心坐标进行标记，以重心为监测分析目标，可以更精准的推定运动员实际的运动轨迹及速度，更利于后续的分析处理流程。在一系列的画面处理过程中，根据实际业务场景的经验，重心最高时，速度相对最慢，并且是一系列动作的最优美的部分，所以会预设重心最高时为最优呈现画面，并以当前的目标分割区域为选中画面，其他呈现的运动画面会基于此时间点和坐标信息，由于每一帧画面都有对应的当前目标分割区域，其他呈现的运动画面中的当前的目标分割区域如果和选中画面目标分割区域有重合像素，则该画面丢弃，直到其他呈现的运动画面中的当前的目标分割区域和选中画面目标分割区域有没有重合像素，则当前的运动画面中的当前的目标分割区域就再次选中并作为呈现画面中的残影，按照这个逻辑，生成一系列动作序列图呈现出来。
36.通过高帧率超高清的视频采集系统，将现场的实时原始的画面采集并导入到ai视频分析合成模块中，将会对画面中的目标(主要指运动员)进行检测并提取目标图像，然后按时间先后的顺序，将一系列的提取的目标图像，以及后台的数据测量分析，可视化处理返回的数据信息，结合到统一的视频流中，最终将合成的视频流从中导出，实现了实时叠加数据信息，并以路径残影的方式，呈现了目标的运动轨迹及相关数据信息。进一步也可以通过配置，可以调整输出视频的播放速率，实现了慢速播放的观看效果，大大提升的观看的参与度，丰富了观看的体验，给观众一种子弹时间的观看体感。子弹时间(bullet time)是一种使用在电影、电视广告或电脑游戏中的摄影技术模拟变速特效，例如强化的慢镜头、时间静止等效果。
37.另外根据实际业务场景来说，后台需要视频处理的环节，也就是识别叠加操作处理，并不需要一直运行，只有需要体现空中技巧的那一小段时间才需要通过识别定位后，再叠加目标路径残影的方式呈现出来。以现有常见的观看体验来说，一般的场景都是目标入场，准备开始表演，然后目标开始加速，并开始往起跳台冲刺，到起跳台起跳腾空，然后展现空中技巧，空翻和转体，最后安全落地完成整套表演的动作。在目前现有的播放系统支持下，往往在运动员表演结束后，马上切入当时运动员腾空后的一系列慢动作播放，让观众可以更清晰清楚的看清运动员在空中呈现的动作细节，如图6所示。而这段慢动作的切入切出，往往会有固定的图文包装进行标识。
38.本方法中，作为一种辅助定位关键片段的方式，可以使用内容检测的方式，检测该固定的转场图文片段，作为后续空中技巧快速包装接入的入点和出点，通过检测到慢动作视频片段的播放，开始进行空中技巧快速包装的监测和处理，然后监测到转场图文片段再次播放，则退出空中技巧快速包装的监测和处理。为了进一步确认视频内容和目标空中技巧的相关性，还可以进一步对启动空中技巧快速包装的监测和处理的视频内容进行场景检测，看是否和起跳台等关键场景一致，匹配后再进入后续的叠加处理。
39.本发明中所述的空中技巧快速包装方法，不仅用于雪地高台自由滑雪空中技巧的实时处理展现，只要是在约定位置起跳腾空，展现整个空翻，转体的过程，都可以使用本方法，类似高台跳水等，类似在空中展现技巧的节目也完全可以使用本方法作为终端呈现画面的处理。另外，可以进一步结合外部的设备，如红外线测距仪等，可以同步将这些设备采集的，更精确的实时数据同步整合到最终呈现的画面中。同样，也可以事先将一些约定的技术动作，进行处理，在运动员实际展现对应的技术动作时，实时进行同步呈现和说明。