一种视频捕捉中的动作捕捉系统和方法与流程

本发明涉及图像处理，具体为一种视频捕捉中的动作捕捉系统和方法。

背景技术：

1、在数字化时代，视频捕捉中的动作捕捉技术应运而生，早期，对于人体动作的记录和分析主要依赖于传统的手工测量和观察，这种方式不仅效率低下，而且精度有限，随着计算机技术和传感器技术的飞速发展，动作捕捉系统逐渐崭露头角，起初，动作捕捉主要应用于军事和航空航天领域，用于模拟飞行员的动作和姿态，以优化设备设计和训练方案，在影视行业，为了创造更加逼真的特效和动画，动作捕捉技术开始被引入，演员的动作能够被精准地捕捉并转化为虚拟角色的动作，使得影片中的角色更加生动自然，例如《阿凡达》等影片，就大量运用了动作捕捉技术，为观众带来了震撼的视觉体验，在体育领域，动作捕捉系统帮助运动员和教练分析动作的细节，改进技术，提高竞技水平，此外，在虚拟现实和游戏开发中，动作捕捉让用户能够更加真实地与虚拟环境进行交互；

2、动作捕捉系统一般需要用到传感器对人体动作进行捕捉，但是在对视频中的人体动作特征进行捕捉时，因不具备对传感器进行识别导致，部分人体动作在识别过程中精准受到影响，为此，我们提出一种视频捕捉中的动作捕捉系统和方法。

技术实现思路

1、本发明的目的在于提供一种视频捕捉中的动作捕捉系统和方法。

2、以解决上述背景技术中提出的问题，本发明提供如下技术方案：一种视频捕捉中的动作捕捉系统和方法，所述动作捕捉系统包括时序图像模块、数据处理模块、动作标记模块、实时监测模块、动态分析模块、模型模拟模块以及数据输出模块；

3、所述时序图像模块用于传输以及存储视频数据进行处理，并以时序将视频剪切成图像；

4、所述数据处理模块对图像模块中的视频中的人体特征进行提取；

5、所述动作标记模块用于对人体特征中的部位进行捕捉，并对其捕捉到的部位进行标记；

6、所述实时监测模块用于监测标记状态；

7、所述动态分析模块用于将时序图像中的人体特征动作进行捕捉，并将捕捉到的动作传输至模型模拟模块；

8、所述模型模拟模块用于获取捕捉到的动作数据，并通过虚拟人体模型进行模拟动作；

9、所述数据输出模块用于将捕捉到动作数据以及模拟的动作数据进行传输；

10、所述实时监测模块包括反馈捕捉单元，所述动作标记模块包括长短期神经网络模型，所述动作标记模块在对图像中人体特征动作捕捉，在所述实时监测模块监测人体特征动作捕捉失败时，则实时监测模块创建动作捕捉指令，并将动作捕捉指令数据传输至动作反馈捕捉单元，所述反馈捕捉单元根据捕捉失败的位置生成反馈数据，并将反馈数据传输至标记模块，所述长短期神经网络模型在接收到动作捕捉指令数据后，动作标记模块重新调取时序图像中人体特征数据，并对人体特征数据中的特征进行重新捕捉，通过所述长短期神经网络模型对处理中图像相邻的时序图像特征进行捕捉分析，进而获取人体特征数据在连贯动作中动态标记模块处理的人体特征数据。

11、作为本发明的进一步方案：所述时序图像模块在接收到视频后，对视频中不同时间段的人体图像进行采集，并根据时间对人体图像进行排序，所述数据处理模块按照时序依次对人体图像中的人体特征进行裁剪。

12、作为本发明的进一步方案：所述动作标记模块包括动态捕捉单元，所述动态捕捉单元用于捕捉人体特征中的肢体、躯干、头部以及颈部，在所述动态捕捉单元捕捉到肢体、躯干、头部以及颈部后，动态捕捉单元对肢体、躯干、头部以及颈部上具体特征进行捕捉，并将捕捉到肢体、躯干、头部以及颈部进行标记，在所述动态捕捉单元捕捉完成后，动态捕捉单元以躯干为中心计算肢体、头部以及颈部三者与躯干的角度，以及计算拍摄视频与躯干正面产生的角度，然后将动态捕捉单元捕捉到的数据传输至动态分析模块中。

13、作为本发明的进一步方案：所述实时监测模块用于监测动态捕捉单元所捕捉的肢体、躯干、头部以及颈部，在实时监测模块未监测到动作标记模块所捕捉到的肢体、躯干、头部以及颈部图像后，实时监测模块则创建资源调取指令数据，并将资源调取指令数据传输至长短期神经网络模型，所述长短期神经网络模型调取时序图像资源对未监测到的肢体、躯干、头部以及颈部进行分析，同时调取各个模块中的空闲算力供给长短期神经网络模型。

14、作为本发明的进一步方案：所述动态捕捉单元通过公式获取人体特征数据，具体公式如下：

15、x＝a°t+b°l(b1°l1+b2°l2+……+bn°ln)+c°m+d°z

16、其中，x表示人体特征数据，a°t表示人体与视频处于a°时的躯干特征数据，b°l表示人体与躯干处于b°时的肢体特征数据，c°m表示人体与躯干处于c°时的颈部特征数据，d°z表示人体与躯干处于d°时的头部特征数据，b1°l1、b2°l2、……、bn°ln分别表示肢体中四肢关键点与上一个关键点之间的角度以及特征数据。

17、作为本发明的进一步方案：所述动态分析模块在接收到人体特征动作后，对人体动作进行捕捉以及分析，在所述动态分析模块中建立人体动作数据库，将人体动作数据库中人体动作与图像中人体特征动作进行匹配，进而完善部分无法捕捉到的人体特征进行修补，并将匹配到的人体特征数据传输至模型模拟模块。

18、作为本发明的进一步方案：所述模型模拟模块在接收到动态分析模块传输的动作以及动作标记模块传输的人体特征数据后，模型模拟模块调取虚拟人体模型从视频角度进行模拟人体动作，进而将完整的模拟动作模型传输至数据传输模块。

19、作为本发明的进一步方案：所述数据处理模块设置视频分析单元，通过视频分析单元对多个视频之间的关联性进行分析，当视频分析单元分析到相同人体动作且视频角度不同时，则动作标记模块在未捕捉到人体动作数据后，视频分析单元调取相应时序图像数据，并分析时序图像中的动作数据，并将其分析到的动作数据补充至未捕捉到的人体动作数据中。

20、另外，本发明还提供了一种视频捕捉中的动作捕捉系统的捕捉方法，具体步骤如下：

21、步骤一、通过时序图像模块将视频按照时序进行剪切，使得不同时序的视频图像依次传输至数据处理模块；

22、步骤二、通过数据处理模块对图像中的人体特征进行提取，并利用动作标记模块对人体的肢体、躯干、头部以及颈部进行捕捉，并识别捕捉关键点与躯干之间的位置；

23、步骤三、通过实时监控模块用于监测捕捉状态，当未监测到动作标记模块捕捉到的人体特征数据后，实时监测模块控制动作标记模块重新进行捕捉；

24、步骤四、通过动态分析模块以及模型模拟模块，对动作标记模块识别到的人体特征数据进行模拟，然后通过数据输出模块将模拟状态以及捕捉动作进行输出。

25、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

26、1.本发明通过实时监测模块监测动作标记模块中的捕捉数据，当动作标记模块已经捕捉到的目标数据消失时，则反馈捕捉单元生成动作捕捉指令，将动作捕捉指令数据传输至长短期神经网络模型，利用长短期神经网络模型对相邻时序的人体特征进行分析，进而获取动作标记模块丢失捕捉目标，并将捕捉到的数据传输至动态分析模块，提高了动作捕捉系统对视频中的动作捕捉精准性；

27、2.本发明通过动态捕捉单元对人体特征进行捕捉，以及计算人体肢体、躯干、头部以及颈部与拍摄位置的关系和角度，进而将计算出的数据传输至模型模拟模块，利用模型模拟模块对计算数据进行模拟，将模型模拟模块以及拍摄位置数据进行传输，进而在拍摄位置传输相应数据，利用模型模拟模块中的虚拟人体模型模拟动作标记模块中捕捉到的人体动作，进而动作捕捉系统能够获取人体动作中不同角度的数据；

28、3.本发明通过视频分析单元将不同角度的视频进行数据进行分类以及整合，进而在动作标记模块可以根据多个视角对相同的动作进行捕捉，能够提升动作捕捉系统对人体特征的捕捉效率。