基于多通路的无标记光学动作捕捉系统和方法

本发明涉及动作捕捉，尤其涉及一种基于多通路的无标记光学动作捕捉系统和方法。

背景技术：

1、无标记动捕不会在场景中引入额外的物理标记点，仅采用一台或多台相机对目标物体以及所在场景进行拍摄，随后采用计算机视觉算法对采集到的图像或视频数据进行处理，识别目标物体中的视觉特征点作为关键点进行追踪。无标记动捕算法有数十年的研究历史，早期研究者主要基于图形学知识，通过背景扣除，轮廓提取等方法对图像进行预处理，并与预设算法模型进行匹配得到关键点位置。近年来，随着深度学习在计算机视觉方面取得重大突破，卷积神经网络(convolutional neural networks,cnn)等神经网络算法在无标记动捕中得到了广泛的应用。

2、目前无标记动捕的研究趋势主要在于如何构建神经网络结构；以及如何获取高精度大批量的视频数据来提高整体性能；关注动捕系统的通用性，即面对相互遮挡或非标准物体也能实现相对准确的动捕。

3、现有无标记动作捕捉存在的主要问题是采样帧率不足且实时效果不好，这主要是受限于传感器传输带宽以及算法推理过程存在较大延迟(实时帧率通常不超过100fps)；定位精度限制在厘米级，与光学标记动捕结果相比有待进一步提高。此外，在算法研究方面，目前基于cnn的无标记动捕算法通常仅针对单帧图像进行关键点目标检测，缺乏对多帧图像的研究，导致处理效率低下。

4、为了提高采样帧率与减小算法计算压力，一些研究将dvs(dynamic visionsensor，动态视觉传感器)等事件相机用于无标记动捕中，其具有高速且稀疏的事件表示的特点可以有效更低计算代价，但由于事件相机通常分辨率不足，数据精度不足(±1bit)，使得其定位精度较差，对于静态或缓慢运动的目标物体无法有效捕捉。此外，现有无标记动捕中的智能化通用化的能力尚未迁移到事件相机无标记动捕平台中，对于遮挡，极端场景，首次出现的动作或目标，事件相机的无标记动捕能力尚未得到开发与验证。

5、综上，现有技术存在不能同时平衡精度、效率和计算代价的问题。

技术实现思路

1、本发明提供一种基于多通路的无标记光学动作捕捉系统和方法，用以解决现有技术中同时平衡精度、效率和计算代价的缺陷，实现高性能低代价的无标记动作捕捉。

2、本发明提供一种基于多通路的无标记光学动作捕捉系统，包括采集部和处理部；

3、所述采集部用于采集目标物体及场景中的固有视觉特征作为视觉信息；所述采集部包括至少一个视觉传感器，每个所述视觉传感器包括强度通路、空间差分通路和时间差分通路中的至少一种数据通路；

4、所述处理部用于根据预先构建的无标记动作捕捉算法处理和分析所述视觉信息，得到无标记动作捕捉结果；其中，所述无标记动作捕捉算法包括编码器子算法和解码器子算法；所述编码器子算法用于提取所述视觉信息中的视觉特征，所述解码器子算法用于将所述视觉特征映射到预先构建的目标物体的模型，得到无标记动作捕捉结果。

5、根据本发明提供的一种基于多通路的无标记光学动作捕捉系统，所述无标记动作捕捉结果包括形状结果与姿态结果；其中，所述形状结果包括所述目标物体的表面特征，所述姿态结果包括所述目标物体行为与动作姿势的特征。

6、根据本发明提供的一种基于多通路的无标记光学动作捕捉系统，所述无标记动作捕捉算法是包括基于图形学或模型分割的无标记动作捕捉算法和基于视觉神经网络的无标记动作捕捉算法中的一种。

7、根据本发明提供的一种基于多通路的无标记光学动作捕捉系统，所述无标记动作捕捉算法还包括预处理子算法，所述预处理子算法用于对所述视觉信息进行预处理并利用所述预处理的结果更新所述视觉信息；

8、其中，所述预处理包括：

9、减少或消除所述视觉信息中的噪声和/或其他干扰信息，以提高所述视觉信息中关键点信息的突出度；和/或，

10、对所述视觉信息的数据类型进行转换。

11、根据本发明提供的一种基于多通路的无标记光学动作捕捉系统，所述无标记动作捕捉算法还包括后处理子算法，所述后处理子算法用于对所述无标记动作捕捉结果进行后处理；其中，所述后处理包括：

12、对所述无标记动作捕捉结果进行调整，以提高所述无标记动作捕捉结果的准确度与正确性。

13、根据本发明提供的一种基于多通路的无标记光学动作捕捉系统，所述根据预先构建的无标记动作捕捉算法处理和分析所述视觉信息，得到无标记动作捕捉结果，具体包括：基于所述编码器子算法，根据预先选择的通路处理方式对每个通路的所述视觉信息进行固有视觉特征的提取；

14、基于所述解码器子算法，根据预先选择的通路处理方式将所述固有视觉特征映射到预先构建的目标物体的模型，得到无标记动作捕捉结果；所述通路处理方式包括单一通路处理方式、通路融合处理方式和通路交叉处理方式；

15、其中，所述单一通路处理方式包括对获取得到的不同通路的所述视觉信息分别进行特征提取或映射；所述通路交叉处理方式包括在处理一个通路的视觉信息的过程中引入另一通路的视觉信息，以辅助当前的通路进行特征提取或映射；所述通路融合处理方式包括将所有通路的视觉信息进行融合，以进行特征提取或映射。

16、根据本发明提供的一种基于多通路的无标记光学动作捕捉系统，所述无标记动作捕捉结果包括二维空间坐标和/或三维空间坐标；

17、其中，所述三维空间坐标是根据二维的所述无标记动作捕捉结果进行三维计算得到的，或根据所述无标记动作捕捉算法以端到端的形式直接得到的。

18、本发明还提供一种基于多通路的无标记光学动作捕捉方法，包括：

19、基于预先构建的采集部获取目标物体及场景中的固有视觉特征作为视觉信息；所述采集部包括至少一个视觉传感器，每个所述视觉传感器包括强度通路、空间差分通路和时间差分通路中的至少一种数据通路；

20、基于预先构建的处理部根据预先构建的无标记动作捕捉算法处理和分析所述视觉信息，得到无标记动作捕捉结果；

21、其中，所述无标记动作捕捉算法包括编码器子算法和解码器子算法；所述编码器子算法用于提取所述视觉信息中的视觉特征，所述解码器子算法用于将所述视觉特征映射到预先构建的目标物体的模型，得到无标记动作捕捉结果。

22、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多通路的无标记光学动作捕捉方法。

23、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多通路的无标记光学动作捕捉方法。

24、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多通路的无标记光学动作捕捉方法。

25、本发明提供的基于多通路的无标记光学动作捕捉系统和方法，系统包括采集部和处理部；所述采集部用于采集目标物体及场景中的固有视觉特征作为视觉信息；所述采集部包括至少一个视觉传感器，每个所述视觉传感器包括强度通路、空间差分通路和时间差分通路中的至少一种数据通路；所述处理部用于根据预先构建的无标记动作捕捉算法处理和分析所述视觉信息，得到无标记动作捕捉结果；其中，所述无标记动作捕捉算法包括编码器子算法和解码器子算法；所述编码器子算法用于提取所述视觉信息中的视觉特征，所述解码器子算法用于将所述视觉特征映射到预先构建的目标物体的模型，得到无标记动作捕捉结果。本发明利用三通路视觉传感器技术代替原有的图像传感器技术，利用各个通路的特性以及多通路间互补的特点针对性进行算法设计，使得系统高效且鲁棒，能够在高速采样的过程中保持一定的关键点定位精度；同时利用传感器高速的时空变化感知能力，提升了系统的采样帧率，又通过稀疏的数据表示减小了后处理计算量，提高了实时帧率，整体上，实现了高性能低代价的无标记动捕系统。