一种基于人体姿态识别的智慧舞蹈教学装置、控制系统及控制方法

本发明涉及舞蹈教学领域，具体涉及一种基于人体姿态识别的智慧舞蹈教学装置、控制系统及控制方法。

背景技术：

1、随着人工智能技术的发展和普及，人体姿态估计的应用领域越来越广泛，可实现对人体动作的解读，但其在舞蹈的识别和教学应用研究还处于起步阶段。传统意义上，对于舞蹈的解读和教学仍需要专业人士的现场指导，目前对于舞蹈教学领域市面上没有一款准确的产品可以自动进行舞蹈教学，并且对于现有的舞蹈教学，绝大部门存在舞蹈动作不规范，不知道如何纠正等一系列问题。因此，需要一种智能的自动舞蹈教学装置和控制方法。

2、当前的智能舞蹈教学还处在初步阶段，市面上没有一款专门针对舞蹈教学的设备和控制方法，市面上目前现有的属于应用于健身领域的一款魔镜，该产品可以进行健身领域的教学，但受到视频长度、硬件要求等因素的影响，难以达到较高精度的识别和多人情境的应用，效果不好。并且市面上现有的教学健身魔镜只是针对人整体的实时识别，进行动作评分，对于一些动作是否标准没有办法进行识别，并且它只是单独针对单人的，多人的效果并不理想。

3、目前科技的飞速进步，人工智能领域的发展，智慧舞蹈越来越成为未来关注的焦点，针对目前市面上舞蹈教学领域只是根据教练的指导，一些动作不是很标准，并且对于居家锻炼学习的人群来说自己学习没有一个标准，不容易学。针对上述问题，亟需一种能够识别多人骨架且与标准能够进行对比的舞蹈教学装置。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种基于人体姿态识别的智慧舞蹈教学装置、控制系统及控制方法。

2、本发明提供了一种基于人体姿态识别的智慧舞蹈教学装置，具有这样的特征，包括：框架外壳，用于保护和支持内部组件；后盖，与框架外壳相适配且固定连接，用于遮盖和保护内部电子元件；处理核心，位于框架外壳的内部，包括处理器、传感器以及控制算法，用于执行舞蹈教学的核心功能；可转动底座，与后盖相连接，用于支持整个装置。

3、在本发明提供的基于人体姿态识别的智慧舞蹈教学装置中，还可以具有这样的特征：其中，框架外壳的前表面设有开关，且与框架外壳固定连接，方便用户启动或关闭装置，开关的上方设置有显示屏，其与框架外壳固定连接，与外部电源电连接。

4、在本发明提供的基于人体姿态识别的智慧舞蹈教学装置中，还可以具有这样的特征：其中，后盖上设置有散热孔、电源接口以及通讯接口，散热孔用于散热，以确保内部元件的温度适中，电源接口和通讯接口分别位于位于后盖的右下方和左下方，均与后盖固定连接，分别用于连接电源和其他设备。

5、在本发明提供的基于人体姿态识别的智慧舞蹈教学装置中，还可以具有这样的特征：其中，处理核心负责处理传感器的数据并进行姿态估计，分析学习者的动作并提供反馈，处理核心还包括存储设备，用于存储教学内容和数据。

6、在本发明提供的基于人体姿态识别的智慧舞蹈教学装置中，还可以具有这样的特征：其中，可转动底座包括支撑腿和锁定机构，以确保装置的平稳性。

7、在本发明提供的基于人体姿态识别的智慧舞蹈教学装置中，还可以具有这样的特征：连接装置，位于后盖的外壁中部，用于连接后盖和可转动底座，可转动底座通过连接装置进行不同角度的旋转。

8、在本发明提供的基于人体姿态识别的智慧舞蹈教学装置中，还可以具有这样的特征：其中，连接装置包括固定部件和调节部件，调节部件与固定部件通过螺栓相连接，调节部件与后盖相连接，固定部件与可转动底座相连接，从而使得位于底座上的显示屏可转动且高度可调节。

9、本发明提供了一种基于人体姿态识别的智慧舞蹈教学控制系统，具有这样的特征，包括：初始化模块，用于进行系统和装置的预加载，并进行流程中所需的变量和数据结构的初始化、模型参数和路径信息的预加载；视频处理模块，用于将需要处理的舞蹈视频进行视频流输入，对图像帧进行归一化处理，从而适应模型的处理要求；模型处理模块，用于调用处理器，使用训练好的深度学习结合神经网络算法模型进行处理；姿态可视化模块，用于根据关键点特征值信息，来跟踪并绘制关键点之间的位置关系，形成完整的姿态；输出处理模块，用于将处理完成的图像帧整合为视频流并保存，同时释放资源。

10、本发明提供了一种基于人体姿态识别的智慧舞蹈教学控制方法，具有这样的特征，包括以下步骤：步骤1，启动运行后，初始化模块导入预先配置好的库文件和自定义模块，同时获取当前的处理时间，并对整体所需时间进行预估；步骤2，启动大数据模型，输入图像帧数据，视频处理模块开始处理过程；步骤3，模型处理模块将输入的原始图像帧进行归一化处理，提取并跟踪检测到的人体关键点特征值，随后保存原始图像帧和人体关键点特征值；步骤4，姿态可视化模块通过读取内部参数信息，与保存的原始图像帧进行匹配，系统能够根据保存的人体关键点特征值进行姿态识别，进而绘制出姿态图像；步骤5，姿态可视化模块判断当前处理的帧数是否为最后一帧。如果当前帧是最后一帧，系统则根据内部参数信息将绘制的图像与原始图像帧进行匹配，从而实现姿态可视化，如果当前帧不是最后一帧，系统则返回步骤2继续处理下一帧，直至视频流的最后一帧处理结束；步骤6，输出处理模块在装置中创建处理视频流的输出文件夹，并根据视频流内部参数组合为视频进行输出，输出结束后停止运行并释放所占用的资源。

11、在本发明提供的基于人体姿态识别的智慧舞蹈教学控制方法中，还可以具有这样的特征：其中，步骤2中，在视频处理模块的处理过程中，每一帧数据都会被详细地分析，并且记录下每一步骤的执行过程和执行时间。

12、发明的作用与效果

13、根据本发明所涉及的基于人体姿态识别的智慧舞蹈教学装置，因为包括：框架外壳，用于保护和支持内部组件；后盖，与框架外壳相适配且固定连接，用于遮盖和保护内部电子元件；处理核心，位于框架外壳的内部，包括处理器、传感器以及控制算法，用于执行舞蹈教学的核心功能；可转动底座，与后盖相连接，用于支持整个装置。

14、且本发明涉及的基于人体姿态识别的智慧舞蹈教学控制系统包括初始化模块、视频处理模块、模型处理模块、姿态可视化模块以及输出处理模块。

15、因此，本发明应用人体姿态识别技术，可以同时多人或者单人使用都具有良好的效果，同时该技术应用到了骨架识别将标准动作的骨架识别和自己练习的实时动作放在一个界面上方便学习者进行实时比对，便于动作的纠正。并且针对目前实时骨架识别效率慢且需占用大量内存的问题，本发明建一个大型的数据库，将相关视频的骨架分析完毕直接调用即可实现，节省了大量时间。

16、此外，本发明使用深度学习模型，由多个神经网络层组成，用于学习和提取数据的高级表示。该模型可以通过大数据集进行训练学习特征，并用于姿态估计，同时具有良好的适用性。

17、此外，在处理核心中通过使用反向传播算法，通过对视频内部参数的读取，可达到自动调整权重，从而使识别与人体关键点位置的差异最小；同时使用多分支结构，该结构可以具有更多的功能性，可以获得每个人体关键点的置信度信息；同时使用多阶段处理，每个阶段可以根据之前的估计结果来进一步改善估计，达到了逐步改进识别精确度的能力。以上三种技术的结合使得本发明的识别准确度大大提高。

18、此外，本发明使用遮罩应用，每个遮罩可以根据其关键点类型进行优化，在处理和输出过程中通过使用不同的遮罩，对不同类型信息进行个性化处理，进一步提高对不同关键点类型的准确性，达到了在多人情况下和有遮挡和光线影响时仍可以高精度识别。

19、另外，本发明还具有复杂场景下的适用性：本发明采用多阶段处理的方法，在复杂场景下也能够表现良好。每个阶段都可以进一步改善估计结果，确保即使在干扰或复杂的背景下，算法也能够准确估计人体姿势。

20、另外，本发明还具有高准确性和鲁棒性：通过使用深度学习模型，可以更好地捕捉不同身体部位的关键点，从而提高了对人体姿势的准确性。多分支结构和遮罩应用使算法能够同时处理关节坐标和置信度分数，从而提高了结果的鲁棒性。

21、另外，本发明还具有高效性：多分支结构和遮罩应用帮助模型根据需要选择性地处理不同类型的信息，从而提高了算法的效率和实用性。