一种基于惯性-视觉信号增强与融合的运动分析系统

本申请涉及智能感知和融合，特别是涉及一种基于惯性-视觉信号增强与融合的运动分析系统。

背景技术：

1、惯性传感器在现代技术应用中起着至关重要的作用，如在汽车、航空航天、机器人和高尔夫运动等领域。惯性传感器是一种能够测量物体加速度、角速度和磁场强度的设备，通常包括加速度计、陀螺仪和磁力计。它们通过捕捉物体在空间中的运动信息，广泛应用于运动捕捉、导航系统和姿态控制等领域。在运动捕捉中，惯性传感器的作用尤为重要，它能够实时跟踪和记录物体的运动轨迹，为分析运动行为和构建运动模型提供关键数据。通过惯性传感器，研究人员和工程师可以获取到精确的运动数据，从而在虚拟现实、动画制作和生物力学研究中实现高度还原的运动捕捉效果。

2、在高动态环境下，惯性传感器常面临信号饱和的问题，这限制了低成本惯性传感器的应用范围。传统的信号处理方法通常将信号视为离散点序列，导致在信号重建过程中信息损失较大，特别是在超量程重建方面表现不佳。此外，深度学习模型在信号重构过程中可能会产生不符合实际情况的“幻觉”现象，影响模型的可靠性。在人体关键点检测等应用中，稀疏特征的检测和记忆也是一个挑战。同时，多模态传感器数据融合，如惯性传感器与视觉传感器数据的对齐，是提高运动捕捉精度的关键，但目前存在技术难题。

技术实现思路

1、本申请的目的是提供一种基于惯性-视觉信号增强与融合的运动分析系统，可以有效解决高动态环境下惯性传感器信号饱和问题，提高信号重建的精度和可靠性，同时优化多模态传感器数据融合，以提高运动捕捉的精度。

2、为实现上述目的，本申请提供了如下方案：

3、第一方面，本申请提供了一种基于惯性-视觉信号增强与融合的运动分析系统，包括：惯性传感器模块、视觉传感器模块、信号处理模块、惯性-视觉信息融合模块和运动分析模块。

4、所述惯性传感器模块，用于采集运动对象的惯性信号；所述惯性信号包括运动对象设定部位的加速度、角速度和磁场强度。

5、所述视觉传感器模块为基于sharma-mittal熵的稀有记忆增强模块，用于采集运动对象的人体关键点信息。

6、所述信号处理模块，用于：利用改进后的深度学习模型对惯性信号进行增强处理，并基于kolmogorov-arnold网络对惯性信号中的超量程信号进行重构；所述改进后的深度学习模型为在所述深度学习模型的损失函数中引入生成幻觉熵的深度学习模型。

7、所述惯性-视觉信息融合模块，用于基于最优输运理论的多模态特征对齐方法以及sinkhorn算法，将人体关键点信息以及信号处理后的惯性信号进行融合处理，得到所述运动对象的运动轨迹。

8、所述运动分析模块，用于基于所述运动对象的运动轨迹，分析运动对象的运动模式以及姿态变化。

9、根据本申请提供的具体实施例，本申请公开了以下技术效果：

10、本申请提供了一种基于惯性-视觉信号增强与融合的运动分析系统，该系统基于惯性传感器模块和视觉传感器模块，能够更准确地采集运动对象的惯性信号和人体关键点信息，提高了运动捕捉的精度；信号处理模块，用于利用改进后的深度学习模型对惯性信号进行增强处理，并基于kan对惯性信号中的超量程信号进行重构；基于惯性-视觉信息融合模块将采集到的人体关键点信息与处理后的惯性信号进行融合，使得系统能够更加准确地还原运动对象的运动轨迹。基于本系统能够精确描述运动对象的运动轨迹。

技术特征：

1.一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，包括：惯性传感器模块、视觉传感器模块、信号处理模块、惯性-视觉信息融合模块和运动分析模块；

2.根据权利要求1所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块，用于：基于kolmogorov-arnold网络对惯性信号中的超量程信号进行重构方面，所述信号处理模块用于：使用1d-resnet对输入的惯性信号进行特征提取，得到特征向量；对特征向量中的每个特征通过可学习的第一样条参数化函数进行转换，生成第一层中间节点；使用第二样条参数化函数对第一层中间节点进行处理，生成第二层中间节点；重复执行生成中间节点的过程，通过多层样条函数变换，生成重构后的信号。

3.根据权利要求2所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块中对特征向量中的每个特征通过可学习的第一样条参数化函数进行转换，生成第一层中间节点的公式表达式为：

4.根据权利要求3所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块中，使用第二样条参数化函数对第一层中间节点进行处理，生成第二层中间节点的公式表达式为：

5.根据权利要求1所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块中深度学习模型引入的生成幻觉熵的计算公式为：

6.根据权利要求1所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述视觉传感器模块包括特征提取子模块、注意力增强子模块、基于sharma-mittal熵的稀有记忆增强子模块、二维关键点检测子模块和三维视觉重建子模块；

7.根据权利要求6所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述特征提取子模块使用resnet50网络从输入图像中提取多通道特征；其中，提取公式为：f＝resnet50(i)；

8.根据权利要求6所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，在所述注意力增强子模块用于通过注意力机制增强对多通道特征中稀疏特征的注意力方面，所述注意力增强子模块用于：

9.根据权利要求6所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，在所述基于sharma-mittal熵的稀有记忆增强子模块对特征层进行正则化，增强视觉检测模型对所述稀疏特征的记忆方面，所述基于sharma-mittal熵的稀有记忆增强子模块的sharma-mittal熵正则化项的公式表达式为：

10.根据权利要求6所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，在所述二维关键点检测子模块用于输出所述输入图像中人体二维关键点的位置方面，所述二维关键点检测子模块用于根据公式预测人体二维关键点的位置；

技术总结本申请公开了一种基于惯性‑视觉信号增强与融合的运动分析系统，涉及智能感知和融合技术领域，该系统中惯性传感器模块用于采集运动对象的惯性信号；视觉传感器模块用于采集人体关键点信息；信号处理模块，用于利用改进后的深度学习模型对惯性信号进行增强处理，并基于KAN对惯性信号中的超量程信号进行重构；惯性‑视觉信息融合模块，用于基于最优输运理论的多模态特征对齐方法以及SInkhorn算法，将人体关键点信息以及信号处理后的惯性信号进行融合处理，得到运动对象的运动轨迹；运动分析模块，用于基于运动轨迹，分析运动对象的运动模式以及姿态变化。本申请能够准确地捕捉运动对象的运动轨迹并对其进行准确的分析。技术研发人员：赵毅,王一峰,师孟笛受保护的技术使用者：哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）技术研发日：技术公布日：2025/1/6