基于数字处理的跑步数据处理方法与流程

1.本发明涉及人工智能领域，具体涉及一种基于数字处理的跑步数据处理方法。


背景技术：

2.跑步由于简单易行，成为了大众主流健身方式，但大多数跑者对自身的跑步姿势没有正确认识，导致了大量因自身姿势不正引起的运动损伤。如果能对跑步者的运动姿势进行识别并分析，提出合理的改善建议，将能有效地降低因为跑步姿势不当带来的不必要损伤。而现阶段的跑步姿势多通过穿戴设备或专业者指导进行纠正，成本较高，且有很多不便之处。现有技术中判断着地方式对膝关节损伤程度的方法主要包括两类：一类是只给出着地方式对膝关节损伤程度的高低排序信息，如前脚掌着地方式损伤程度最低，脚跟着地方式次之，全脚掌着地方式的损伤程度最高这一信息，没有对损伤程度进行量化，不够具体客观；另一类是使用压力传感器设备，根据实验者跑步时的足底压力，得到不同着地方式中地面对人体的反作用力的具体数值，判断其对膝关节的损伤程度，成本太高，且不具有实时性，不适用于跑步机初跑步者。


技术实现要素：

3.为了克服上述现有技术的缺点，本发明采用以下技术方案：一种基于数字处理的跑步数据处理方法，包括以下步骤：步骤一：从跑步视频中检测出人体关键点，获得人体骨架，得到关键点的二维坐标，并得到一个完整的跑步周期t;步骤二：根据关节点坐标，获得跑步时的步幅和躯干倾斜角度，分别与标准跑步姿势对比，得到其对膝关节的损伤指标;步骤三：基于不同着地方式对应的角度差异，根据反作用力方向量化着地方式对人的推动力或制约力；结合反作用力方向与小腿的夹角量化着地方式对小腿的冲击力，与标准跑姿对比，得到着地方式对膝关节的损伤指标;为步幅、躯干倾斜角度和着地方式的损伤指标设置对应权值，并根据跑步过程中的稳定性，并结合跑步时间，获得着地方式损伤指标的权值的损伤系数，获得该跑步姿势对膝关节的损伤程度;步骤四：基于该跑步姿势对膝关节的损伤程度，提出对姿势纠正的建议。
4.进一步，所述步骤三方法为：判断跑步者的着地方式：以右脚落地时刻脚尖的纵坐标和脚跟的纵坐标的高低作为判断依据;若，即脚尖纵坐标更低，则表示是前脚掌着地方式；若，即脚跟纵坐标更低，则表示是脚跟着地方式；若，即脚尖和脚跟的纵坐标一样，则表示是全脚掌着地方式;落地时人体对地面的压力大小不变，定义为;在配速为6分速的情况下，标准着地方式为前脚掌着地。
5.进一步，所述步骤三方法为:确定反作用力的方向：人体对地面的作用力方向和地面对人体的反作用力的方向在一条直线上，且与右脚尖和右脚跟相连的线段垂直，则该反作用力与竖直方向的夹角等于右脚尖和右脚跟相连的线段与水平线的夹角，计算方式如下：对于前脚掌着地方式，右脚跟比右脚尖更高，因此地面反作用力方向为斜向右上，即为右脚尖在竖直方向上投影点
‑
右脚尖
‑
右脚跟三点形成的夹角;对于脚跟着地方式，右脚尖比右脚跟更高，因此地面反作用力方向为斜向左上，即为右脚跟在竖直方向上投影点
‑
右脚尖
‑
右脚跟三点形成的夹角；其中为图像最右边像素点横坐标;对于全脚掌着地方式，右脚尖和右脚跟一样高，因此地面反作用力方向为垂直向上，即;对于同一个人，其前脚掌着地和脚跟着地中右脚和地面形成的夹角大小一样，即。
6.进一步，所述步骤三具体如下：通过分别计算不同着地方式的地面反作用力在水平方向上的分力，比较差异：前脚掌着地方式中反作用力对人体有一个推动力；脚跟着地方式中反作用力对人体有一个制动力；而全脚掌着地方式不考虑推动力和制动力;其中，推动力和制动力大小均为：;则不同着地方式与标准着地方式之间的差异为：若为脚跟着地方式，则和标准着地方式的差异为：；若为全脚掌着地方式，则和标准着地方式的差异为：进一步，所述步骤三优化过程具体为：获得落地时小腿的倾斜方向，即与竖直方向的夹角，则即为右膝在水平方向上的投影点
‑
右膝
‑
右脚腕三点形成的夹角;反作用力与小腿方向的夹角，则反作用力在小腿方向上对小腿的冲击力大小为;而夹角与落地方式有关：若为前脚掌着地，则;若为脚跟着地方式，则;若为全脚掌着地，则;因此不同着地方式与标准着地方式之间的差异为：若为脚跟着地方式，则和标准着地方式的差异为：；若为全脚掌着地方式，则和标准着地方式的差异为：;则不同着地方式与标准着地方式之间的差异指标为：;着地方式的损伤指标为：若该着地方式为前脚掌着地，则；若该着地方式为脚跟着地，则；若该着地方式为全脚掌着地，则。
7.本发明的有益效果是：本发明对损伤程度进行量化，但不使用外部传感器等设备，也不需要获得反作用
力的具体数值，只通过拍摄的跑步视频进行图像处理，获得跑步姿势对膝关节的损伤程度，并提出纠正建议，以降低跑步姿势不当带来的关节损伤。
具体实施方式
8.下面结合附图和实施例对本发明进行详细的描述。
9.本发明适用于初跑步人群，对于自身跑步姿势和标准跑步姿势没有正确的认知，更易损伤膝关节。因此，设定跑步机配速为6分速，并已知跑步者的身高h和腿长l，在跑步机右侧安置一个相机拍摄一段恒定速度跑步时的视频。相机对面的环境尽量简单，跑步视频中只包括一个跑步者，且跑步者需要穿较贴身的衣服，以减少对人体关节点判断的影响。
10.步骤一：从跑步视频中检测出人体关键点，获得人体骨架，得到关键点的二维坐标，并得到一个完整的跑步周期t。
11.本发明中要通过跑步姿势判断对膝关节的损伤程度，则需要得到跑步者的跑步姿势。因此要先对人体进行检测，得到人体关节点信息。
12.本发明采用关键点的形式，选用18个关键点对人体进行检测，包括人体的双脚脚腕、双脚脚尖、双脚脚跟、双膝、双胯、双肩、双肘、双手、头部和颈部。
13.人体关键点的检测网络为encoder
‑
decoder的结构，训练内容如下：1）数据集为相机拍摄的人体右侧跑步图像。
14.2）标签为18类关键点，人体的双脚脚腕、双脚脚尖、双脚脚跟、双膝、双胯、双肩、双肘、双手、头部和颈部。
15.3）标注过程为：每类关键点对应一个单通道，在该通道中，标记关键点对应像素的位置，而后采用高斯模糊，使标记点处形成关键点热斑。本发明使用了18类关键点，故标签图像共包含18个通道。
16.4）loss函数使用均方差损失函数。
17.得到关键点heatmap后，给18个关键点设置标号，分别为：头部、颈部、右肩、右肘、右手、左肩、左肘、左手、右胯、右膝、右脚腕、左胯、左膝、左脚腕、右脚尖、左脚尖、右脚跟、左脚跟。
18.将关键点按照一定的顺序连接得到人体骨架，连接规则为：1）连接头部
‑
颈部
‑
右肩
‑
右肘
‑
右手；2）连接颈部
‑
左肩
‑
左肘
‑
左手；3）连接颈部
‑
右胯
‑
右膝
‑
右脚腕
‑
右脚尖
‑
右脚跟
‑
右脚腕；4）连接颈部
‑
左胯
‑
左膝
‑
左脚腕
‑
左脚尖
‑
左脚跟
‑
左脚腕；5）最终得到包含18个关节点组成的人体骨架。
19.要得到跑步姿势，需要得到各关节点的二维坐标，因此采用softargmax的方式来获得关键点热斑的二维坐标。
20.跑步动作是重复性的周期动作，且每个周期内的跑步姿态均一致，因此只需要对跑步视频中一个跑步周期内的人体跑步姿态进行检测即可。
21.本发明相机为人体右侧视角，故只研究右腿在跑步过程中的姿态。因此以右脚落
地的视频帧为起始帧，下一次右脚落地的视频帧为终止帧，得到一个完整的跑步周期t。
22.得到右脚落地的图像帧的方法为：落地时右脚处于身体最前方，之后随着跑步机传送带向后移动，离开地面后向前迈动，又重新落回身体最前方。因此通过比较各帧中右脚腕的横坐标，最大值所在帧即为落地时刻的图像帧。
23.则以右脚落地时刻的视频帧为起始帧，下一次右脚落地时刻的视频帧为终止帧，即可得到一个完整的跑步周期t及周期内的每帧图像。则可据此将跑步视频划分为多个跑步周期。
24.步骤二：根据关节点坐标，在周期内得到跑步时影响膝关节损伤的因素的状态及信息；并将步幅和躯干倾斜角度与标准跑步姿势对比，得到其对膝关节的损伤指标。
25.跑步时减轻膝关节损伤的因素主要包括以下几种：1）步幅：步幅不宜过大，否则着地时巨大的地面冲击力不经缓冲直接经脚跟向上传递，对膝关节造成一定损伤。
26.2）躯干倾斜角度：身体略前倾，可减少对膝关节的冲击；3） 着地方式：可分为前脚掌着地、脚跟着地和全脚掌着地。
27.若使用脚跟先着地的方式，会带来较大的膝关节力矩，造成膝关节损伤。
28.若使用全脚掌着地的方式，对膝关节的压力很大，容易导致膝盖的损伤。
29.因此推荐使用前脚掌先着地的方式，落地位置更接近身体的重心位置，且通过踝关节进行缓冲，有效减少了地面反作用力对膝关节的损伤。
30.本发明先获得步幅和躯干倾斜角度的具体数值，再将其与标准跑步姿势对比，可得到对应的损伤指标。
31.步幅：对于一个完整的跑步流程，右腿的状态包括多个关键时刻，一个周期中每个时刻只出现一次。
32.可通过每个跑步周期中右脚落地和向后蹬伸两个时刻中，右胯和右脚腕相连骨架与垂直方向的夹角来计算每个周期的步幅。
33.该夹角计算方法为：右胯坐标为，则右胯关节点在水平方向上投影点坐标为，其中为图像底边像素点纵坐标。则对应角度为：右胯投影点
‑
右胯
‑
右脚腕形成的夹角。
34.落地时刻和向后蹬伸时刻对应不同的图像帧，且对应关节点之间的角度也不同，则需要首先获得两个对应的图像帧，然后分别给对应角度标注名称：1）落地时刻：通过对周期的分析已知。即通过比较各帧中右脚腕的横坐标，最大值所在帧即为落地时刻的图像帧；此时刻对应角度为；2）向后蹬伸时刻：右脚向后蹬伸时位于身体最后方，因此通过比较各帧中右脚腕的横坐标，最小值所在帧即为向后蹬伸时刻的图像帧；此时刻对应角度为。
35.跑步者的腿长已知为，则步幅（单位：cm）为：
则对于每个跑步周期i，均可获得跑步者的步幅。
36.躯干倾斜角度：即右肩投影点
‑
右肩
‑
右胯形成的夹角。
37.躯干可能向后倾斜，也可能向前倾斜，可根据右肩的横坐标和右胯的横坐标判断其倾斜方向：若，即右肩在右胯左侧，则躯体后倾，形成夹角为；若，即右肩在右胯右侧，则躯体前倾，形成夹角为。
38.则对与每个跑步周期i，均可获得跑步者的躯干倾斜角度。
39.即可获得影响膝关节损伤的步幅和躯干倾斜角度在每个跑步周期内的具体数值，与标准跑步姿态对应数值作对比得到差异和损伤指标。
40.在配速为6分钟的情况下，该跑姿的步幅和躯干倾斜程度与标准跑姿之间的差异分别为：步幅损伤指标：标准步幅长度为身高h的一半，即标准步幅；若，步幅较小，不会加重膝关节的损伤，则损伤指标；若，步幅过大，会加重对膝关节的损伤，则定义步幅差异与标准步幅的比值作为在第i个周期的损伤指标：。
41.躯干倾斜角度损伤指标：标准躯干倾斜角度为：，定义躯干倾斜角度差异与标准躯干倾斜角度的比值作为在第i个周期的损伤指标：若，即躯体前倾，则损伤指标为：；若，即躯体后倾，则损伤指标为：。
42.步骤三：
①
基于不同着地方式对应的角度差异，根据反作用力方向量化着地方式对人的推动力或制约力；结合反作用力方向与小腿的夹角量化着地方式对小腿的冲击力，与标准跑姿对比，得到着地方式对膝关节的损伤指标。
43.②
为步幅、躯干倾斜角度和着地方式的损伤指标设置对应权值，并根据跑步过程中的稳定性，并结合跑步时间，获得着地方式损伤指标的权值的损伤系数，获得该跑步姿势对膝关节的损伤程度。
44.首先判断跑步者的着地方式：以右脚落地时刻脚尖的纵坐标和
脚跟的纵坐标的高低作为判断依据。
45.若，即脚尖纵坐标更低，则表示是前脚掌着地方式；若，即脚跟纵坐标更低，则表示是脚跟着地方式；若，即脚尖和脚跟的纵坐标一样，则表示是全脚掌着地方式。
46.由于跑步者的体重和落地时的跑步速度不变，则不论何种着地方式，落地时人体对地面的压力大小不变，定义为。
47.由于不同着地方式的落地角度不同，则地面对人体的反作用力方向不同，且反作用力在水平方向上的分力对人体前进的影响不同；在小腿方向上对小腿的冲击力也不同。以此为基础获得该因素对膝关节的损伤指标，并作为判断损伤程度的量化数值。
48.在配速为6分速的情况下，标准着地方式为前脚掌着地，增加了脚踝的缓冲，缩短了触地时间，极大地减少了膝关节所受到的冲击力。
49.因此需要判断出脚跟着地和全脚掌着地与前脚掌着地的差异。
50.首先需要确定反作用力的方向：人体对地面的作用力方向和地面对人体的反作用力的方向在一条直线上，且与右脚尖和右脚跟相连的线段垂直，则该反作用力与竖直方向的夹角等于右脚尖和右脚跟相连的线段与水平线的夹角，计算方式如下：1）对于前脚掌着地方式，右脚跟比右脚尖更高，因此地面反作用力方向为斜向右上，即为右脚尖在竖直方向上投影点右脚尖右脚跟三点形成的夹角。
51.2）对于脚跟着地方式，右脚尖比右脚跟更高，因此地面反作用力方向为斜向左上，即为右脚跟在竖直方向上投影点右脚尖右脚跟三点形成的夹角；其中为图像最右边像素点横坐标。
52.3）对于全脚掌着地方式，右脚尖和右脚跟一样高，因此地面反作用力方向为垂直向上，即。
53.4）本发明中认为对于同一个人，其前脚掌着地和脚跟着地中右脚和地面形成的夹角大小一样，即。
54.1.不同着地方式对应的反作用力方向不同，则反作用力在水平方向上的分力对人体前进的影响不同。
55.对于前脚掌着地方式，反作用力对人体有一个推动力，会降低对膝关节的损伤；对于脚跟着地方式，反作用力对人体有一个制动力，会增大对膝关节的损伤；对于脚跟着地方式，不考虑推动力和制动力。
56.因此通过分别计算不同着地方式的地面反作用力在水平方向上的分力，比较差异：前脚掌着地方式中反作用力对人体有一个推动力；脚跟着地方式中反作用力对人体有一个制动力；而全脚掌着地方式不考虑推动力和制动力。
57.其中，推动力和制动力大小均为：。
58.则不同着地方式与标准着地方式之间的差异为：1）若为脚跟着地方式，则和标准着地方式的差异为：；2）若为全脚掌着地方式，则和标准着地方式的差异为：2.不同着地方式对应的反作用力方向不同，则反作用力在小腿方向上对小腿的冲击力也不同。
59.首先获得落地时小腿的倾斜方向，即与竖直方向的夹角，则即为右膝在水平方向上的投影点
‑
右膝
‑
右脚腕三点形成的夹角。
60.反作用力与小腿方向的夹角，则反作用力在小腿方向上对小腿的冲击力大小为。
61.而夹角与落地方式有关：若为前脚掌着地，则;若为脚跟着地方式，则;若为全脚掌着地，则。
62.因此不同着地方式与标准着地方式之间的差异为：若为脚跟着地方式，则和标准着地方式的差异为：；若为全脚掌着地方式，则和标准着地方式的差异为：。
63.则不同着地方式与标准着地方式之间的差异指标为：。
64.又因为全脚掌着地比脚跟着地对膝关节的损伤程度更大,所以全脚掌着地时与标准着地方式的差异的权值更大，因此着地方式的损伤指标为：若该着地方式为前脚掌着地，则；若该着地方式为脚跟着地，则；若该着地方式为全脚掌着地，则。
65.3.基于步幅、躯干倾斜角度和着地方式的损伤指标，结合跑步稳定性和跑步时间对着地方式损伤指标的影响，获得该跑步姿势对膝关节的损伤程度。
66.由于三个损伤因素对膝关节造成损伤的程度不同，要判断所有因素共同对膝关节造成损伤的程度，首先需要对其进行归一化，然后基于每个损伤因素对膝关节损伤的重要程度，结合跑步稳定性和跑步时间对着地方式损伤指标的影响，给每个损伤指标设置合适的损伤系数。
67.首先将损伤程度归一化得到对应的损伤程度。
68.根据经验值将步幅、躯干倾斜程度、着地方式的损伤指标的对应权值设置为。
69.并进一步根据跑步过程中的稳定性，并结合跑步时间获得跑步者在每个跑步周期内着地方式损伤权值的损伤系数：由于在跑步机上跑步时，落地姿势不正确会使得落地不稳，身体向一侧倾斜，导致
跑步者着地时身体大部分重量依靠单脚支撑，从而造成膝关节的损伤加剧。
70.因此，首先进行稳定性分析：由先验知识可知，在跑步机上稳定跑步时，跑步者右胯的前后位置以及步幅均不变。因此，可用跑步过程中右胯前后位置的变化以及步幅的大小变化来表征跑步者在跑步过程中的稳定性：1）已获得跑步者在每个周期内的步幅大小，则根据第j个周期的步幅与前j
‑
1个周期的平均步幅来表征跑步者在第j个周期的跑步差异指标一：即。
71.2）已知跑步者在每个周期内的躯干倾斜角度，同样地，根据第j个周期的躯干倾斜角度与前j
‑
1个周期的平均躯干倾斜角度来表征跑步者在第j个周期的跑步差异指标二：即。
72.3）则跑步者在第j个周期的跑步差异性为：。
73.4）对[0，kt]内的k个周期的跑步差异进行归一化得到。其中，kt表示第k个周期t的结束时间，本发明对跑步视频中的前k个周期进行分析，。
[0074]
5）则基于跑步者在时间[0，kt]内的平均差异获得其跑步的不稳定性m,即。
[0075]
其中， kt表示第k个周期的结束时间。
[0076]
则m越大，其跑步地不稳定性越高，该因素基于着地方式对膝关节的损伤程度更高，因此，m越大，着地方式对应的损伤系数越大。
[0077]
而随着跑步时间的增长，其稳定性不止受到落地方式的影响，还受到跑步者运动量提高的影响。因此，随着时间增加，跑步不稳定性对着地方式损伤系数的加成逐渐降低，因此，可获得损伤系数的函数：，其中，k表示第k个跑步周期。
[0078]
则该跑步姿势在第k个周期对膝关节损伤的影响程度为：并对进行归一化得到，获得该跑步姿势在分析周期内对膝关节损伤的影响程度：则的取值范围为[0,1]。
[0079]
步骤四：根据跑步姿势对膝关节的损伤程度，提出对姿势纠正的建议。
[0080]
上述各个影响因素的状态、数据及其与标准姿态的差异和损伤指标，包括该跑姿对膝关节损伤的影响程度值等信息，是进行姿势纠正的关键依据，因此可将这些数据以及拍摄的跑步视频提供给跑步者或者教练，使其对此跑步者的跑姿有更直观的了解。
[0081]
同时，根据影响程度y值的大小来为跑步者提供不同的建议：1）当y值在范围内时，该跑步姿势对膝关节的损伤程度较轻，可将上述数据和跑步视频提供给跑步者，使其通过自身判断对跑姿做出相应纠正，节省费用和资源。
[0082]
2）当y值在范围内时，该跑步姿势对膝关节的损伤程度较严重，单靠跑步者自身较难以完成姿势纠正，可将上述数据和跑步视频同时提供给跑步者和教练，在教练的帮助下完成姿势纠正。
[0083]
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。