人体动作相似度匹配评分方法、装置及可读存储介质与流程

1.本技术涉及图像处理领域，更具体地说，涉及一种人体动作相似度匹配评分方法、装置及可读存储介质。


背景技术：

2.对图像中人体姿态进行分析是计算机视觉中比较常见的课题，是动作识别，姿态匹配等应用的基础分析。随着人工智能技术的发展及硬件技术的革新，姿态匹配在人机互动游戏及视频动作教学，动作纠错矫正领域得到大量应用。
3.在现有技术中，人体动作姿态的匹配大多都是提取参考动作和模仿动作的关键点信息，然后提取特征，进行相似度比对；这种方式固然简单，但忽略了参考动作和模仿动作的人体方位以及每个参考动作的关键点的权重；参考动作和模仿动作的人体方位可以理解为模仿者人体和模仿动作人体的存在着倾斜或者朝向不一样，例如模仿动作人体是直立的作出动作而模仿者人体是身体倾斜地作出动作或者模仿动作人体在某一个方向作出动作而模仿动作人体在另一个方向作出动作；每个参考动作的关键点可以理解为：相对于立定动作，参考动作的人体肢体运动位置点为关键点；如果忽略这两个关键因素，直接对比模仿动作和参考动作的关键点的位置信息，会带来很大的误差。再有，还有一些人体动作姿态的匹配方法基于人体姿态识别的自重健身辅助教学方法，通过带有深度信息的相机捕捉到健身者，并对健身者的检测关键点结合深度信息转换生成人体3d骨架图，通过提取健身动作的运动幅度，关节角度等特征和参考动作的特征进行比对，得到动作的相似度分数；这些方法结合图像的深度信息进行相似度估计，需要带深度信息的摄像头捕捉图像，实时成本比较高，且处理深度信息也需要额外的计算量。


技术实现要素：

4.针对现有技术，本技术解决的技术问题是提供一种人体动作相似度匹配方法、装置及可读存储介质，能够有效防止参考动作图和模仿动作图中人体方位不同而影响对参考动作相似度判断，且考虑了关键动作点的重要性，从而有利于提高动作相似度匹配评价的准确性。
5.为解决上述技术问题，本技术提供一种人体动作相似度匹配评分方法，其包括：
6.获取模仿者动作图f、参考动作图i和人体立定图j；
7.检测所述模仿者动作图f、所述参考动作图i和所述人体立定图j中代表人体骨架的多个人体关键点，其中所述模仿者动作图f、所述参考动作图i和所述人体立定图j的多个人体关键点集合分别记为vf、vi和vj；
8.根据所述参考动作图i的多个人体关键点对所述模仿者动作图f进行相似变换以获得所述模仿者动作图f的新的多个人体关键点，所述模仿者动作图f的新的多个人体关键点集合记为v
f’；
9.分别根据v
f’、vi和vj求得所述模仿者动作图f、所述参考动作图i和所述人体立定
图j的代表人体骨架的多个骨架特征向量；以及，
10.以所述参考动作图i和所述人体立定图j两者对应的骨架特征向量之间的相似度距离为权重对所述模仿者动作图f和所述参考动作图i两者对应的骨架特征向量之间的相似度距离进行加权求和，获得所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度。
11.在一种可能的实现方式中，检测所述模仿者动作图f、所述参考动作图i和所述人体立定图j中任一图像的代表人体骨架的多个人体关键点的步骤包括：利用yolox检测模型检测出人体区域，再利用hrnet检测出人体区域中的代表人体骨架的17个人体关键点；
12.其中，代表人体骨架的17个人体关键点包括鼻尖a
v0
、左眼a
v1
、右眼a
v2
、左耳a
v3
、右耳a
v4
、左肩a
v5
、右肩a
v6
、左手肘a
v7
、右手肘a
v8
、左手腕a
v9
、右手腕a
v10
、左大腿根部a
v11
、右大腿根部a
v12
、左脚膝盖a
v13
、右脚膝盖a
v14
、左脚踝a
v15
和右脚踝a
v16
；a为所述模仿者动作图f、所述参考动作图i和所述人体立定图j中任一图像，a∈(f，j，i)。
13.在一种可能的实现方式中，根据所述参考动作图i的多个人体关键点对所述模仿者动作图f进行相似变换以获得所述模仿者动作图f的新的多个人体关键点步骤包括：
14.根据所述参考动作图i的vf中的17个人体关键点和所述模仿者动作图f的vf中的17个人体关键点计算所述参考动作图i和所述模仿者动作图f之间的相似变换矩阵h；
15.将所述模仿者动作图f的vf中的每一个人体关键点按照进行相似变换矩阵h进行相似变换以获得所述模仿者动作图f的新的17个人体关键点。
16.在一种可能的实现方式中，求得所述模仿者动作图f、所述参考动作图i和所述人体立定图j中任一图像a的代表人体骨架的多个骨架特征向量为求得代表人体骨架的19个骨架特征向量，
17.其中任一图像a的19个骨架特征向量依次为由鼻尖a
v0
和左眼a
v1
组成的特征向量p
a0
、由鼻尖a
v0
和右眼a
v2
组成的特征向量p
a1
、由左眼a
v1
和右眼a
v2
组成的特征向量p
a2
、由左眼a
v1
和左耳a
v3
组成的特征向量p
a3
、由右眼a
v2
和右耳a
v4
组成的特征向量p
a4
、由鼻尖a
v0
和左肩a
v5
组成的特征向量p
a5
、由鼻尖a
v0
和右肩a
v6
组成的特征向量p
a6
、由左肩a
v5
和左手肘a
v7
组成的特征向量p
a7
、由右肩a
v6
和右手肘a
v8
组成的特征向量p
a8
、由左手肘a
v7
和左手腕a
v9
组成的特征向量p
a9
、由右手肘a
v8
和右手腕av
10
组成的特征向量p
a10
、由左肩av5和左大腿根部a
v11
组成的特征向量p
a11
、由右肩a
v6
和右大腿根部a
v12
组成的特征向量p
a12
、由左肩a
v5
和右肩a
v6
组成的特征向量p
a13
、由左大腿根部a
v11
和右大腿根部a
v12
组成的特征向量p
a14
、由左大腿根部a
v11
和左脚膝盖a
v13
组成的特征向量p
a15
、由右大腿根部a
v12
和右脚膝盖a
v14
组成的特征向量p
a16
、由左脚膝盖a
v13
和左脚踝a
v15
组成的特征向量p
a17
和由右脚膝盖a
v14
和右脚踝a
v16
组成的特征向量p
a18
。
18.在一种可能的实现方式中，以所述参考动作图i和所述人体立定图j两者对应的骨架特征向量之间的相似度距离为权重对所述模仿者动作图f和所述参考动作图i两者对应的骨架特征向量之间的相似度距离进行加权求和，获得所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度的步骤包括：
19.计算所述参考动作图i的骨架特征向量p
ii
和所述人体立定图j对应的骨架特征向量p
ji
之间的相似度距离wi：wi＝1-cos《p
ii
·
p
ji
》＝1-p
ii
·
p
ji
/|p
ii
|
·
|p
ji
|；
20.对所有的相似度距离wi进行归一化操作，相似度距离wi进行归一化后的结果记为
21.计算所述模仿者动作图f的骨架特征向量p
fi
和所述参考动作图i对应的骨架特征向量p
ii
之间的相似度距离di：di＝1-cos《p
fi
·
p
ii
》＝1-p
fi
·
p
ii
/|p
fi
|
·
|p
ii
|；
22.以所有所述相似度距离wi为权重对所有的相似度距离di进行加权求和以获得所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度m：
23.其中，p
ii
为所述参考动作图i的第i个特征向量，p
fi
为所述模仿动作图f的第i个特征向量，p
ji
为所述人体立体图j的第i个特征向量，i∈[0,18]。
[0024]
在一种可能的实现方式中，所述人体动作相似度匹配评分方法还包括根据所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度对模仿者动作图f的相似度进行评分，
[0025]
s＝(dt-m)*(100-st)/dt st-neg_score，
[0026]
其中，s表示对所述模仿者动作图f的相似度进行评分结果；dt用于控制匹配评分标准，dt越小代表匹配评分标准越高；st用于控制最低分数，可以使得s最后分数控制在0～100的范围内；neg_score是动作反向扣分项，用于惩罚所述模仿者动作图f的人体动作与所述参考动作图i的人体动作差距大的情况。
[0027]
在一种可能的实现方式中，dt取值为2，st取值为50；当m小于0.4时，neg_score取值1，当m大于等于0.4且小于等于0.6时，neg_score取值为2；当m大于0.6且小于等于0.8时，m取值为4，当m大于0.8小于等于1.0时，neg_score取值为6，当m大于1时，neg_score取值为8。
[0028]
本技术提供还一种人体动作相似度匹配评分装置，包括：
[0029]
图像获取单元：用于获取模仿者动作图f、参考动作图i和人体立定图j；
[0030]
图像处理单元：连接所述图像获取单元，且用于执行所述人体动作相似度匹配评分方法的步骤；以及，
[0031]
语音播报器：连接所述图像处理单元，当所述图像处理单元完成对所述模仿者动作图f相对所述参考动作图i的动作相似度匹配评分后，所述语音播报器用于播报分数。
[0032]
在本技术提供的人体动作相似度匹配评分方法、装置及可读存储介质的有益效果在于：将模仿动作图f相对于参考动作图i进行相似变换是的模仿动作图f的人体和参考动作图i中人体在同一方位上，从而有效防止因模仿动作图f中的人体与参考动作图i的人体不同角度位置问题影响对模仿动作和参考动作的匹配评价；同时，在计算所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度时考虑所述参考动作图i和所述人体立定图j两者对应的骨架特征向量之间的相似度距离为权重进行求和，如此考虑了参考动作图中人体肢体运动的关键位置点，在评价所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度时，这些关键位置点相对于人体未运动部分被赋予更大的权重，如此更加有利于正确评价模仿动作的相似度。
附图说明
[0033]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]
图1为本技术实施例的人体动作相似度匹配评分方法的流程图；
[0035]
图2为本技术实施例的一人体立定图的提取的代表人体骨架的17个人体关键点和19个骨架特征向量示意图；
[0036]
图3为本技术实施例的获得所述模仿动作图f相对于所述参考动作图i的动作骨架相似度的步骤流程图。
具体实施方式
[0037]
为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0038]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0039]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0040]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0041]
现结合附图对本技术的人体动作相似度匹配评分方法、装置及可读存储介质进行具体说明。
[0042]
请参照图1，本技术实施例提供的人体动作相似度匹配评分方法，该方法用于评价判断模仿者的模仿动作相对于参考动作的相似度，其包括如下步骤：
[0043]
步骤s100：获取模仿动作图f、参考动作图i和人体立定图j。
[0044]
步骤s200：检测所述模仿动作图f、所述参考动作图i和所述人体立定图j中代表人体骨架的多个人体关键点，其中所述模仿动作图f、所述参考动作图i和所述人体立定图j的多个人体关键点集合分别记为vf、vi和vj。
[0045]
步骤s300：根据所述参考动作图i的多个人体关键点对所述模仿动作图f进行相似变换以获得所述模仿动作图f的新的多个人体关键点，所述模仿动作图f的新的多个人体关键点集合记为v
f’。
[0046]
步骤s400：分别根据v
f’、vi和vj求得所述模仿动作图f、所述参考动作图i和所述人体立定图j的代表人体骨架的多个骨架特征向量。
[0047]
步骤s500：以所述参考动作图i和所述人体立定图j两者对应的骨架特征向量之间的相似度距离为权重对所述模仿动作图f和所述参考动作图i两者对应的骨架特征向量之间的相似度距离进行加权求和，获得所述模仿动作图f相对于所述参考动作图i的动作骨架
相似度。
[0048]
在所述步骤s200中，检测所述模仿动作图f、所述参考动作图i和所述人体立定图j中任一图像的代表人体骨架的多个人体关键点的步骤包括：利用yolox检测模型检测出人体区域，再利用hrnet检测出人体区域中的代表人体骨架的17个人体关键点。值得说明的是，代表人体骨架的17个人体关键点包括鼻尖a
v0
、左眼a
v1
、右眼a
v2
、左耳a
v3
、右耳a
v4
、左肩a
v5
、右肩a
v6
、左手肘a
v7
、右手肘a
v8
、左手腕a
v9
、右手腕a
v10
、左大腿根部a
v11
、右大腿根部a
v12
、左脚膝盖a
v13
、右脚膝盖a
v14
、左脚踝a
v15
和右脚踝a
v16
；其中，a为所述模仿动作图f、所述参考动作图i和所述人体立定图j中任一图像，a∈(f，j，i)，即a属于图像f、j和i中任一个。
[0049]
如图2所示，图2示意了一立体动作图中的代表人体骨架的17个人体关键点，其中，图2中的0至16点的位置依次分别代表立体动作图的鼻尖i
v0
、左眼i
v1
、右眼i
v2
、左耳i
v3
、右耳i
v4
、左肩i
v5
、右肩i
v6
、左手肘i
v7
、右手肘i
v8
、左手腕i
v9
、右手腕i
v10
、左大腿根部i
v11
、右大腿根部i
v12
、左脚膝盖i
v13
、右脚膝盖i
v14
、左脚踝i
v15
和右脚踝i
v16
。对所述模仿动作图f和所述参考动作图i检测出的代表人体骨架的17个人体关键点与图2示意的由0至16点示意的人体骨架点的位置一致，此处不再赘述。
[0050]
在所述步骤s300中，根据所述参考动作图i的多个人体关键点对所述模仿动作图f进行相似变换以获得所述模仿动作图f的新的多个人体关键点步骤包括：
[0051]
步骤s310：根据所述参考动作图i的vf中的17个人体关键点和所述模仿动作图f的vf中的17个人体关键点计算所述参考动作图i和所述模仿动作图f之间的相似变换矩阵h。
[0052]
步骤s320：将所述模仿动作图f的vf中的每一个人体关键点按照进行相似变换矩阵h进行相似变换以获得所述模仿动作图f的新的17个人体关键点。
[0053]
可以理解地，在所述步骤s300中，所述模仿动作图f相对于参考动作图进j行相似变换，即模仿动作图f进行旋转、平移和缩放操作使得模仿动作图f中的人体与模仿动作图f中的人体在同一方位上。如此有效防止因模仿动作图f中的人体与参考动作图i的人体不同角度位置问题影响模仿动作和参考动作进行匹配评分结果。
[0054]
在所述步骤s400中，求得所述模仿动作图f、所述参考动作图i和所述人体立定图j中任一图像a的代表人体骨架的多个骨架特征向量为求得代表人体骨架的19个骨架特征向量，其中任一图像a的19个骨架特征向量依次为由鼻尖a
v0
和左眼a
v1
组成的特征向量p
a0
、由鼻尖a
v0
和右眼a
v2
组成的特征向量p
a1
、由左眼a
v1
和右眼a
v2
组成的特征向量p
a2
、由左眼a
v1
和左耳a
v3
组成的特征向量p
a3
、由右眼a
v2
和右耳a
v4
组成的特征向量p
a4
、由鼻尖a
v0
和左肩a
v5
组成的特征向量p
a5
、由鼻尖a
v0
和右肩a
v6
组成的特征向量p
a6
、由左肩a
v5
和左手肘a
v7
组成的特征向量p
a7
、由右肩a
v6
和右手肘a
v8
组成的特征向量p
a8
、由左手肘a
v7
和左手腕a
v9
组成的特征向量p
a9
、由右手肘a
v8
和右手腕av
10
组成的特征向量p
a10
、由左肩av5和左大腿根部a
v11
组成的特征向量p
a11
、由右肩a
v6
和右大腿根部a
v12
组成的特征向量p
a12
、由左肩a
v5
和右肩a
v6
组成的特征向量p
a13
、由左大腿根部a
v11
和右大腿根部a
v12
组成的特征向量p
a14
、由左大腿根部a
v11
和左脚膝盖a
v13
组成的特征向量p
a15
、由右大腿根部a
v12
和右脚膝盖a
v14
组成的特征向量p
a16
、由左脚膝盖a
v13
和左脚踝a
v15
组成的特征向量p
a17
和由右脚膝盖a
v14
和右脚踝a
v16
组成的特征向量p
a18
。同样的，图2中的0-16点各处的连线示意人体立定图i中p
i0
至p
i18
的19个骨架特征向量。
[0055]
值得说明的是，特征向量p
a0
有关键点鼻尖a
v0
的坐标和关键点左眼a
v1
的坐标之差
构成，例如鼻尖a
v0
坐标为(x1,y1),左眼a
v1
的坐标为(x2,y2)，则p
a0
＝(x2-x1,y2-y2)，以此类推，其他特征向量的计算也是如此。
[0056]
参照图3，在所述步骤s500中，以所述参考动作图i和所述人体立定图j两者对应的骨架特征向量之间的相似度距离为权重对所述模仿动作图f和所述参考动作图i两者对应的骨架特征向量之间的相似度距离进行加权求和，获得所述模仿动作图f相对于所述参考动作图i的动作骨架相似度的步骤包括：
[0057]
步骤s510：计算所述参考动作图i的骨架特征向量p
ii
和所述人体立定图j对应的骨架特征向量p
ji
之间的相似度距离wi：wi＝1-cos《p
ii
·
p
ji
》＝1-p
ii
·
p
ji
/|p
ii
|
·
|p
ji
|；
[0058]
步骤s520：对所有的相似度距离wi进行归一化操作，相似度距离wi进行归一化后的结果记为
[0059]
步骤s530：计算所述模仿者动作图f的骨架特征向量p
fi
和所述参考动作图i对应的骨架特征向量p
ii
之间的相似度距离di：di＝1-cos《p
fi
·
p
ii
》＝1-p
fi
·
p
ii
/|p
fi
|
·
|p
ii
|；
[0060]
步骤s540：以所有所述相似度距离wi为权重对所有的相似度距离di进行加权求和以获得所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度m：
[0061]
其中，p
ii
为所述参考动作图i的第i个特征向量，p
fi
为所述模仿动作图f的第i个特征向量，p
ji
为所述人体立体图j的第i个特征向量，i∈[0,18]。
[0062]
p
fi
|、|p
ii
|和|p
ji
|分别为模仿动作图f的第i个特征向量的模、参考动作图i的第i个特征向量的模和人体立定图j的第i个特征向量的模。
[0063]
在本实施例中，参考动作图i中的人体作出相应的参考动作时，该参考动作图i中的19个骨架特征向量与人体立定图j中的人体的19个骨架特征向量中会有一些对应骨架特征向量存在差异，例如，当参考动作图i的人的左手作出运动姿势时，参考动作图i的人的左手上的骨架特征向量p
i7
、p
i9
和人体立定图j的人的左手上的骨架特征向量p
j7
、p
j9
存在差异。可以理解地，当该参考动作图i中的某个骨架特征向量p
ii
与人体立定图j中的人体的对应的p
ji
骨架特征向量存在差异时，当该差异越大时，的值越大，意味着参考动作图i中的这个骨架特征向量p
ii
是模仿时越关键的比对特征，在对模仿者模仿参考动作的动作匹配评价时该骨架特征向量p
ii
应该给予更多的关注。故而，以所有所述相似度距离wi为权重对所有的相似度距离di进行加权求和以获得所述模仿动作图f相对于所述参考动作图i的骨架特征向量相似度m，如此充分考虑模仿动作时的关键点重要性，即相对于未运动的肢体而言，运动的肢体部分对评价人体动作相似度的重要性，以便更加准确有效的评价模仿动作的相似度。
[0064]
进一步参照图1，在本实施例中，所述人体动作相似度匹配评分方法还包括步骤s600：根据所述模仿动作图f相对于所述参考动作图i的动作骨架相似度对模仿动作图f的相似度进行评分：
[0065]
s＝(dt-m)*(100-st)/dt st-neg_score，
[0066]
其中，s表示对所述模仿动作图f的相似度进行评分结果；dt用于控制匹配评分标准，dt越小代表匹配评分标准越高；st用于控制最低分数，可以使得s最后分数控制在0～100的范围内；neg_score是动作反向扣分项，用于惩罚所述模仿动作图f的人体动作与所述参考动作图i的人体动作差距大的情况。
[0067]
在本实施例中，dt取值为2，st取值为50；当m小于0.4时，neg_score取值1，当m大于等于0.4且小于等于0.6时，neg_score取值为2；当m大于0.6且小于等于0.8时，m取值为4，当m大于0.8小于等于1.0时，neg_score取值为6，当m大于1时，neg_score取值为8。可以理解的，所述模仿动作图f相对于所述参考动作图i的骨架特征向量相似度越大，分值s越高，意味着模仿者模仿的更加准确到位。
[0068]
在所述人体动作相似度匹配评分方法中，将模仿动作图f相对于参考动作图i进行相似变换是的模仿动作图f的人体和参考动作图i中人体在同一方位上，从而有效防止因模仿动作图f中的人体与参考动作图i的人体不同角度位置问题影响对模仿动作和参考动作的匹配评价；同时，在计算所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度时考虑所述参考动作图i和所述人体立定图j两者对应的骨架特征向量之间的相似度距离为权重进行求和，如此考虑了参考动作图中人体肢体运动的关键位置点，在评价所述模仿者动作图f相对于所述参考动作图i的动作骨架相似度时，这些关键位置点相对于人体未运动部分被赋予更大的权重，如此更加有利于正确评价模仿动作的相似度。
[0069]
本技术实施例还提供一种应用上述人体动作相似度匹配评分方法的人体动作相似度匹配评分装置，其包括图像获取单元、图像处理单元和语音播报器。图像处理单元连接图像获取单元和语音播报器。图像获取单元用于获取模仿动作图f、参考动作图i和人体立定图j；图像处理单元用于执行所述人体动作相似度匹配评分方法的步骤；当所述图像处理单元完成对所述模仿动作图f相对所述参考动作图i的动作相似度匹配评分后，所述语音播报器用于播报分数。
[0070]
本技术实施例还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述人体动作相似度匹配评分方法。
[0071]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。