基于目标检测和关键点提取的人耳特征自动测量方法

本发明涉及图像处理中目标检测和关键点提取领域，特别是基于目标检测和关键点提取的人耳特征的自动测量方法。

背景技术：

1、近年来随着虚拟现实技术的发展，基于头相关传递函数(head-related transferfunction，hrtf)的双耳三维音频渲染技术成为新的研究热点。该技术的基本步骤为：(1)构建人耳特征与对应hrtf的数据库；(2)采集人耳特征；(3)计算采集的人耳特征与数据库中人耳特征之间的距离；(4)选择距离最近的人耳特征对应的hrtf作为被采集人的hrtf。人耳特征的采集方法是影响该技术能否推广应用的关键步骤。主流方法使用三维激光设备[1-2]进行人体特征采集，这类方法虽然精度很高，但采集设备相当昂贵并且后期的三维模型处理需要较大算力，无法推广应用。随着移动智能设备的应用和计算机视觉的发展，基于目标检测和关键点提取的人耳特征自动测量方法成为目前急需的技术。

2、已有的基于目标检测和关键点提取的人耳特征测量方法有腾讯音乐娱乐科技(深圳)有限公司[3]提出的专利“人耳特征距离测量的方法和装置”和pirard[4]提出的hrtf个性化算法。这两种方法存在的主要问题是：(1)为了解决数字图像固有的多尺度问题，要么设置拍照参照物，要么引入转换因子，不利于推广应用；(2)人耳检测算法采用的是opencv自带的haar级联分类器，检测精度不高。因此，需要研究不需要拍照参照物或转换因子的更高精度的人耳特征自动测量方法。

3、参考文献：

4、1.d.lu,x.zeng,x.guo and h.wang,head-related transferfunctionreconstruction with anthropometric parameters and the direction ofthesound source deep learning-based head-related transferfunctionpersonalization[j],acoustics australia.2021(49):125–132

5、2.s.s.alotaibi and m.wickert,modeling of individual head-relatedtransfer functions(hrtfs)based on spatiotemporal and anthropometric featuresusing deep neural networks[j],ieee access.2024,12:14620-14635.3.闫震海.人耳特征距离测量的方法和装置[p].中国:cn202010858219.0,2020-11-13.

6、

7、4.l.pirard,spatial audio and individualized hrtfs using aconvolutionalneural network(cnn)[d],arxiv.2023,2311.13397.

技术实现思路

1、本发明针对已有基于计算机视觉的人耳特征测量方法需要拍照参照物或转换因子、测量精度低等缺点，提出一种基于目标检测和关键点提取的人耳特征自动测量方法，依次对左耳和右耳进行测量，每次测量主要包括以下步骤：

2、步骤s1：采集人脸侧面图像并计算人耳实际高度；

3、步骤s11：采集人脸侧面图像；

4、步骤s12：检测眼睛虹膜并估计像素间实际距离；

5、步骤s13：检测人耳并计算其像素高度；

6、步骤s14：根据人耳像素高度和像素间实际距离计算人耳实际高度；

7、步骤s2：采集人耳正面图像并提取关键点；

8、步骤s21：采集人耳正面图像；

9、步骤s22：人耳检测与裁切；

10、步骤s23：对裁切后的人耳图像进行关键点提取；

11、步骤s3：计算人耳特征实际距离；

12、步骤s31：选择用于测量人耳特征的关键点；

13、步骤s32：计算关键点之间像素距离；

14、步骤s33：将像素距离转换为实际距离。

15、与当前一些使用拍照参照物或转换因子的方法相比，本发明提供的人耳特征自动测量方法，采用眼睛的虹膜作为参照物，更适合人们使用智能手机的真实场景，易于推广应用。与使用opencv自带的haar级联分类器进行人耳检测相比，本发明提供的基于yolov5s的人耳检测模型，检测精度更高，误差更小。本发明提供的方法可以有效解决测量人耳轮廓特征需要拍照参照物或转换因子的问题，测量误差小，易于推广，适用于基于人耳轮廓特征测量值的下游任务，如双耳三维音频个性化。

技术特征：

1.一种基于目标检测和关键点提取的人耳特征自动测量方法，其特征在于，该方法具体包括如下步骤：

2.如权利要求1所述的人耳特征自动测量方法，其特征在于，所述步骤s1包括如下步骤s11、s12、s13、s14：

3.如权利要求1所述的人耳特征自动测量方法，其特征在于，所述步骤s2包括如下步骤s21、s22、s23：

4.如权利要求1所述的人耳特征自动测量方法，其特征在于，所述步骤s3包括如下步骤s31、s32、s33：

5.如权利要求2所述的人耳特征自动测量方法，其特征在于，所述步骤s12的具体方式为，采用mediapipe facemesh提取面部关键点，选取4个与虹膜相关的关键点并将计算虹膜直径的像素距离，依据人类虹膜直径大致恒定在11.7±0.5mm的统计事实，固定虹膜长度为11.3mm，从而计算出图像像素间的实际距离。

6.如权利要求2所述的人耳特征自动测量方法，其特征在于，所述步骤s13的具体方式为，构建包含不同种族、年龄段以及性别并考虑头发遮挡、佩戴首饰、佩戴眼镜等多种因素的7254张人耳图像数据集，在该数据集的上微调预训练的yolov5s模型，得到人耳检测的深度学习模型，使用该模型实现人耳检测，检测框的像素高度为人耳的像素高度；所述步骤s14的具体方式为，将所述步骤s12计算出的图像像素间实际距离乘以所述步骤s13的人耳像素高度，得到人耳实际高度。

7.如权利要求2或3所述的人耳特征自动测量方法，其特征在于，所述步骤s22的具体方式为，使用所述步骤s13中构建的人耳检测模型对所述步骤s21中的图像进行人耳检测，获得检测框，裁切检测框中的图像，得到人耳图像；所述步骤s23的具体方式为，利用dlib库，使用i-bug(intelligent behaviourunderstanding group)数据集，训练一个人耳关键点检测模型，使用该模型实现人耳关键点提取，得到人耳的55个关键点。

8.如权利要求4所述的人耳特征自动测量方法，其特征在于，所述步骤s31的具体方式为，选择20号关键点和39号关键点的距离为耳甲腔高度，选择20号关键点和47号关键点的距离为耳甲艇高度，选择44号关键点和36号关键点的距离为耳甲腔宽度，选择48号关键点和24号关键点的距离为耳窝高度，选择3号关键点和16号关键点的距离为人耳高度，选择22号关键点和9号关键点的距离为人耳宽度，选择38号关键点和40号关键点的距离为耳屏间切迹宽度。

9.如权利要求2-4所述的人耳特征自动测量方法，其特征在于，所述步骤s32的具体方式为，根据所述步骤s31选择的关键点，计算得到耳甲腔高度、耳甲艇高度、耳甲腔宽度、耳窝高度、人耳高度、人耳宽度和耳屏间切迹宽度的像素距离；所述步骤s33的具体方式为，根据所述步骤s14得到的人耳实际高度和所述步骤s22所述裁切后人耳图像的像素高度计算得到裁切后图像像素间的实际距离，进而计算得到耳甲腔高度、耳甲艇高度、耳甲腔宽度、耳窝高度、人耳高度、人耳宽度和耳屏间切迹宽度的实际距离。

技术总结本发明基于目标检测和关键点提取的人耳轮廓特征自动测量方法，包括：采集人脸侧面图像、检测眼睛虹膜并估计像素间实际距离、检测人耳并计算其像素高度、根据人耳像素高度和像素间实际距离计算人耳实际高度、采集人耳正面图像、人耳检测与裁切、对裁切后的人耳轮廓图像进行关键点提取、选择用于测量人耳轮廓特征的关键点、计算关键点之间像素距离、将像素距离转换为实际距离。本发明提供的方法可以有效解决测量人耳轮廓特征需要拍照参照物或转换因子的问题，测量误差小，易于推广，适用于基于人耳轮廓特征测量值的下游任务，如双耳三维音频个性化。技术研发人员：乔应旭,张智斌,魏晓刚,曹健,卫建清,张灵鲲,陈玮,霍占强受保护的技术使用者：河南理工大学技术研发日：技术公布日：2024/8/1