热面部和特征点检测方法与流程

本发明涉及热面部和特征点(landmark)检测方法以及用于创建热面部图像集的特征点数据库作为基础真实值参考(ground truth reference)的方法。

背景技术：

1、与经典面部识别(fr)系统类似，交叉光谱面部识别(cfr)系统需要面部检测和对准过程作为首要处理步骤。虽然对rgb面部图像(可见光谱)执行特征点检测可能很容易，但在热光谱的上下文中仍然是一个挑战。特别是，热面部图像往往具有低对比度、低分辨率并缺乏纹理信息。因此，当直接应用于热场时，处理可见面部的现有工作遭受模态差异并且不能有效地提取面部关键点。此外，缺乏可用的带注释的热数据集使得聚焦于热面部特征点检测的工作非常有限。

2、本领域现有技术尤其是：

3、-poster,domenick,hu,shuowen,nasrabadi,nasser等人。“an examinationofdeep-learning based landmark detection methods on thermal face imagery”，载于：ieee/cvf计算机视觉与模式识别研讨会论文集(proceedings of the ieee/cvfconference on computer vision and pattern recognition workshops)。2019年。第0-0页。

4、-chu,wei-ta et liu,yu-hui。“thermal facial landmark detection by deepmulti-task learning”载于：2019ieee第21届多媒体信号处理国际研讨会(mmsp)(2019ieee 21st international workshop on multimedia signal processing(mmsp))。ieee，2019年。第1-6页。

5、-mallat,khawlaetdugelay,jean-luc。“faciallandmarkdetection on thermaldata via fully annotated visible-to-thermal data synthesis”，载于：2020ieee国际生物统计学联合会议(ijcb)(2020ieee international workshop on informationforensics and security(wifs))。ieee，2020年。第1-10页。

6、-keong,jin,dong,xingbo,jin,zhe等人。“多光谱面部特征点检测(multi-spectral facial landmark detection)”，载于：2020ieee信息取证与安全国际研讨会(wifs)(2020ieee international workshop on information forensics and security(wifs))。ieee，2020年。第1-6页。

7、-poster,domenick d.,,sshuowen,short,nathan j.等人。“用于面部特征点检测的可见热转移学习(visible-to-thermal transfer learning for facial landmarkdetection)”。ieee access，2001年第9期第52759-52772页。

8、大多数现有方法已经聚焦于现有的可见光谱方法，诸如深度对准网络(dan)、多任务级联卷积网络(mtcnn)或主动外观模型(aam)，并试图适用于热光谱。然而，大的光谱间差距导致不准确的检测结果。

9、尽管如此，通过热光谱的面部和特征点检测也可以通过设计基于生成式对抗网络(gan)的网络来解决，该网络将面部图像从热光谱转化到可见光谱。一旦应用了光谱转化，然后就可以提取面部关键点并在原始热面部上共享。然而，在光谱变换期间，面部标识没有被保留，并且意味着面部的显著区域具有与现实不同的外观。结果，该方法论提供了差的面部关键点位置。

技术实现思路

1、本发明的一个目的是提供一种在无约束的环境中(适用于野外场景)的可靠热面部和特征点检测方法，其克服了先前已知的仅热面部特征点检测工作的不足，同时对于诸如(1)面部姿势，(2)面部表情，(3)面部遮挡，(4)差的图像质量和(5)远程距离之类的不同条件是鲁棒的。

2、此外，发明人已经发现，在从不同的公共热数据集收集数据的同时，可以使用作为深度学习方法的起点所必需的必要初始自动基础真实值注释数据库来建立用于面部和特征点检测以及热场中的自动基础真实值注释的基准。

3、本方法解决了以下问题：(i)缺少带注释的热面部数据库，以及(ii)缺乏用于热面部检测以及热特征点面部检测的方法。

4、(i)很少热面部数据集包含经标记图像，并且通常包括有限数量的关键点(大约5个：左眼和右眼、鼻子以及左嘴角和右嘴角)。

5、具有这种低关键点的现有经标记数据集可以通过应用至多68个特征点的关键点扩充来增强。为了能够实现关键点扩充，本方法依赖于dlib，应用提取代表面部显著区域(诸如眼睛、眉毛、鼻子、嘴和下颌线)的68个特征点的最先进的面部检测器。

6、考虑到大规模数据库包括经同步且经对准的可见热面部，面部特征点从可见面部提取，并被共享给热对应面部，以便用作基础真实值参考。

7、(ii)有两个实施例：

8、在一个实施例中，本发明将面部和特征点检测视为传统对象检测模型的子任务，并且因此可以涉及yolov5。特别地，本发明分别设计了一系列的两个连续yolov5模型m1和m2。m1专用于检测热成像上的整个面部，而m2用于通过主要应用“面部超分辨率”(fsr)后处理滤波器来在先前检测到的经裁剪的面部上检测68个所学习的面部关键点。优选将高斯滤波器的这种方法应用命名为后处理滤波器。通过应用这些滤波器，许多视觉细节被突出显示，从而提高了边缘质量、对比度和面部锐度，并最终允许更好的检测准确性。

9、在另一实施例中，本发明还将面部和特征点检测视为传统对象检测模型的子任务，并且因此可以涉及yolov5。特别地，本发明分别设计了一系列的两个连续yolov5模型m1和m2。这里，对来自热传感器的数据使用用于热面部恢复滤波器的预处理滤波器tfr来产生增强的图像。只有这样，网络才被馈送有经预处理且经滤波的热图像，其中m1专用于检测fn个面部的集合，并为它们中的每一个提供经裁剪的图像，而m2用于检测经裁剪的图像上已经增强的68个所学习的面部关键点和面部。通过应用这些滤波器，许多视觉细节被突出显示，从而提高了边缘质量、对比度和面部锐度，并最终允许更好的检测准确性。

10、通过采用上述方法(i)和(ii)，本发明能够在具有挑战性的条件下以及在野外的几乎所有热图像中检测面部和特征点。本发明特别提供了检测大量热面部关键点的能力。另一方面，附加地，本发明可以在第二个应用中用作没有参考数据的所有热面部数据库的丰富的自动注释工具。

11、本发明的主要特征如下：

12、分别用于面部和特征点检测的一系列的两个连续对象检测器被应用，同时在无约束环境中(适用于野外场景)对不同条件是鲁棒的。在特定实施例内，对象检测器yolov5被应用于热面部和特征点检测的任务，并且所得到的检测性能给出了准确的面部关键点。yolov5的益处为本发明提供了实时的面部和特征点检测。

13、为了实现更准确的检测，将应用滤波器方案。这可以是例如作为后处理滤波器而被提供的高斯滤波器或面部超分辨率(fsr)方案。然而，优选在热图像上，即在裁剪步骤之前，提供热面部恢复(tfr)预处理滤波器。

14、本发明允许在包含数百万个图像的大规模面部图像上训练模型。该数据集由包括低分辨率图像、锐利图像和被遮挡图像的广泛不同条件的集合来扩充。

15、特征点的质量影响面部对准和面部识别的质量。在这种上下文中，特征点是所有面部共享的并且具有特定生物学意义的点。

16、本发明包括具有权利要求1的特征的热面部和特征点检测方法。在该方法内，优选地将对象检测器应用于检测面部。优选地，对象检测器和特征点检测器后面的模型基于yolo，尤其是yolov5，其中面部和特征点分别被认为是纹理区域的边界区域和中心，而不是框检测或特定点。

17、在权利要求4中公开了一种用于创建热面部图像集合的特征点数据库作为基础真实值参考数据库的方法。可见图像面部特征点可以表示面部的显著区域，尤其是从包括眼睛、眉毛、鼻子、嘴和下颌线的群组中选取的区域。为了区分眼睛或眉毛的左版本和右版本，使用鼻子的可见图像面部特征点的竖直对称轴。

18、提取可见图像面部特征点可以基于dlib，但是也可以使用其他多特征点包括集合。

19、可见图像的热图像——热图像对可以被扩充，特别是通过引入4个圆形遮挡、4个矩形遮挡、低分辨率降级和fsr增强的集合来扩充，以增强该方法的鲁棒性。

20、一种热面部识别方法可以包括根据权利要求4至8中任一项的基础真实值参考数据库的初始离线创建步骤以及根据权利要求1至3中任一项的后续实时在线面部识别步骤。

21、最终，根据权利要求4至9中任一项的特征点基础真实值参考数据库可以用于注释没有参考数据的热面部数据库。

22、在从属权利要求中规定了本发明的进一步实施例。