人体识别智能监控系统

 

 

 

 

 

上传时间： 2003-12-12 20:53:06 作者： 吴瑜
浅析人脸识别技术

摘要：在我们的项目人体识别智能监控系统中，虽然预期目标只需实现人体的检测的定位。但是，最终目的是要根据所定位的人体进行人脸识别。这样不但增强了系统的抗干扰性，提高了正确预警率，还增强了系统的实用性。本文总结了近年来的人脸识别技术的发展情况，分析其实现途径和技术难点。

关键词：人脸识别，定位，检测

人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。人脸识别的过程可以分为以下三个部分：
1、人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置，大小；
2、面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信息；
3、人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的身份信息；
从应用的角度，人脸识别包括两大类：
1、人脸身份识别：即根据人脸图像识别出人物的身份，解决是谁的问题；
2、人脸身份确认/验证：判断图像中的人脸是否是指定的人，即解决是不是某人的问题；
人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用；在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。
下面我就对以上技术作详细的介绍。

　1、人脸检测与跟踪技术

　　显然，要识别图像中出现的人脸，首要的一点就是要找到人脸。人脸检测与跟踪研究的就是如何从静态图片或者视频序列中找出人脸，如果存在人脸，则输出人脸的数目、每个人脸的位置及其大小。人脸跟踪就是要在检测到人脸的基础上，在后续的人脸图像中继续捕获人脸的位置及其大小等性质。人脸检测是人脸身份识别的前期工作。同时，人脸检测作为完整的单独功能模块，在智能视频监控、视频检索和视频内容组织等方面有直接的应用。
　　一种可实现的在复杂背景下的人脸检测与跟踪系统，可采用模板匹配、特征子脸、彩色信息等人脸检测技术，能够检测平面内旋转的人脸，并可以跟踪任意姿态的运动的人脸。该技术简述如下:它是一个两级结构的算法，对于扫描窗口，首先和人脸模板进行匹配，如果匹配，那么将其投影到人脸子空间，由特征子脸技术判断是否为人脸。模板匹配的方法是：按照人脸特征，将人脸图像划分成14个不同区域，用每个区域的灰度统计值表示该区域，用整个样本的灰度平均值归一化，从而得到用特征向量表示的人脸模板。通过非监督学习的方法对训练样本聚类，得到参考模板族。将测试图像的模板与参考模板在某种距离测度下匹配，通过阈值判断匹配程度。特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中张成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。
　　除此，根据国际上最新的研究成果，一种基于AdaBoost的实时人脸检测方法其检测速度可以达到平均15帧/秒（图像大小是384x288）。而且他还可以很容易的扩展到多姿态人脸检测上去。

　2、面部关键特征定位及人脸2D形状检测技术

　　在人脸检测的基础上，面部关键特征检测试图检测人脸上的主要的面部特征点的位置和眼睛和嘴巴等主要器官的形状信息。灰度积分投影曲线分析、模板匹配、可变形模板、Hough变换、Snake算子、基于Gabor小波变换的弹性图匹配技术、主动性状模型和主动外观模型是常用的方法。
　　可变形模板的主要思想是根据待检测人脸特征的先验的形状信息，定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特征形状。由于可变形模板要采用优化算法在参数空间内进行能量函数极小化，因此算法的主要缺点在于两点：一、对参数初值的依赖程度高，很容易陷入局部最小；二、计算时间长。针对这两方面的问题，可采用了一种由粗到细的检测算法：首先利用人脸器官构造的先验知识、面部图像灰度分布的峰谷和频率特性粗略检测出眼睛、鼻子、嘴、下巴的大致区域和一些关键的特征点；然后在此基础上，给出了较好的模板的初始参数，从而可以大幅提高算法的速度和精度。
　　眼睛是面部最重要的特征，它们的精确定位是识别的关键。文献[34]提出了一种基于区域增长的眼睛定位技术，该技术在人脸检测的基础上，充分利用了眼睛是面部区域内脸部中心的左上方和右上方的灰度谷区这一特性，可以精确快速的定位两个眼睛瞳孔中心位置。该算法采用了基于区域增长的搜索策略，在人脸定位算法给出的大致人脸框架中，估计鼻子的初始位置，然后定义两个初始搜索矩形，分别向左右两眼所处的大致位置生长。该算法根据人眼灰度明显低于面部灰度的特点，利用搜索矩形找到眼部的边缘，最后定位到瞳孔的中心。
　　主动形状模型（ASM）和主动外观模型（AAM）是近年来流行的一般对象形状提取算法，其核心思想是在某种局部点模型匹配的基础上，利用统计模型对待识别的人脸的形状进行约束，从而转化为一个优化的问题，并期望最终收敛到实际的人脸形状上去。我们对ASM和AAM进行了跟踪研究，发现了ASM的一些缺点，在局部模型和局部特征约束方面作了一些改进，同时，注意到ASM速度快，精度较低，而AAM复杂度高、速度慢的缺点，可建立了二者的融合模型。

　3、人脸确认与识别技术

　　主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点，现在　　　　Eigenface算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET'96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。
　　近年来，国内学者在对特征脸技术进行认真研究的基础上，尝试了基于特征脸特征提取方法和各种后端分类器相结合的方法，并提出了各种各样的改进版本或扩展算法，主要的研究内容包括线性/非线性判别分析(LDA/KDA)、Bayesian概率模型、支持矢量机（SVM）、人工神经网络(NN)以及类内和类间双子空间(inter/intra-class dual subspace)分析方法等等。
　　针对Eigenface算法的缺点，也提出了特定人脸子空间(FSS)算法。该技术来源于但在本质上区别于传统的"特征脸"人脸识别方法："特征脸"方法中所有人共有一个人脸子空间，而该方法则为每一个体人脸建立一个该个体对象所私有的人脸子空间，从而不但能够更好的描述不同个体人脸之间的差异性，而且最大可能地摈弃了对识别不利的类内差异性和噪声，因而比传统的"特征脸算法"具有更好的判别能力。另外，针对每个待识别个体只有单一训练样本的人脸识别问题，提出了一种基于单一样本生成多个训练样本的技术，从而使得需要多个训练样本的个体人脸子空间方法可以适用于单训练样本人脸识别问题。
　　弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，实现复杂。

　4、 人脸识别关键问题研究

　　a) 人脸识别中的光照问题

　　光照变化是影响人脸识别性能的最关键因素，对该问题的解决程度关系着人脸识别实用化进程的成败。在对其进行系统分析的基础上，可考虑对其进行量化，其中包括对光照强度和方向的量化、对人脸反射属性的量化、面部阴影和照度分析等等。在此基础上，考虑建立描述这些因素的数学模型，以便利用这些光照模型，在人脸图像预处理或者归一化阶段尽可能的补偿乃至消除其对识别性能的影响。重点研究如何在从人脸图像中将固有的人脸属性（反射率属性、3D表面形状属性）和光源、遮挡及高光等非人脸固有属性分离开来。具体考虑两种不同的解决思路：
　　　1、 利用光照模式参数空间估计光照模式，然后进行针对性的光照补偿，以便消除非均匀正面光照造成的阴影、高光等影响；
　　　2、 基于光照子空间模型的任意光照图像生成算法，用于生成多个不同光照条件的训练样本，然后利用具有良好的学习能力的人脸识别算法，如子空间法，SVM等方法进行识别.

　　b) 人脸识别中的姿态问题研究

　　姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。使得姿态问题成为人脸识别的一个技术难题。解决姿态问题有三种思路： 第一种思路是学习并记忆多种姿态特征，这对于多姿态人脸数据可以容易获取的情况比较实用，其优点是算法与正面人脸识别统一，不需要额外的技术支持，其缺点是存储需求大，姿态泛化能力不能确定，不能用于基于单张照片的人脸识别算法中等。第二种思路是基于单张视图生成多角度视图，可以在只能获取用户单张照片的情况下合成该用户的多个学习样本，可以解决训练样本较少的情况下的多姿态人脸识别问题，从而改善识别性能。第三种思路是基于姿态不变特征的方法，即寻求那些不随姿态的变化而变化的特征。
　　因此，基于单姿态视图的多姿态视图生成算法将是需要研究的核心算法，其基本思路是采用机器学习算法学习姿态的2D变化模式，并将一般人脸的3D模型作为先验知识，补偿2D姿态变换中不可见的部分，并将其应用到新的输入图像上去。

参考文献：
[1] Jun Miao，Hong Liu，Wen Gao，Hongming Zhang, Gang Deng，Xilin Chen, A System for Human Face and Facial Feature Localization, International Journal of Image and Graphics, Special Issue on Biometrics (Accepted)
[2] Wei Wang, Shiguang Shan, Wen Gao, Bo Cao. An Improved Active Shape Model For Face Alignment, The fourth International Conference on Multi-modal Interface, IEEE ICMI’2002, Pittsburgh, USA ,pp523-528, pp14-16, Oct. 2002

[3] Wen Gao, Shiguang Shan, Face Verification for Access Control, Chapter 13 of the book “Biometrics Solutions for Authentication in an E-World”, Kluwer Academic Publisher, 2002.”

[4] Shiguang Shan, Bo Cao, Wen Gao, Debin Zhao, Extended Fisherface For Face Recognition From A Single Example Image Per Person, IEEE International Symposium on Circuits and Systems, 2002 (IEEE ISCAS2002)，Vol.2, pp81-84, 2002

[5] Shiguang Shan, Wen Gao, Debin Zhao, Face Identification From A Single Example Image Based On Face-Specific Subspace (FSS), IEEE ICASSP2002

[6] Hong Liu, Wen Gao, Jun Miao, Jintao Li. A Novel Method to Compensate Variety of Illumination in Face Detection, Proc. 6th Joint Conference on Information Sciences (ICCVPRIP), pp692-695, North Carolina, March 8-13, 2002

[7] Guoqin Cui, Wen Gao, Feng Jiao, Shiguang Shan. Face Recognition Based on Support Vector Method. ACCV2002: The 5th Asian Conference on Computer Vision, Melbourne, Australia. pp.807-812,23--25 January 2002.

[8] Feng Jiao, Wen Gao, Guoqin Cui. A Face Recognition method based on Local Feature Analysis. ACCV2002: The 5th Asian Conference on Computer Vision, Melbourne, Australia. pp.188-192. 23--25 January 2002,

[9] Shiguang Shan, Wen Gao, Yan Lu, Bo Cao, Xilin Chen Debin Zhao. Unified Framework For Classifying Facial Images Based On Facial Attribute-Specific Subspaces And Minimum Reconstruction Error. ACCV’2002,pp858-863, Austrilia. Jan22-25,2002.

[10] Bo cao, Shiguang Shan, Wen Gao, Debin Zhao. Locizing the iris center by region growing search. IEEE International Conference on Multimedia and Expo, 2002. (accepted)

[11] 张洪明，赵德斌，高文. 基于肤色模型、神经网络和人脸结构模型的平面旋转人脸检测，计算机学报 （已录用）

[12] 柴秀娟，姚鸿勋，高文，王瑞. 唇读识别中的基本口型分类，计算机科学， 第29卷第2期 pp.130-133,2002年2月

[13] 苗军，高文，陈益强. 一种特定尺度边缘的提取方法 第7届计算机科学与技术研究生学术讨论会论文集 2002年6月

[14] 邓刚, 曹波, 苗军, 高文, 赵德斌, 基于支持向量机眼动模型的活性判别算法, 第七届计算机科学与技术研究生学术讨论会，广元，2002

[15] Hongxun Yao, Wen Gao. Face Detection and Location Based on Skin Chrominance and Lip Chrominance Transform from Color Images，PATTERN RECOGNITION, Vol.34, No.8, 2001,pp.1555-1564. SCI(#443MA, 2001.8)

[16] Shiguang Shan, Wen Gao, Xilin Chen, Bo Cao, Wenbin Zeng, A Face-Unlock Screen Saver by Using Face Verification Based on Identity-Specific Subspaces, Lecture Notes in Computer Science 2195, New York: Springer-Verlag, pp.1096-1101, in Proc of PCM’2001, Beijing, China, Oct. 2001

[17] Pin Liao ,Wen Gao, Li Shen, XilinChen, Shiguang Shan,Wenbing Zeng, Classification of Facial Images using Gaussian Mixture. Lecture Notes in Computer Science 2195, New York: Springer-Verlag, pp.724-731, in Proc of PCM’2001, Beijing, China, Oct. 2001

[18] Hong Liu, Wen Gao, Jun Miao, Jintao Li, et al., Illumination Compensation and Feedback of Illumination Feature in Face Detection. Proc.International Conferences on Information-technology and Information-net, Beijing, Vol. III, 444-449, 2001.

[19] Feng Jiao, Lijuan, Wen Gao, Guoqin Cui. Detecting. Adult Image Using Multiple Features，ICII 2001: International Conferences on Info-tech & Info-net Oct. 2001(B-024), Beijing,China

[20] Jun Miao, Wen Gao, C. Ma and Yiqiang Chen, Image Scale-Smoothing, Scale-Differentiating and Binarizing: A New Frame for General-Scale-Edge (GSE) Extraction. Proc. IEEE International Conference on System, Man and Cybernetics, Tucson, pp.2005-2010,Oct. 2001.

[21] Jun Miao, Hongming Zhang, Wen Gao, et al., FaceTracker: A Human Face Tracking and Facial Organ Localizing System, the Proc. of the 8th International Conference on Computer Vision, Cananda July.2001 pp.743-743,

[22] 刘宏, 李锦涛, 苗军. 多方法融合来解决人脸检测中的光照补偿. 系统仿真学报增刊, Vol.13 Suppl, pp. 486-489, 2001.11

[23] 山世光，高文，陈熙霖 基于纹理分布和变形模板的面部特征提取，软件学报, 2001.4 Vol.12, No.4, pp570-577.

[24] 姚鸿勋，高文等. 视觉语言——唇读综述, 电子学报，2001年 29(2): 239-246。

[25] Hongming Zhang, Debin Zhao, Wen Gao, Xilin Chen. Combining Skin Color and Neural Network for Rotation Invariant Face Detection, ICMI’2000, Beijing, October 14-16, 2000, Lecture Notes in Computer Science 1948, pp237-244 [SCI]

[26] Jun Miao, Wen Gao, Yiqing Chen, Jie Lu. Gravity-Center Template Based Human Face Feature Detection, ICMI’2000, Beijing, October 14-16, 2000, Lecture Notes in Computer Science 1948, pp207-214 [SCI]

[27] Hongxun Yao, Wen Gao, Liu Mingbao, Zhao Lizhuang. Eigen Features Technique and its Application,ICSP2000, Beijing, August 21-25, 2000, pp1153-1158 [EI]

[28] Shiguan Shan, Wen Gao et al Individual 3D Face synthesis based on orthogonal photos and speech-driven facial animation, ICIP2000, September 10 - 13, 2000. The Vancouver Trade and Convention Center.Vancouver, BC, Canada, pp1172-1177 [EI

[29] Hongxun Yao, Wen Gao. Face Locating and Tracking Method Based on Chromatic Transform in Color Images.ICSP’2000, 1367-1371 [EI]

[30] Shiguang Shan Wen Gao. Novel Face Recognition Based on Individual Eigen-subspaces ICSP’2000, pp1522-1525 [EI]

[31] Jun Miao Wen Gao. A New Approach to Edge Extraction by Image Decomposition and Restoration ICSP’2000, pp1037-1040 [EI]

[32] Wen Gao, Jiyong Ma, Rui Wang, Hongxun Yao. Towards Robust Lipreading, International Conference on Spoken Language Processing, Beijing, Oct 2000, Vol.III, pp15-19.

[33] Rui Wang, Wen Gao, Jiyong Ma. An Approach to Robust and Fast Locating Lip Motion, ICMI’2000, Beijing, October 14-16, 2000, Lecture Notes in Computer Science 1948, pp332-339 [SCI]

[34] 姚鸿勋,高文,李静梅,吕亚娟,王瑞. “用于口型识别的实时唇定位方法”, 软件学报，Vol.11, No.8, pp.1126-1132.2000 [EI]

[35] 姚鸿勋,高文.基于彩色图像的色系坐标变换的面部定位与跟踪法,计算机学报．Vol.23 No.2 pp.179-185, 2000

[36] 姚鸿勋 刘明宝 高文 范旭彤 张洪明 吕雅娟，“基于彩色图象的色系坐标变换的面部定位与跟踪方法”，计算机学报，Vol.23 No.2 pp.158-165, 2000[EI]

[37] 高秀娟，姚鸿勋，曾炜. 人体生物特征识别技术的融合，第七届联合国际计算机会议，汕头，pp.1305-1312, 2000.11.

[38] 姚鸿勋,高文,李静梅,吕亚娟,王瑞. “用于口型识别的实时唇定位方法”, 软件学报，Vol.11, No.8, pp.1126-1132.2000 [EI]

[39] 姚鸿勋，高文，王瑞，朗咸波。视觉语言—唇读综述，电子学报，2000

[40] Wen Gao, Jie Yan, Baocai Yin, Yibo Song, “An Individual Face Image Synthesis System for Virtual Human”, In Proceeding of the Second International Conference on Multimodal Interface, pp.II-20-25, 1999

[41] Wen Gao, Hongxun Yao, “The method of Principal Component Analysis on Human Face Recognition System”, In Proceeding of the Second International Conference on Multimodal Interface, pp.IV-91-95, 1999

[42] YAO Hongxun, GAO Wen, SHAN Shiguang. Human Face Recognition System Based on KLT, 哈尔滨工业大学学报(英文版), 1999, 6(4):46-50.

[43] Hongxun Yao, Rui Wang, Wen Gao. Method of deformable optimum threshold for lipreading. In Proceeding of Fourth International Conference on Signal Processing(ICSP’98), vol. I&II, pp.912-915, 1998[EI][ISTP]

[44] Rui Wang, Hongxun Yao, Wen Gao. Recognition of sequence lip image and its application. In Proceeding of Fourth International Conference on Signal Processing(ICSP’98), vol. I&II, pp.849-854, 1998[EI][ISTP]

[45] 刘明宝, 姚鸿勋, 高文, “彩色图像的人脸实时跟踪方法”, 计算机学报, Vol.21, No.6, pp.527-532, 1998[EI]