一 、人臉檢測/跟蹤

人臉檢測/跟蹤的目的是在圖像/視頻中找到各個人臉所在的位置和大小;對于跟蹤而言,還需要確定幀間不同人臉間的對應關系。

1. Robust Real-time Object Detection. Paul Viola, Michael Jones. IJCV 2004.

入選理由:

Viola的人臉檢測工作使得人臉檢測真正變得實時可用。他們發(fā)表了一系列文章,這篇是引用率最高的一篇。

2. Fast rotation invariant multi-view face detection based on real Adaboost. Bo Wu, Haizhou Ai, Chang Huang, Shihong Lao. AFGR 2004.

人選理由:

自viola之后,有很多改進文章,這篇文章只是其中之一。之所以選擇這篇,是因為其貢獻點相對比較多:一是因為這篇文章第一次將real adaboost應用于物體檢測,二是其提出了一個比較成熟實用的多姿態(tài)人臉檢測框架,三是其提出的nest結(jié)構(gòu)對cascade結(jié)構(gòu)的改進確實有不錯的效果。

3. Tracking in Low Frame Rate Video: A Cascade Particle Filter with Discriminative Observers of Different Life Spans. Yuan Li, Haizhou Ai, Yamashita T., Shihong Lao. CVPR 2007.

入選理由:

人臉跟蹤是人臉識別中非常重要的模塊。這篇文章是比較好的將人臉檢測模型與跟蹤進行結(jié)合,將離線模型和在線模型結(jié)合的工作,而且獲得了CVPR 2007 Best Student Paper,是中國大陸學生第一次獲此殊榮。

二、人臉特征點定位

人臉特征點定位的目的是在人臉檢測/跟蹤獲取的人臉區(qū)域的基礎上,進一步,確定臉部特征點(眼睛、嘴巴中心點、眼睛、嘴巴輪廓特征點、器官輪廓特征點等)的位置。人臉特征點定位的基本思路,主要是將人臉局部器官的紋理特征和器官特征點之間的位置約束進行結(jié)合來進行處理。

4. Active Shape Models-Their Training and Application. T. F. COOTES, C. J. TAYLOR, D. H. COOPER, AND J. GRAHA. COMPUTER VISION AND IMAGE UNDERSTANDING. 1995.

入選理由:

早期的人臉特征點定位,很多工作主要集中在定位眼球中心點和嘴巴中心點等兩三個關鍵點上,但是,后來慢慢大家認為,引入更多的點,并加入相互約束會提高定位精度和穩(wěn)定性。ASM是后來被大家所follow最多的將數(shù)十個臉部特征點的紋理和位置關系約束一起考慮來進行計算的模型,COOTES的這篇文章發(fā)表于1995年,絕對是開先河之作,絕對經(jīng)典。

5. Boosted Regression Active Shape Models. David Cristinacce and Tim Cootes. BMVC, 2007.

入選理由:

ASM相關改進的文章非常多,最值得一提的當然是AAM(也是cootes最早提出)模型,除此之外還有一個非常重要的思路,就是改進原文章基于邊緣的紋理模型。個人認為,這篇文章中所給出的基于回歸方式表示紋理模型的方式比基于分類表觀模型的方法更有前途,因為是cootes的文章,自然就更應該被推薦。

6. Face Alignment by Explicit Shape Regression. Xudong Cao, Yichen Wei, Fang Wen, Jian Sun. CVPR 2012.

入選理由:

這篇文章是上述提到的ASM相關改進的另外一個方向,就是對形狀模型本身的改進。這篇文章沒有用PCA去約束形狀模型,而是基于訓練樣本的線性組合來約束形狀。而且,其在alignment的效果(LFPW測試集)上是目前看到最好的,此外,這個方法的速度非?？?。由于是MSRA孫劍組的文章,確實應該被關注更多。

三、人臉表示

人臉表示是指根據(jù)人臉特征點的位置,對人臉進行幾何校正并割取人臉區(qū)域(歸一化到固定大小)之后,得到最具有鑒別(區(qū)分)能力的特征的過程。

7. Eigenfaces for recognition. M. Turk and A. Pentland. Journal of Cognitive Neuroscience. 1991.

入選理由:

這需要理由嗎?基于PCA的特征臉是人臉識別最經(jīng)典的算法之一,雖然今天PCA在實際系統(tǒng)中更多的是用來降維,而不是用來分類,但是這么經(jīng)典的方法還是要關注的。其實,基于LDA的方法也非常經(jīng)典,不過,考慮到篇幅有限,就不再列舉了。

8. Local Gabor Binary Pattern Histogram Sequence (LGBPHS):

A Novel Non-Statistical Model for Face Representation and Recognition

入選理由:

個人認為這可能是最接近于很多成熟商用系統(tǒng)思路的文章(不等同于實際系統(tǒng)就是這樣)。在很多實際系統(tǒng)中,一個提取鑒別信息的框架就是PCA+LDA,用PDA進行降維避免LDA求解的矩陣奇異問題,然后用LDA提取更適合分類的特征;進一步,將各種原始特征(Gabor, LBP等)進行鑒別特征提取后進行決策級融合。此外,對人臉進行分塊然后ensemble融合也是非常重要的提高系統(tǒng)效果的思路。

9. Blessing of Dimensionality: High-dimensional Feature and Its Efficient Compression for Face Verification. Dong Chen. Xudong Cao. Fang Wen. Jian Sun. CVPR 2013.

入選理由:

LFW是目前最接近實際數(shù)據(jù)的人臉識別庫,雖然其測試協(xié)議有一些不盡合理的地方,但是如果能在LFW上面取得非常好的效果,說明方法還是比較好的。而這篇MSRA 孫劍組發(fā)表在CVPR2013的文章,在LFW上面取得了93%的準確率(未引入外部數(shù)據(jù)的情況下)。文章中的一個是采用精確定位點作為參考對人臉進行多尺度、多局部區(qū)域的表示思路很值得借鑒,可以和各種表示方法結(jié)合。

10,其實可以列在此處的論文非常多,有各種子空間方法的改進,有各種特征提取方法,有各種基于metric learning的方法,bunch graph(將gabor應用于人臉識別的經(jīng)典工作),稀疏表示的方法,feature learning 的方法等等。但是,我都感覺不是特別滿意。我總覺得,人臉表示方面的工作還做得遠遠不夠,應該會有框架清晰簡潔、易于實現(xiàn)、但效果絕佳的文章出現(xiàn)?，F(xiàn)在的我會傾向于認為也許deep learning是一個方向。

其實嘗試將deep learning用在人臉識別上面的工作已經(jīng)有一些,但是結(jié)果都不是很驚艷(百度的工作沒有公開結(jié)果),我列上一篇不夠好但是效果勉強接近非deep learning方法的一篇:

Deep nonlinear metric learning with independent subspace analysis for face verification. X Cai, C Wang, B Xiao, X Chen, J Zhou. MM 2012.

人臉識別在未來的一些可能方向:

1,深度學習在人臉方面的應用,目前已經(jīng)看到deep learning在人臉表示和人臉特征點定位方面的工作,相信后續(xù)會有更多更好的工作出現(xiàn);

2,大規(guī)模人臉搜索相關的應用近來開始被大家關注(比如最近百度上線的人臉搜索),這些應用中除了需要傳統(tǒng)的人臉表示,還需要關注如何能夠快速準確地在大規(guī)模人臉數(shù)據(jù)庫中搜索到相似人臉,當然這部分工作可以借鑒其他視覺搜索中的方法,但人臉可能也會有自己的特殊性;

3,基于3D模型和具有深度信息的人臉識別的方法,在允許使用特殊設備的實際應用中,可以考慮用3D模型和深度信息來提高系統(tǒng)的穩(wěn)定性;

4,在做人臉識別實際系統(tǒng)時,可以更關注姿態(tài)、遮擋、表情變化對于識別效果的影響,對于人臉光照問題,雖然之前學術界關注很多,但是對于實際數(shù)據(jù)(非實驗室采集的光照模擬數(shù)據(jù)),可能基于大規(guī)模訓練數(shù)據(jù)和feature learning就可以比較好的解決,反而是由于目前的人臉表示框架,對于大的姿態(tài)變化,遮擋以及表情變化引起的表觀改變,很多情況下表現(xiàn)并不好,可能需要重新改變目前的人臉表示方式,比如采用類似推薦論文9中的方式,采用多個局部模型而不是一個整體模型來進行表示,還可以考慮一些人臉姿態(tài)/表情矯正方法;

5,學術界的朋友,鑒于目前LFW上面已經(jīng)做到準確率95%(引入外部訓練數(shù)據(jù)且無約束訓練協(xié)議),可以考慮創(chuàng)建一個更大的人臉庫(如果能達到真正意義上的大規(guī)模數(shù)據(jù)就更贊了),設計一個更加合理全面的評測協(xié)議,這必將成為一個非常有影響力的工作;

未來智能實驗室是人工智能學家與科學院相關機構(gòu)聯(lián)合成立的人工智能,互聯(lián)網(wǎng)和腦科學交叉研究機構(gòu)。由互聯(lián)網(wǎng)進化論作者,計算機博士劉鋒與中國科學院虛擬經(jīng)濟與數(shù)據(jù)科學研究中心石勇、劉穎教授創(chuàng)建。

未來智能實驗室的主要工作包括:建立AI智能系統(tǒng)智商評測體系,開展世界人工智能智商評測;開展互聯(lián)網(wǎng)(城市)云腦研究計劃,構(gòu)建互聯(lián)網(wǎng)(城市)云腦技術和企業(yè)圖譜,為提升企業(yè),行業(yè)與城市的智能水平服務。

原文標題:人臉識別必讀的N篇文章

文章出處:【微信號:AItists,微信公眾號:人工智能學家】歡迎添加關注!文章轉(zhuǎn)載請注明出處。