基于改進主動表觀模型算法的人臉特征定位

黃 飛，譚守標

HUANG Fei,TAN Shoubiao

安徽大學 電子信息工程學院，合肥230601

College of Electrical and Information Engineering,Anhui University,Hefei 230601,China

1 引言

人臉特征點定位[1-3]一直就是人臉圖像處理中至關重要的部分。主動表觀模型（AAM）是人臉特征點提取領域的經典算法之一。AAM 算法最早由F T Cootes等人于1998 年提出[4]，AAM 擬合是一個非線性優化問題，難以快速有效地求解。直到卡納基梅隆大學的Sion Baker等人提出了反向組合算法[5]，它有效地減小了迭代過程中的計算量，大大提高了AAM 算法的擬合速度。

AAM 算法的擬合效率與模型的初始位置有著密切的關系，初始參數的好壞會直接影響AAM 算法的實際應用。初始位置參數包括坐標平移、縮放、旋轉和深度旋轉以及內部特征點的形狀參數。基于Adaboost 的人臉檢測方法自從被提出，就廣泛應用于AAM 算法的初始位置確定[6-7]，但是這種方法只能提供大致的位置，初始形狀參數的估計并沒有達到最優。

本文將局部紋理模型應用到AAM 初始形狀參數的優化，充分利用局部紋理模型對單個特征點定位的快速精確性[4]，同時使用全局紋理信息加以約束，并在形狀參數最優化的基礎上對AAM 匹配模板進行升級。在得到最優化的初始參數和升級的匹配模板后，利用反向組合AAM 算法做最終的特征點定位。

2 初始形狀參數的最優化

本文在基于Adaboost算法人臉檢測[8-9]的基礎上，將特征點局部紋理模型和AAM 全局紋理約束應用到初始形狀參數的優化，保證AAM 算法在匹配時有最優的初始形狀參數以提高AAM 算法的匹配精度。

2.1 局部紋理模型簡介

局部紋理模型是在ASM（Active Shape Models）算法[10-11]中提出來的針對每個特征點建立的一種模型。模型訓練時以特征點為中心，在法線方向上取一定范圍內的像素點組成該特征點的局部特征向量，那么對于N個樣本就由N個這樣的局部特征向量。對這些特征向量進行歸一化，并計算該特征點的平均特征向量及協方差矩陣。在匹配過程中，采取當前關鍵點的局部特征向量，利用訓練得到的平均特征向量和協方差矩陣計算特征點的最佳位置。局部紋理模型對特征點定位時具有速度快，低噪聲情況下精度高的優點，但在噪聲較大的情況下，局部紋理模型定位時容易陷入局部極小。

2.2 局部紋理模型收斂和全局紋理模型收斂法則分析

局部紋理模型是針對ASM 算法提出來的，在一次迭代過程中，對于初始形狀sinit，對每個特征點做局部紋理模型處理，得到的一個目標形狀sinit+ds，目的就是保持初始形狀sinit形變程度不過分的情況下盡量接近sinit+ds；先對sinit進行剛體變換，將sinit向sinit+ds對齊，可以計算到平移量dxc，縮放量dz，旋轉角度dθ[4]。但是這實際上還是剛體變換，得到的還是初始平均形狀。理論上應該對開始的初始形狀做一個形狀變化：

其中是平均形狀，P是特征矩陣，b是形狀參數。在新形狀的基礎上再去做剛性變換。利用公式（1）求得形狀參數b：

在計算到形狀參數b后確定新的形狀并作為下一次迭代的初始形狀，整個迭代過程的收斂條件是：

其中i為迭代次數，ξ為設定的閾值。

這種方法一定會收斂，這是由算法的收斂函數決定，但是很明顯的缺點是收斂函數過于簡單，而且從本質上說收斂只是針對形狀參數而言，并且形狀參數收斂并不等同于對應的形狀也收斂，原因是紋理信息利用得太少，這是ASM 算法的主要缺點。AAM 算法正是為了克服這個缺點提出來的，AAM 算法利用的當前形狀中的所有紋理信息，并利用這些信息來更新形狀參[5]。AAM 算法的收斂法則是：

局部紋理模型對單個特征點定位比較準確，但可能由于噪聲陷入局部極小值，AAM 對于整體形狀有很好的定位效果，但對每個特征點定位精度不夠。

2.3 局部紋理模型應用于AAM 初始參數優化

由于局部紋理模型只是利用了關鍵點法線方向上的紋理信息[12]，在搜索過程中易受噪聲影響而陷入局部極小問題。對于當前形狀s，對每個特征點進行局部紋理模型匹配之后形狀變為s+ds，其中ds=(dX1,dX2,…，dXn)。顯然，經過局部紋理模型處理后特征點之間的整體形狀約束消失了，每個特征點都是獨立的，要將局部紋理模型應用到AAM 初始形狀參數優化去，首先要解決局部紋理模型可能帶來的局部極小問題。通過2.2 節分析可知，局部極小問題的發生主要是由于特征點之間的約束被削弱，錯誤的特征點在剛性變換的時候強制將整體形狀拉偏而導致的，AAM 全局紋理模型能有效地加強特征點之間的形狀約束關系，AAM 算法在匹配過程中始終使用全局紋理差來作為參數更新的動力：

其中H是Hessian 矩陣，SDk(x) 是最快下降圖，ΔA(x)是全局紋理差。結合局部紋理模型對單個特征點定位的精確性和全局紋理模型對整體形狀的約束來抑制局部極小情況的發生。

為了將局部紋理模型和AAM 全局紋理約束有效結合起來，需要將經局部紋理模型處理過的形狀投影到AAM 形狀模型坐標系中。

設初始形狀為平均形狀s0，Adaboost 算法確定的相似變換參數為q，則當前形狀為：

其中N(…;q) 是整體相似變換，W(…;p) 是形狀變化。對每個特征點進行局部紋理模型搜索，得到變形的形狀s+ds，將s+ds投影到AAM 形狀模型坐標系中，目標函數為：

該過程與ASM 匹配過程相同，是一個反復迭代的過程，求出參數增Δp,Δq，更新參數p←p+Δp,q←q+Δq，此時s+ds已成功投影到AAM 形狀模型坐標系中。s+ds在AAM 形狀模型坐標系中的近似表達式為：

其中s0是AAM 形狀模型的平均形狀，si是形狀模型的特征向量。

解決了變形后的形狀向AAM 形狀模型坐標投影的問題，下面說明如何將局部紋理模型應用到AAM 初始形狀參數的估計中：

（1）采用Adaboost算法確定初始形狀sinit=+Pb，并提取當前紋理A(x)，計算與AAM平均紋理的差ΔAinit(x)。

（2）對sinit用局部紋理模型進行搜索，得到變形形狀sinit+ds，將sinit+ds利用公式（6）（7）投影到AAM 形狀模型中，確定參數p，q。利用公式（5）計算新的形狀，并在新形狀下提取紋理差ΔA(x)。若‖ΔA(x) ‖＜‖ ΔAinit(x) ‖則接受此次局部紋理模型更新的參數，否則認為參數已經達到最優并退出。

（3）計算參數增量：

其中H是AAM 模型平局紋理模型的Hessian 矩陣，SDk是相應的最快下降圖像。更新參數并計算最新形狀s，將sinit←s，ΔAinit(x)←ΔA(x)，重復步驟（2），（3）直至收斂。這里收斂的準則是紋理差ΔA(x)不再減小，在每次迭代過程中通過局部紋理得到一個局部收斂的變形的形狀，再通過全局紋理模型將變形后的形狀投影到訓練的形狀模型之下，所以最終的初始形狀優化過程是全局收斂的。這個初始參數優化的過程一定是收斂的，在迭代的過程中最壞的情況是平均形狀對應的紋理差最小，只要紋理差在減小就一定會收斂于一個形狀參數向量，原理類似于AAM 迭代收斂，如果是在迭代過程中陷入了局部極小收斂，就直接采用平均形狀作為初始形狀。

上述過程將局部紋理模型和AAM 全局紋理約束有效結合到一起，利用局部紋理模型對形狀參數做優化，從而在整體上使得初始參數的估計達到最優。

由于本文算法提出了參數優化的過程，會在時間效率上比AAM 算法要低。原始AAM 算法在使用Adaboost算法確定初始形狀之后直接利用紋理差來迭代更新參數直到收斂。現在要在Adaboost 確定初始形狀之后做一個優化過程，增加的時間體現在局部紋理模型匹配和利用紋理差更新參數的過程。

3 AAM 匹配模板的改進

3.1 AAM 匹配模板改進的原理

AAM 算法的擬合過程采用的是基于反向組合算法的L-K 算法[13-14]，L-K 算法的目標函數為：

其中W(x;p)是仿射變換，T(x)是固定的匹配模板。從式（9）可知，L-K 算法要求待匹配圖像和模板之間只有大小、位置和扭曲的差異[13]，而基于反向組合算法的AAM 擬合過程中，假設待匹配圖像平均形狀下的真實紋理信息為Aface(x)，那么最精確的匹配模板T(x)應該滿足（10）、（11）兩式：

即最終的紋理參數使得匹配模板和待匹配圖像在紋理細節上差異最小。

但是由于紋理模型參數λ在每次迭代過程中都要更新，這就導致模板的梯度，Hessian 矩陣，最快下降圖像都需要重新計算，這樣會帶來巨大的計算量，降低了算法的時間效率。故反向組合AAM 算法采用張量空間投影的方法[15]，將匹配模板固定為平均紋理向量A0(x)，這樣就可以在匹配之前，提前計算必要的參數量，從而大大提高了時間效率。

由公式（10）可知，如果在匹配前對紋理參數做一個初始值λ0的估計，使得模板的在紋理細節上與待匹配圖像更加接近，那么在匹配過程中會提高最終的特征點匹配精度。分析反向組合AAM 算法的匹配過程可知，紋理信息提取的準確與否與形狀的精確定位成正比關系。所以，利用上一章中對初始形狀參數最優估計的結果，在待匹配圖像上提取紋理信息并投影到AAM 紋理模型坐標下，即更新后的匹配模板為：

因為初始形狀的位置要比平均形狀好，所以升級后的模板比平均紋理模板在紋理細節上更接近待匹配圖像。

3.2 AAM 匹配模板改進的流程

針對上述問題，本文在初始形狀參數最優化的基礎上對AAM 匹配模板進行升級改進。在2.3 節介紹方法的基礎上，確定最優化的初始形狀參數p0，q0，利用公式（5）可以確定形狀s，從當前形狀s中提取紋理信息并仿射到平均形狀s0中，得到紋理向量A(x)，將該紋理向量投影到AAM 紋理模型中，計算對應的紋理參數：

根據初始紋理參數計算新的紋理模板：

Hessian 矩陣的計算公式如下：

改進前的模板為平均紋理模板，改進后的模板包含了待匹配圖像紋理的細節信息，這樣更符合L-K 的算法要求。

4 算法的整體流程

綜合前面兩章的內容，現將本文改進算法的整體流程描述如下：

（1）采用Adaboost 算法確定AAM 形狀模型的初始位置，計算并記錄當前形狀下的紋理差ΔA(x)。

（2）對當前形狀應用局部紋理形狀并用AAM 全局紋理進行約束，利用公式（8）、（5）對形狀參數進行更新，計算新形狀，計算紋理差，迭代此過程直到紋理差ΔA(x)不再減小，如果在迭代過程中始終是平均紋理差最小，那么就以平均形狀作為初始形狀。

（3）在得到最優化的形狀參數p，q，根據公式（15）～（17）來計算新的匹配模板以及相關量。

（4）在優化的形狀參數和更新后的紋理模板下，采用反向組合算法AAM 做最后的人臉特征定位。

5 實驗結果

實驗選用IMM 人臉數據庫，該數據庫有40 人6 個不同的角度的樣本圖像，每幅圖像標定58 個特征點。本文采用120 幅圖像作為訓練樣本集，其余的圖像用于測試。

實驗主要對反向組合AAM 算法和本文改進的算法以及現有改進的PAAM[16]算法在特征點定位精度上和時間效率上做出比較。實驗采用經過算法定位的特征點坐標和樣本手動標定的特征點坐標的差值作為誤差標準，誤差計算函數為：

其中N是每個樣本的特征點數目，(xi，yi)是算法定位的特征點坐標，(xi0，yi0)是手動標定的特征點坐標。為了對三種算法有更直觀的比較，進一步計算本文算法相對其余兩種算法的整體匹配精度：

其中EAAM代表傳統反向AAM算法或是PAAM算法的平均誤差，E′AAM代表本文算法的平均誤差。實驗記錄了三種算法對IMM 人臉庫中測試圖片的特征點定位誤差和時間效率，并做出三種算法的時間效率分布和誤差值分布（正面、左側、右側）的散點圖。記錄如圖1～圖4所示。

圖1 三種算法的時間效率比較散點圖

圖2 三種算法的正面人臉誤差比較散點圖

圖3 三種算法的左側45°誤差比較散點圖

圖4 三種算法的右側45°誤差比較散點圖

圖1 為三種算法的時間效率比較（單位為秒），圖2、3、4 為不同噪聲下三種算法的定位誤差比較圖（單位為像素），對于圖1 中的第3 和第16 幅檢測圖是擬合失敗的結果，擬合失敗如圖5 所示。

圖5 本文算法擬合失敗的圖例

從測試樣本中選取8 幅圖像的實驗數據記錄特征定位誤差得到表1 以及時間效率比較得到表2。

表1 三種算法特征定位誤差比較

表2 三種算法時間效率比較s

從表1 計算三種算法的平均誤差依次為，AAM：8.45，PAAM：6.30，本文算法：5.04。

從表2 計算三種算法的平均時間依次為，AAM：11.71，PAAM：11.32，本文算法：14.07。從實驗數據可知，改進后的算法在特征點定位精度上要比傳統反向組合AAM 算法高出約40%左右，比改進的PAAM 算法高出約20%左右，在時間效率上，改進的算法比反向組合AAM 算法降低約20%。實驗還記錄了反向組合算法、PAAM 算法和本文算法對四張同一個人不同角度和表情的人臉擬合圖（如圖6 所示）以及四個不同人的人臉擬合的結果（如圖7 所示）。

圖6 三種算法人臉擬合結果

圖7 不同人的三種算法人臉擬合結果

實驗部分的最后為了充分比較本算法和其他的結合ASM 和AAM 的算法，本文選取的最新的算法文獻[17]所示。通過分析，該算法是在擬合的前部分時間使用ASM 算，在擬合的后部分使用AAM 算法那，與該算法比較，本文算法的除了有效地融合ASM 和AAM 算法之外還再此基礎上對匹配模板進行了升級。比較該文獻最終的實驗結果[17]，該算法比AAM 算法誤差減小4%，本文算法比AAM 算法誤差減小20%。

6 結束語

本文在深入分析AAM 算法的基礎上，提出了將局部紋理模型應用于AAM 初始參數的最優化。在分析L-K 算法的基礎上，提出了對AAM 匹配模板進行升級的改進。本文將二者有效結合起來，從理論和實驗結果可以證明，改進后的算法在人臉特征點定位精度上有很大提高。但由于局部紋理模型的加入，使得改進算法在時間效率上比反向AAM 算法低，今后的工作可以考慮如何在保證高時間效率的同時也保證高定位精度；另外，不同角度的多模板AAM 算法也是下一步重點的研究內容。

[1] 陳章樂，蔡茂國，劉凡秀.一種結合膚色及類人臉特征的人臉檢測[J].計算機工程與應用，2013，49（3）：194-197.

[2] Wang C Y，Qu M J，Bi H Z，et al.Facial feature detection algorithm based on main characteristics of eyes[J].Applied Mechanics and Materials，2013，303：1402-1405.

[3] Fan B，Yang X，Zhou X，et al.A coarse to fine facial key landmark points locating algorithm based on Active Shape Model[C]//Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology-Volume 03.IEEE Computer Society，2012：39-43.

[4] Edwards G J，Taylor C J，Cootes T F.Interpreting face images using active appearance models[C]//Third IEEE International Conference on Automatic Face and Gesture Recognition.IEEE，1998：300-305.

[5] Iain M，Simon B.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[6] Ma S，Du T.Improved Adaboost Face Detection[C]//2010 International Conference on Measuring Technology and Mechatronics Automation（ICMTMA）.IEEE，2010，2：434-437.

[7] Suo C G，Zhang W B，Sun G.Face gabor feature selection based on Adaboost[J].Advanced Materials Research，2013，694：1906-1909.

[8] Qian X，Yan Tang Y，Yan Z，et al.ISABoost：A weak classifier inner structure adjusting based adaboost algorithm—ISABoost based application in scene categorization[J].Neurocomputing，2012，103：104-113.

[9] 黃興，王小濤，陸麗華.一種快速高效的人臉檢測方法[J].計算機工程與應用，2013，49（3）：198-201.

[10] Cootes T F，Taylor C J，Cooper D H，et al.Active shape models-their training and application[J].Computer Vision and Image Understanding，1995，61（1）：38-59.

[11] Wu J，Mei L.A face recognition algorithm based on ASM and Gabor features of key points[C]//2012 International Conference on Graphic and Image Processing.International Society for Optics and Photonics，2013.

[12] Elshoura S M，Megherbi D B.Secure high capacity fullgray-scale-level multi-image information hiding and secret image authentication scheme via Tchebichef moments [J].Signal Processing：Image Communication，2013，28（5）：531-552.

[13] Baker S，Matthews I.Lucas-kanade 20 years on：A unifying framework[J].International Journal of Computer Vision，2004，56（3）：221-255.

[14] Antink C H，Singh T，Singla P，et al.Advanced Lucas Kanada optical flow for deformable image registration[J].Journal of Critical Care，2012，27（3）.

[15] 張培，吳亞鋒.AAM 反向合成匹配算法及其性能分析[J].計算機工程與應用，2007，43（18）：47-50.

[16] Kim D，Kim J，Cho S，et al.Progressive AAM based robust face alignment[C]//Proc of World Academy of Science，Engineering and Technology，2007，21：488-492.

[17] 王智.基于AAM 和ASM 的面部特征點提取研究[J].電子設計工程，2013，21（10）：169-170.