基于模板的人臉點云補洞方法

孫曉斐，宋萬忠

（四川大學計算機學院，成都 610065）

基于模板的人臉點云補洞方法

孫曉斐，宋萬忠

（四川大學計算機學院，成都 610065）

為得到完整的三維人臉點云數據，首先提出一種在點云生成過程中自動提取三維人臉特征點的方法，然后根據三維特征點對人臉點云模型進行剖分變形。還對非剛體最近點迭代算法進行改進，加入以對應點拓撲結構為依據的剔除錯誤點對應點機制和優化的迭代策略，實現更快更好的配準，繼而完成點云的補洞。試驗結果表明，該方法對人臉點云孔洞填補效果較好，特別是在人眼、鼻子等復雜部位，補洞真實，優勢明顯。

三維人臉；孔洞修補；點云；非剛體最近點迭代算法；三維人臉特征點

0 引言

采用結構光三維面形測量技術獲取的原始人臉點云數據，因受人臉面形起伏產生的遮擋、局部區域反射率差異較大（眉毛、眼睛、化妝后臉部反光）等影響，會導致人臉表面某些區域無法測量，造成測量的數據不完整形成孔洞。孔洞不僅影響美觀，而且不方便紋理等后續處理，實際應用前需要自動孔洞填補。

文獻[1-2]對通用性的點云孔洞填補方法進行了介紹，文獻[3-4]介紹了針對人體點云孔洞的填補方法。泊松曲面重建[5]是一種隱函數表面重建方法，將其用于人臉點云孔洞填補時存在填補后的局部區域面形明顯失真的問題，比如重建后的眼球是凹陷的。采用曲面擬合的點云孔洞填補方法[6-8]也存在類似問題，其原因是：如需要填補的孔洞原有面形起伏較大，孔洞附近的面形不足以提供生成較為準確的孔洞填補所需信息。在三維人臉識別和三維人臉建模應用，面形較大的局部區域常對應三維人臉上的特征區域，較為準確地獲取（或恢復）其面形數據，直接影響到系統應用效果。

本文結合3D人臉點云模型和非剛體ICP配準算法[12]，提出了一種基于三維人臉模板的人臉點云自動補洞方法，主要包括3個步驟:（1）根據人臉點云模型和實際測量點云上特征點間的對應關系，對人臉點云模板進行三維縮放；（2）采用非剛體ICP策略將人臉點云模型向人臉測量點云配準；（3）將原始測量點云中孔洞區域用變形后的人臉點云模型中的點云來替換實現補洞。為實現更快和更準確的非剛體配準，本文還對錯誤對應點剔除和迭代策略進行了改進。

1 人臉點云補洞處理流程及預處理

本文提出的人臉點云補充處理流程如圖1：

（1）三維人臉特征點提取

本文采用川大智勝研制的三維人臉采集儀同時獲取人臉的三維面形和彩色紋理，該儀器基于結構光的雙目視覺原理獲取三維人臉面形，測量精度~0.1mm。同時采集的彩色人臉圖像和三維點云之間在儀器標定階段，已建立對應關系。采用人臉特征點（Landmark）檢測算法可檢測到人臉圖像上的特征點（本文使用了68個特征點）（圖2（a）），根據這些特征點的圖像坐標與點云上頂點的對應關系，得到這些特征點的三維坐標（圖2 （b））。對于一些特征點對應的三維坐標點在點云中不存在的情況，我們將這些特征點設為無效特征點。這些無效特征點不會參與后續的迭代配準。實驗中，有效的特征點點數為20~30個。? %

圖2 三維人臉特征點自動

（2）人臉點云模型的預處理

實際測量的人臉點云和用作參考的人臉點云模型之間，存在大小不一致的情況，需要進行縮放處理后使得兩者尺寸大致一致，才能進行后續的配準處理。這里以實際測量的人臉點云為準，對人臉模型進行放縮處理。

步驟1選取測量點云上特征點P1和P2（P1和P2位于人臉的左右兩側），以及它們在點云模型上的對應點P1'和P2'，縮放人臉點云模型使得D（P1，P2）=D（P1'，P2'）；其中D（P1，P2）為點P1和P2之間的歐氏距離。

步驟2選取測量點云上特征點P3（位于人臉上半部分）以及它在點云模型上的對應點P3'，放縮模型使得D（P3，O）=D（P3'，O'），其中：O為測量點云上鼻尖坐標為，O'為點云模型上鼻尖坐標。

步驟3選取測量點云上特征點P4（位于人臉下半部分）以及它在模型上的對應點P4'，放縮模型使得D （P4，O）=D（P4'，O'）。

經過上述3步后，人臉點云模型和實際測量的人臉點云大小近似匹配。

2 改進的非剛體ICP配準算法

2.1 非剛體ICP配準算法介紹

非剛體ICP配準算法可以表述為同時最小化形變能量函數以及對應點之間的距離之和[12]。設點云模型為S=（V，E），其中V為n個頂點的集合，E為邊集合，每個頂點i的坐標為vi=[xi，yi，zi]T（i=1，2，…，n），每個頂點的形變向量為Xi=[ai，bi，ci]T，則形變矩陣X=[X1，X2，…，Xn]T。點云模型S和實測點云P配準時，需要最小化的代價函數為：

使得可變模型與目標點云之間的距離該盡可能的小，函數dist（P，vi）為頂點vi與vi在目標點云上的最近點之間的距離。系數wi衡量點對的正確性，對于模型上的每個頂點vi，如果未找到目標點云上的正確對應點，則為0，否則為1；

剛性系數項

用來約束相鄰頂點的形變，使得相鄰頂點的形變保持一致；

特征點項

用來初始化和指引配準，使得配準更加準確。

為了求解上述代價函數，可將其轉換為矩陣形式，通過求解線性方程組來獲得每次迭代的最佳形變矩陣X。構造對角矩陣W=diag（w1，w2，…，wn），矩陣U=[u1，u2，…，un]T（ui為模型頂點i在目標點云上的最近點坐標）。矩陣M為節點-弧相關矩陣，該矩陣每行表示一條邊，每列代表一個頂點。對模型上所有頂點編號，模型上所有邊都是從較小編號的頂點到較大編號的頂點。如果邊r連接頂點i和頂點j，則矩陣M第r行的非零元為Mri=-1和Mrj=1。矩陣UL=[l1，l2，…，lk]T。矩陣Q 有k行（k為特征點的對數），每行僅有一個非零元β，該非零元的列坐標為L中vij的下標ij（j為非零元的行坐標）。則代價函數可轉化為的

其最小值為X=（A'A）-1A'B。

通常，非剛體ICP配準算法流程為：

步驟1輸入點云模型S和實測點云P，令j=1。

步驟2從{（α1，β1），（α2，β2），…，（αc，βc）}（αi>αi+1）中依次取出第j組參數（αj，βj），如果j>c，輸出形變后的模型點云S'，終止程序，否則，轉步驟3；

步驟3查找模型上每個頂點vi在目標點云上的最近點ri，得到（vi，ri）（i=1，2，…，n）；

步驟4對第i組點對（vi，ri）（i=1，2，…，n）執行錯誤對應點測試，如果判斷為錯誤對應點，則置0，否則置1；

步驟5求解本次迭代的最佳形變矩陣Xj；

步驟6如果||Xj-Xj-1||

2.2 改進迭代策略

非剛體ICP配準算法包含內外兩個循環。外部循環控制剛性系數，使得剛性系數由大到小遞減變化。當剛性系數較大時，點云模型近似做剛性形變，即模型和實測點云整體上對齊。當剛性系數較小時，點云模型能夠產生更局部的形變，使得模型能夠逼近實測點云的細節部分。由于本文在進行非剛體ICP配準前執行了ICP配準，完成了整體配準，所以跳過了剛性系數較大的迭代階段。之所以在這里使用ICP配準，是因為此處的ICP配準僅使用幾十個點對，而執行非剛體ICP是對所有點對執行計算，這樣可以縮短非剛體ICP執行的時間，進而縮短補洞時間。實驗中系數取值策略為：進行5次外部迭代，每次外部迭代進行10次內部迭代。剛性系數α初始化為32，β值初始化為2，每次外部迭代結束后，α與β值均減半。使用這種迭代策略減少了迭代次數，使得配準能夠在數秒內完成，而且配準結果好。

2.3 改進錯誤對應點的排除策略

對于非剛體ICP變換，當剛性系數很小時，即使只有一對對應點錯誤，也能使得模型點云在孔洞部分產生較大的畸變。非剛體ICP配準是一個內在的病態問題，因為它很難定義一對對應點是否正確。在實驗中，筆者發現文獻[12]中的排除錯誤對應點的條件不夠充分，會使模型點云在孔洞部分產生畸變。在文獻[12]中，如果模型上的一個頂點查找到的對應點位于邊界上，那么視為錯誤的對應點。如圖3中，O為人臉模型上一點，在文獻[12]中，點F，E，D，C為測量點云的邊界。在非剛體ICP進行最近點查找時，O可能查找的最近點為非邊界點G。在剛性系數較小時，點O附近的頂點會朝著G點移動，產生畸變。為了改善該問題，我加寬點云的邊界。如果一個三角面片中有一條邊在邊界上，那么我就將該三角面片上的三個頂點都視為邊界點，如圖5中，G點會被視為邊界點。

圖4為截取的非剛體ICP配準后點云的眼睛部分。白線上部分為采用文獻[12]中錯誤點對排除策略得到的配準結果，下部分為采用本文策略得到的配準結果。由于錯誤的對應點的存在，在白線上面的點云中，眼睛部分的點云會向邊界移動，產生畸變。

圖3 加寬點云邊界

圖4 兩種錯誤點對排除策略的對比

3 方法實現與實驗

本文在Windows7上，采用Visual Studio 2012編程實現了上述人臉點云補洞涉及的相關算法，其中稀疏矩陣的求解采用了Intel的MKL（Math Kernel Library）[10]。程序運行的硬件配置為Intel Core i5-4590處理器，8G內存。

論文使用的實驗數據為28個實測三維人臉，每個三維人臉包括大約100K~200K個頂點和200K~400K個三角形，部分測量數據信息見表1。人臉圖像分辨率為752×480，圖5（b）為3個實測人臉，可以看到，原始的實測人臉點云中眼睛，鼻子等部分存在較多的孔洞；人臉點云模型包括33K個頂點，66K個三角形，如圖5 （a）。

圖5 本文實驗使用的人臉模型及三維人臉測量數據

圖6右是采用不同方法對三幅人臉測量點云補洞處理的對比，第一行為本文方法處理的結果，第二行為采用PCL庫[11]中的泊松重建方法補洞后的結果。圖6左為右圖中第一幅點云眼睛部位局部放大的補洞結果對比，可以看到本文方法在孔洞部分更加平滑，且能夠保持眼球的凸起，更加真實。

在表1中，統計了測量數據及配準后的點云信息。其中第二列“模型有效點數”為完成配準后點云模型上能查找到正確的最近點的個數，第三列“點對平均距離”為模型上頂點到它在實際測量點云上對應的最近點的距離的平均值，第四、五、六列為測量點云的統計信息，第七列為測量點云中邊的平均距離。從第三列和第七列可以看到，點對平均距離僅為邊平均距離的1/4，說明人臉點云模型在非孔洞部分很好地擬合到了測量人臉。

圖6 本文方法和泊松重建方法補洞效果比較

4 結語

本文針對采用結構光雙目測量得到的三維人臉點云存在的局部孔洞問題，提出了一種基于模板的人臉量的三維人臉數據驗證了該方法的有效性。此方法在工程上具有一定的應用價值。本文實驗中完成一次補洞平均需要6秒，不能達到實時要求。下一步的工作是提高算法的運行速度。

表1 部分測量數據及對應的配準結果信息

參考文獻：

[1]Attene M，Campen M，KobbeltL.Polygon Mesh Repairing:An Application Perspective[J].ACM Computing Surveys（CSUR），2013，45 （2）:3472-3476.

[2]岳杰，陸聲鏈，孫智慧等.三維點云孔洞修補算法及在植物形態重建中的應用[J].農機化研究，2013，35（5）:190-195.

[3]周亮，孫志海，吳以凡，張燁.面向人體尺寸測量系統的點云孔洞修補方法[J].杭州電子科技大學學報，2014，34（5）:73-77.

[4]孫曉東.人體點云數據處理中若干問題的研究[D].北京:北京工業大學，2012:44-46.

[5]Michael Kazhdan and Hugues Hoppe，Poisson Surface Reconstruction[J].Symposium on Geometry Processing，2006，32（3）:61-70.

[6]謝倩茹，耿國華.三維模型孔洞修補方法的研究[J].計算機應用研究，2013，30（10）:3175-3177.

[7]王運鋼，徐巖軍，林海榮.基于雙向切片的點云孔洞修補方法研究[J].測繪與空間地理信息.2015，38（10）:218-220.

[8]晏海平，吳祿慎，陳華偉.基于徑向基函數的散亂點云孔洞修復算法[J].計算機工程與設計.2014，35（4）:1253-1257.

[9]羅偉正.RBF函數的孔洞修復技術研究[J].科學技術與工程，2012，12（2）:404-406.

[10]張立國，王靜，金梅，康樂.基于徑向基函數的點云島嶼孔洞自動修補[J].高技術通訊，2016，26（2）:166-172.

[11]符艷青.基于改進的徑向基函數網絡的3D隱式曲面重構算法研究[D].杭州:中國計量學院，2014

[12]B.Amberg，S.Romdhani，T.Vetter.Optimal Step Nonrigid ICP Algorithms for Surface Registration[J].CVPR，2007，101（1）:1-8.

Template-Based Method for Hole-Filling of Face Point-Clouds

SUN Xiao-fei，SONG Wan-zhong
（College of Computer Science，Sichuan University，Chengdu 610065）

To get complete point clouds,proposes a new algorithm of automatically obtain landmarks of 3D face in the generation of 3D face.With these 3D landmarks,3D face model is deformed.Additionally,improves Nonrigid ICP algorithm including employs a new mechanism of excluding error corresponds and optimizes the strategy of iteration.Experiment results show that this method can fill holes more effective and more realistic,especially in the complicated parts such as eyes.

3D Face;Hole-Filling;Point Clouds;Non-Rigid ICP;3D Landmarks

1007-1423（2017）05-0059-06

10.3969/j.issn.1007-1423.2017.05.014

孫曉斐（1988-），男，河南鄭州人，碩士研究生，研究方向為點云配準、機器學習

2016-12-06

2017-02-06

國家重大科學儀器設備開發專項（No.2013YQ4900879-05）

宋萬忠（1974-），男，四川成都人，博士，副研究員，研究方向為計算機圖形學和圖像處理