基于Kinect的人體模板化三維模型擬合重建

袁仁奇， 徐增波(上海工程技術大學 服裝學院，上海 201600)

研究與技術

基于Kinect的人體模板化三維模型擬合重建

袁仁奇， 徐增波
(上海工程技術大學 服裝學院，上海 201600)

利用Kinect體感設備與軟硬件的連接、集成來搭建面向真人的三維人體模型重建系統，通過其可操作的流程實現了三維人體模型的快速重建。然后根據重建出的三維人體網格模型，采用非線性模板擬合法，以通用標準三維人體模型為模板，對重建后的三維人體網格模型進行基于姿態、形體迭代變形擬合。其方法在建立多體感傳感設備測量人體數據中得到使用，在人體模塊化擬合重建三維人體點云數據中用于測量人體數據，將獲得的三維人體模型的尺寸和實際人體尺寸相對比，結果顯示掃描得到的三維人體模型數據與實際人體數據更加貼近。

Kinect人體建模；三維人體模型；人體模塊化；三維模型擬合；體型擬合

與傳統手工測量相比，利用三維非接觸式掃描系統掃描人體獲得人體尺寸的數據文件，建立人體模型，給顧客和消費者以直觀的視覺體驗，同時較快速提取人體尺寸，實現智能、高效的服裝生產的需要。隨著現代非接觸三維測量技術發展，使操作簡單迅速，對經驗要求低。近幾年推出的Kinect設備，比如Kinect、PrimeSense、XtionPRO等都具備三維掃描的能力。這類設備最大的優勢在于廉價，操作簡單，但是數據噪聲大，分辨率低，直接用來重建三維人體，效果很不理想。但是在Kinect掃描基礎上改進后續處理人體數據的技術，降低其數據的噪聲，運用新的人體重建技術，可以在提升其掃描的精確度上，充分發揮其價格優勢，也更加適合其在服裝行業的實際應用。因此，基于Kinect的三維人體重建[1]與應用和個性化人體建模[2]的研究越來越多。本文基于Kinect的人體模板化的三維模型擬合重建就是在此基礎上，改進Kinect掃描數據的處理和三維人體構建上，提升人體建模精確度，以便人體建模的后續技術運用。

也就是在Kinect的深度掃描設備的基礎上，得以實現人體數據提取的發展，同時根據Kinect深度成像和計算原理，分析其產生噪聲和孔洞的原因，針對這些原因構造能量方程，來減少噪聲和修復孔洞，以實現三維人體建模的精準度。而多體感傳感Kinect設備掃描人體實現三維人體建模的技術，也被提上技術研究和服裝人體尺寸提取技術開發的平臺上，實現快速采集人體三維數據。基于Kinect的人體模板化的三維模型擬合重建對提高人體建模的精度和完整性上有很大的實際意義，為人體掃描提取人體數據和實際人體變形提供技術支持和基礎理論研究的支持。

1 Kinect人體掃描的系統構建

由于視角的限制，單個Kinect攝像頭無法拍攝出人體的全景，本系統從6個方向(相隔60°)，在每個垂直方向安裝4個Kinect設備，利用這24個Kinect可以很好地從水平和垂直方向對人體進行圖像采集，然后根據圖像間重疊部分的特征點進行點云配準拼接，使用電腦掃描提取三維人體點云。

圖1 系統設計原理Fig.1 Principle of system design

圖2 設備安放設計Fig.2 Equipment placement design

圖3 Kinect設備提取出來的實際狀態下點云數據模型Fig.3 Model of point cloud data extracted by Kinect device under actual state

2 基于模板的人體擬合

2.1 模板三維人體模型擬合概述

在模板下的人體擬合建立在大型人體數據庫基礎上進行匹配變形，例如CAESAR、TOSCA、SCAPE，這些數據庫中保存著大量的不同人體(體型)、不同姿態的人體數據，然后可以從這些人體數據中提取一個標準數字化人體模型作為模板，將該模板進行變形擬合，最終得到一個與非標準人體模型相似的完整的三維人體模型。先找出模板間的匹配點，然后根據這些匹配點通過點迭代的方式求解出變換矩陣進行變形擬合，在對模型表面平滑度進行保護處理下使得變形后的模板與非標準模型差異最小。

基于模板的人體擬合通常是通過點、網格、骨架的配準變形實現的，分為姿態擬合和體型擬合兩大步驟，其流程如圖4所示。算法流程的關鍵是找出兩個三維人體模型之間的對應擬合點，根據擬合點進行網格變形及骨架的提取。國外關于基于模板的人體擬合的研究較多[3]，例如Allen[4]通過標記點法來進行對應擬合點匹配及待擬合模型的空洞修復與平滑，利用事先標記的精確標記點作為種子對剩余的擬合點進行匹配，達到了很好的匹配效果，但是手工標記是一項繁雜的工作；Anguelov[5]提出了SCAPE模型，人體變形將模板擬合分為姿態驅動的骨架剛性變形(姿態SCAPE空間)與體型驅動的體型非剛性變形(體型SCAPE空間)，將人體三角網格數據投影到SCAPE空間進行變形擬合，并在標記點法的前提下通過標準模型對缺失人體模型進行模型修補。基于數據庫配準下提取出的人體模型標記的關鍵擬合點，與提取的人體點云重建模型確定的關鍵記點進行擬合。

圖4 基于模板的人體模型擬合流程Fig.4 Human model fitting process based template

由于Kinect設備問題及工作人員在圖像采集時誤操作等原因，前文中獲取到的人體點云數據及其網格模型可能存在一些空洞及噪聲，基于模板的人體擬合可以有效地解決這一問題。基于模板擬合的方法，從大量人體掃描出的點云數據庫(處于相同或相似姿態下不同人體數據)中提取的實際人體數據，在盡量降低誤差情況下與建模建立的人體模型建立擬合的規則，然后參照其擬合規則使用在Kinect掃描得到的三維人體數據，將其與數據庫中三維點云人體模型進行擬合，從而得到更準確個性的三維人體模型。也即將實際人體掃描的人體點云數據建立的模型，經過其中模塊擬合使實際人體點云數據誤差、噪點少，從而保證實際人體建模和人體尺寸測量的準確性。步驟：根據人體骨架及關節點完成姿態擬合；根據三維點云與模板對應點之間的距離和模板變形的光滑度等評估參數，完成體型擬合。

2.2 人體關節點確定和骨架重構

2.2.1 模型特征點確定

模型特征點一般指模型表面一些具備顯著意義的點，如人體模型的頭頂點、四肢前端點等。從數字幾何方面進行分析，這些特征點是位于模型函數的極值點處；從拓撲學的關鍵點角度進行分析，模型特征點是模型拓撲關鍵點的一部分。Morse理論是研究模型空間形狀及其空間連續光滑函數關鍵點間關系的基礎理論[6]，Edelsbnmner[7]將連續光滑Morse函數推廣為分段線性Morse函數，并稱之為離散Morse理論。文獻[8]首次將離散Morse理論用于基于拓撲分析的三維標量場多分辨率表示研究，近年來，基于Morse理論的特征點分析大量應用于三維幾何模型研究與應用[9]。

將模型表面兩采樣點間的測地距離表示為G(vj,vi),G(vj,vi)能夠在模型進行平移、旋轉及變形時保持不變。三維模型上頂點到其他頂點的平均測地距離可表示為：

(1)

(2)

確定了Morse函數后，依據如下步驟逐一確定模型的特征點：

1)確定當前特征點vf，當前特征點位于f(v)的極大值點處，即vf∈V:maxf(v)；

2)將vf添加到特征集合vF；

3)重復步驟2，K次，添加K個特征點。

確定三維人體網格模型的K個特征點(K的值可以在確定模型接近實際人體數據情況下，確定一定特征點的數量)后，連接人體形心vmin和K個特征點即可獲得三維人體網格模型的初始骨架S。

2.2.2 人體骨架提取

許多學者也陸續構建了不少其他的場函數用來提取三維模型的骨架。如廣義勢能場，該方法把模型的表面點看作帶有電荷的電極，模型某一內點的電勢可以看作模型所有電極(邊界點)對該點的電場力作用的合力，在得到模型所有內點的電勢后，順次聯結各局部電勢極小值點就能夠獲得模型骨架。其他的廣義場法包括基于RBF法[10]和可見反力場(Visible Repulsive Force Field)法[11]，廣義場函數法一般先求出對應場函數的局部極值點，繼而光順聯結這些極值點最終獲得模型骨架。

這里采用離散Morse理論提取特征點確定人體模型的初始骨架，然后利用人體解剖學知識進行關節點的提取，采用似圓性原理確定人體關節點并得出最終的人體骨架。考慮到人體的對稱性，以頭頂點為源點構造新的Morse函數如下:

f′(v)=G(v,vhead)

(3)

假設頭頂點是人體模型上任一頂點。通過Dijkstra算法求取頭頂源點到人體模型上任一頂點的測地距離，然后連接測地距離相等的頂點就可以得到Morse函數等值線。利用同一連通域的人體模型等值線能夠獲得每個連通域等值線的重心，連接同一連通域的重心即可得到三維人體模型的中心線。利用Morse函數提取三維人體模型同一連通域的等值線，然后根據似圓性方法提取人體骨架關節中心點，關節點提取步驟如下：

首先，根據下式求解得到每個等值線的中心，生成整個模型的中心線。

(4)

式中：Mi為第i個等值線，Pij是Mi上的點。

然后，根據下式計算所有等值線的似圓性函數。

(5)

式中：M為等值線，s為M的面積，c為M的周長，h為M的似圓性函數。

根據人體解剖學原理，如果M的重心與關節中心距離很小甚至為同一點，那么M與其附近的等值線相比會出現一些差異，值h在M處可以取得局部極小值。

圖5 提取人體模型圖像Fig.5 Extracting human model image

通過下式能夠從全部的等值線中篩選出關節中心點所在的等值線，其中Mjoint是關節所在的等值線。

(6)

最終根據下式能夠求解獲得人體骨架關節中心點。

(7)

連接關節點及特征點即可得到最終骨架(圖5)，并將盆骨作為根節點，對其他骨架通過坐標變換進行標準化即可得到標準矢量化骨架，然后根據關節點處的等值線將人體進行分塊，為下節模型擬合做準備。

2.3 姿態擬合

假設模板庫中的一個極度接近姿態模板F是由點及網格構成，模板F上的頂點記為F(t)，上文獲得的三維人體點云記為A(t)，B(T)代表模板F的骨架，B(S)代表點云A(t)的骨架，目的就是獲取由模板F到點云A(t)的變換矩陣。

將姿態擬合可分兩步進行，第一步是根據關節點和骨架對模板F進行變形，變形后計算模板F和點云A(t)上對應關節點之間的距離，最小化能量函：

(8)

在這里，增加約束：人體身高介于1.4～2.1 m。

第二步就是根據骨架將人體分為幾個部分(如頭部、左肩、右肩等)，如圖6所示。計算模板F在變形人體各分塊區域的頂點與目標點云A(t)上對應最近鄰點的距離，最小化能量函數：

(9)

圖6 人體關鍵點及其分塊結構Fig.6 Key points of human body and the block structure

2.4 體型擬合

E=Wdata=WdataEdata+WsmoothEsmooth

(10)

(11)

(12)

考慮到模板F上臨近點的變換矩陣不會差異太大，dist(Ai,Aj)代表模板F上相鄰點的變換矩陣Ai和Aj之間的距離，衡量模板F變形后表面的光滑程度。

2.5 對應特征點的擬合

在對應特征點擬合的方向上，將掃描人體點云數據模型上提取的關鍵點與模型庫中匹配出的關鍵點對應擬合，以達到掃描人體模型的平滑清晰準確的效果，可以利用擬牛頓(擬Newton)法。擬Newton法是當前求解無約束優化問題最有效的方法，該方法是在成功地對Newton法進行改進之后得到的。Newton法是通過目標函數的二階導數信息實現的，Newton法主要優點在于收斂速度快。可是，Newton法的一個主要缺點也是由于目標函數的hessian矩陣引起的：對許多問題，hessian陣無法求出，或要花費很大的工作量計算。而相對來說，目標函數的一階偏導數是容易求出的。于是產生如下想法：

(13)

取x=xk-1，有

(14)

(15)

BkSk-1=yk-1

(16)

以上方程稱為BFGS形式的擬牛頓法。記Bk=Bk-1+Ek，將其代入擬牛頓方程得：

Bk-1Sk-1+EkSk-1=yk-1?EkSk-1=yk-1-Bk-1

(17)

設Ek有如下形式：Ek=αkμμT+βkvvT，μ,v是向量，將其代入式(17)有

αk(μTSk-1)μ+βk(vTSk-1)v=yk-1-Bk-1Sk-1

(18)

將兩端比較，令

(19)

(20)

1)任取初始點x0和初始正定矩陣B0,k=0；

xk+1=xk+akdk

Sk=xk+1-xk

2.6 小 結

由于Kinect提取人體點云建立的三維人體模型存在的缺失因素誤差，基于擬合對其提取的點云人體數據進行擬合。將模型庫中匹配出的人體模型與掃描實際三維模型對比，建立二者之間對應的特征點，擬合出非標準模型，為實際人體掃描提供模板擬合的對應變化準則，然后實際人體掃描的擬合參照擬合規律(匹配出的人體模型與實際人體模型建立擬合規則)，在模型掃描與實際模型進行擬合規律的制定后，圖7為基于擬合對缺失人體數據的恢復。

圖7 基于擬合對缺失人體數據的恢復Fig.7 Restoration of missing human body data based on fitting

實際男性人體模型人體掃描如圖8所示，男性人體模型初始掃描存在很多噪點將其與標準人體模板(圖9)進行擬合，然后得到圖10所示實際人體模型，在之后可以提取三維掃描人體模型的關鍵關節點及其骨架(圖11)。

圖8 實際缺失掃描模型Fig.8 Actual missing scaning model

圖9 標準人體模板Fig.9 Standard human body template

圖10 擬合出的實際人體模型Fig.10 The fitted actual human model

圖11 實際關鍵關節點及其骨架Fig.11 Actual key joint point and skeleton

圖12和圖13分別是多體感傳感器提取的女人體模型和男人體模型的點云數據，由計算機處理，經過去噪模型整理，提取出人體模型，將手工測量的實際人體數據與不應用模塊化技術、用模塊化技術掃描提取的人體數據進行對比(表1、表2)。人體模型進行人體特征點的確定和標記，在提取人體尺寸數據的軟件里面實現所需要的測量指標：例如胸圍、臀圍、腰圍、身高、臂長等。快速實現人體尺寸的提取，以方便后續的服裝選款、制版的需要。

通過多體感傳感提取的人體模型的正面和背面表明，每個人體模型的特征點和特征線也很明顯，同時表1和表2有快速提取的人體數據和實際的人體數據，應用模塊化技術前和應用之后的人體數據。由于女性人體模型的著裝比較薄，智能提取和實際提取的人體尺寸的差值很小。在服裝測量上，數據誤差范圍只在0.01～0.5 cm，三維人體掃描的數據可見非常精確。由于男性人體模型的著裝厚重一些，三維掃描的人體數據和實際數據的差值普遍在0.3～0.6 cm，而這樣的誤差在服裝制作中是合理的誤差范圍，所以多體感傳感人體掃描具備可行性和精確性。

測量數據顯示，模板化技術在三維人體提取人提出尺寸中對人體數據的變化很明顯，也有助于提取出準確的人體三維尺寸，并且可以使人體誤差數據保證在合理范圍內的可能變大，Kinect模塊化提取人體數據有助于數據化人體建庫和智能化人體服裝發展。

圖12 多體感傳感器提取的實際女人體模型Fig.12 The actual female human body model extracted by multi-somatosensory sensor

圖13 多體感傳感器提取的實際男人體模型Fig.13 The practical male human body model extracted by multi-somatosensory sensor

表1 多體感傳感器提取的實際女人體模型的測量數據Tab.1 The measurement data of the actual female human body model extracted by multi-somatosensory sensor cm

表2 多體感傳感器提取的實際男人體模型的測量數據Tab.2 The measurement data of the actual male body model extracted by multi-somatosensory sensor cm

3 結 語

利用三維點云進行三維人體重建，為更形象地表現出模型拓撲，首先對點鄰域平坦度進行分級，構造種子面片并進行擴展，從而重建出人體的網格模型。然后利用三角形折疊法對人體的三角網格模型進行網格簡化，并利用基于測地距離的Morse函數提取得到人體的形心及k個特征點，得到人體初始骨架；而后以頭頂點為源點構造新的Morse函數，并求解得到同一連通域的等值線，連接等值線的中心獲得人體模型的中心線。根據似圓性求出人體關節點，連接關節點與特征點獲得人體的最終骨架。最后，基于模板的配準技術將一個“標準”的三維人體模板去變形擬合重建出三維人體網格模型，通過姿態擬合與體型擬合最終得到了光滑的三維人體模型。

[1]許鴻堯.基于類Kinect的三維人體重建及應用[D].杭州：浙江理工大學,2013.

XU Hongyao. Like-Kinect Based 3D Human Body Reconstruction and Application[D].Hangzhou:Zhejiang Sci-Tech University,2013.

[2]薛均強.基于Kinect的個性化人體建模技術研究與實踐[D].哈爾濱：國防科學技術大學,2013.

XUE Junqiang. Research and Development of Personalized Human Body Modeling Using Kinect[D].Harbin:National University of Defense Technology,2013.

[3]STEFANIE W. Notes for seminar statistical shape analysis-or-how to build a digital clone using simple modalities[J]. Cluster of Excellence MMCI,2012:5-7.

[4]ALLEN B, CURLESS B, POPOVI′C Z. The space of human body shapes: reconstruction and parameterization from range scans[J]. ACM Transactions on Graphics,2003,22(3):587-594.

[5]ANGUELOV D, SRINIVASAN P, KOLLER D, et al. Scape: Shape completion and animation of people[J]. Association for Computing Machinery,2005:4-9.

[6]MILNOR J. Morse Theory[M]. New Jersey: Princeton University Press,1963:7-13.

[7]EDELSBRUNNER H, HARER J, NATARAJAN V, et al. Morse-smale complexes for piecewise linear 3-manifolds[C]. 19th Annu.ACM Sympos. Theory Comput.Geom,2003:361-370.

[8]GYULASSY A, NATARAJAN V, PASCUCCI V, et al. Topology-based simplification for feature extraction from 3D scalar fields[J]. Published in: Visualization, IEEE,2005(5):535-542.

[9]王仁芳,張三元.數字幾何處理的若干問題研究進展[M].北京:清華大學出版社,2012:20-30.

WANG Renfang, ZHANG Sanyuan. Research Progress of Some Problems in Digital Geometry Processing[M]. Beijing: Tsinghua University Press,2012:20-30.

[10]MA W C, WU F C, OUHYOUNG M. Skeleton extraction of 3D objects with radial basis function[J]. Shape Modeling International,2003:1-10.

[11]WU F C, MA W C, LIU P C, et al. Skeleton extraction of 3D objects with visible repulsive force[J]. Computer Graphics Workshop,2003:1-7.

Researchon3DmodelfittingandreconstructionofhumanbodytemplatebasedonKinect

YUANRenqi,XUZengbo
(Fashion College, Shanghai University of Engineering Science, Shanghai 201600, China)

In this paper, a 3D human body model reconstruction system for real people was built by using the connection and integration of Kinect somatosensory equipment, hardware and software. The rapid reconstruction of 3D human body model was achieved through the operable process. Then, according to the reconstructed 3D human body mesh model, non-linear template fitting method and the standard 3D human body model were used to fit the reconstructed 3D human body mesh model based on posture and shape iterative deformation. This method is used in the establishment of multi-body sensory sensing device to measure human body data. It is also used to measure human body data in the human body modular fitting reconstruction of 3D human body point cloud data, and the dimension of the obtained 3D human body model was compared with the actual size of human body. The results show that the 3D human body model data are closer to the actual human body data.

Kinect human body modeling; 3D human body model; modularization of human body; 3D model fitting; body type fitting

TS941.17

A

1001-7003(2017)10-0029-08 < class="emphasis_bold">引用頁碼

頁碼: 101106

10.3969/j.issn.1001-7003.2017.10.006

2017-01-12;

2017-09-04