基于Kinect人體腳型三維構建

楊海清， 戴 林， 郭更新

(浙江工業大學 信息工程學院,浙江 杭州 310023)

0 引 言

三維重建是在虛擬環境中處理、分析和操作的基礎[1]，同時也是人體測量的關鍵技術，人體測量的數據為制定鞋、服裝等服飾提供了標注依據。構建人體三維腳模型，可以用于面向個性化定制鞋、模特腳部的制作以及滿足三維(3D)打印的需求[2]。

本文提出將Kinect傳感器與計算機視覺相結合構建人體獲得所需要的腳型三維模型[3,4]。

1 系統總體方案

系統的總體方案流程如下：首先Kinect傳感器在每一個標志位置均做短暫停留獲取不同角度的腳型深度數據圖像。并根據在標志位置獲取的深度圖像進行預處理與分割操作，并轉換為三維點云數據。在三維重建模塊將獲得的三維點云數據進行迭代最近點(iterative closest point,ICP)精匹配，然后對匹配結果進行拼接、融合。最后，對拼接好的點云進行曲面重建與渲染，得到最終三維重建模型。

本文采用采集硬件平臺獲取腳型的圖像，如圖1所示。

通過在滑軌軌道上部署3臺Kinect傳感器，每臺傳感器移動120°范圍的形式設置。根據Kinect的深度數據獲取有效范圍，滑軌半徑可設置在0.8～1.5 m之間，本實驗采用0.8 m作為半徑。為了獲得足夠的腳后跟和腳前掌的點云數據和完整的腳型數據，拍攝的間隔角度需要比較小[5]，這里間隔角度取30°，即每臺Kinect移動約30°進行一次圖像采集，為了便于控制目標移動的角度，對每個角度位置做上標志，每臺Kinect從起始點繞順時針方向進行數據采集，繞目標移動直到移動到下一臺Kinect的起始位置為止。

2 圖像數據的獲取與預處理

2.1 深度信息的獲取

Kinect傳感器獲得真實場景的深度信息，主要是通向物體發射紅外散斑，隨著物體遠近的不同形成不同的散斑形狀[6]，紅外攝像頭拍攝這些不同的散斑圖案，通過PS1080芯片進行計算，內部解碼分析獲得所拍攝目標較為準確的深度數據，當Kinect需要獲取深度信息時，紅外攝像頭拍攝到散斑圖案，將此圖案與保存記錄好的散斑圖案進行相關性換算，之后通過三角測量原理進行計算獲取目標的深度信息[7]。

2.2 三維點云的獲取

在圖像坐標系下，通過假設像素坐標系上的某一點(x,y)，將圖像像素坐標轉化為圖像物理坐標系

x=(u-u0)·k,y=(ν-ν0)·l

(1)

式中l,k為像素的單位坐標系，(u0,ν0)為圖像物理坐標系的中心坐標。將(x,y)轉換到世界坐標系下

(2)

(3)

式中d為測得的深度數值，代表紅外攝像機的焦距，θ為圖像物理坐標系與Kinect的三維坐標系的夾角，K為攝像機的內置矩陣參數，結合式(1)和式(2)推算可得式(3)，通過計算得到式(3)中的相機內置矩陣K即可確立圖像像素坐標和世界三維坐標之間的轉換關系，將攝像機獲得的數據轉化為三維點云數據。

2.3 深度圖像的預處理

在實際應用中，因為Kinect的外紅散斑發射和采集受到物體表面條件、光照條件、信號傳輸條件、遮擋等問題的影響，其獲取的圖像中，會含有一些噪聲點以及空洞點[8]。而對于三維重建，這些因素會在一定程度上影響三維點云的準確度和完整性，所以需要提前對其進行預處理。雙邊濾波能夠在去噪的同時保護好圖像邊緣和輪廓數據的特性較為適合作為深度圖濾波方式。

雙邊濾波含有兩個影響因子，分別為像素差值和空間幾何距離[9]。相比較高斯濾波，雙邊濾波改進點在于考慮空間距離關系的同時，增加了對周圍領域點的歐氏距離的考慮。其原理為：選定待計算像素點以及其周圍的領域，讀取周圍鄰域的像素值，通過加權平均的方式獲得其均值，然后去除掉距離偏差太大的像素點

h(x)=k-1?f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

(4)

式中k為歸一化系數，其值為

k(x)=?c(ξ-x)s(f(ξ)-f(x))dξ

(5)

式中f(x)為濾波前的待計算點的灰度值，h(x)為經過雙邊濾波后該點的灰度值，s為目標點與其周圍點的灰度相似度，c為目標點與其中周圍點的空間相似度。雙邊濾波通過將目標點以及其鄰域的點都進行加權平均計算，獲取均值，以優化過濾效果。其核心函數通過c(ξ-x)和s(f(ξ)-f(x))共同實現。濾波公式為

(6)

(7)

僅僅通過濾波方法進行修復，并不能達到很理想的效果，所以應先采取時空域聯合的方式對深度圖像進行修復。

在同一視角連續獲得多幀圖像并選擇其中k幀，對選取的多幀圖像取其坐標點(x,y)的灰度值D1(x,y),D2(x,y)…,Dk(x,y)，然后將其排序計算出中值Dmed(x,y)

(8)

剔除灰度值與中值偏差超過一定閾值的點，同時剔除深度值為255的空洞點，然后統計剩下的點為有效點，如果有效點數量超過一定值，則對剩下的點取均值，替換掉原圖該點的深度值，獲得圖像的Iavg，否則,該點使用原圖深度值為

|Di(x,y)-Dmed(x,y)|>S,N>T

(9)

式中S為設定的偏差閾值，N為剔出點之后所剩下的點的數量，T為設定的有效點數量閾值。對圖像進行修復后再根據雙邊濾波降低噪聲和消除小型空洞。

3 圖像特征匹配

本文在Harris-SIFT算法的基礎上提出了改進Harris-SIFT特征點描述算法，通過匹配實現對大偏差角度圖像上的物體特征的搜索和配對。并應用于腳型三維重建系統中的點云配準模塊。

3.1 深度圖像的分割

由于在本實驗為動態采集目標信息，對于背景差分法來說，背景的采集和配對十分困難。該系統Kinect分隔角度較大，不易對背景造成干擾，同時Kinect滑軌距離目標距離固定，十分容易設定閾值，故該系統適合采用閾值分割法對目標和背景進行分割。

本文的實驗中，需要將腳作為所需要提取的目標，其余作為背景像素去除。與RGB圖像分割的意義不同，對于深度圖像來說，灰度值大小代表目標與相機的距離，根據灰度值進行分割即是根據目標與相機的距離進行分割

(10)

式中T為分割閾值，f(x,y)為點(x,y)處的灰度值，g(x,y)為結果該點的分割處理結果。

為了獲取合適的閾值，假設圖像上點的灰度值呈正態分布，設目標上的點的像素值分布函數為p(x)，方差為δ2，均值為μ；背景點分布函數為q(x) ，方差為τ2，均值為ν。圖像的總灰度得概率密度函數如下式

λp(x)+(1-λ)q(x)

(11)

式中λ為目標對象占整個圖像面積比例，1-λ為剩余部分即背景占整個圖像面積的比例。

假設設最佳分割閾值為t，將背景點視為目標對象上的點的誤差概率記為Q1(t)，將目標對象上點作為背景點的誤差概率為Q2(t)，可得

(12)

則得到總錯分的概率為

λQ2(t)+(1-λ)Q1(t)=

(13)

根據上式值得到最小值處的t的值即為最佳閾值，推導可得最佳閾值為t=(μ+ν)/2。

3.2 動態Harris-SIFT點特征檢測算法

因為在將攝像機從一個位置移動到另一個位置的過程，可以看作一個平移過程，通過在移動攝像機過程中不間斷采集數據，獲得一批攝像機從這個位置移動到另一個位置的動態圖片。動態Harris-SIFT點特征檢測算法的基本原理:通過動態圖片縮小Harris-SIFT算法所需要匹配的圖片角度間隔，通過“搭橋”的模式，將一定間隔幀數的圖片進行兩兩配對然后特征點繼承至下一張圖片，直到最后一張，將首尾特征點相連，獲得特征點匹配結果。其具體步驟如下：1)設定初始點，設置好Kinect傳感器。從初始點開始以攝像頭正對目標得狀態平穩繞目標順時針移動，在移動過程中，不間斷獲取目標信息。2)選定間隔幀數k，從獲取的圖片中篩選出間隔k幀的各張圖片。3)從初始圖片I1開始，與順序往下第二張圖片I2進行Harris-SIFT算法匹配，獲得匹配點對矩陣C12，將其作為基準矩陣。4)將圖片I2與順序往下第三張圖片I3進行Harris-SIFT算法匹配獲得點對矩陣C23。5)從C12與C23中提取出對于第二張圖片I2所共有的特征點，將這些特征點所匹配的I1圖特征點與I3圖特征點一一配對，得到點對矩陣C13。6)將C13作為基準矩陣，繼續進行圖片I3與順序往下第四張圖片I4的Harris-SIFT算法匹配得到矩陣C34，同上將其與基準C13進行特征點配對，得到C14。7)重復以上步驟，直到最后一張圖片Ik匹配完成，得到匹配點對矩陣C1k，C1k即為初始位置圖片I1與結束位置圖片Ik的特征點配對結果。

4 實驗結果分析

為了實驗環境避免對RGB圖像進行處理和匹配時收到明暗相差過大等因素的干擾，同時采用室內環境保證Kinect傳感器不會受到強太陽光干擾，采用普通白熾燈光照下的室內進行。

由于單純的腳模表面適合用于匹配的特征點較少，在實驗前，為腳模穿穿上具有黑白相間得格子紋理的襪子，這種編織物上具有豐富的角點特征，十分適合于Harris角點檢測。Harris角點檢測結果如圖2(a)所示。

圖2 結果

動態Harris-SIFT算法匹配中，影響匹配結果的因素包括閾值(ratio)的設置、間隔角度、匹配圖數量等，其中，近鄰/次近鄰的ratio的大小設置對匹配結果有最直接的影響。本文通過多次實驗，從小到大逐漸改變ratio的設置值，得到的匹配點對數量和準確率變化如圖3所示。

圖3 匹配點數量和準確率與閾值ratio關系

由圖可知，匹配點個數隨著ratio的增大而增大，但是匹配點對的匹配正確率大致隨著匹配點對的增加而減少，可以觀察到在ratio設置為0.75時，匹配點對的數量和匹配點對的正確率達到一個均衡的值，在獲得豐富的匹配點對的同時，保證足夠的正確率。所以本文選取ratio值為0.75。相同條件下傳統算法與改進算法匹配結果結果如圖2(b)和(c)所示,可以看出，同樣條件下，改進的動態Harris-SIFT算法匹配的特征點對數略高于傳統的Harris-SIFT算法匹配結果。匹配結果如表1所示。

表1 動態Harris-SIFT算法與傳統Harris-SIFT算法的性能比較

由表1可知，本文提出的動態Harris-SIFT算法對于偏移角度較大圖像的匹配效果更加優秀。

通過ICP精匹配和點云融合，獲得完整的腳型數字化點云數據。對融合后的腳模三維點云進行三角網格化重建，然后通過Geomagic軟件對其進行渲染和去除釘狀物、平滑等操作，處理結果如圖2(d)所示。通過滑軌式三維重建系統重建的腳模模型，也能保證輪廓清晰，形狀基本與腳模一致，可以用于后續工程。

5 結 論

運用改進的Harris-SIFT算法對圖像進行特征的提取和匹配，實驗結果表明：相比傳統算法,改進的算法提高了圖像特征匹配準確率，實現了人體腳型的三維構建。