基于仿生關節鏈球坐標系的虛擬手勢生成

張眾維，趙 潔，劉洪飛

(1.天津城建大學 計算機與信息工程學院，天津 300384；2.天津城建大學 理學院，天津 300384)

0 引 言

我國有超兩千萬的聽力殘疾人口[1]，手語學習需求廣泛，規范性立法也已在討論中[2]，但目前手語教學仍難以普及，原因之一是由于需求不集中造成的教師現場授課成本較高。因此采用虛擬現實技術，利用虛擬角色進行手語教學就成為一種高性價比的教育手段。

靜態手勢作為基本信息表達單元，按一定序列和節奏進行編排，可以產生更復雜的動態手勢。為了產生虛擬手勢，需要特定手部姿態的三維數據信息。傳統的數據獲取方法常用數據手套[3]、位置跟蹤設備[4]、體感設備[5]等外設，操作復雜且成本較高，后期不易進行姿態調整與更新；采用組合攝像頭及數據拼接技術[6]，準確度較低且實時性較差；利用計算機進行純虛擬骨架結構設計，多需依托諸如Pose Studio、Maya等3D動畫設計軟件[7]，操作復雜且靈活性不足。

為更加準確便利的實現虛擬手勢的生成，本文首先完善了仿生關節鏈球坐標系[8](以下簡稱鏈球坐標系)與笛卡兒坐標系的變換方法，并提出了利于角度參數快速確定的直觀模擬法。隨后建立了虛擬手骨架結構，并在此基礎上針對運動節點的特征設計不同的鏈球坐標系，通過雙參數調節獲得靜態手勢。最終根據高維形象幾何仿生信息學[9]理論和同源連續性[10]原理，對高維空間點進行采樣，得到動態手勢關鍵序列幀，實現快速高效準確的虛擬手勢生成。

1 仿生關節鏈球坐標系的完善

1.1 鏈球坐標值與笛卡兒坐標值轉換

仿生關節鏈球坐標系是為描述定長節棍繞節點(為避免與日常理解的關節一詞混淆，本文稱仿生關節鏈球坐標系中的關節為節點)旋轉的姿態問題而建立的。如圖1所示，要求存在3根不在同一直線上且首尾依次相連的節棍C1、C2和C3，由首至尾的節點依次為T1、T2、T3和T4。在已明確T1、T2和T3在世界笛卡兒坐標系下的坐標值(以下簡稱笛卡兒坐標值)的前提下，若活動節點T4的鏈球坐標值已知，則可按式(1)求解其笛卡兒坐標值。

圖1 仿生關節鏈球坐標系

(1)

其中具體參數的計算方法詳見文獻[8]。但對于已知笛卡兒坐標值求解鏈球坐標值的方法，文獻[8]中要求首先建立如圖1所示的坐標系，而實際應用中通常只知道笛卡兒坐標值，因此為進一步提高計算效率，減少建立鏈球坐標系的時間消耗，改進根據笛卡兒坐標值計算鏈球坐標值的方法如下。

已知節點T1、T2、T3和T4的笛卡兒坐標值分別為(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)和(x4,y4,z4)。令xc=x4-x3，yc=y4-y3，zc=z4-z3，可得式(2)

(2)

式中：(r,φ,θ)為節點T4在基于T1、T2和T3所建立的鏈球坐標系下的坐標值。

1.2 鏈球坐標值變換成像效果的直觀模擬法

在鏈球坐標系的建立和使用過程中，存在如下兩個問題：一是在多節點結構的前提下，父節棍選擇的多樣化會影響坐標系建立后計算的有效性，對此應當盡量挑選不在同一平面內的節棍組合；二是在坐標系確定后，需要通過對兩個角度參數賦值改變節棍的相對形態，但多節棍構成的骨架結構由于各個鏈球坐標系與世界坐標系間的相對位置關系不同，會導致使用者不能直觀快速地預測出角度值的更改會帶來姿態上的哪種變化，因此本文提出一種能更直觀地將角度變化的結果展示出來的手掌模擬法。

通過對圖1的觀察，可知鏈球坐標值θ反映節棍C3與C2的夾角大小，坐標值φ反映節棍C3與C1、C2所確定平面的夾角，仿照此種關系，將五指展開如圖2(a)所示，手掌及除拇指外的四指不動，所成平面視為C1、C2定位平面，拇指可隨與掌骨相連的節點任意轉動(指骨間節點不動)。令手掌與紙面平行且掌心向外，拇指如圖2(b)所示沿紙面垂直方向向外運動時，坐標值φ增大，反之減小；當拇指沿平行于紙面的方向運動即如圖2(c)所示方向時，坐標值θ增大，反之減小。此處只需了解角度變化對節棍C3運動趨勢的影響，并不要求手指絕對模擬C3的位置，所以鑒于拇指的靈活性完全可以實現φ和θ同時變化時的場景假設。在借手掌模擬法確定當前鏈球坐標值更改帶來的姿態變化時，首先利用手臂與腕關節讓手掌與C1、C2定位平面平行，拇指指尖與圖1中T4節點重合；然后沿與掌骨相連的關節轉動拇指，通過觀察指尖的運動特點即可直觀了解某個坐標值改變帶來的姿態影響，進而快速有效地設置坐標，得到預期的手勢形態。

圖2 手掌模擬法

2 標準虛擬手骨架的建立

在手勢表達中常需要手掌與手臂的配合，由于大臂和小臂僅存在一種“雙節棍三節點”的鏈球坐標系結構，因此在對相關骨骼結構進行虛擬搭建時，我們忽略較易描述的手臂與腕骨的旋轉，而注重指骨的運動細節。

人的手部骨骼包括腕骨、掌骨和指骨，根據圖3(a)所示實體骨骼的位置及比例[11]，設置虛擬手部骨架結構共包含24個節點，其中拇指4個節點，食指、中指、無名指和小指各5個節點。記錄方法如圖3(b)所示，由拇指至小指將手指依次編號為A至E，節點則按照由手腕至指尖方向由0開始依次編號，編號為0的節點表示掌骨與腕骨的連接點，編號為1的節點表示掌骨與近節指骨的連接點，編號為2的節點表示近節指骨與中節指骨間的連接點，除拇指外編號為3的節點表示中節指骨與遠節指骨的連接點，而拇指的3號節點與其它手指的4號節點皆為遠節指骨粗隆即指尖。

圖3 手骨結構

通過對手指運動特點的分析，可知編號為0和除拇指外的編號為1的節點自身坐標無法更改，故可動節點共15個。為了實現虛擬手勢的生成，需要在此骨架結構的基礎上選擇合適的父節棍，建立鏈球坐標系。

3 實驗及討論

3.1 活動節點的鏈球坐標系建立

為建立合適的鏈球坐標系，根據鏈球坐標值的計算方法，在選取父節棍時需要注意以下幾點：①子節棍及兩根父節棍之間應保持遞進連續性；②父節棍盡量不選取在同一手指上，以避免運動過程中多節棍位于同一直線上造成有效父節棍的缺失；③優先考慮不可移動的節點，減少后續關聯節點的計算量。

由此建立各運動節點的鏈球坐標系見表1，其中各節點命名及相對位置關系參照圖1定義，虛擬手骨架中節點編號參照圖3(b)所示，(r,φ,θ)為初始狀態下節點T4的鏈球坐標值。

表1 各節點鏈球坐標系的建立及初始坐標值

3.2 手勢姿態的生成

當各運動節點鏈球坐標系確立后，即可通過調整θ及φ的值獲得各種手勢，算法如下：

輸入：全節點舊笛卡兒坐標值，活動節點新鏈球坐標值

輸出：全節點新笛卡兒坐標值

(1)根據初始手骨姿態，給定全節點集合Tall的笛卡兒坐標值H(xi,yi,zi)， (i∈Tall)，建立初始手骨姿態，根據式(2)計算得到全節點鏈球坐標值H(ri,θi,φi)，(i∈Tall)。

(2)根據目標姿態，可從任意手指開始，利用手掌模擬法確定當前涉及的運動節點θ及φ的變化方向。

(3)根據目標姿態，對各手指待變化節點的各最小序號節點集合TM依次調整θ及φ的值，更新H(ri,θi,φi)，(i∈TM)。

(4)對與TM相連的遞增序號節點集合TM+，保持對應H(ri,θi,φi)，(i∈TM+)不變，在H(ri,θi,φi)，(i∈TM)的基礎之上，根據式(1)按照序號遞增順序依次計算更新H(xi,yi,zi)，(i∈TM+)。

(5)更新H(xi,yi,zi)，(i∈Tall)并顯示，若達到目標姿態則結束，否則返回(2)。

根據上述算法，目標期望設計如圖4(a)所示的“數字8”手勢，最終得到表2所列各坐標值。圖4中依次給出了真實手勢以及攝像機在不同方位角和仰角下觀察到的虛擬手勢效果圖。

表2 “數字8”手勢各節點鏈球坐標系角度坐標值

圖4 手勢“數字8”

為產生如圖5(a)所示手勢“OK”，通過調節得到表3所示參數設置，效果如圖5所示。

圖5 手勢“OK”

表3 “OK”手勢各節點鏈球坐標系角度坐標值

依據高維形象幾何仿生信息學理論與同源連續性原理可知，同一坐標系系統下的不同手勢是同類樣本，其在特征空間中呈連續分布，故任意兩個手勢之間具有某種連續變化的關系。假設起始姿態各節點鏈球坐標值集合為HS(ri,θi,φi)，目標姿態各節點鏈球坐標值為HD(ri,θi,φi)，必然存在由HS(ri,θi,φi)向HD(ri,θi,φi)運動的路徑，設計路徑的變化并采樣，可獲得不同的手勢變化序列HT(ri,θi,φi)，從而實現由靜態手勢產生動態手勢的功能。

通常手勢的變化往往直接快速，因此空間點的變化路徑常選取最近路線即直線運動，對由圖4手勢變化至圖5手勢的直線路徑按照式(3)進行采樣，可得圖6所示直線變換中間幀，由于節棍長度始終不變，因此不將坐標r作為變量處理。α和β的值決定采樣密度，用戶也可以根據需求調整部分關鍵節點的坐標值以適應視角產生最佳觀察效果

圖6 “數字8”向“OK”手勢的直線變化(方位角=-34° 仰角=-6°)

HT(θi,φi)=αiHS(θi,φi)+βiHD(θi,φi)

(3)

雖然高維空間點的運動路徑沒有明確的計算公式，但是仿照平面內的點運動軌跡計算方法，可以對逐個節點的鏈球坐標值進行類二維化處理，仍然能得到連續的漸變幀。例如采用如式(4)所示方法計算插值幀坐標(HInter(θi),HInter(φi))，有

(4)

式中：w是采樣系數點，變化范圍由0至1。為確定系數ai,bi,ci的值，增加一個軌跡中點(Hcom(θi),Hcom(φi))，定義各參數如式(5)

(5)

式中：λ表示了由源手勢向目標手勢變換過程中的偏移程度，λ越大則手勢的中間幀距離直線變形幀越遠。計算可得各系數如式(6)所示

(6)

令λ=2，w依次取0、0.2、0.4、0.6、0.8和1，最終得到圖7所示由HS(ri,θi,φi)以曲線形式變換至HD(ri,θi,φi)的采樣結果。與直線變換相比，過程中存在較大的偏移多樣性，但仍可以保證由源手勢向目標手勢的過渡結果準確。利用此特性可與機械手臂控制系統相連，根據虛擬手勢控制其完成真實人手所不能實現的動作。

圖7 “數字8”向“OK”手勢的曲線變化(方位角=-34° 仰角=-6°)

3.3 結果分析

仿生關節鏈球坐標系適宜對具有固定長度的相連節棍式結構進行設計分析，并可以在笛卡兒坐標系與鏈球坐標系之間任意轉換。由于仿生關節鏈球坐標系在進行節棍類結構描述時具有簡單高效等特點，因此本文所述方法成本低廉、參數簡單、計算復雜度低，且在計算機上操作方便，可實時觀察效果并進行調節，更適合虛擬手勢的生成。

4 結束語

為克服現有手勢三維信息獲取方法成本高、使用復雜、實時性差等問題，本文選擇了擅長描述節棍結構以及節點旋轉運動的仿生關節鏈球坐標系，并改進了坐標轉換方法，提出了新的角度判定輔助手段。借助計算機人機交互界面，該虛擬手勢生成方法對操作者無特殊技術要求，角度調節直觀準確，結合高維形象幾何仿生信息學可以高效地完成姿態關鍵幀的插值，無論是簡單手部姿態或是復雜的手語表達均可以達到較好的效果。