一種姿態(tài)識別增強的VR眼鏡信息顯示方法

王曉東，夏靖波，吳耀翔

（廈門大學(xué)嘉庚學(xué)院信息科學(xué)與技術(shù)學(xué)院，福建漳州363105）

可穿戴設(shè)備直接佩戴在人身上或被整合進(jìn)衣物、配件[1]，用于記錄、監(jiān)測人體數(shù)據(jù)[2-3]，也可用于增強人體功能或保護(hù)[4]。這種智能設(shè)備與人體結(jié)合緊密，并且在人體的佩戴位置相對固定，非常適合用于穿戴者的姿態(tài)識別[5-6]。研究表明，在工作環(huán)境下人作業(yè)時能發(fā)揮的操縱力大小，取決于人的作業(yè)姿勢、用力部位、力的作用方向和方式等，只有保持正確的作業(yè)姿勢才能有較高的工作效率[7]。可以推知，可穿戴設(shè)備識別的姿態(tài)，與穿戴者正在從事的活動、場景具有密切相關(guān)性。在工業(yè)生產(chǎn)現(xiàn)場，場景信息的獲取具有重要價值，將有利于實現(xiàn)智能化的數(shù)據(jù)信息選擇、推送及其他應(yīng)用。

尤其是，當(dāng)前可穿戴的VR 眼鏡設(shè)備，在工業(yè)制造領(lǐng)域開始得到推廣應(yīng)用和普及[8]。基于VR 眼鏡與現(xiàn)實圖像進(jìn)行畫面疊加和輔助數(shù)據(jù)顯示，已在汽車維修、航空機務(wù)、復(fù)雜制造、3D 現(xiàn)場打印等領(lǐng)域嶄露頭角，其優(yōu)勢在于：解放了員工雙手的同時，更高效地使用了互聯(lián)網(wǎng)和數(shù)據(jù)資源；克服產(chǎn)業(yè)工人個體的遺忘曲線，增強了操作的精準(zhǔn)性；實現(xiàn)了管理細(xì)節(jié)和大數(shù)據(jù)采集，保障高危環(huán)境下人身安全等。

為了進(jìn)一步提高VR 眼鏡數(shù)據(jù)顯示的智能化，文中提出結(jié)合室內(nèi)定位技術(shù)識別操作人姿態(tài)，進(jìn)而實施佩戴者工服識別并獲取工種場景，然后實現(xiàn)了一種姿態(tài)識別增強的VR 眼鏡信息顯示方法。

1 方法原理

1.1 基于室內(nèi)定位技術(shù)的姿態(tài)識別

人體姿態(tài)識別的傳統(tǒng)方法可以分為兩種，即基于計算機視覺方法和加速度傳感器方法，前者發(fā)展成熟、精度高，但隱私保護(hù)不好，后者數(shù)據(jù)處理復(fù)雜、精度差，但是對個人隱私保護(hù)好。也有學(xué)者提出[9]，利用可穿戴設(shè)備結(jié)合室內(nèi)定位技術(shù)，在保護(hù)用戶隱私的同時識別精度提高了40%，證明了可穿戴設(shè)備姿態(tài)識別的可行性。文獻(xiàn)[10]提出，基于室內(nèi)定位技術(shù)（如超寬帶、UWB 定位），在人體安裝14 個參考點并計算相對位置的方法實現(xiàn)姿態(tài)計算，將14 個參考點兩兩連接構(gòu)成91 條矢量，排除其中無意義的，只保留10 條（頭-頸、頸-胸、右肩-右肘、右肘-右手、左肩-左肘，左肘-左手等）矢量，它們之間形成的夾角可用來較為精確地估算人體姿態(tài)。

基于這種設(shè)計，文中主要觀察獲取VR 眼鏡佩戴者的低頭傾角（與垂直方向的夾角β），因此只設(shè)定頭部和頸部兩個參考點（并假設(shè)不考慮下肢的動作），則簡化得出圖1所示的角度測算結(jié)構(gòu)。方法通過室內(nèi)定位，對點A(xA,yA,zA)（即佩戴者頭部）、B(xB,yB,zB)（即佩戴者頸部）坐標(biāo)進(jìn)行測算，再計算AB連線與垂線夾角β，可知佩戴者低頭傾角，并有：

圖1 可穿戴設(shè)備姿態(tài)示意圖

定位可以采用TDOA 機制[11-12]。設(shè)置M+1 個觀測站，其中有一個主站S0，M個副站Si，其坐標(biāo)為(xi,yi,zi)，i=0,1,…,M。設(shè)電磁輻射由目標(biāo)到達(dá)各站的時間為ti，各個副站到達(dá)時間與主站到達(dá)時間的時間差記為τi，將到達(dá)時間差乘光速C，可以得到各個副站到總站的距離差，即Δri=Cτi。

定位A、B點坐標(biāo)的計算，分別求解下面方程組解，即可獲得：

其中za=[x,y,z]T，li=(d2i-d20-Δri2)/2，di=對上述方程進(jìn)行簡化表示，即為：Gza=h。

TDOA 可以采用加權(quán)最小二乘（WLS）算法、泰勒級數(shù)法或Chan 算法求解。采用WLS 算法，令殘差ξ=h-Gza，設(shè)權(quán)矩陣為W（選取原則視實際具體情況而定），求取za的估計使得殘差的加權(quán)值最小，即：

令(h-Gza)TW(h-Gza)=f(za)，對其求za偏導(dǎo)，并令結(jié)果等于0，即：

由此可以得到za=(GTWG)-1GTWh，即為目標(biāo)位置估計值。

當(dāng)信噪比比較高時，TDOA 的測量誤差服從高斯分布，則Chan 算法更加適合[13]。Chan 算法使用兩步最大似然估計來計算目標(biāo)位置，其優(yōu)點就是計算量小。

1.2 姿態(tài)支持的圖像理解

在獲知姿態(tài)后，可以增強對圖像的理解。

該方法實現(xiàn)姿態(tài)圖像理解支持主要是根據(jù)視距與圖像的相關(guān)性和先驗知識，利用攝像頭焦距及目標(biāo)距離，基于先驗知識，就可以推知識別目標(biāo)在圖像中所處的區(qū)域。

目標(biāo)距離計算公式如下：

其中，f表示焦距，v表示像距，u表示物距，利用式（4）可以計算像的位置。h′表示像的高度，h表示物的高度，m為放大倍數(shù)，利用式（5）可以計算像的大小和面積。

根據(jù)VR 眼鏡攝像頭的鏡片焦距，在進(jìn)行場景識別過程中，對采集圖像進(jìn)行分割，結(jié)合姿態(tài)定位已知區(qū)域，并對其實施識別，分辨場景信息。

2 基于工服色彩的場景識別實現(xiàn)

工服是工業(yè)環(huán)境中的必要裝備，具有保護(hù)和標(biāo)識作用[14]，其顏色與工種是相關(guān)的，也在一定程度上反映了場景信息。下面結(jié)合上節(jié)內(nèi)容介紹基于工服色彩的VR 眼鏡場景識別，利用對VR 眼鏡佩戴航空機務(wù)保障人員工服的顏色識別實現(xiàn)相關(guān)數(shù)據(jù)的推送。該文利用這種相關(guān)性，實現(xiàn)對應(yīng)工種信息的推送。

2.1 VR眼鏡選取

眼鏡選取瓏璟VR 眼鏡（Lochn＠）。該眼鏡基于LCE1801H 光導(dǎo)模組，支持使用MIPI 接口和RGB 接口，分辨率為800×480，模組上位機核心芯片RK3399可以使用雙MIPI 接口、雙ISP，單通道最大支持1 300萬像素。眼鏡可以與Android 移動終端互聯(lián)，實現(xiàn)直接通信，且分辨率較高，顯示效果好。

瓏璟VR 眼鏡實物如圖2所示，該眼鏡與定位器綁定。

圖2 VR眼鏡實物圖

2.2 工服圖像分割

VR 眼鏡佩戴者的視覺關(guān)系如圖3所示，其中左圖為平視狀態(tài)；右圖為俯視或低頭狀態(tài)，扇形面積為VR 眼鏡的視角，θ為VR 眼鏡的視角角度；左圖狀態(tài)視角的中心線與水平線重合，在右圖佩戴者低頭狀態(tài)下，視角中心線與水平線形成夾角，夾角為β。

圖3 VR眼鏡佩戴者的視覺關(guān)系

則在右圖俯視情況下，眼鏡佩戴者的工服會出現(xiàn)在陰影區(qū)域中（該區(qū)域是視角落在佩戴者身體的部分），則可計算在整個成像中工服出現(xiàn)的圖像比例，該比例記為μ，其計算公式如式（6）：

依據(jù)μ，通過式（4）、（5）獲得圖高h(yuǎn)，可以將預(yù)判的工服圖像按照μ·h的長度分割出來。進(jìn)一步對獲得的工服圖像進(jìn)行色彩分析，并將比重最多的顏色作為工服顏色，查表獲得該工服工種對應(yīng)的數(shù)據(jù)（依據(jù)航空機務(wù)保障工服顏色與數(shù)據(jù)設(shè)置定義如表1）。

表1 工服顏色與數(shù)據(jù)設(shè)置定義表

2.3 定位系統(tǒng)設(shè)計

姿態(tài)識別室內(nèi)定位中，UWB 基站使用ST 公司的32 位控制器STM32F103C8T6 作為主控，decaWave 公司的DWM1001 模塊作為UWB 收發(fā)器（收發(fā)器如圖4所示）。

圖4 UWB收發(fā)器

該文采用6 個基站，實驗的場景如圖5所示，為一個大約7 m×5 m 的室內(nèi)環(huán)境，室內(nèi)的四周為墻體，并在其中圈定出一個直徑為1 m 的圓形區(qū)域進(jìn)行定位實驗，設(shè)定基站A1坐標(biāo)(0，0，1.3)，A2坐標(biāo)(0，0，1.7)，B1坐標(biāo)為(2，0，1.3)，B2坐標(biāo)為(2，0，1.7)，C1坐標(biāo)為(0，2，1.3)，C2坐標(biāo)為(0，2，1.7)，單位為m。

圖5 實驗場景

為了提高測試精度，采用基于誤差修正UWB 測距模型和分段參數(shù)的BLE 測距模型的融合定位，克服了UWB 精度不足的問題[15]。經(jīng)測試，改進(jìn)后的定位方法平均定位誤差可達(dá)6.8 cm，基本滿足了該文姿態(tài)識別的應(yīng)用要求。經(jīng)過BLE 改進(jìn)前后單一測試點定位坐標(biāo)三維散點圖，如圖6所示。

圖6 定位坐標(biāo)散點圖

2.4 系統(tǒng)流程框架

系統(tǒng)方案流程如圖7所示。

圖7 應(yīng)用系統(tǒng)方案流程

1）場景分析觸發(fā)與綁定。為了啟動識別，采用二維碼標(biāo)定設(shè)備機體。當(dāng)佩戴者啟動VR 眼鏡開始現(xiàn)場工作后，該眼鏡立即進(jìn)入“待工”狀態(tài)；通過凝視機體（粘貼有二維碼），VR 眼鏡識別出該二維碼，完成“待工”到“工作”狀態(tài)的切換。

2）姿態(tài)識別探測，獲取包含工服圖像。佩戴者使用眼鏡時，系統(tǒng)持續(xù)測量眼鏡的視覺角度，當(dāng)?shù)皖^角度達(dá)到閾值，立即采集此時的一張圖像。

3）工服圖像獲取。根據(jù)VR 眼鏡攝像頭視角，地面高度為視距（1.2～1.8 m），按照2.2 節(jié)方法分割獲得工服圖像，繼而進(jìn)行圖像色彩分析，得到比重最多的顏色，即為工服色。

4）數(shù)據(jù)匹配。預(yù)先建立工服顏色與工種數(shù)據(jù)信息對應(yīng)關(guān)系的數(shù)據(jù)庫。根據(jù)3），采用明氏距離計算RGB 顏色相似度，據(jù)此在數(shù)據(jù)庫中查詢得到與工服最匹配數(shù)據(jù)。

5）數(shù)據(jù)推送呈現(xiàn)。將上述得到的機務(wù)工種數(shù)據(jù)信息，呈現(xiàn)在眼鏡上。

以紫色工服為例，對模擬發(fā)電機設(shè)備進(jìn)行測試，效果如圖8所示，正確識別工種類型并實現(xiàn)了數(shù)據(jù)推送顯示。通過綜合測試發(fā)現(xiàn)，該方法切實可行，可以實現(xiàn)不同工服顏色識別和數(shù)據(jù)推送。但是，由于受定位精度的影響，佩戴/動作習(xí)慣不規(guī)范，以及下肢運動的影響未考慮等因素，識別準(zhǔn)確性、穩(wěn)定性上還存在一定偏差（識別準(zhǔn)確率在42%～65%之間）。未來可以通過增加參考點來識別更復(fù)雜的姿態(tài)，并采用精度更高的定位算法和設(shè)備提升方法效果。

圖8 工服識別信息推送軟件界面效果圖

3 結(jié) 論

文中利用可穿戴設(shè)備與人體之間的密切關(guān)系，基于室內(nèi)定位技術(shù)獲得佩戴者的姿態(tài)，進(jìn)而輔助場景識別，用以增強信息顯示。隨著可穿戴設(shè)備的不斷普及，智能化程度越來越高，可以利用的信息也必將更加豐富（如：體征、體態(tài)、情感、習(xí)慣等），充分將這些信息與設(shè)備、場景相融合，可以進(jìn)一步提高可穿戴設(shè)備的智能化，并改善用戶使用體驗，甚至在工業(yè)流程優(yōu)化中發(fā)揮更重要的作用[16]。