面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤技術(shù)探析

羅來(lái)曦 朱漁

摘 要：眼動(dòng)跟蹤技術(shù)作為人機(jī)交互方式的重要補(bǔ)充，其可有效提升用戶的沉浸感，對(duì)于解決虛擬現(xiàn)實(shí)頭盔中的諸多技術(shù)問(wèn)題具有十分重要的意義。現(xiàn)階段面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤技術(shù)的研究仍處于起步階段，因此，文章面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤系統(tǒng)設(shè)計(jì)構(gòu)建了虛擬現(xiàn)實(shí)硬件平臺(tái)、眼動(dòng)跟蹤軟件模塊及圖像采集硬件模塊，有效提升了虛擬現(xiàn)實(shí)頭盔的實(shí)用性。

關(guān)鍵詞：虛擬現(xiàn)實(shí)頭盔;眼動(dòng)跟蹤技術(shù);眼圖處理模塊;視線估計(jì)模塊

0 引言

眼球的運(yùn)動(dòng)直觀反映了個(gè)體的思維活動(dòng)，通過(guò)追蹤眼球運(yùn)動(dòng)可實(shí)現(xiàn)個(gè)體思考模式與感知能力的分析。在虛擬現(xiàn)實(shí)環(huán)境下，個(gè)體往往會(huì)因方向感的缺失而產(chǎn)生不適感，繼而對(duì)沉浸式體驗(yàn)過(guò)程造成不良影響，為了解決這一問(wèn)題，開(kāi)發(fā)者通常會(huì)以小地圖、箭頭、覆蓋路徑等方式為用戶提供導(dǎo)航，但又不可避免地導(dǎo)致顯示器可見(jiàn)范圍被占用。為了解決這一問(wèn)題，開(kāi)發(fā)人員試圖利用眼動(dòng)跟蹤技術(shù)的引入分析用戶眼動(dòng)數(shù)據(jù)，繼而預(yù)測(cè)其對(duì)導(dǎo)航的需求，為用戶提供自適應(yīng)輔助導(dǎo)航功能。因此，本文重點(diǎn)面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤技術(shù)進(jìn)行研究，以期提升虛擬現(xiàn)實(shí)頭盔的用戶體驗(yàn)。

1 ? 眼動(dòng)跟蹤對(duì)虛擬現(xiàn)實(shí)頭盔的意義

眼動(dòng)跟蹤技術(shù)是虛擬現(xiàn)實(shí)頭盔中關(guān)鍵的技術(shù)之一，其不僅有助于提升VR世界的視覺(jué)廣度，緩解用戶肢體疲勞，還可提升注視點(diǎn)分辨率，及時(shí)響應(yīng)環(huán)境感知，強(qiáng)化人機(jī)交互效果。

1.1 ?緩解用戶肢體疲勞

現(xiàn)階段，虛擬現(xiàn)實(shí)頭盔因技術(shù)的局限性仍較為笨重，用戶佩戴與交互操作過(guò)程中需要借助一系列肢體動(dòng)作，如通過(guò)操作手柄選擇虛擬菜單、以手持續(xù)滑動(dòng)虛擬界面等，這無(wú)疑對(duì)用戶體驗(yàn)感造成了極大影響。而眼動(dòng)跟蹤技術(shù)的引入解放了用戶的雙手，很多疲勞動(dòng)作均可以用眼神操作加以替代，這使得用戶在虛擬場(chǎng)景中動(dòng)作敏捷、反應(yīng)迅速、判斷精準(zhǔn)，只需瞄準(zhǔn)目標(biāo)即可完成對(duì)應(yīng)操作，配合虛擬現(xiàn)實(shí)頭盔的頭動(dòng)追蹤裝置，可有效降低用戶的肢體動(dòng)作。此外，眼動(dòng)跟蹤技術(shù)還可定義用戶虛擬形象，并增添眨眼等表情，為虛擬社交的生動(dòng)演繹提供了途徑。

1.2 ?提升注視點(diǎn)分辨率

現(xiàn)階段，虛擬現(xiàn)實(shí)頭盔應(yīng)用受阻的重要原因之一在于其價(jià)格高昂，這使得普通消費(fèi)群體望而卻步，而虛擬現(xiàn)實(shí)頭盔成本高昂主要是由于其屏幕的高分辨率要求。就人眼視覺(jué)原理而言，個(gè)體在觀察目標(biāo)物時(shí)僅僅集中在目標(biāo)對(duì)象極小范圍的區(qū)域，對(duì)于遠(yuǎn)離目標(biāo)對(duì)象的區(qū)域往往選擇主動(dòng)忽略。從這一角度來(lái)看，眼動(dòng)跟蹤技術(shù)可根據(jù)用戶需求主動(dòng)調(diào)節(jié)注視點(diǎn)區(qū)域高分辨度，對(duì)于遠(yuǎn)離注視點(diǎn)的區(qū)域則逐級(jí)降低其分辨率，如此不僅保障了人眼對(duì)目標(biāo)物體的觀察，還極大地降低了對(duì)顯示屏的硬性需求，有利于縮減虛擬現(xiàn)實(shí)頭盔的成本。

1.3 ?及時(shí)響應(yīng)環(huán)境感知

在虛擬現(xiàn)實(shí)頭盔中，部分?jǐn)?shù)據(jù)分析與操作需要一定的時(shí)間方可完成，如通過(guò)線上數(shù)據(jù)庫(kù)搜索目標(biāo)，若用戶對(duì)特定方向進(jìn)行掃視，要求人機(jī)交互前系統(tǒng)后臺(tái)就要成功讀取和分析數(shù)據(jù)。而眼動(dòng)跟蹤技術(shù)所提供的數(shù)據(jù)預(yù)取功能無(wú)疑滿足了虛擬現(xiàn)實(shí)頭盔的自然交互需求，其不僅有效改善了用戶在沉浸式環(huán)境中的感知響應(yīng)度，還為人機(jī)交互實(shí)時(shí)性的實(shí)現(xiàn)提供了技術(shù)支持，這對(duì)于移動(dòng)數(shù)據(jù)網(wǎng)絡(luò)尤為有效。

2 ? 面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤系統(tǒng)

面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤系統(tǒng)，既要對(duì)該技術(shù)應(yīng)用場(chǎng)景的差異性進(jìn)行分析，又要構(gòu)建整個(gè)眼動(dòng)跟蹤系統(tǒng)平臺(tái)，還要在虛擬現(xiàn)實(shí)環(huán)境下精準(zhǔn)追蹤和定位瞳孔，獲取瞳孔識(shí)別算法，并根據(jù)用戶佩戴頭盔的不適性進(jìn)行注視點(diǎn)校正，眼動(dòng)跟蹤系統(tǒng)設(shè)計(jì)架構(gòu)如圖1所示。根據(jù)上述要求，需要構(gòu)建虛擬現(xiàn)實(shí)硬件平臺(tái)、眼動(dòng)跟蹤軟件模塊、圖像采集硬件模塊。其中，圖像采集、眼動(dòng)跟蹤軟件兩大模塊為整個(gè)系統(tǒng)的重中之重，后者涉及眼圖處理模塊、視線估計(jì)模塊兩方面。

2.1 ?虛擬現(xiàn)實(shí)硬件平臺(tái)的搭建

硬件平臺(tái)負(fù)責(zé)提供三維空間模擬功能，為用戶打造沉浸式交互效果，其主要涉及VR眼鏡處理器、VR眼鏡視頻現(xiàn)實(shí)器、VR眼鏡外部結(jié)構(gòu)3方面，既要確保所選處理器滿足視頻圖像處理性能要求，又要科學(xué)利用光學(xué)顯示模塊，還要確保結(jié)構(gòu)設(shè)計(jì)滿足用戶佩戴舒適度要求。因此，本文選用樂(lè)相科技的大朋VR頭盔作為虛擬現(xiàn)實(shí)硬件平臺(tái)，其采用的CPU為三星Exynos 7420，使用ARM四核Cortex-A57、Cortex-A53，不僅沉浸效果佳，而且運(yùn)算功能強(qiáng)，有助于保障交互過(guò)程的流暢性。不僅如此，該平臺(tái)采用的圖像處理器為MaliT760 MP8，頻率約772MHz，具有較強(qiáng)的圖像處理功能，加上屏幕高對(duì)比度和基于人體工程學(xué)的結(jié)構(gòu)設(shè)計(jì)，不僅有效降低了畫(huà)面余暉，還有效提升了佩戴舒適度，滿足系統(tǒng)對(duì)硬件平臺(tái)的要求[1]。

2.2 ?圖像采集硬件模塊的實(shí)現(xiàn)

本文構(gòu)建的是基于光反射類檢測(cè)算法、視頻圖形處理的眼動(dòng)跟蹤系統(tǒng)，因而需要結(jié)合眼動(dòng)環(huán)境差異科學(xué)選擇近紅外光源、CCD傳感器等，以構(gòu)建強(qiáng)大的圖像采集硬件模塊，既不對(duì)用戶眼睛造成傷害，又能獲取高質(zhì)量原始眼動(dòng)圖像。為了提高用戶對(duì)圖像的識(shí)別效果，系統(tǒng)選擇采取波長(zhǎng)為850 nm、輻射強(qiáng)度為350 mw/sr、直徑為5 mm、發(fā)射角度為 ? ? ? ?30?的近紅外光源作為環(huán)境光照的補(bǔ)充，該參數(shù)下的近紅外光源對(duì)人眼是安全的。對(duì)于紅外攝像頭的選型，本系統(tǒng)選擇的是對(duì)近紅外光線敏感的CCD攝像頭傳感器進(jìn)行原始眼動(dòng)圖像的獲取，該傳感器具有光照范圍廣、分辨率高等特點(diǎn)，加上虛擬現(xiàn)實(shí)頭盔對(duì)傳感器的體積要求，系統(tǒng)采用的是中星微S900超小型紅外攝像頭，為了確保眼動(dòng)圖像光線的均勻性，附加6個(gè)紅外LED光源[2]。

2.3 ?眼動(dòng)跟蹤軟件模塊的實(shí)現(xiàn)

該模塊是眼動(dòng)跟蹤系統(tǒng)的最重要模塊，其主要包括眼圖處理模塊與視線估計(jì)兩大部分，前者負(fù)責(zé)對(duì)眼動(dòng)圖像進(jìn)行失真處理，并提取瞳孔的坐標(biāo)位置，后者則根據(jù)獲取眼動(dòng)數(shù)據(jù)將瞳孔坐標(biāo)一一映射到屏幕坐標(biāo)系，完成人眼注視點(diǎn)的估計(jì)。

眼球圖像的處理主要通過(guò)圖像預(yù)處理、眼圖區(qū)域檢測(cè)及特征提取、瞳孔中心定位等完成對(duì)人眼瞳孔的識(shí)別。其中，眼動(dòng)圖像預(yù)處理涉及OpenCV對(duì)原始眼球圖像的濾波處理，還需借助直方圖均衡化增強(qiáng)圖像灰度值兼具，確保圖像的清晰度;眼圖區(qū)域檢測(cè)需要借助分水嶺思想對(duì)原始眼動(dòng)圖像進(jìn)行二值化分析，獲取最大穩(wěn)定極值區(qū)域，再利用橢圓擬合對(duì)各區(qū)域進(jìn)行處理，獲取穩(wěn)定區(qū)域的特征并予以提取;最后采用穩(wěn)定區(qū)域檢測(cè)與像素點(diǎn)、灰度特征相融合的方式對(duì)瞳孔進(jìn)行精準(zhǔn)定位。

眼動(dòng)跟蹤的目標(biāo)集中在人的視線方向，因此，視線估計(jì)模塊必不可少，可根據(jù)眼圖數(shù)據(jù)進(jìn)行目光建模，確定人眼的視線方向與凝視點(diǎn)，再借助映射函數(shù)將圖像坐標(biāo)中的點(diǎn)映射到屏幕坐標(biāo)系中。為了實(shí)現(xiàn)視線估計(jì)，一方面需要結(jié)合已知眼動(dòng)數(shù)據(jù)確定瞳孔坐標(biāo)系、屏幕坐標(biāo)系及二者關(guān)系，另一方面需要獲取實(shí)時(shí)眼動(dòng)數(shù)據(jù)應(yīng)用到求出坐標(biāo)系的關(guān)系，繼而對(duì)人眼視線點(diǎn)進(jìn)行即時(shí)測(cè)量，常用視線估計(jì)方法包括二維估計(jì)法、三維估計(jì)法，前者適用于能夠獲得穩(wěn)定眼動(dòng)數(shù)據(jù)的系統(tǒng)，后者則適用于多攝像機(jī)眼動(dòng)跟蹤系統(tǒng)，應(yīng)用時(shí)需根據(jù)設(shè)計(jì)要求靈活選擇[3]。

3 ? 結(jié)語(yǔ)

綜上，眼動(dòng)跟蹤技術(shù)是虛擬現(xiàn)實(shí)頭盔的必備技術(shù)之一，對(duì)于緩解用戶肢體疲勞、提升注視點(diǎn)分辨率、增強(qiáng)人機(jī)交互效果、及時(shí)響應(yīng)環(huán)境感知、提升虛擬現(xiàn)實(shí)頭盔的綜合性能意義重大。面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤系統(tǒng)構(gòu)建需要結(jié)合系統(tǒng)設(shè)計(jì)目標(biāo)及需求分析，開(kāi)發(fā)和實(shí)現(xiàn)VR硬件平臺(tái)、圖像采集硬件、眼動(dòng)跟蹤軟件三大模塊，然而，現(xiàn)階段面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤技術(shù)仍存在諸多不足之處，如采集瞳孔中心數(shù)據(jù)時(shí)因人眨眼頻率的不同，導(dǎo)致系統(tǒng)魯棒性較差，因此，還需進(jìn)一步加強(qiáng)眼動(dòng)跟蹤技術(shù)的研究，以持續(xù)改善虛擬現(xiàn)實(shí)頭盔的應(yīng)用性能。

[參考文獻(xiàn)]

[1]]李永強(qiáng).面向智能頭顯的眼動(dòng)跟蹤技術(shù)的研究[D].廣州：廣東工業(yè)大學(xué)，2019.

[2]李永強(qiáng).一種用于智能頭顯的眼動(dòng)跟蹤系統(tǒng)[J].現(xiàn)代計(jì)算機(jī)，2019（13）：84-89.

[3]熊小峰.面向虛擬現(xiàn)實(shí)頭盔的眼動(dòng)跟蹤系統(tǒng)研究[D].成都：電子科技大學(xué)，2017.

（編輯 王雪芬）