基于眼動追蹤技術的數字閱讀系統設計與應用*

張賽男 王 瑜 劉恩濤 張牣彧 曹雪霏

（北京科技大學圖書館，北京 100083）

1 引言

眼動追蹤技術，即利用光學、電子、機械等現代化研究方式和檢測手段來取得閱讀者視覺注意點的位置的技術。根據眼球運動與閱讀規律分析，眼球的注視方向極大地包含了讀者在閱讀時感興趣的信息。眼睛盯視方向、時間、眼跳頻率、瞳孔參數、注視點軌跡等往往被認定為蘊含心理因素與思維因素的重要特征點。因此，通過對讀者閱讀時觀測所得一系列眼動信息進行跟蹤，可以作為分析人們心理活動與思維方式的有效憑據[1]。

近年來，隨著移動技術與數字閱讀的興起，眼動追蹤技術逐漸在閱讀研究中顯現其優勢，并成為研究讀者閱讀心理與深度學習的重要依據。眼動追蹤技術通過嵌入式移動設備測量眼睛的運動情況，從而建立起眼球光學模型并由此計算出視線方向與注視點位置，進而實現AR/VR注視點渲染，達到輔助閱讀及分析的目的。

人類通過眼睛獲得80%到90%的外界信息，眼動追蹤作為一種全新的閱讀交互技術，其特有的雙向性不僅有利于更自然地輸入，也使得對閱讀中有價值信息的提取成為可能。而隨著AR/VR技術對感官的集成度越來越高，未來通過人體感知進行交互的方式也變得越來越重要，并將在教育、助老、助殘、醫療等方面逐漸顯現出重要意義。

2 眼動追蹤系統的技術類型及特點

眼動追蹤系統按照采用的學科方法可以分為機械方法、電磁學方法和光學方法；按照系統結構和采用的跟蹤方式不同又分為侵入式方法與非侵入式方法；而根據是否需要穿戴設備，又具體細分為穿戴式方法與非穿戴式方法[2]。

1898年，Delabarre第一次利用角膜的凸球面特點，用一個連接桿傳遞并記錄受試者在閱讀狀態下眼睛運動的軌跡，這成為機械法研究眼動追蹤的最早嘗試[3]。另外，也有研究者通過眼球轉動時周圍皮膚的電位差的變化來跟蹤眼睛運動軌跡。這類方法叫電流記錄法（EOG法）[4]。20世紀以后，隨著光學材料和攝影技術的迅速發展，在1901年，Dodge和Cline第一次利用角膜反射的光線以及普通攝像技術記錄下了受試者的眼睛運動軌跡，從此這種被稱為光學記錄法（VOG法）的方法被廣泛使用并不斷發展[5]。1922年，在芝加哥研制成功的“GuyThomasBuswellinChicago”成為世界上第一臺非侵入式眼動追蹤設備。使用者通過人眼光束反射于膠片來實現記錄與位置判定[6]。20世紀70年代，眼動追蹤技術在閱讀和心理學研究中飛速發展。20世紀80年代開始，眼動追蹤技術開始應用化，人們逐漸使用眼動追蹤來解決人機交互問題。2010年3月，德國雷根斯堡大學研究人員根據用戶如何使用眼球運動信息在電腦菜單中檢索命令并將眼動搜索結果實時使用進行了一項調查，開發出一款僅用“目光”控制電腦從而達到幫助殘疾用戶閱讀并進行操作的軟件系統[7]。此外，斯坦福大學HCI組Kumar等人于2007年提出的研究“EyeScrolling”在人類心理學研究基礎上通過對文件導航和瀏覽操作進行控制，從而得出一種特定的“讀書模型”，可以確定讀者閱讀時的翻頁速度和注視區域[8]。

上述方法中，機械法和電磁學方法（侵入式方法）由于裝置與人眼直接接觸，對受試者具有一定的侵害性和干擾性，已經不再使用。而基于光學攝像機（VOG）的眼動追蹤方法，采用相機對人眼進行無害化的影像拍攝，從得出的視頻信息中提取眼睛特征參數，對受試者具有較小的干擾性，且可操作性強，成為目前應用最為廣泛的一種方法[9]。

3 眼動追蹤系統在數字閱讀中的應用現狀

隨著虛擬現實技術、計算機技術及機械輔助設計的發展，目前眼動追蹤已經逐漸擴展到電子閱讀、信息檢索、人因分析等新興領域，并對社會認知領域、文化研究、信息發展研究等工作領域產生重大的影響。大量研究數據表明，在虛擬閱讀環境中，使用眼動追蹤交互技術比指點式交互技術效率會更高。尤其在遠距離使用時發揮出的優勢更加明顯，也更貼近人類的自然交流。綜上所述，眼動追蹤技術在目前的數字閱讀及移動閱讀領域越來越體現出強大的研究意義與實用價值。

3.1 輔助電子閱讀

2014年安卓開發者大會上，TheEyeTribe公司發布一款尺寸僅為20×1.9×1.9厘米，僅使用眼球運動就能控制平板電腦的配件設備，成為目前世界上最小的眼動追蹤器。通過該產品，用戶可以通過眼動控制電子書及網頁閱讀方式，達到下拉、翻頁、標注、搜索等功能。在此項成果發布之前，基于Windows系統配套的TheEyeTribe相關配件已經提前發布，所有使用Windows系統的臺式機、筆記本電腦以及平板電腦都可以支持此類追蹤技術。2016年10月，TobiiTechnology公司在“FACTORY2016Fall”上，展出了眼動追蹤智能眼鏡“TobiiProGlasses2”。當讀者閱讀文章達到底部時，屏幕會自動向下滾動并按照預期反彈回來。此外，三星、蘋果、微軟等公司在部分Ios、Android系統移動閱讀終端也配備了眼動追蹤的功能。

3.2 網頁評估與設計

眼動追蹤技術可以幫助研究者記錄用戶在瀏覽網頁中的眼部運動。從而推算出用戶的網頁瀏覽順序、注意力分配，以及閱讀感興趣區域分布，最終得出視線熱點圖將會標記出設計元素的“熱點區域”，以及頁面什么位置最受用戶關注[10]。Owens（2008）的網站瀏覽模式研究和Nielsen（2006）的網頁閱讀模式研究提出，利用自然習慣，用戶在網頁瀏覽中的注視焦點呈EF型，熱點位于頁面左上角。該研究對網頁內容的編排提供了啟示，例如德國的軟件智能設計公司EyeQuant根據上述理論幫助用戶改進網頁設計，在幾秒鐘內就可以確認設計結果。

3.3 V-Learning深度學習

自2016年開始，虛擬現實技術在全世界掀起了新的高潮。而以眼動追蹤為技術基礎的VR+教育也引發更多投資者的關注和教育人士的探討。AI時代的研究應更多關注人因自然交互及情感交互在現代教育技術的發展上，在經歷廣播電視DLearning、互聯網E-Learning以及移動終端MLearning之后，包括現在推廣的MOOCs，上述教學過程缺乏真實情境浸入，教師與學生、學生與學生、學生與環境之間缺乏交互，教學方式及評價方式都還有待提高。而V-Learning采用可視化技術與虛擬現實結合的新型教學模式，主要致力于教學內容、教學過程的改革以及教學效果的評價[11]。

3.4 閱讀心理與讀者研究

當人們閱讀時，眼球運動的特點表現為一系列的眼跳活動和注視點。通過對眼球運動進行跟蹤，實時記錄讀者眼球運動數據，再對應到閱讀認知過程，研究者可以有效地進行心理活動的詳細分析和對個體的認知過程進行評估。研究人員嘗試使用電生理/腦成像技術來進行閱讀中的認知過程研究，并探索兩種技術的更有效結合。例如，利用ERP技術和眼動研究漢語閱讀理解的句法啟動效應，結果表明，兩種方法提供了漢語閱讀理解啟動效應相對恒定一致的證據[12]。俄羅斯國立高等經濟大學官方網站于2018年8月30日發布，俄羅斯和德國參與創建了第一個俄語閱讀眼動數據庫。該數據庫不僅可用于語言搜索，還可用于診斷和糾正語言障礙。總之，利用眼動追蹤技術搜索語言和閱讀已成為認知研究的新趨勢。

4 基于單攝像機眼動追蹤的數字閱讀系統構架

4.1 VOG非接觸式眼動追蹤原理

目前主流的眼動追蹤輔助閱讀產品主要分為穿戴式單攝像機眼動追蹤系統和非穿戴式多攝像機眼動追蹤系統。在使用過程中通過拍攝人臉（人眼）圖像識別檢測視線特征參數（例如虹膜中心與眼角點之間的矢量），然后構建視線特征參數到視線屏幕落點之間的映射模型，從而計算出屏幕盯視點的位置坐標，進而指導一系列閱讀操作。整個過程流程如圖1所示。

圖1 VOG非接觸式眼動追蹤原理

在實際應用中，為了達到精確的追蹤效果，往往需要穿戴頭顯或眼鏡設備來進行頭眼部定位從而矯正偏差，讀者的使用體驗感與自由度相應地就會受到一定的限制。若不采用穿戴設備，則需要至少兩臺以上攝像機進行位置標定，成本也相應隨之增加。綜上所示，如何使系統的體驗感與開發成本兼容，仍然是目前眼動追蹤技術發展不容忽視的問題。針對這個問題，筆者設計相應實驗，探討在非穿戴式單攝像機眼動追蹤技術中通過算法優化來減小實驗誤差，從而優化系統結構，增強讀者使用體驗。

4.2 基于Adaboost算法的視線特征參數提取

閱讀活動描述與閱讀心理變化反映在系統架構中就是讀者的眼部運動過程。因此人眼特征參數提取就成為實現眼動追蹤技術的前提和關鍵，且提取質量的差異直接關系到結果判別的精度。人眼特征參數的定義依不同的追蹤實現技術而確定，單攝像機法通常采用瞳孔角膜向量反射技術（PCCR，thepupilcentercorneareflectiontechnique），選擇近紅外光源照射下用戶眼睛的角膜和瞳孔上產成反射向量作為人眼參數。而作為這種方法的簡化，在自然光條件下可以采用虹膜中心與眼角點之間的向量來作為人眼參數。筆者實驗采用自然光條件，視線特征參數提取的過程如圖2所示。

圖2 視線特征參數提取過程

本方法首先使用Haar-like特征表示人臉（人眼），采用Adaboost算法選擇最能代表人臉（人眼）的矩形特征弱分類器，通過加權投票將弱分類器構造成強分類器，訓練完成后，將得到的多個強分類器進行串聯，形成用于人臉（人眼）檢測的層疊分類器的級聯結構；然后采用自適應閾值分割法將檢測的人眼圖像進行虹膜和鞏膜分割：分割后的虹膜圖像經濾波處理，之后采用cannny算子進行邊緣檢測，經最小二乘算法橢圓擬合之后計算出虹膜中心坐標（x1，y1），分割后的鞏膜圖像經濾波處理后進行SUSAN角點檢測計算出眼角點中心坐標（x2，y2）。最后將計算出的中心坐標向量化為特征參數（xs，ys）。建立特征參數與視線實際落點的映射模型之后，即可得到閱讀者眼睛在屏幕中的注視方向，進而指導后續學習操作。

4.3 基于多項式映射模型的視線落點估計

讀者的閱讀視線估計目前運用最多的是基于多項式映射模型的視線落點估計方法[13-17]。在實驗中將上文中得到的特征參數帶入視線映射函數，從而計算出視線落點在閱讀器屏幕上的映射點。在頭部靜止不動的情況下，假設特征參數與視線落點之間具有如下關系：

視線映射函數 pm（xSyS）→S（xeye）其中 xe和ye表示視線屏幕落點的橫坐標和縱坐標；xS和yS表示特征參數向量的橫坐標和縱坐標。首先需要進行系統標定來確定系數a。當使用者盯視屏幕上9個標定點得到得到多元回歸方程，再進行最小二乘回歸得到系數a0-a11。得到系數后帶入原模型，即可得到每次讀者眼睛進行運動時視線在閱讀器上的實時落點S（xeye）。

上述映射模型只適用于頭部靜止不動的情況下。一旦頭部發生偏移，映射模型的參數就會不準確，從而導致計算得出的視線落點產生偏差，無法正確地得到讀者的注視軌跡。如何在頭部運動的前提下減小誤差的產生是研究單攝像機眼動追蹤技術必須面對的問題。

5 頭動狀態下的視線落點補償算法

5.1 特征參數補償算法

一旦發生頭部的運動偏離標定位置，檢測出的特征參數就不能被認為再適用于標定位置的映射模型。這樣就需要求出偏離位置與標定位置之間特征參數的偏差量，然后對偏離位置的特征參數進行補償。

文獻[18]根據頭動后特征參數與頭部位置變化的關系對視線參數進行了改進補償。當閱讀者頭部平行移動時，使用者的瞳距是固定值。但是當使用者頭部發生轉動時，圖像瞳距在不同的位置上就會發生變化[19-21]。文獻[18]通過補償頭部轉動的瞳距值得到標準位置的特征參數值，這樣就消除了頭部運動帶來的視線估計誤差量。但是此種方法存在一定不合理之處。整個推導過程都只考慮了矢量的大小，并沒有過多地涉及到方向。這樣補償出來的特征參數僅僅反映的是大小的變化，而實際上頭部發生運動后特征參數的方向以及角度也會相應發生改變。以下筆者就頭部運動后特征參數的角度變化進行分析，以作出更加嚴謹的補償形式。特征參數以及瞳孔角度在頭部運動過程中的變化如圖3所示。

圖3 頭部位置對特征參數角度及瞳孔角度的影響

其中參數定義為：

p2g2：標定位置圖像中的視線參數；p2g2：偏離位置圖像中的視線參數標定位置圖像瞳孔中心連線偏離位置圖像瞳孔中心連線；θ1：標定位置視線參數角度；θ2：偏離位置視線參數角度；γ1：標定位置角度；γ2：偏離位置角度；S1：三角形的面積；S2：三角形的面積。

即要求得θ1與θ2之間的關系。假設T為屏幕盯視點S到鏡頭中心的距離，d為角膜曲率中心到盯視點之間的距離：由圖3可知T1/d1=tanγ2，T2/d2=tanγ2，可得tanγ1d1/d2+ΔT/d2=tanγ2。根據成像關系有ΔTf/d2Δt，其中Δt為圖像距離，f為鏡頭焦距。則

當使用者處于不同位置時，瞳距在圖像上的值L1，L2與角膜曲率中心到盯視點之間的距離d1，d2成反比L1/L2。所以

由三角形面積公式可知

代入公式（4）得

同理

將 γ1γ2代入公式（3）得到

θ1與θ2之間的關系可得。

由上文推導出在頭部運動情況下的一種將偏移位置補償至標定位置的特征參數補償算法。在實驗環境中將文獻[18]中眼動追蹤項目補充上文頭動偏移算法，在估計視線落點之前運用提前反饋的思想對視線特征參數進行補償，調整由于頭部運動帶來的估計誤差。閱讀終端電子屏幕上9個對應點為標準進行試驗，對比補償算法加入前后視線落點情況如圖4所示。

圖4 未補償前與補償后視線落點估計

由圖4可以直觀地看出文獻[18]補充特征參數補償方法之后在頭動狀態下視線估計更加準確穩定，視線估計落點基本位于標定點附近。從補償前后誤差方面分析補償算法的特性見表1。

表1 補償算法加入前后9個標定點的平面特征參數以及誤差比較

續表1

由表1可以看出針對平面閱讀視線參數模型，對于頭動情況下出現誤差進行視線特征參數補償，實驗結果顯示，補償之后視線落點相對穩定，沒有出現比較大的波動，相對于未補償的實驗效果有了很大改善，符合應用要求。

5.2 多變量灰色預測GM（1，N）模型的建立

將信息清晰的系統稱為白色系統，信息無法獲知的系統稱為黑色系統，只有一部分信息清晰的系統稱為灰色系統。灰色系統的研究方法是：離散數據在其變化過程中被看作是連續變量的離散值，采用對其進行差分對齊處理而不是直接利用原始數據。利用微分方程模型生成累積數和序列，從而抵消大部分隨機誤差，展示出規律性。灰色系統理論已成為系統分析、評價、建模、預測、決策、控制和選擇優化的技術系統[22]。

設對于N個變量，X1，X2，…，XN，其中X1表示視線預測值，而X2，…XN表示影響視線落點的原因，每個變量都有m個相互對應的歷史數據，于是形成N個原始數列：

對 X（0）i 做累加生成，得到生成數列：

這個微分方程模型記為GM（1，N）。方程（8）的參數列記為 a=（a,b1,b2…，bn-1）τ，再設 YN=將方程（8）按差分法離散，可得到線性方程組，形如：

按照最小二乘法，有：

其中，利用兩點滑動平均的思想[24]，最終可得矩陣：

采用表2數據進行GM（1，N）預測，實驗環境為MATLAB。灰色預測實驗模型為通過實驗得到參數估計值如下：

表2 部分實驗視線參數數據

因此可以得到視線落點的預測模型。根據得到的預測模型進行估計，實驗者在自然頭動情況下依次盯視屏幕上9個標定點，通過視線參數檢測得到瞳孔以及普爾欽斑數據，將這些數據帶入已知的灰色預測模型進行視線落點估計，得到盯視點與估計落點之間對應數據列表，見表3。

表3 盯視點與視線估計落點數據對比

5.3 實驗總結

上文中采用多項式映射模型進行視線落點估計，對頭動狀態下的特征參數進行了補償。實驗結果表明對比于不加以補償，誤差減小明顯，改進的補償算法具有顯著效果。而采用灰色預測模型進行視線落點預測，與上述兩種方法相比誤差進一步減小，三種方法誤差比較結果如圖5所示。

圖5 三種方法平均誤差（像素）比較

6 總結與展望

隨著人工智能技術發展，利用基于眼動姿態跟蹤的眼動追蹤技術來實現人機交互進行閱讀成為當前數字閱讀領域的一項新興手段。如何簡化系統結構、優化使用體驗，使眼動追蹤系統更貼近讀者自然的閱讀狀態成為目前該項技術研究的關鍵點。本研究基于特征參數的補償算法和多變量灰色預測GM（1，N）模型兩種方式對此進行了改進，實驗平均像素誤差降低，取得一定的改進效果。基于實驗條件，由于角膜曲率中心到視線落點的距離在單攝像機眼動追蹤系統中無法完全測量，文獻[18]提出的頭動補償和本文中基于此方法的改進算法均采用受試者在不同位置時攝像機測量的瞳距值進行瞳孔橢圓的曲率估計，精確性有待提高。下一步工作需要精確頭動補償算法中各眼部參數與視線特征參數回歸關系，以得到更高的補償精度。同時，通過進一步實驗，完善基于三維視線方向模型的視線落點估計方法以及單點標定方法，以期得到一種在完全頭動情況下依然適用的具有普適性與高精度的視線落點估計方法。