基于視線跟蹤的智能界面實現機制研究

胡文婷　周獻中　盛　寅　欣益行　王友發

(南京大學工程管理學院　江蘇 南京 210093)

?

基于視線跟蹤的智能界面實現機制研究

胡文婷周獻中*盛寅欣益行王友發

(南京大學工程管理學院江蘇 南京 210093)

摘要針對傳統用戶界面難以滿足普適計算發展的需求，提出一種基于視線跟蹤的智能界面解決方案。首先，以視覺注意力選擇機制為理論基礎，對智能界面交互框架中用戶、界面和系統三要素進行統一描述和說明；然后，以三要素的映射關系為研究依據，采用模糊聚類方法來計算用戶對界面對象的注意程度值，并使用視覺注意分配策略來預測用戶對界面對象的興趣程度；最后，設計相關實驗來驗證智能界面實現機制的有效性。實驗結果表明，智能界面預測用戶決策意圖的準確率高達85%，是一種能夠主動標注用戶興趣目標的智能界面可選方案。

關鍵詞智能界面視線跟蹤眼動視覺注意分配模糊聚類

0引言

用戶界面是系統和用戶之間進行人機交互和信息交換的媒介，是實現信息內部形式與人類可以接受形式之間的轉換。友好的用戶界面需要堅持以人為本的設計理念，充分考慮用戶的特征和需求，有效地降低用戶的認知負擔，提高用戶界面的可用性和完成任務的效率。

然而，傳統用戶界面采用“one-size-fits-all”的界面呈現模式，導致界面設計普遍存在四個假設前提[1]：(1) 用戶是具有正常行為能力的健康人；(2) 用戶使用傳統的交互方式；(3) 用戶擁有典型的感知、認知和操控能力；(4) 用戶是在一個穩定且熟悉的環境中進行交互操作。而與假設相違背的情況普遍存在，如因年老、擁擠的環境等情況導致用戶出現手抖現象，導致用戶界面呈現樣式無法滿足用戶的交互需求，嚴重阻礙了用戶順利完成目標任務。

隨著視線跟蹤技術日趨成熟，使得該技術有助于突破傳統用戶界面呈現樣式的四個假設前提：(1) 幫助嚴重肢體殘障者利用眼睛與外界進行交流與溝通[2]；(2) 作為一種新穎的自然、無約束的交互方式[3]；(3) 記錄用戶眼動行為來感知用戶的興趣、偏好等隱式信息[4]；(4) 提供給用戶更大的交互空間和更多的交互自由來滿足不同任務或環境的需要[5]。因此，本文從視覺注意力選擇的角度出發，提出一種基于視線跟蹤的智能界面，并不旨在構建一種通用的智能界面，而是提供一種主動標注用戶興趣目標的智能界面可選方案。相對于傳統圖形用戶界面，該智能界面具有智能性、主動性、適應性的特點，更側重在理解用戶興趣意圖和預測用戶決策目標的方面。

1智能界面的交互框架

人機交互過程是人與計算機相互適應的過程。從用戶的角度來說，如果用戶界面呈現的信息符合用戶的認知信息和行為特征，就能有效地幫助用戶快速完成任務；從計算機系統的角度來看，如果系統能夠根據用戶的行為信息，預測用戶的意圖并提供有效反饋信息，則能提高完成目標任務的效率[6]。在這種交互過程中，用戶界面充當一種信息交互媒介。圖1給出了一種智能界面的交互框架，該用戶界面具有人工智能特點，如適應性、自治性和合作性[7]。在此交互框架下，智能界面能夠記錄眼動行為來感知用戶的認知方式、行為習慣和興趣偏好等，主動地突出用戶所關注的界面對象，如對界面對象的邊框自動進行紅色標注，從而減小了用戶與界面之間的認知差距，使得人與計算機之間的交互更加自然、高效[8]。

圖1　智能界面的交互框架

定義1用戶模型U定義為U=，ID代表用戶的唯一標示符，P表示眼動行為所反映用戶的興趣偏好信息，揭示用戶對界面對象的傾向性選擇。

定義2界面模型I定義為I=，E=代表用戶界面的可視化對象，如按鈕、對話框、編輯框等。其中，DE表示為界面可表示的基本數據類型，如整數、字符等；GE表示為可視化對象的圖形描述，如樣式、顏色等；IE表示為系統所提供的交互手段，如視線、鼠標等。CI代表可視化對象的約束條件，系統為滿足用戶的需求可以改變對象部分屬性特征，如對象的樣式、顯示風格等，但是對象屬性更改需要依據系統所提供的DE、GE和IE屬性范圍。

定義3系統模型S定義為S=，W代表系統實現可視化對象的具體功能，如點擊靜音按鍵可實現軟件靜音的效果。CS表示系統的約束條件，如用戶界面的尺寸、分辨率等情況有所不同，需要調整界面可視化對象的屬性來滿足硬件要求。

2視覺注意分配策略

為了研究用戶的視覺注意分配策略，首先利用眼動儀采集時間和空間維度的原始視線信號，描述用戶視線所體現的注意程度，其次構建界面對象視覺注意程度模型A，使得A能夠定量描述用戶對界面對象Cj的注意程度，據此求得一維向量矩陣A=[AC1,AC2,…,ACl]，則該矩陣描述了視覺注意分配策略R。

Shimojo等[11]研究發現用戶對多個視覺目標進行選擇過程中，隨著時間的推移，注視時間和空間的分布趨向于所要選擇的界面對象上，表明用戶在視覺決策過程中存在凝視偏好現象。因此，本文將Amax=max{AC1,AC2,…,ACl}作為智能界面實現機制策略的最優解。

2.1視線注意程度

利用視線跟蹤技術記錄眼睛視線變化來研究個體選擇性加工的過程，體現了用戶視覺注意力選擇機制，反映了用戶眼動行為和興趣選擇之間的內在聯系[12]。因此，視線注意程度用來描述用戶對界面某一點的關注度，是具體說明用戶對該點興趣程度的重要指標。圖2描述了視線與界面的映射關系，假設一個隨機變量XO代表用戶界面的點O，XO具有二重屬性(0或1)。如果眼睛注視到點O，則XO=1；反之XO=0。當DO表示為用戶對O點的注視時間，Dtotal表示為用戶對整個用戶界面的注視時間，則用戶對用戶界面O點的注意程度表示為[13]：

(1)

圖2　視線—界面的映射關系

2.2眼動信息的模糊聚類

由于用戶視線一次性可以有效感知一片區域，而用戶視線直接映射到界面注視點的注意程度最強，如注視點O，但對 O點以外的區域也有所感知，如圖2所示。因此，針對用戶視線具有視覺廣度的特點，本文采用模糊聚類方法來描述注視點屬于界面不同對象的程度問題，就是把n個注視點pi(i=1,2,…,n)分到l個模糊組，使得每個給定注視點用值在0～1間的隸屬度來確定其屬于各個組的程度[14]。

Jm(Λ,U)=∑j∑iup(xi,yi)→cj‖p(xi,yi)-cj‖2

(2)

模糊聚類算法具體步驟：

步驟1初始化聚類中心C={c1,c2,…,cl}。

步驟2Cold←C。

步驟3計算p(xi,yi)屬于Cj的隸屬度：

(3)

步驟4計算聚類中心cj：

(4)

步驟5計算E=∑j‖cold-cj‖。

步驟6如果E大于閾值ε，則返回步驟2。

步驟7如果E小于閾值ε，則得到最后的結果C和U。

針對模糊聚類算法涉及的參數，本文作出具體說明：(1) 界面對象數量等于聚類數組個數；(2) 采用歐式距離方法；(3) 初始化的聚類中心為界面對象的中心；(4) 根據經驗設置m=2。

2.3界面對象注意程度模型

將式(1)作為構建界面對象注意程度模型的基礎，則注視點p(xi,yi)的注意程度表示為：

通過基于最大似然度變換（MLLT）的LDA算法來減少混合和音素的數量并減少特征矢量的數量。如表5所示，將維數從39個減少到32個，結果識別錯誤率提高2%。在實驗語料庫的測試中，使用了每個句子64個混合詞、1750個句子以及LDA+MLLT的模型。

(5)

其中，Dp(xi,yi)表示為用戶對p(xi,yi)點的注視時間，Dtotal表示為用戶對整個界面的注視時間。

那么，用戶對界面對象的注意程度表示為：

(6)

因此，根據式(6)求得用戶對界面對象注意程度的一維矩陣為A=[AC1,AC2,…,ACl]，則該矩陣描述了用戶對界面的視覺注意分配策略R。

3應用實例

3.1實驗設計

本文實驗目的是研究視覺注意分配策略預測用戶對界面對象興趣程度，其次評價用戶在基于視線跟蹤的智能界面完成任務的準確性和滿意度。實驗一要求被試者觀看特定樣式場景圖片，眼動儀記錄被試者在瀏覽界面過程中的眼動信息，將視覺注意分配策略與用戶主觀選擇進行比較，分析和評價界面對象注意程度模型的準確性和有效性。實驗二是以常見的用戶登錄界面為案例，當被試者瀏覽用戶界面時，計算用戶對界面對象的注意程度，系統將自動地對用戶最關注的對象進行標注，如果標注對象滿足用戶意圖需求，則采用眨眼行為觸發該對象，從而完成更換登錄界面頭像圖片的實驗任務。

3.2實驗被試者

實驗邀請33名被試者(男生20人，女生13人)，平均年紀24歲，均為南京大學的學生。裸眼視力或矯正視力均在5.0以上，色覺正常，無色盲和色弱等眼疾患者。

3.3實驗設備

實驗使用的是加拿大SR Research公司生產的EyeLink 1000非侵入式眼動儀，采樣頻率為1000 Hz；該實驗使用35 mm的鏡頭在Monocular模式下進行單眼測試。

3.4實驗的結果和分析

3.4.1實驗一

首先，從互聯網圖片庫選取9張不同風格的圖片作為實驗場景對象，去除圖片水印等干擾因素，調整圖片格式及大小，并且將其拼接成1024×768像素的場景圖。該場景圖所對應界面對象從左到右，從上到下的編號依次為A1、A2、…、A9，如圖3所示。為了減少場景對象排列順序給實驗造成的影響，將采取拉丁方設計來平衡實驗順序，多次采集眼動數據求取平均值。

其次，圖4顯示了20名被試者在特定場景中注視點的分布情況，其中X、Y軸表示為視線落在場景圖上對應的像素坐標。圖5給出了所有視線注意程度的三維圖，其中X、Y軸表示為視線落在場景圖上對應的像素坐標，Z軸表示為利用式(5)得到所有注視點的注意程度。

圖3　界面對象的場景圖

圖4　注視點的分布

圖5　視線注意程度

然后，采用模糊聚類方法計算每個注視點屬于界面不同對象的隸屬度。在此以A1為特定樣本對象，圖6描述了所有注視點屬于A1的隸屬度，其中X、Y軸表示為視線落在場景圖上對應的像素坐標，Z軸表示為式(3)所求的隸屬度值。利用求得注視點的隸屬度和注意程度的結果，計算式(6)得到被試者個體的視覺注意分配策略。圖7給出了某個被試者的視覺注意分配策略，視覺注意程度依次為0.6697、0.0653、0.0278、0.0558、0.0659、0.0092、0.0266、0.0245和0.0177，說明該被試者對界面對象的注意程度具有一定傾向性，尤其是對A1關注度最高，注意程度高達0.6697，而對其他對象的注意程度均不超過0.1。

圖6　注視點屬于A1的隸屬度

圖7　某個被試者的視覺注意分配策略

最后，被試者個體注意程度最大的界面對象(Amax所對應的對象)表述為用戶的客觀選擇，被試者個體行為決策的界面對象表述為用戶的主觀選擇，將主觀和客觀選擇進行比較分析。

表1顯示在兩種選擇中30%的被試者都選擇了A2，且25%和15%的被試者選擇了A9和A6，而被試者普遍對A4、A5和A8不感興趣，說明被試者個體主客觀選擇總體差異不大，視覺注意分配策略不僅能夠較好地反映被試者個體的決策意圖，而且可以預測被試者總體主觀選擇界面對象的分布情況。進一步研究發現被試者對多個視覺目標選擇的過程中，20名被試者中有17名的主客觀選擇完全一致，表明被試者客觀選擇預測用戶決策意圖的準確率高達85%。

表1　被試者個體選擇

3.4.2實驗二

以Amax作為智能界面實現機制的策略基礎，將實驗一的場景圖作為頭像場景的樣本圖片，要求其余13名被試者利用智能界面完成更換登錄界面頭像的任務，并對被試者進行滿意度調查問卷，其評價指標包括完成的滿意度、操作的難易度和用戶的興趣度，評分范圍為1～7分[15]。完成的滿意度體現用戶對任務執行過程和結果的滿意程度，如是否能快速有效地完成任務等；操作的難易度表明用戶對整個操作過程難易程度的認識，如是否在實驗過程中感到很難理解或操作不流暢等；用戶的興趣度表明用戶對于交互過程的感興趣程度，如是否對眼動交互手段感興趣。研究發現2名被試者對智能界面所標注的對象并不滿意，所以無法完成實驗任務，而其余11名被試者順利完成實驗任務，說明智能界面能夠幫助被試者有效地完成實驗任務，其準確率高達84.6%。用戶調查問卷滿意度的平均值為5.74，表明智能界面能夠主動預測被試者的交互意圖，使得界面表現形式滿足被試者的意圖需求，有效地改善了用戶體驗，并在一定程度上提高了人機交互的自然流暢性。

4結語

隨著普適計算的發展，隨時隨地、以任意形式為用戶提供信息，使得人機交互界面的設計和表現形式已經沒有統一的模式。因此，本文針對傳統界面設計模式的不足，以認知心理學中視覺注意力選擇機制為理論基礎，從智能界面的交互框架、視覺注意分配策略兩個方面對智能界面的實現機制進行了討論。研究表明：(1) 眼動信息可以體現用戶潛在的決策意圖；(2) 視覺注意分配策略能夠反映用戶對界面對象的興趣程度；(3) 模糊聚類可以作為一種有效度量界面對象注意程度的方法。在此基礎上，設計和實現的智能界面在一定程度上滿足了用戶的交互意圖，提高了人機交互的自然性和普適性。

參考文獻

[1] Gajos K Z,Weld D S,Wobbrock J O.Automatically generating personalized user interfaces with Supple[J].Artificial Intelligence,2010,174(12):910-950.

[2] 李姍,潘綱,李石堅.面向殘障人士的基于眼動交互的繪畫系統[J].電子學報,2011,39(A03):163-167.

[3] Ratwani R M,Trafton J G.A real-time eye tracking system for predicting and preventing postcompletion errors[J].Human-Computer Interaction,2011,26(3):205-245.

[4] Ajanki A,Hardoon D R,Kaski S,et al.Can eyes reveal interest? Implicit queries from gaze patterns[J].User Modeling and User-Adapted Interaction,2009,19(4):307-339.

[5] D’Mello S,Olney A,Williams C,et al.Gaze tutor:A gaze-reactive intelligent tutoring system[J].International Journal of Human-Computer Studies,2012,70(5):377-398.

[6] 樊銀亭,滕東興,楊海燕,等.基于經驗感知的自適應用戶界面模型[J].計算機學報,2011,34(11):2211-2223.

[7] 胡文婷,周獻中,王友發,等.基于智能界面的交互模型研究[C]//中國指揮控制大會,2013:803-806.

[8] 樊銀亭,滕東興,汪恭正,等.虛擬家居定制系統中的自適應用戶界面實現機制[J].計算機輔助設計與圖形學學報,2011,23(4):705-712.

[9] Deutsch J A,Deutsch D.Attention:Some theoretical considerations[J].Psychological Review,1963,70(1):80.

[10] Huckauf A,Urbina M H.Object selection in gaze controlled systems:What you don't look at is what you get[J].ACM Transactions on Applied Perception (TAP),2011,8(2):13.

[11] Shimojo S,Simion C,Shimojo E,et al.Gaze bias both reflects and influences preference[J].Nature Neuroscience,2003,6(12):1317-1322.

[12] Masciocchi C M,Mihalas S,Parkhurst D,et al.Everyone knows what is interesting:Salient locations which should be fixated[J].Journal of Vision,2009,9(11):25.

[13] Lin Y,Zhang W J,Wu C,et al.A fuzzy logics clustering approach to computing human attention allocation using eyegaze movement cue[J].International Journal of Human-Computer Studies,2009,67(5):455-463.

[14] Duda R O,Hart P E,Stork D G.Pattern classification[M].John Wiley & Sons,2012.

[15] Nielsen J,Pernice K.用眼動追蹤提升網站可用性[M].北京:電子工業出版社,2011.

ON IMPLEMENTATION MECHANISM OF INTELLIGENT INTERFACE BASED ON GAZE TRACKING

Hu WentingZhou Xianzhong*Sheng YinXin YihangWang Youfa

(SchoolofEngineeringManagement,NanjingUniversity,Nanjing210093,Jiangsu,China)

AbstractBecause traditional user interfaces are difficult to meet the requirement of the development of pervasive computing, we proposed a gaze tracking-based intelligent interface solution. First, we took the mechanism of visual attention selection as the theoretical basis, and gave the unified description and interpretation on three key factors of user, interface and system in interaction framework of intelligent interface. Next, according to mapping relationship among three key factors, we used fuzzy clustering method to compute the level of users’ attention on interface objects, and used visual attention allocation strategy to predict interest degree of users on interface objects. Finally, we designed the related experiments to verify the effectiveness of implementation mechanism of the proposed intelligent interface. Experimental results indicated that the proposed intelligent interface reached the accuracy up to 85% in predicting users’ intention of decision making, and was an optional solution that could actively mark users’ interesting objects.

KeywordsIntelligent interfaceGaze trackingEye movementsVisual attention allocationFuzzy clustering

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.01.035

收稿日期：2014-07-21。國家自然科學基金項目(71171107)；江蘇省普通高校研究生科研創新計劃項目(KYZZ_0042)。胡文婷，博士，主研領域：智能信息處理，視線跟蹤技術與和諧人機交互。周獻中，教授。盛寅，博士。欣益行，碩士。王友發，博士。