薛 佳，栗 覓，馬理旺，呂勝富，鐘 寧,4

(1.北京工業大學 電子信息與控制工程學院 國際WIC研究院，北京 100124； 2.腦信息智慧服務北京市國際合作基地，北京 100124； 3.磁共振成像腦信息學北京市重點實驗室，北京 100053； 4.日本前橋工科大學 生命信息系，日本 前橋 371-0816)

基于視覺行為的網上用戶識別

薛 佳1,2,3，栗 覓1,2,3，馬理旺1,2,3，呂勝富1,2,3，鐘 寧1,2,3,4

(1.北京工業大學 電子信息與控制工程學院 國際WIC研究院，北京 100124； 2.腦信息智慧服務北京市國際合作基地，北京 100124； 3.磁共振成像腦信息學北京市重點實驗室，北京 100053； 4.日本前橋工科大學 生命信息系，日本 前橋 371-0816)

為了解決網上用戶的識別問題，研究了基于眼動的隱馬爾可夫模型(HMM)的用戶識別方法。使用眼動裝置獲取用戶網上行為的眼動數據，并提取顯著性眼動特征。使用隱馬爾可夫模型分別對不同類型用戶建立用戶模型，并將用戶數據輸入模型。利用最大概率原則輸出用戶類型，并使用優化算法-遺傳算法(GA)對HMM進行參數優化，提高了識別準確率。實驗結果表明，通過該方法識別網上用戶類型是可行的。該研究進一步表明，根據用戶的網上行為特點，優化網頁結構，能夠滿足不同用戶的個性化需求，還可以對用戶的個體行為進行獨立挖掘，提高人機交互水平。

眼動數據；用戶識別；隱馬爾可夫模型；遺傳算法；人機交互

0 引 言

目前計算機只能通過鍵盤、鼠標、觸摸屏等被動接收用戶的信息請求，而用戶卻能夠快速從計算機界面和音頻等得到大量的信息，由此就會造成一種人機交互帶寬不平衡的問題。為了解決該問題，需要計算機能夠模擬人類通過感官主動接收外界信息，識別和了解周圍環境的感知能力，這就需要模式識別技術的支持。模式識別技術應用廣泛，例如面孔識別[1-2]、指紋識別[3]、語音識別[4-5]、動作識別[6-7]等。

網頁是重要的人機交互界面，視覺是用戶獲取網頁信息的主要方式，眼動追蹤技術能夠直接從人的內部認知加工角度更加直觀、細致地記錄和觀察用戶的視覺行為，這就為網頁研究提供了一種新方法。近年來，利用眼動追蹤技術在網頁上的研究也有很多[8-10]，但是這些研究主要集中在同一用戶對網頁上不同類型信息的研究，而以網頁為界面對同一類型信息不同用戶識別的相關研究則很少。文中提出以網頁為界面基于眼動追蹤技術的不同網上用戶的識別方法。

網絡的普及使網絡用戶大幅增加，網絡用戶不是對個人身份的界定，而是由其行為方式組成的客觀人群。目前對網絡用戶沒有統一的劃分原則，用戶分類都是從一個維度或者兩個維度對用戶進行劃分。比如從使用頻率和在線時間這兩個維度，把用戶分為初級用戶、普通用戶和高級用戶，所使用的數據是網站評論的語言學特征數據、用戶Web日志信息，數據量大，數據采集復雜。文中使用眼動技術記錄用戶網絡行為，眼動數據獲取方便，易于處理和分析，獲得的眼動特征是多個維度的，有助于提高識別率。文中對網絡用戶的劃分原則是年齡，不同年齡層網上用戶瀏覽網頁時的眼動模式存在差異[11]。將網上用戶類型分為老年用戶和青年用戶，使用眼動追蹤技術分別獲得兩種用戶類型瀏覽行為的眼動信息，分析老年用戶和青年用戶的視覺差異，提取具有顯著性的眼動特征，使用隱馬爾可夫模型分別對不同用戶建立用戶模型。

隱馬爾可夫模型是一種統計模型，易于建立，不需要大規模樣本集，適應性好，目前已經成為語音識別、手寫體識別、文本信息抽取、步態識別等領域內的重要工具。韓玉昌通過研究被試觀察不同形狀和顏色圖形時研究運動的順序性問題，證明眼睛運動具有時間序列和空間序列的特性[12]，而隱馬爾可夫模型能夠描述這種時間性和空間性，隱馬爾可夫模型已經應用到眼動研究中[13-15]，這些研究表明隱馬爾可夫模型可以描述眼動觀察序列。

對網絡用戶進行分類是對用戶網絡行為信息進行數據挖掘，有助于研究網絡用戶行為的特征。網絡用戶具有不同的興趣愛好和行為習慣，因此其相應的網絡行為也必然帶有各自的特征，對這些特征進行處理和分析，可以實現用戶模式分析、用戶識別的需要，并且能夠有效幫助網站設計者改進網站結構，降低復雜度，優化網頁設計，提高人機交互水平。

1 方 法

1.1 被 試

能夠熟練使用電腦上網的老年人26名(51～79歲，年齡56.0±8.0)，青年人26名(19～28歲，年齡23.0±1.8)，右利手，矯正視力正常，沒有參加過類似實驗。實驗所用網頁的信息及信息布局均按照真實網頁進行設計，共10個實驗網頁。實驗使用設備是Tobii T120眼動儀，眼動信號的采樣頻率為120 Hz，在17 in分辨率為1 024×768的彩色液晶顯示器上全屏幕顯示。被試與顯示屏幕的距離約為60 cm。實驗過程中只需被試在規定時間內按照自己的興趣、習慣去瀏覽網頁。眼動儀將全程記錄被試瀏覽網頁時眼動的注視位置及其他眼動信息。

1.2 數據收集與分析

對青年人和老年人的眼動數據進行收集和分析，并進行不同類型用戶的眼動模式分析。總共獲得老年人瀏覽軌跡260條，青年人瀏覽軌跡260條。瀏覽軌跡中包含眼動信息，包括注視時間、注視次數、瞳孔直徑、眼跳距離。由于每種特征的分布不同，會導致數據范圍較大的特征主導分類結果，影響分類結果，因此采用數據歸一化，將各個數據特征轉化到一個共同的值域范圍。文中主要使用Z-score歸一化函數，可以避免較小的樣本被大數值的樣本淹沒，消除個體差異，有效提高分類正確率。

2 眼動數據的分類

2.1 特征提取和選擇

由實驗采集的眼動數據可以獲得多種眼動特征，常用的有注視時間、注視次數、瞳孔直徑、眼跳距離等。注視時間能夠反映用戶從注視目標上提取可用信息花費的時間，同時也能反映用戶對注視目標的感興趣程度以及提取有效信息的難易程度。注視次數能夠反映人眼睛注視某一區域的頻次，在一定程度上體現用戶的注視目標和感興趣區域，通過分析用戶對某一區域的注視次數，可以得到用戶的注視目標和感興趣區域，有助于進行用戶意圖方面的研究。注視頻率為用戶單位時間內注視的次數。瞳孔直徑的變化能夠客觀地反映人的心理活動，與人們進行信息加工時的心理努力程度有著密切關系。不同用戶的網上視覺行為獲取與加工信息時付出的心理努力不同，瞳孔直徑大小也就不同。眼跳距離能夠反映不同用戶獲得信息量的多少。不同用戶網上視覺行為的眼跳距離能夠反映用戶獲得信息量的多少。

對以上眼動特征進行統計分析，比較其差異性。圖1給出了統計分析結果。

注視頻率瞳孔直徑眼跳距離青年人356．03±170．190．75±0．740．03±0．92老年人376．92±98．79-0．87±0．52-0．08±0．8方差F(1，518)=2．93F(1，518)=827．80F(1，518)=2．384分析P=0．088P<0．000P=0．123

表1 不同用戶眼動特征的統計分析結果

2.2 分類結果

隱馬爾可夫模型對眼動特征進行分類，識別老年用戶和青年用戶。基于各個特征的分類結果比較如圖2所示。

圖2 基于不同分類方法的用戶分類正確率

比較兩種分類方法，HMM比SVM的分類效果較好，組合特征的分類相比單個特征的分類更具優勢。對特征進行組合分類，由圖2(b)可以看出，HMM組合特征的分類正確率高于單個特征的分類正確率，且比SVM的分類效果好,達到96.88%。

2.3 參數優化后隱馬爾可夫模型的特征分類

隱馬爾可夫模型易受初始參數的影響,因此使用優化算法-遺傳算法(GA)對HMM的初始參數進行優化，使初始參數能夠達到全局最優。由于隱馬爾可夫模型的訓練算法Baum-Welch的初始參數是隨機得到的，當初始參數隨機選擇較好時，輸出概率值就能達到最大，最終得到的模型參數也比較接近全局最優，但是參數隨機性太強，不能確定最優參數。隨機選擇五組參數，然后使用前向后向算法計算它們的輸出概率值P(O|λ)，結果見表1。

表1 隨機訓練HMM參數

由表1可以看出，前三組隨機參數與后兩組參數獲得的平均P(O|λ)相差較大，這就說明隨機參數存在很大的隨機性，不利于模型的訓練。遺傳算法是一種模擬自然進化過程搜索最優解的方法，Kwong等將遺傳算法成功應用到基于HMM的說話人識別系統中，得到了優于傳統Baum-Welch算法的訓練模型參數[16]，因此使用遺傳算法對隱馬爾可夫模型參數進行優化，優化結果如表2所示。

表2 訓練HMM的GA參數

從表2可以看出，隨著種群的增大，種群中最好個體的P(O|λ)也在增大，說明了當M值較大時，遺傳算法搜索范圍增大，求得最優個體的機會也隨之增加。尤其當種群M增加到200，交叉率pc=0.8，變異率pm=0.1時，P(O|λ)達到1.893 6，種群平均P(O|λ)達到1.249 946，說明了GA的大范圍尋優特性。

基于HMM和GA-HMM的分類結果比較如表3所示。

表3 基于HMM和GA-HMM的分類結果比較 %

由表3可以看出，使用遺傳算法優化的HMM對青年人和老年人的識別率都有所提高，對青年人的識別率由92.65%提高到98.75%，對老年人的識別率由94.65%提高到97.5%。遺傳算法對HMM有很好的優化效果，提高了識別率。

3 結束語

文中研究結果表明，老年用戶和青年用戶在瀏覽網頁時具有不同的視覺模式，老年用戶瀏覽網頁時需要付出更多努力，瞳孔直徑明顯比青年用戶大。基于視覺模式的差異，計算機能夠通過眼動信號識別用戶類型，提供更加智能化的人機交互應用。采用眼動技術以網頁為界面對網上用戶進行研究，所采集的眼動數據能夠用于用戶分類，且分類效果較理想，另外也可以進一步挖掘用戶網頁興趣、瀏覽習慣等信息。文中對網上用戶的識別現在處在初級階段，只是對用戶大致年齡層的一個劃分，下一步工作需要縮小年齡層區間，對用戶類型達到更加精確的識別。

[1] 劉小軍,王東峰,張麗飛,等.一種基于奇異值分解和隱馬爾可夫模型的人臉識別方法[J].計算機學報,2003,26(3):340-344.

[2] 李耀東,崔 霞,肖柏華,等.自動人臉識別技術綜述[J].計算機科學,2002,29(12):1-11.

[3] 田 捷,陳新建,張陽陽,等.指紋識別技術的新進展[J].自然科學進展,2006,16(4):400-408.

[4] 田 斌,田紅心,劉丹亭,等.用于語音識別拒識的隱馬爾可夫模型狀態及狀態駐留相關的聲學置信量度[J].計算機研究與發展,1999,36(11):1398-1401.

[5] 戰普明,王作英,陸大金.語音識別隱馬爾可夫模型的改進[J].電子學報,1994,22(1):9-15.

[6] 胡 瓊,秦 磊,黃慶明.基于視覺的人體動作識別綜述[J].計算機學報,2013,36(12):2512-2524.

[7] 李瑞峰,王亮亮,王 珂.人體動作行為識別研究綜述[J].模式識別與人工智能，2014,27(1):35-48.

[8]SilvaJDV.Improvementofamethodologyforwebsitekeyobjectidentificationthroughtheapplicationofeye-trackingtechnologies[C]//Proceedingsofthe2012IEEE/WIC/ACMinternationaljointconferencesonwebintelligenceandintelligentagenttechnology-volume03.[s.l.]:IEEEComputerSociety,2012:59-63.

[9]Al-WabilA,ZaphirisP,WilsonS.Examiningvisualattentionofdyslexicsonwebnavigationstructureswitheyetracking[C]//Internationalconferenceoninnovationsininformationtechnology.[s.l.]:IEEE,2008:717-721.

[10]LiQ,SunL,DuanJ.Webpageviewingbehaviorofusers:aneye-trackingstudy[C]//Internationalconferenceonservicessystemsandservicesmanagement.[s.l.]:IEEE,2005:244-249.

[11]SuXY,LiM,LuSF,etal.Aneyetrackingstudyonvisualsearchandbrowsestrategiesofelderlypeopleonwebpages[J].AppliedMechanicsandMaterials,2014,556:6154-6158.

[12] 韓玉昌.觀察不同形狀和顏色時眼運動的順序性[J].心理科學,1997(1):40-43.

[13]ElhelwM,NicolaouM,ChungA,etal.Agaze-basedstudyforinvestigatingtheperceptionofvisualrealisminsimulatedscenes[J].ACMTransactionsonAppliedPerception,2008,5(1):421-434.

[14]SalvucciDD,AndersonJR.Automatedeye-movementprotocolanalysis[J].Human-ComputerInteraction,2001,16(1):39-86.

[15]AzizF,ArofH,MokhtarN,etal.HMMbasedautomatedwheelchairnavigationusingEOGtracesinEEG[J].JournalofNeuralEngineering,2014,11(5):056018.

[17]KwongS,ChauCW,ManKF,etal.OptimisationofHMMtopologyanditsmodelparametersbygeneticalgorithms[J].PatternRecognition,2001,34(2):509-522.

Online User Identification Based on Visual Behaviors

XUE Jia1,2,3，LI Mi1,2,3，MA Li-wang1,2,3，LYU Sheng-fu1,2,3，ZHONG Ning1,2,3,4

(1.International WIC Institute,College of Electronic Information and Control Engineering, Beijing University of Technology,Beijing 100124,China; 2.Beijing International Collaboration Base on Brain Informatics and Wisdom Services,Beijing 100124,China; 3.Beijing Key Laboratory of MRI and Brain Informatics,Beijing 100053,China; 4.Department of Life Science and Informatics,Maebashi Institute of Technology, Maebashi 371-0816,Japan)

To solve the problem of Web user identification,the method using Hidden Markov Model (HMM) is explored dealing with the data of eye movement.The eye movement data of users’ online behavior are acquired and the significant features of eye movement are extracted.Then The models of different types of users are established using HMM,inputting the data of users into model.The maximum probability principle is applied to output the user type and the Genetic Algorithm (GA) is used to optimize the parameter of HMM,improving the accuracy of identification.The experimental results indicate that the Web users can be recognized effectively by the HMM method.In addition,according to the accurate user identification based on characteristics of user’s online behavior,the structure of web pages can be optimized to meet the need of different users.It also can make the user’s individual behavior independently and improve the level of human-computer interaction.

eye movement data;user identification;HMM;GA;human-computer interaction

2015-10-14

2016-03-16

時間：2017-01-10

國家“973”重點基礎研究發展計劃項目(2014CB744600)；國家自然科學基金青年科學基金項目(61602017)；北京市自然科學基金青年項目(4164080)；北京市優秀人才培養資助(2014000020124G039)；科技部國際科技合作與交流專項(2013DFA32180)

薛 佳(1990-)，女，碩士研究生，研究方向為人工智能、模式識別等；栗 覓，講師，博士后，通訊作者，研究方向為人工智能、模式識別、腦與認知等；呂勝富，教授，研究生導師，研究方向為智能科學、認知神經科學、模式識別等；鐘 寧，教授，研究生導師，研究方向為網絡智能與腦信息學等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.032.html

TP391.9

A

1673-629X(2017)02-0011-04

10.3969/j.issn.1673-629X.2017.02.003