圖像質量主觀評價中眼動信號的可視化分析方法

郭昕

摘 要： 針對近年來在建立圖像質量主觀評價過程中得到廣泛應用的眼動信號，提出一套基于眼動儀采集的原始眼動數據的可視化分析方法。實現從凝視點到注視點的I?VT濾波過程，設計并繪制單人注視點界面，生成并初步分析注視點疊加熱圖，為將眼動信號更好地應用于圖像質量主觀評價，提供了創新性的分析與探究。

關鍵詞： 圖像質量主觀評價； 眼動儀； I?VT濾波器； 熱圖

中圖分類號： TN919?34 文獻標識碼： A 文章編號： 1004?373X（2015）12?0070?04

眼動跟蹤是研究如何精確無干擾地追蹤人眼視覺過程的技術。該技術是一種人類意識行為的特殊測量工具，也是一種未來人機接口的關鍵技術，因此受到了神經認知科學、心理學、工業工程、平面及立體視覺和計算機科學等眾多領域和交叉學科的廣泛關注。

圖像質量評價是希望建立一種能夠與人眼主觀評價特性盡量符合的客觀質量指標，現在成熟的全參考、部分參考和無參考模型都是模擬人類視覺機制對誤差信號的感知能力[1]。本文從全新的眼動技術入手，直接從測試者的主觀評價行為中獲得其眼睛注視點序列，從而真實地反映視覺感知失真圖像的判斷過程，不僅具有很強的創新性，并且對視覺感知研究具有重要的研究意義。

1 主觀圖像質量評價中的原始眼動數據采集

1.1 測試環境

測試全部是在室內進行，室內光照正常，采集眼動信號的眼動儀為Tobii TX300[2]，搭配23寸顯示屏，長寬比為16∶9，屏幕分辨率為1 920×1 080，采用的跟蹤技術為暗瞳孔法。

1.2 測試圖片

為了避免數據庫公布后出現版權問題，本文采用圖片為從北京星聯圖客科技公司“微利圖片庫”購買的110張彩色攝影圖片。這些原始圖片分辨率均為300 dpi，格式為“.jpg”，尺寸由1 650×2 482到5 120×3 413不等。圖片內容包括近景、遠景、景物、動物、人等。

實驗中選取30張原始圖，圖片序號次為：004，005，010，019，022，035，036，037，043，054，055，063，070，072，073，074，077，082，084，086，087，088，090，093，098，101，105，107，109，110。圖片的命名方式為“ipc圖片序號”。

退化圖片是在原始圖片的基礎上進行退化處理得到的。實驗選取6種退化方式，每種退化方式設有4個退化等級，共有900幅測試圖。其中6種退化方式分別為：awgn（加性高斯白噪聲），gb（高斯模糊），hfn（高頻噪聲），jp2k（JPEG2000壓縮），jpeg（JPEG壓縮），quantization（量化噪聲）[3]。

退化圖片按照“退化方式?退化等級?原始圖片名”的方法命名[4]。例如，名字為“ipc004”的原始圖片，進行高斯模糊處理，退化等級是2，則退化圖片名為“gb?2?ipc004。這里把原始圖片的退化等級設為0。

1.3 測試結果與初步眼動數據處理

本次測試參與人數共計49人，完成了90個test，實現了對900幅圖的兩次完整遍歷。一個test內包含30幅圖，各幅圖的內容、退化等級均不同。實驗中眼動數據的采樣成功率見表1。

表1 眼動數據的采樣成功率

實驗得到的眼動數據通過Tobii Studio 2.0導出格式為“.xls” 的Microsoft Excel數據文件。每一個test對應一個Excel文件，一共導出75個Excel文件。

對這75個Excel文件中的數據以圖片名為要素進行整合，即將同一幅圖的數據放在一個新的Excel文件中，由此得到30個以圖片名為命名的Excel數據文件。

具體操作方法是將所有test的數據均導出到一個Excel文件，再利用Excel軟件自帶的數據篩選功能以圖片名為關鍵詞進行篩選，30次篩選即可得到30個以圖片名為命名的Excel數據文件。這30個Excel文件包含的內容有被測者姓名、圖片名、注視點序列號、凝視行為類型、注視點x、y坐標，凝視點x、y坐標等。

2 I?VT濾波器的構建

2.1 I?VT濾波器的基本原理

Gaze Point[5]在本文中譯為“凝視點”，它本身并沒有包含任何的生理學意義，只是一些由Tobii TX300眼動儀的采樣得到的采樣點。所謂Tobii TX300眼動儀采樣的得到的凝視點，即以[1300]采樣時間間隔得到的一系列沿時間軸分布的像素坐標值。

Fixation Point本文中譯為“注視點”，它包含著實際的生理學意義，是對凝視點的坐標值采用I?VT注視濾波器（或其他濾波器）進行濾波后得到的。

I?VT濾波器的目的，即從采集到的凝視點中正確濾出注視點。它是基于眼球的角速度計算并按眼球的運動進行數據處理，因此數據不受屏幕分辨率、屏幕尺寸和眼睛與刺激材料之間距離的影響，使得更多的數據能夠被正確地劃分為眼跳、注視點或未分類的數據[6]。

I?VT濾波器經過調節可更好地適應特定的研究，通過對使用不同眼動儀采集的記錄與對不同級別數據噪聲的補償來改善注視點分類的能力。數據處理功能包括：

（1） 數據降噪功能：2種低通濾波器可選均衡的移動平均線濾波器和移動中位數濾波器。濾波后的結果數據會比原始數據更平滑地呈現出來，這樣可確保對噪聲等級較高的數據的注視點分類的精確性；

（2） 數據插補功能可在有效數據丟失處填補數據；

（3） 在I?VT濾波器帶有移除短時注視點的功能，該功能允許將低于設置基準值持續時間的注視點移除。

2.2 I?VT濾波器的實現

在Matlab中編程仿真實現該濾波器功能。首先導出單人單圖的原始采樣數據即凝視點數據。然后對濾波器算法的分析進行程序編寫，最后將編程計算得到的注視點與Tobii Studio中自帶的I?VT濾波器計算得到的注視點進行比對，對編程結果進行評估。

圖1選取本文前述的數據評價中的一幅典型的人物圖片（ipc036.bmp）展示其經I?VT濾波器處理后的注視點分布結果。圖中的圓點代表經濾波器濾波后產生的注視點分布，大小代表注視時長，圈內標號代表注視順序。

3 基于單激勵主觀圖像質量評價數據庫的注視

點界面

3.1 注視點的原始數據處理

基于上文對凝視點的相關介紹，Tobii TX300眼動儀采集以及通過Tobii Studio 2.0軟件導出的注視點的原始數據是一系列沿時間軸分布的像素坐標。經Excel初步數據處理后得到30個以圖片名為文件名的“.xls”文件，這些Excel文件中均包含的注視點x、y坐標信息以及對應測試者信息。現以某一退化類型中某一退化等級的一張確定圖片為例，從Excel表格中篩選得到某位參與該圖片測試的測試者的注視點坐標數據，作為后續注視點界面設計的數據。

3.2 注視點界面的算法實現

圖形用戶界面（Graphical User Interfaces，Matlab GUI）是由窗口、菜單、按鍵、光標及按鈕等對象構成的一個用戶界面[7]。

注視點界面設計的最終目標是將已導出的單人單圖注視點坐標數據可視化。本設計所要實現的具體功能是通過GUI界面直觀地展示單人單圖注視點x、y坐標沿時間軸分布狀況。接下來綜合設計要求實現的各項功能，繪制草圖。然后制作靜態界面，依據設計草圖，在GUI中制作的靜態界面。最后編寫界面中滑動條、可編輯文本框、axes控件對應的動態功能函數。以實現從計算機中已有文件夾中讀入圖片，并通過鼠標拖動滑動條控制相應注視點數據的顯示。

圖2為編寫的注視點界面，界面功能如下：

（1） “Add Picture”按鈕可用于添加一幅圖片；

（2） 鼠標拖動滑動條可以控制注視點在圖上的顯示順序；

（3） 點的位置代表注視點的位置，點的大小代表注視時間長短。注視時間長，則對應顯示點大，注視時間短，則對應顯示點小。點內標號為點的序列號，即注視時間先后排序的順序。

4 基于單激勵主觀圖像質量評價數據庫的熱圖

分析

4.1 熱圖的基本原理

熱圖是一種直觀的展示主觀圖像質量評估數據的方式。它通過使用不同的顏色來顯示參與測試者在圖像某些區域的注視時長或注視數目。紅色代表時注視長較長或注視數目較多，綠色代表時注視長較短或注視數目較少，在二者之間不同顏色對應不同的注視時長[8]。它實現了多人單圖注視信號的疊加，具有較強的統計意義與直觀性，為進一步眼動信號分析奠定基礎。

熱圖可分為以下3類：統計熱圖（Count Heat Map）用于累計所有選定的記錄中的選定時間域內的注視的個數，可判斷測試者們是否在測試圖片或網頁上注視到了不同的元素；絕對持續時間熱圖（Absolute Duration Heat Map）用于累計在一幅測試圖片不同位置的注視持續時間，可衡量對一幅圖中出現的不同元素的關注量以及認知過程；相對持續時間熱圖（Relative Duration Heat Map）用于累計在一幅測試圖片不同位置的注視持續時間[9]。

4.2 熱圖生成算法

熱圖生成方法可分為以下幾步：

（1） 映射被測圖中的注視點。具體實現方法是通過遍歷所有選定記錄中的所有注視點，然后將有共同像素坐標的注視點累加起來。選擇統計熱圖，就將相同位置的注視個數相加；選擇絕對持續時間熱圖，就將相同位置的注視持續時間相加；選擇相對持續時間熱圖，先將注視持續時間除以總觀察時間，然后再相加。

（2） 向所有的像素點賦予色彩值。色彩越偏暖色，所代表的值越大。

（3） 向注視點周圍的一定范圍內的點均賦予色彩值，且距離注視點越遠，色彩值越小，用高斯曲線來模擬。需要注意的是，函數半徑的默認值是50個像素點，內核共有100個像素點。50個像素點的選擇是基于被測者在距眼動儀64 cm處觀察1 820×1 024分辨率的眼動儀標準屏幕時優化得到的。圖3為上述步驟的圖示化過程。

4.3 熱圖的實現結果及初步分析

基于上文闡述的熱圖生成原理，為了直觀展示一幅圖片上的所有被測者的注視點分布情況并對其分布進行分析，對熱圖進行編程實現。

圖4為本文前述的數據庫中的一幅典型的動物圖片的原始圖片（ipc004.bmp）及其在不同退化方法下的相關熱圖，9幅圖分別為：原始圖片、標記origin的圖片為ipc004.bmp在所有記錄上累計生成的熱圖、標記All的圖片為ipc004.bmp在6種退化方式4個退化等級下產生的全部24幅退化圖片的所有記錄累計生成的熱圖、標記awgn，hfn，gb，jp2k，jpeg，quan的圖片為ipc004.bmp分別在6種退化方法的4個退化等級記錄累計生成的熱圖。由圖4中標記origin的熱圖可以看出，當原始圖片中有明確目標時，觀測者對原始圖的注視點的區域集中；沒有明確目標時，不同觀測者的注視點相對分散。

圖4 動物圖片及其在不同退化方法下的統計熱圖

由圖4中標記All的熱圖可以看出，當原始圖片進行退化處理后，觀測者的注視區域相對標記origin的熱圖總體范圍縮小，這表明原始圖片在退化處理的過程中圖像結構遭到了破壞，從而某些區域沒有引起觀測者的注視；由圖4中標記awgn與標記jpeg的熱圖，可以發現，觀測者在前者的注視區域總面積比后者大。這表明awgn在退化處理時沒有損失原始圖像的結構信息，而jpeg在退化處理時丟失了部分原始圖像的結構信息，從而導致某些區域不再引起觀測者的關注。

由以上分析可得，在建立主觀數據庫的過程中采集測試者的同步眼動數據，通過統計測試者在圖像質量主觀感知中對測試圖片的注視點，注視時間等，可用于研究圖像質量評價中HVS對圖片測試不同區域質量的敏感程度[10]。

5 結 語

本文對圖像質量主觀評價中的眼動信號進行了可視化的分析實踐工作。對主觀圖像質量數據庫中的眼動數據進行了逐步深入的綜合處理，其中包括對I?VT濾波器的設計與編程實現、注視點界面的設計和編程實現以及熱圖的實現及初步分析。通過完成上述各項任務，篩選得到了具有生理意義的注視點坐標數據，并集中客觀地展示了單人單圖眼動信號的分布，以及多人單圖眼動信號的疊加，使得實驗采集到的眼動數據可視化程度增強，為進一步深入分析研究打下基礎。

參考文獻

[1] 高新波，路文.視覺信息質量評價方法[M].西安：西安電子科技大學出版社，2010.

[2] Tobii. User manual： Tobii studio version 3.2 [EB/OL]. [2012?09?11]. http：//www.tobii.com.

[3] 習佳琳.圖像質量感知主觀數據庫的開發[D].西安：西安交通大學，2011.

[4] PONOMARENKO N， EGIAZARIAN K， ASTOLA J， et al. Color image database for evaluation of image quality metrics[J/OL]. [2011?02?27]. http：//WWW. wenku.baidu.com/link？u.

[5] LOPEZ Javier San Agustin. Off?the?shelf gaze interaction [D]. [S.l.]： [s.n.]， 2009.

[6] DUCHOWSKI A T. Eye tracking methodology： theory and practice [M]. German： Springer?Verlag， 2007.

[7] 陳垚光，毛濤濤，王正林，等.精通Matlab GUI設計[M].北京：電子工業出版社，2008.

[8] D.馬爾.視覺計算理論[M].姚正國，譯.北京：科學出版社，1988.

[9] 張敏.基于邊緣點位置的圖像質量視覺感知模型[D].西安：西安交通大學，2010.

[10] DUCHOWSKI A T， VERTEGAAl R. Eye based interaction in graphical systems ： theory &practice [J/OL]. [2011?08?03]. wenku.baidu.com/link？u.