基于人類視覺系統的立體圖像質量評價方法

王海亮等

摘要：隨著立體圖像的大規模發展，很多應用場合需要能夠迅速有效地完成對立體圖像的質量評價工作，以便于后續應用，而對其進行主觀質量評價在效率上很難滿足要求。因此，提出了一種感知質量評價算法，并結合了一些人類視覺系統的特性。首先需要得到視差圖，然后通過邊界圖和顯著圖來對視差圖進行加權調整。接著使用Minkowski融合方法將加權后的視差圖整合成感知分數。最后，使用多尺度分析來得到最終的感知質量分數。通過使用EPFL立體質量評價數據庫來驗證文中的立體圖像感知質量評價算法。實驗顯示算法最后得到的客觀分數和EPFL數據庫中的主觀分數具有高度的一致性和單調性，證明了文中的立體圖像感知質量評價算法是有效的。

關鍵詞：立體圖像； 無參考質量評價； 視差； 邊緣檢測； 多尺度

中圖分類號：TP391.41 文獻標識碼：A文章編號：2095-2163（2014）01-0050-04

0引言

近些年來，得益于娛樂、軍事以及工業等眾多領域的蓬勃發展，立體圖像技術得到了廣泛的應用。和傳統的二維圖像相比，立體圖像可以額外提供圖像的深度信息，帶給觀看者身臨其境的感受，從而可以幫助觀看者對圖像所呈現的信息產生更加精細的準確理解。如何能夠迅速、準確、有效地對這些立體圖像進行評估便隨之成為一個具有高度必要性和重要性的研究課題。由于立體圖像獨有的一些特征，例如串擾、調節——聚散沖突、梯形失真、深度感知不一致、鬼影效應、硬紙板效應等等[1]，也都會影響到立體圖像的最終質量。所以，立體圖像和二維圖像的質量評價是有較大差別的，取得的成果也較為有限。當前的研究仍然處于摸索探索階段，只是確立了大致的輪廓框架。即使是影響視覺舒適度的因素，也尚未取得一致，形成定論。但是仍然有一些因素是較受認可的，比如調節——聚散沖突、串擾、梯形失真、鬼影效應等因素對視覺不舒適度造成的影響已經獲得了清晰明確的研究結論。只是相關的實驗主要是使用眼動儀來評估人眼的疲勞程度，而將這些影響因素引入到立體圖像的客觀質量評價中來實現無人工干預的自動化評價的工作量，迄至目前也仍然很少。

本文通過分析EPFL立體圖像質量評價數據庫，直觀地找到影響立體感知質量的主要因素：視差量。然后基于視差和人類視覺系統的一些特征提出了一種無參考的立體感知質量評價算法。在這個算法中，視差量、邊緣檢測、顯著性檢測和多尺度分析等各種方法都發揮了重要作用。最后，通過EPFL立體質量評價數據庫驗證了所提出的立體感知質量評價算法，實驗結果表明該質量評價算法可以準確有效地預測主觀分數，驗證了所提出方法的合理性和實用性。

1基于人類視覺系統的評價方法

和二維圖像質量不同，立體圖像質量還特別強調立體視覺的質量，而不僅僅是觀看的立體圖像和采集的立體圖像之間的失真差異。在某些特定的情況下，現場采集的立體圖像或許在圖像質量上可認定為沒有失真，但是在立體視覺上卻并非盡善盡美，即使這些立體圖像沒有經過壓縮編碼。因此，立體圖像的感知質量評價適合采用無參考的評價方法。本節提出的感知質量評價算法的主要貢獻有兩點：尋找對立體圖像的感知質量影響最大的因子和應用一些人類視覺系統（HVS）的特性。圖1描述了該算法的主要步驟。此處的立體圖像是以左視和右視的形式給出的。

人的兩眼視軸之間的距離大約為65mm。在觀看立體圖像的時候，圖像在兩眼視網膜上的映像會出現水平差異，這個水平方向上的位置差異就是視差。由人眼的雙視視差結合已有的經驗知識，在大腦中可以形成深度感知，從而產生立體視覺。雙視視差在感知質量評價算法中扮演著重要的角色。觀看一幅立體圖像實際上是一個把左視和右視對應部分進行融合匹配的過程。由于視差代表雙視之間對應像素位置的距離差異，可以用來描述人眼把物體視像匯聚成一個對象的融合協調程度。

根據Goldmann對EPFL數據庫的分析[2]，攝像機之間的基準距離和主觀分數之間是存在著一定的關系的。圖2展示了在名為“moped”的場景中攝像機之間的基準距離和主觀分數之間的關系。由圖2中可以看出，隨著攝像機之間距離的不斷增加，主觀質量分數呈現減小的趨勢。對于EFPL數據庫中的其他場景，主觀質量分數和攝像機距離的大體趨勢也極為類似，只是兩者之間具體的對應關系不同。因此，使用視差值來預測立體圖像的主觀分數是有一定理論依據的。而這兩者之間的具體對應關系則由已經提出的感知質量評價算法得到。

鑒定只能計算在水平方向上的視差值，就決定了立體圖像的左視和右視必須首先正確地對齊，因此在執行視差計算之前就要進行圖像矯正。而其后的視差估計算法主要是通過分別提取立體圖像中左視圖和右視圖內部的對應特征來進圖2 “moped”場景中攝像機距離和質量分數

的對應關系[2]

1.2邊緣檢測

基于人眼對邊緣非常敏感的特性，人類視覺系統（HVS）更加易于提取結構和邊緣信息[5]。而且根據前面提到的HVS的一些特性，尋找左、右視中對應部分的過程實際上相當于一個尋找對應邊緣的過程，其后匹配的邊界就可以融合為一個感知對象。這就是立體視覺的形成過程。因此，圖像的邊緣點所對應的視差值應該被賦予較高的權值，而非邊緣點所對應的視差值則要被賦予較小的權值。

當前，有許多方法能用于邊緣檢測，可以將其分為基于搜索和基于零交叉的檢測方法。這些方法分別通過梯度和二階導數的零交叉點來得到圖像的邊緣。此處選擇最為常用的canny算子[6]來提取邊緣。使用canny算子得到的邊界圖中，每個像素點的值為0或1；將值為1的像素點的值保持不變，而對于值為0的像素點，其值則更新為一個較小的權值，該數值可由經驗得到，此處為0.8。最終，得到的邊界圖記為EM。

1.3顯著性檢測

由于立體圖像的信息量遠比單視圖像要多，人們不可能在短時間內立刻匹配所有的特征邊緣。大多數人在短時間內只能關注到那些“重要的區域”，通過提取這些區域中對象的邊界，再最終匹配這些對應的邊界來形成立體視覺。研究的進一步開展將需要HVS的這一特性在感知質量評價算法中得到充分體現。因此，將顯著性檢測加入到所提的算法中即與HVS的工作原理是一致的。

2實驗結果及分析

由于立體圖像質量評價的研究起步較晚且內容較復雜，當前的研究進展比較緩慢，因此公開的且各項指標均合格的數據庫則少之又少。在當前僅有的適用于立體圖像質量評價的數據庫中，由瑞士洛桑理工學院（EPFL）的多媒體信號處理研究組（MMSPG）創建的立體圖像質量評價數據庫[2]最適合進行感知質量評價，因為EPFL數據庫在建立的過程中盡可能地避免了各種類型的失真，由此采集的圖像的失真程度很小、質量較高，可以近似認為沒有失真，即能夠最高程度地避免由于圖像降質帶來的主觀質量分數的變化。

EPFL數據庫中所有的立體圖像都是由兩臺完全一樣的高清攝像機（Cannon HG-20）采集的。攝像機鏡頭的光軸是平行的，并且兩臺攝像機鏡頭之間的距離可以保證連續調整，調整范圍設定為7cm到50cm。通過調整兩臺攝像機之間的水平距離可以改變視差。攝像機水平距離的變化直接導致了立體圖像的不同主觀分數。本文提出的立體感知質量評價主要依托于視差變量，非常適于評價EPFL數據庫中的立體圖像序列。

3結束語

針對立體圖像的成像原理，本文提出了一種感知質量評價算法，主要評價感知質量，而非采集的立體圖像和參考的立體圖像之間的失真質量。首先得到視差圖，然后計算邊界圖和顯著圖，分別對其進行加權調整，并將加權調整后的邊界圖和顯著圖的每個像素點作為權值來對視差圖進行加權，接著使用Minkowski融合方法將加權后的視差圖整合成一個單一的感知分數。稍后，使用多尺度處理來得到不同尺度下的感知分數，并加權相乘得到最終的感知質量分數。最后，通過EPFL立體質量評價數據庫驗證了本文中的立體圖像感知質量評價算法。相關的評價指標以及主觀分數和客觀分數之間的散點圖都證明了感知質量評價算法的有效性。這說明了雙視視差確實可以作為衡量感知質量的標準，并且圖像中物體的結構邊緣以及顯著圖中的顯著區域相對于其它區域而言，在立體視覺的形成過程中扮演了更為重要的角色。而且，多尺度處理也提高了感知質量評價算法的精度。

參考文獻：

[1]KOOI F L， TOET A. Visual comfort of binocular and 3D displays[J]. Displays， 2004， 25（2）： 99-108.

[2]GOLDMANN L， DE SIMONE F， EBRAHIMI T. Impact of acquisition distortions on the quality of stereoscopic images[C]//Fifth International Workshop on Video Processing and Quality Metrics for Consumer Electronics-VPQM 2010，2010.

[3]AKHTER R. Perceived Image Quality Assessment for Stereoscopic Vision[D]. The University of Manitoba， 2011： 14-15.

[4]ALAGOZ B B. Obtaining depth maps from color images by region based stereo matching algorithms[J]. arXiv preprint arXiv：0812.1340， 2008.

[5]WANG Z， BOVIK A C， LU L. Why is image quality assessment so difficult？[C]//Acoustics， Speech， and Signal Processing （ICASSP）， 2002 IEEE International Conference on. IEEE， 2002， 4： 3313-3316.

[6]CANNY J. A computational approach to edge detection[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 1986 （6）： 679-698.

[7]HAREL J， KOCH C， PERONA P. Graph-based visual saliency[J]. 2007： 2-4.