基于視覺重要區域的立體圖像視覺舒適度客觀評價方法

姜求平 邵 楓蔣剛毅 郁 梅 彭宗舉

(寧波大學信息科學與工程學院 寧波 315211)

1 引言

3維/立體視頻技術能夠提供多感知性，深度沉浸和臨場體驗，極大地提升觀看者的視覺體驗質量(Quality of Experience, QoE)。視覺舒適度(Visual Comfort, VC)是影響立體視頻 QoE的重要因素之一。目前對立體視頻/圖像的評價主要考慮內容失真對圖像質量的影響，而較少考慮立體視頻內容制作等因素導致的視覺不舒適度。因此，建立有效的立體視頻/圖像的視覺舒適度客觀評價模型對 3維內容制作和后期處理具有十分重要的意義。

在觀看立體視頻時，過大的雙目視差，雙眼不對稱，以及立體失真等因素都會導致視覺疲勞，引起視覺疲勞的根本原因是由于立體視頻本身的制作原理導致觀看者雙眼焦點調節和輻輳的嚴重沖突[1,2]。一般來說，立體圖像的視差是決定人眼感知深度大小的重要因素，視差過大使得立體視頻/圖像的深度感增強，而當感知深度大小在大腦的Panum融合區之外時，就會導致雙眼調節和輻輳的沖突，進而產生眼部甚至身體上的一系列疲勞癥狀。主觀實驗表明，隨著立體視頻/圖像視差的增大，觀看時的視覺舒適度會降低[35]-。同時，圖像的空間頻率也影響著人眼的深度感知和雙目融合極限[6]。Schor等人[7]利用高斯差分函數(Difference of Gauss, DoG)處理得到不同空間頻率的立體圖像，探究了圖像的空間頻率對雙目融合極限的影響，圖像的空間頻率越低，雙目的融合極限就越高。對于具有較大視差的立體圖像，空間頻率越低，觀看的視覺舒適度越高[8]。應當注意到，不同立體圖像具有不同的空間頻率特征，導致視覺舒適程度也不一致。

傳統的視覺舒適度客觀評價方法主要基于全局的視差統計特性預測視覺舒適度，例如整幅視差圖像的均值、方差、分布范圍等特征[911]-。然而，根據人眼立體視覺注意力特性，人眼只對部分視覺重要區域的視覺舒適/不舒適比較敏感，如果以此全局的視差統計特征來預測視覺重要區域的視覺舒適程度，會導致無法精確預測得到客觀評價值。文獻[12]在傳統舒適度評價算法的基礎上，提出一種基于相對視差和前景對象尺寸的立體圖像視覺舒適度客觀評價方法。該方法首先利用mean-shift分割法對視差圖進行分割，有效地提取出對象的輪廓，然后計算到鄰近對象間的相對視差和前景對象的尺寸，并將其作為舒適度感知特征，最后結合傳統的全局視差統計特征，可以較大程度地提高視覺舒適度預測的準確性。然而，該方法并未考慮空間頻率特征對人眼深度感知的影響，此外，該方法也未考慮立體視覺顯著/重要區域對視覺舒適度評價的影響。因此，如何在評價過程中有效地根據視覺重要區域來提取視覺舒適度特征信息，使得客觀評價結果更加符合人類視覺系統，是立體圖像視覺舒適度客觀評價需要研究解決的問題。

2 基于視覺重要區域的立體圖像視覺舒適度評價方法

根據人眼立體視覺注意力特性，人眼只對部分視覺重要區域的視覺舒適/不舒適比較敏感，為了更準確地預測立體圖像視覺舒適度，如何在評價過程中有效地根據視覺重要區域來提取出視覺舒適度特征信息十分關鍵。本文提出了一種基于視覺重要區域(Visual Important Regions, VIR)的立體圖像視覺舒適度客觀評價模型，其框架圖如圖1所示。首先，利用平面圖像顯著圖模型和視差信息得到視覺重要區域；然后，提取視覺重要區域的視差幅度特征、視差梯度邊緣特征和空間頻率特征，并以這些特征的組合作為反映立體圖像舒適度的感知特征信息；最后，通過支持向量回歸(Support Vector Regression, SVR)預測得到客觀評價值，避免了對人類視覺系統的相關特征與機理的復雜模擬過程。由于獲得的立體圖像的特征信息具有較強的穩定性，且能較好地反映圖像的視覺舒適度變化情況，有效提高了客觀評價情況與主觀感知的相關性。

2.1 視覺重要區域提取

圖1 立體圖像視覺舒適度客觀評價模型框圖

現有的研究表明，立體圖像的視差特征和空間頻率都會影響視覺舒適度。立體圖像視覺重要區域由兩部分構成：2維圖像的視覺顯著圖和深度顯著圖。圖像顯著圖利用人眼視覺注意力模型計算圖像的顯著度，其代表性算法有Itti算法[13]，Hou算法[14]，GBVS算法[15]等。本文采用GBVS算法計算得到右視點圖像的視覺顯著圖，記為，并采用線性方式將視覺顯著圖和右視差圖像進行結合，得到立體顯著圖，記為

為了檢測立體顯著圖的VIR，采用閾值法提取出掩模圖像，VIR掩膜圖像定義為

2.2 視差幅度特征提取

一般來說，觀看立體視頻導致雙眼的焦點調節和輻輳的沖突是產生視覺疲勞的主要原因。當人眼觀看現實世界的場景，人眼的焦點調節和輻輳機制是一致的，而觀看立體視頻時，若左右視點的視差大小在融合區域內，盡管經過大腦融合仍可形成清晰的單視圖像，但此時人眼的焦點調節處于屏幕上，而輻輳卻處于因人腦融合而產生的“躍出”屏幕或“陷入”屏幕的虛擬立體圖像上，造成焦點調節和輻輳的不一致，與人類長久形成的視覺生理特性相違背。為了減小這種因焦點調節和輻輳的沖突而引起的視覺疲勞，應該將立體圖像感興趣區域的視差大小控制在 Percival舒適區域(Percival’s Zone of Comfort, PZC)范圍內[17]，因此本文提取視覺重要區域的視差均值μ，視差方差δ，最大交叉視差υ和視差范圍τ共 4個特征，作為立體圖像視差幅度特征矢量，記為，各特征的計算公式如下：

圖2 立體圖像視覺重要區域分割結果

(1)VIR視差均值μ：

(2)VIR視差方差δ：

2.3 視差梯度邊緣特征提取

基于視覺重要區域的視差邊緣特征具有良好的穩定性，且能很好地反映立體圖像視覺舒適度。本文通過計算右視差圖像的視差梯度幅值圖像和梯度方向圖像，利用空間域高斯函數和梯度方向距離的高斯函數對視差梯度幅值進行加權，得到視差梯度邊緣圖像，最終利用VIR掩膜加權得到視覺重要區域的視差梯度邊緣特征征的具體計算公式如式(5)~式(8)：，作為立體圖像視差梯度邊緣特征記為F2，該特

2.4 空間頻率特征提取

立體圖像的空間頻率與人眼對視差的融合極限成反比，立體圖像的低空間頻率所致的模糊會增大人眼對焦點調節和輻輳沖突的融合范圍。本文通過計算右視點圖像的水平方向頻率值，垂直方向頻率值，對角方向頻率值，得到的空間頻率圖像，然后提取視覺重要區域的空間頻率均值η，空間頻率方差ρ，空間頻率范圍ζ和空間頻率敏感因子λ共4個特征，作為立體圖像空間頻率特征矢量記為 F3,，該特征矢量具體計算過程如下：

(2)VIR空間頻率均值η：

(3)VIR空間頻率方差ρ：

2.5 立體圖像視覺舒適度感知特征融合

本文在VIR掩膜圖像的基礎上，提取基于VIR的視差幅度特征矢量 F1、視差梯度邊緣特征矢量F2和空間頻率特征矢量 F3，然后將特征矢量 F1,F2,F3連接起來形成一個新的特征矢量，作為待評價立體圖像的特征矢量X，即有

接著，通過 SVR訓練得到視覺舒適度預測函數，基于SVR的立體圖像視覺舒適度感知特征融合過程主要包含以下兩個階段。

2.5.1 訓練階段 (1)隨機選擇立體圖像集合中(9×n)/10對立體圖像構成訓練樣本數據集合，記為，其中，n表示立體圖像集合中立體圖像的對數，q表示訓練樣本數據集合qΩ中包含的立體圖像的對數，表示訓練樣本數據集合qΩ中的第對立體圖像的特征矢量，MOSk'表示訓練樣本數據集合qΩ中的第對立體圖像的平均主觀評分值(Mean Opinion Score, MOS),。

(2)構造k'X 的回歸函數，其中，w為權重矢量，為w的轉置矩陣，b為偏置量，為徑向基核函數，,為訓練樣本數據集合qΩ中的第對立體圖像的特征矢量，γ為核參數，用于反映輸入樣本值的范圍，本文取γ=54。

(3)利用支持向量回歸對訓練樣本數據集合qΩ進行訓練，使得經過訓練后回歸的函數值集合與MOS集合之間的誤差最小，擬合得到最優的權重矢量wopt和最優的偏置量bopt，從而構造最優支持向量回歸訓練模型。

2.5.2 測試階段 (1)立體圖像數據庫中剩下的n/10對立體圖像構成測試樣本數據集合，記為tΩ,t表示測試樣本數據集合tΩ中包含的立體圖像的對數。根據支持向量回歸訓練模型，對測試樣本數據集中每一對立體圖像進行測試，預測得到該子集中每一對立體圖像的客觀視覺舒適度評價值。對于該組子集中第 i對立體圖像的客觀視覺舒適度評價預測值，將其記為，其中，Xi表示該組子集中第i對立體圖像的特征矢量。

(2)重復以上過程N次，將得到的N組客觀參量的平均值作為最終該視覺舒適度客觀評價模型的評價性能，本文取N=200。

3 實驗結果與分析

為驗證該客觀評價模型的性能，采用韓國先進科學學院提供的立體圖像庫作為立體圖像樣本數據集合[19]。該立體圖像庫由120幅分辨率為1920×1080的立體圖像組成，該數據庫包含了各種室內場景和室外場景圖像，其右圖像如圖3所示。同時，該數據庫提供了每幅立體圖像的 MOS, MOS值越大表示立體圖像的視覺舒適度越高。該立體圖像庫的主觀測試按照ITU-R BT.1438規定的標準進行，實驗中采用Redrover SDM-400 3維顯示器，主觀實驗人數為18人，觀看者的觀測距離為顯示器高度的3倍，測試環境均符合ITU-R BT.500-11標準。實驗中要求觀察者根據自身的生理癥狀或者疲勞反應(例如眼睛疲勞，全身不適，頭痛，聚焦困難，惡心等癥狀)的嚴重程度，對立體圖像按照5個等級(5表示非常舒適，4表示舒適，3表示一般舒適，2表示比較不舒適，1表示非常不舒適)進行主觀打分，然后通過統計分析得到每幅立體圖像的 MOS值。此外，該測試庫采用深度估計軟件計算得到右視差圖像，視差分布范圍為0~285個像素點。

本文采取 10折交叉驗證方法來評估立體圖像視覺舒適度感知特性的預測性能。所謂10折交叉驗證，就是隨機地將立體圖像樣本數據集合等分成10個互不相交的子集，將其中的9份立體圖像子集作為訓練樣本集，構造支持向量回歸訓練模型，剩余的1份立體圖像子集作為測試樣本集，根據訓練模型，預測測試樣本集中所有立體圖像的視覺舒適度客觀評價分值 Q。由于在主觀質量評價實驗中會引入一系列非線性因素，為避免非線性因素對客觀評價模型性能的影響，需要將模型的客觀評價分值 Q做非線性擬合，本文采用5參數Logistic函數進行非線性擬合，從而預測得到客觀模型預測值MOSp。

圖3 立體圖像數據庫右視點圖像

然后計算得到客觀預測值 MOSp與平均主觀評分值 MOS的相關性來度量客觀模型的性能，在本文中采用 Pearson相關系數(Pearson Linear Correlation Coefficient, PLCC), Spearman相關系數(Spearman Rank-order Correlation Coefficient,SRCC), Kendall相關系數(Kendall Rank-order Correlation Coefficient, KRCC)和均方根誤差(Root Mean Squared Error, RMSE)4組客觀參量，其中，PLCC, RMSE反映客觀評價模型預測值的準確性，SRCC和KRCC反映客觀評價模型預測值的單調性和一致性；PLCC, SRCC, KRCC越大，RMSE越小說明客觀評價預測值與平均主觀評分值的相關性越好。

3.1 客觀性能評價

表 1給出了本文方法與文獻[9]和文獻[12]方法在相同測試庫上的各項性能指標，由表中數據可以看出，本文方法的PLCC在0.87以上，SRCC在0.83以上，均方根誤差RMSE接近0.39，均優于文獻[9]和文獻[12]的各評價指標。此外，表1還給出了采用本文所提取的視差幅度特征矢量F1、視差梯度邊緣特征矢量 F2、空間頻率特征矢量 F3不同特征組合的評價性能指標。由表中數據可以看出，只采用兩個特征矢量組合得到的評價預測值與主觀評分值間的相關性并不是最佳的，并且視差幅度特征矢量 F1對評價性能的影響比視差梯度邊緣特征矢量F2和空間頻率特征矢量 F3更大，而結合 F1,F2和F3得到的評價性能最佳，說明本文的特征描述方法有效。

表1 不同方法視覺舒適度客觀評價模型評價性能指標比較

3.2 各特征對性能的影響

圖4(a)，圖4(b)和圖 4(c)分別給出了只采用兩種特征矢量組合得到的客觀評價值與 MOS值的散點圖，從圖中可以看出，只采用視差梯度邊緣特征矢量F2與空間頻率特征矢量F3組合得到的散點圖最分散，與主觀評價值之間的吻合度最低，而采用視差幅度特征矢量 F1與視差梯度邊緣特征矢量F2組合或者視差幅度特征矢量F1與空間頻率特征矢量F3組合得到的散點圖較為集中，說明視差幅度特征矢量F1對評價性能的影響最大。圖4(d)，圖 4(e)和圖 4(f)分別給出了文獻[9]和文獻[12]以及本文方法的散點圖，從圖中可以看到，本文評價方法的客觀評價值Q與MOS值的散點圖較為集中，更加符合人眼的主觀感知。

4 結束語

圖4 采用不同方法得到的客觀視覺舒適度評價預測值與MOS值的散點圖

本文根據人眼的視覺注意力機制，提出了一種基于視覺重要區域的立體圖像視覺舒適度客觀評價方法。該方法通過利用圖像顯著圖模型和視差信息得到視覺重要區域，然后提取視覺重要區域的視差幅度特征，視差梯度邊緣特征和空間頻率特征，作為反映立體圖像舒適度的感知特征信息，并通過支持向量回歸預測得到客觀評價值。實驗結果表明，該方法能夠精確地預測人眼對立體圖像的視覺舒適程度。接下來，我們將在本文的基礎上，考慮建立更為精確的立體顯著圖模型，從而進一步提高預測的準確性。

[1] Lambooij M, Ijsselsteijn W A, and Heynderickx I. Visual discomfort and visual fatigue of stereoscopic displays : a review[J]. Journal of Imaging Science and Technology, 2009,53(3): 030201-1-030201-14.

[2] Kim D, Choi S, Sohn K, et al.. Effect of vergenceaccommodation conflict and parallax difference on binocular fusion for random dot stereogram[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5):811-816.

[3] Jung Y J, Sohn H, and Ro Y M. Visual discomfort visualizer using stereo vision and time-of-flight depth cameras[J]. IEEE Transactions on Consumer Electronics, 2012, 58(2): 246-254.[4] Jung Y J, Kim D, Sohn H, et al.. Subjective and objective measurements of visual fatigue induced by excessive disparities in stereoscopic images[J]. SPIE, 8648, 2013: DOI:10. 1117/12.2005818.

[5] Tam W J, Speranza F, Yano S, et al.. Stereoscopic 3D-TV:visual comfort[J]. IEEE Transactions on Broadcasting, 2011,57(2): 335-346.

[6] Patterson R. Human factors of stereo displays: an update[J].Journal of the Society for Information Display, 2009, 17(12):987-996.

[7] Schor C, Wood I, and Ogawa J. Binocular sensory fusion is limited by spatial resolution[J]. Vision Research, 1984, 24(7):661-665.

[8] 王勤, 王瓊華, 劉春玲. 視差與空間頻率對自由立體顯示器觀看舒適度的影響[J]. 光電子·激光, 2012, 23(8): 1604-1608.Wang Qin, Wang Qiong-hua, and Liu Chun-ling. Effects of parallax and spatial frequency on visual comfort in autostereoscopic display[J]. Journal of Optoelectronics, 2012,23(8): 1604-1608.

[9] Lambooij M, IJsselsteijn W A, and Heynderickx I. Visual discomfort of 3-D TV: assessment methods and modeling[J].Displays, 2011, 32(4): 209-218.

[10] Choi J H, Yun M J, Kim A R, et al.. Visual comfort measurement for 2D/3D converted stereo video sequence[C].2012 3DTV-Conference: The True Vision - Capture,Transmission and Display of 3D Video (3DTV-CON 2012),Zurich, Switzerland, 2012: 1-4.

[11] Kim D and Sohn K. Visual fatigue prediction for stereoscopic image[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(2): 231-236.

[12] Sohn H, Jung Y J, Lee S, et al.. Predicting visual discomfort using object size and disparity information in stereoscopic images[J]. IEEE Transactions on Broadcasting, 2013, 59(1):28-37.

[13] Itti L, Koch C, and Niebur E. A model of saliency based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1998, 20(11): 1254-1259.

[14] Hou X D and Zhang L. Saliency detection: a spectral residual approach[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minnesota, USA,2007: 1-8.

[15] Harel J, Koch C, and Perona P. Graph-based visual saliency[J]. Advances in Neural Information Processing Systems, 2007, 19: 545-552.

[16] Wang J L, Silva M, Callet P L, et al.. A computational model of stereoscopic 3D visual saliency[J]. IEEE Transactions on Image Processing, 2013, 22(6): 2151-2165.

[17] Percival A. The zone of comfort: predicting visual discomfort with stereo displays[J]. Journal of Vision, 2011, DOI:10.1167/11.8.11.

[18] 馬恒, 賈傳熒, 劉爽. 基于空間頻率的圖像融合方法[J]. 計算機工程與應用, 2005, 41(31): 215-218.Ma Heng, Jia Chuan-ying, and Liu Shuang. Image fusion based on spatial frequency[J]. Computer Engineering and Applications, 2005, 41(31): 215-218.

[19] Sohn H, Jung J Y, Lee S, et al.. Korea Advanced Institute of Science and Technology. IVY Lab Stereoscopic Image Database[OL]. http://ivylab.kaist.ac.kr/demo/3DVCA/3DVCA.htm, 2013.