基于視覺顯著性圖的立體圖像視疲勞評價

譚澤富，丁妍芝，雷國平，彭 霞

(1.重慶郵電大學 通信與信息工程學院，重慶 400065；2.重慶三峽學院 信號與信息處理重點實驗室，重慶 404100)

?

基于視覺顯著性圖的立體圖像視疲勞評價

譚澤富1,2，丁妍芝1，雷國平2，彭 霞1

(1.重慶郵電大學 通信與信息工程學院，重慶 400065；2.重慶三峽學院 信號與信息處理重點實驗室，重慶 404100)

隨著立體顯示技術的飛速發展，立體圖像帶來的視疲勞問題引發了人們的廣泛關注。視覺顯著性區域決定著立體圖像的性質，而雙目視差和觀看時間是影響立體圖像視疲勞程度的兩個重要因素。為了評價觀看立體圖像后產生的視疲勞，提出了立體圖像視疲勞的評價模型。該模型基于視覺顯著性圖，根據視差和觀看時間得到對立體圖像視疲勞的評價。生理心理實驗表明，該模型預測結果的可靠率到達了93%以上，依據該評價模型可由視差和觀看時間快速、準確地評價立體圖像視疲勞，為立體圖像視疲勞的評價及立體圖像的改進提供了依據。

立體圖像；視疲勞；評價模型

立體圖像顯示系統模仿人眼視覺系統，基于雙目視差原理，利用光柵或者立體眼鏡等工具，讓雙眼分別接收到視角輕微不同的兩幅圖像，經大腦融合得到基于雙目視差的深度信息，產生立體感，使觀眾沉浸在立體圖像所呈現的場景之中。

在自然情況下，人眼的輻輳和調節是一致的，但觀看立體圖像時卻有所不同。觀看立體圖像時，調節距離是人眼與屏幕間的距離，是固定的，而輻輳距離卻隨著虛擬物象位置的變化而變化，造成了輻輳-調節沖突[1-2]，這是引發立體影像視疲勞的主要因素之一。

立體圖像的雙目視差決定了其輻輳-調節沖突的程度，因此，在評判立體圖像視疲勞時，雙目視差是必不可少的重要因素。目前已經有一些文獻研究了對立體圖像的視疲勞評價，文獻[3-4]研究了立體圖像視疲勞評價與平面圖像視疲勞評價的異同；文獻[5]研究了立體圖像視疲勞的客觀評價方法；文獻[6]研究了立體顯示視疲勞的主觀評價方法；文獻[7]通過主、客觀實驗，測量了雙目視差對立體圖像視疲勞的影響；文獻[8]研究表明，正向視差與負向視差對立體圖像視疲勞的影響效果不同。

然而這些研究都沒有綜合考慮視差、觀看時間及視覺注意力對立體圖像視疲勞的影響。本文通過生理心理實驗，綜合考慮雙目視差和觀看時間對立體圖像視疲勞的影響，提出了基于視覺顯著性圖的立體圖像視疲勞評價模型。

1 實驗環境

實驗過程中環境亮度保持為200 lx，環境溫度和濕度為恒定值。有30名受試者，年齡在18～40歲之間，其中男、女各15人。所有受試者在評價立體圖像視疲勞之前都接受了視覺檢查，以確保其雙目視覺功能正常。

立體圖像顯示設備是分辨率為1 920×1 080的27 in(1 in=2.54 cm)主動快門式立體電視，屏幕比例為16∶9。遵照電視圖像質量主觀評定方法(ITU-R BT.500-13)，實驗時的觀影距離是屏幕高度的3倍，約為1 010 mm，人的平均瞳間距離為65 mm，則立體圖像深度與視差的關系如表1所示。

表1 立體圖像視疲勞與視差的關系

2 建立評價模型

基于立體圖像視疲勞的建模過程分為3個部分，首先利用3ds Max軟件合成視差單一的立體圖像，并結合生理心理實驗，建立視差及觀看時間與視疲勞關系的模型；然后提取出現實場景立體圖像的視覺顯著性圖，運用空間匯集技術求得基于視覺顯著性圖的視差，帶入模型即可得基于視覺顯著性圖的立體圖像視疲勞評價；最后分析和比較基于視覺顯著性圖的評價結果和基于全局模型的評價結果，驗證基于視覺顯著性圖的立體圖像視疲勞評價模型的有效性。

2.1 立體圖像視疲勞建模

利用3ds Max軟件構建出符合實驗要求的立體場景，得到所需的單一視差的立體圖像組。本實驗構建的立體場景為一個懸浮在空中的足球。調整3ds Max的相機參數，依據屏幕尺寸、觀看距離和深度與視差的關系，將同一場景渲染成視差分別為-1.5°～+1.5°的11幅單一視差立體圖像，其中“-”表示負向視差，此時有出屏的效果；“+”表示正向視差，此時有入屏的效果。

實驗前，先讓受試者閉目5 min，讓眼睛得到放松，以消除受試者已有視疲勞。接著，用2 min讓受試者做立體圖像視疲勞的問卷，得到觀看立體圖像前視疲勞的基準值。然后，讓受試者觀看不同視差的11組立體圖像，每組圖放映結束后，受試者再利用2 min時間填寫問卷調查，然后進行下一輪實驗。每位受試者的連續實驗過程不超過1 h。每幅立體圖像分別放映10次，每次放映的時間為1～10 min。

視疲勞問卷中包含立體圖像視疲勞的8個指標，對每一個指標用五分制評判(1分表示“完全沒有”；2分表示“輕微”的；3分表示“有一些”；4分表示“糟糕的”；5分表示“難以忍受”的)。指標的內容和權重如表2所示[9]，將每個指標的評判得分加權求和，即得立體圖像視疲勞程度的總體評價。

整理生理心理實驗問卷數據，可得到不同視差和觀看時間條件下立體圖像視疲勞程度的評價得分。用多項式f(d)=k0+k1d+k2d2+k3d3擬合受試者觀看不同視差立體圖像10 min后視疲勞程度的數據，其中d表示立體圖像的雙目視差，f(d)表示受試者的視疲勞程度，ki(i=0,1,2,3)為模型參數。依據最小二乘準則求得模型參數ki(i=0,1,2,3)，可以得到

表2 視疲勞指標及其權重

f(d)=1.062 7-0.106 3d+1.506 1d2-0.075 5d3

(1)

觀看立體圖像10 min后視疲勞程度與視差的關系如圖1所示。從中可以看出，隨著雙眼視差的增大，視疲勞程度增加明顯，而且負向視差比正向視差更容易產生視疲勞。

圖1 雙目視差與視疲勞關系

用多項式f(d,t)=α0+α1d+α2d2+α3d3+α4t+α5t2+α6t3擬合立體圖像視疲勞程度與立體圖像視差及觀看時間的關系，其中d表示立體圖像雙目視差，t表示觀看立體圖像的時間，f(d,t)表示雙目視差為d并且觀看時間為t時，觀看者的視疲勞程度。依據實驗數據，并基于最小二乘準則求得參數αi(i=0～6)，可得立體圖像視疲勞評價模型為

f(d,t)=1.259 3-0.042 2d+0.742 2d2-0.062 0d3+

0.016 1t+0.017 2t2-0.000 5t3

(2)

通過此模型可由立體圖像的雙目視差及觀看時間來預測觀看者的立體圖像視疲勞程度。

立體圖像視疲勞程度與視差及觀看時間的關系如圖2所示，從中可以看出立體圖像的雙目視差和觀看時間是影響立體圖像視疲勞程度的重要因素。隨著視差的增大和觀看時間的增加，立體圖像視疲勞程度增加明顯。

2.2 基于視覺顯著性圖的立體圖像視疲勞評價

此部分的實驗圖像為3D相機(富士3DW3)拍攝的40幅現實場景的立體圖像，每幅圖像都由包含大量不同景深、不同視差的景物。

觀看立體圖像時，人的注意力通常集中于圖像的某些區域，這部分區域即所謂的視覺顯著性區域，用視覺顯著性圖表示。相比圖像中的其他區域，視覺顯著性區域吸引了觀看者絕大多數的視覺注意力，因為提出視覺顯著性區域極可能是影響立體圖像視疲勞評價得分的決定性因素。在此假設下，建立了基于視覺顯著性區域的立體圖像視疲勞評價模型，用視覺顯著性區域的立體特征結合視疲勞評價模型評價現實場景的立體圖像視疲勞。

圖2 視疲勞關系與雙目視差及觀看時間建模

基于視覺顯著性圖的立體圖像視疲勞評價是指根據立體圖像特征提取出視覺顯著性圖，結合空間匯集技術求得基于視覺顯著性圖的立體圖像視差，帶入立體圖像視疲勞評價模型，得到立體圖像視疲勞評價。

立體圖像的色彩分布、邊緣輪廓以及視差是影響人視覺注意力的3個最重要的因素。因此，為了獲得視覺顯著性圖必須先提取出色彩顯著性圖、邊緣顯著性圖和視差圖。首先根據立體圖像的左眼視圖提取出色彩顯著性圖和邊緣顯著性圖，并根據左、右視圖運用圖割算法求取立體圖像視差圖。再根據式(3)得到合成圖A，即

A=α1C+α2E+α3D

(3)

式中：A表示合成圖；C表示色彩顯著性圖；E表示邊緣顯著性圖；D表示立體圖像的視差圖。α1，α2，α3分別表示對應的權重，取值為α1=0.4，α2=0.3，α3=0.3[10]。將圖A以0.5為閾值進行二值化處理，即得到視覺顯著性圖。

與用3ds Max軟件制作的單一視差立體圖像不同，現實場景立體圖像中不同區域的視差是不一致的，為了獲取現實場景立體圖像的視差，引入了空間匯集技術。基于視覺顯著性圖的立體圖像視疲勞評價，即基于視覺顯著性圖，運用空間匯集技術，將圖像的視覺顯著性區域按照一定的方式劃分為多個板塊，并依據圖像的特征匯集統計方法對每個板塊的視差進行處理，最終得到單一的立體圖像視差統計表達D′，即立體圖像的整體雙目視差值可用D′表示。將D′帶入視疲勞評價模型，最終得到基于視覺顯著性圖的立體圖像視疲勞評價。

用皮爾遜相關系數和皮爾遜等級相關系數比較基于全局的視疲勞評價模型和基于視覺顯著性區域的視疲勞評價模型，其中皮爾遜相關系數表示生理心理實驗評價視疲勞主觀得分與視疲勞評價模型預測得分的線性相關性，斯皮爾曼等級相關系數表示視疲勞評價模型預測分數與雙目視差的相關關系，求取的相關系數如表3所示。從表3可以看出，與基于全圖相比，基于視覺顯著性圖視疲勞評價模型的預測結果與視疲勞主觀評價得分的相關度高，基于視覺顯著性模型的視差與主觀視疲勞評價得分的斯皮爾曼等級相關度高。

表3 兩種模型皮爾遜相關系數及皮爾遜等級相關系數比較

這驗證了此前的假設，即與基于全圖的視疲勞評價模型相比，基于視覺顯著性圖的立體圖像視疲勞評價模型能夠給出更加合理并且接近視疲勞真實水平的預測值。這是因為觀看者的視覺注意力集中于視覺顯著性區域，即視覺顯著性區域決定了觀看者的生理、心理反應。

3 普適性驗證

為了驗證立體圖像視疲勞評價模型，另選取了30幅由3D照相機拍攝出來的立體圖像進行普適性驗證。每幅立體圖像的主觀評價分數可由生理心理實驗并結合如圖2所示的主觀視疲勞評價問卷得到。同時依據基于視覺顯著性圖的立體圖像視疲勞評價模型得到視疲勞的預測值。若視疲勞評價模型的預測分數與主觀評價分數的差異在主觀評價分數的5%以內，則認為視疲勞評價模型的預測結果正確。

統計評價數據，其中正確評價的立體圖像為28幅，即正確評價率為93.3%。實驗結果表明，該視疲勞評價模型的立體圖像視疲勞預測結果與主觀評價結果有較高的一致性，即該立體圖像視疲勞評價模型普適性好，能夠解決主觀視疲勞評價方法耗時長、過程繁瑣和可移植性差的缺點。

4 小結

通過3ds Max制作出不同視差的單一視覺刺激的立體圖像，通過生理、心理實驗，得到立體圖像視疲勞與視差及觀看時間的關系并用多項式描述，并基于最小二乘準則擬合多項式系數，得到立體圖像視疲勞的評價模型。為了評價現實場景立體圖像，提出了基于視覺顯著性圖的立體圖像視疲勞評價模型。首先根據色彩顯著性圖、邊緣顯著性圖和視差圖獲取立體圖像的視覺顯著性圖，用空間匯集技術提取出基于視覺顯著性圖的視差，并將其帶入視疲勞評價模型，即可得到基于視覺顯著性圖的立體圖像視疲勞評價。通過比較基于視覺顯著性區域的視疲勞評價模型和基于全圖的視疲勞評價模型的皮爾遜相關系數和斯皮爾曼等級相關系數，驗證了基于視覺顯著性區域的視疲勞評價模型的預測結果更加接近真實值，即基于視覺顯著性區域的評價模型有更優的評價結果。最后通過普適性實驗，驗證了基于視覺顯著性圖的視疲勞評價模型的普適性。

依據本文提出的視疲勞評價模型，能夠由視覺顯著性區域的視差和觀眾的觀看時間預測出立體圖像視疲勞的程度，能夠快速、準確地刪選出不易使人產生視疲勞的立體圖像，并為立體圖像的改進提供了方向。

[1]韓振雷.3DTV的立體顯像技術[J].電視技術，2012，36(6)：77-79.

[2]TAM W J, SPERANZA F, YANO S, et al.Stereoscopic 3D-TV:Visual comfort[J].IEEE Trans.Broadcasting，2011，57(2)：335-346.

[3]成于慶，姜秀華.立體電視視頻質量影響因素分析[J].電視技術，2011，35(12)：80-83.

[4]PHAN P, ANDROUTSOS D.Robust semi-automatic depth map generation in unconstrained images and video sequences for 2D to stereoscopic 3D conversion[J].IEEE Trans.Multimedia，2014，16(1)：122-136.

[5]LIH-C O, SEO J, KHAM K, et al.Measurement of 3D visual fatigue using event-related potential (ERP):3D oddball paradigm[C]//Proc.3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video.Istanbul:IEEE Press,2008: 213-216.

[6]杜祥坤,姜秀華,王彩虹.立體電視視頻質量主觀評價方法研究[J].電視技術，2013，37(23)：241-245.

[7]SHAO F, LIN W, GU S, et al.Perceptual full-reference quality assessment of stereoscopic images by considering binocular visual characteristics[J].IEEE Trans.Image Processing，2013，22(5)：1940-1953.

[8]KIM D, JUNG Y J, KIM E, et al.Human brain response to visual fatigue caused by stereoscopic depth perception[C]//Proc.2011 17th International Conference on Digital Signal Processing.Corfu: IEEE Press，2011：1-5.

[9]ATALLAH P, PELAH A, WILKINS A.Visual stress symptoms from stereoscopic television[C]//Proc.2012 International Conference on 3D Imaging.Liege：IEEE Press，2012：1-7.

[10]FANG Y, WANG J, NARWARIA M, et al.Saliency detection for stereoscopic images[J].IEEE Trans.Image Processing，2014，23(6)：2625-2636.

譚澤富(1969— )，碩士，教授，主研3D立體電視、移動數字電視技術和寬帶信號處理等；

丁妍芝(1991— )，碩士生，主研3D立體電視、移動多媒體廣播；

雷國平(1983— )，碩士，講師，主研3D立體電視、移動數字電視；

彭 霞(1991— )，碩士生，主研3D立體電視、移動多媒體廣播。

責任編輯：薛 京

Attention Model-Based Visual Discomfort Evaluation Model of Stereoscopic Display

TAN Zefu1,2, DING Yanzhi1, LEI Guoping2, PENG Xia1

(1.DepartmentofCommunicationandInformationEngineering,ChongqingUniversityofPostsandTelecommunication,Chongqing400065,China；2.KeyLaboratoryofSignalandInformationProcessing,ChongqingThreeGorgesUniversity,Chongqing404100,China)

With the rapid development of stereoscopic display, broad attention of evaluating visual discomfort caused by stereoscopic display has been attracted.The nature of stereoscopic display is depended on perceptually significant regions, and both binocular disparity and viewing time are the dominant factors of stereoscopic discomfort.To evaluate visual discomfort caused by stereoscopic display, visual discomfort evaluation model is developed.Based on perceptually significant regions of stereoscopic images, the degree of visual discomfort is evaluated by the amount of binocular disparities as well as viewing time.According to psychophysical experiments, the reliability of the evaluation model reaches up to 93%.According to this evaluation model, visual discomfort caused by stereoscopic images can be assessed by binocular disparity and viewing time rapidly and accurately, and this model provides a basis to evaluate visual discomfort caused by stereoscopic as well as the development of stereoscopic display technology.

stereoscopic images; visual discomfort; evaluation model

TN949.13

A

10.16280/j.videoe.2015.07.025

2014-09-12

【本文獻信息】譚澤富，丁妍芝，雷國平，等.基于視覺顯著性圖的立體圖像視疲勞評價[J].電視技術,2015，39(7).