一種基于用戶關(guān)注的立體圖像舒適度評價算法

胡　岸，孟　放，鄭郁劼

(中國傳媒大學(xué)　信息工程學(xué)院，北京　100024)

?

一種基于用戶關(guān)注的立體圖像舒適度評價算法

胡岸，孟放，鄭郁劼

(中國傳媒大學(xué)信息工程學(xué)院，北京100024)

摘要:近年來，立體電視和立體電影的發(fā)展掀起了一股“3D”熱潮。要讓觀眾享受到高質(zhì)量的立體內(nèi)容，首先要解決人們在觀看立體視頻圖像時的不舒適感。以立體圖像的視差因素為切入點(diǎn)，結(jié)合人眼關(guān)注模型，設(shè)計并實(shí)現(xiàn)了一種立體圖像舒適度的客觀評價方法。該方法根據(jù)人造立體圖像的主觀實(shí)驗評價結(jié)果，建立了視差—舒適度模型，同時結(jié)合圖像顯著信息，對立體圖像的舒適度進(jìn)行了預(yù)測。對比主觀評價結(jié)果，所提出的立體圖像舒適度客觀評價方法所獲取的評價結(jié)果與人眼感受具有較好的一致性。

關(guān)鍵詞:立體圖像；用戶關(guān)注模型；客觀評價

隨著多媒體技術(shù)的發(fā)展，圖像和視頻的質(zhì)量日漸提高，人們對視覺體驗的要求也不斷在提高。圖像和視頻僅有清晰度的提升并不能完全滿足人們的需要，因此立體成像技術(shù)漸漸成為了熱門。相比傳統(tǒng)的二維圖像/視頻，立體顯示內(nèi)容加入了深度信息，提高了畫面的逼真度和臨場感。然而不合適的立體內(nèi)容會使人眼在觀看時產(chǎn)生明顯的不舒適感。播放設(shè)備問題、圖像受損以及過大的雙目視差等都是引起立體內(nèi)容不舒適的原因[1]。長時間觀看不舒適的立體內(nèi)容，輕則引起眼酸眼脹，重則會產(chǎn)生頭痛惡心甚至嘔吐等癥狀。因此，如何保證立體內(nèi)容的安全性是立體顯示行業(yè)需要面對的重要問題之一。

影響立體圖像舒適度的因素有很多，包括視差、物體尺寸、顏色等，其中視差因素為影響舒適度的一個主要因素。多數(shù)學(xué)者以視差因素為基礎(chǔ)，研究了立體圖像舒適度客觀評價方法[2]。但由于僅基于視差的立體圖像舒適度預(yù)測沒有考慮人眼在觀察圖像時的習(xí)慣、特性，不能很好地預(yù)測人眼實(shí)際的舒適度，于是，很多學(xué)者展開了對基于用關(guān)注的舒適度客觀評價方法的研究。基于用戶關(guān)注的舒適度客觀評價模型一般包括圖像的顯著圖信息及視差信息兩個方面。在Jung等人[3]的立體圖像舒適度預(yù)測模型中，首先提取了立體圖像的視差圖和顯著圖，然后將兩張圖線性合并生成了基于感知的視覺權(quán)重圖，并以此圖為權(quán)重加權(quán)計算了視差圖中的視差參數(shù)，以此為依據(jù)對舒適度進(jìn)行預(yù)測。Sohn等人[4]通過對簡單的人造立體圖像進(jìn)行主觀評價，建立舒適度模型模舒適度預(yù)測模型，利用該模型對立體圖像舒適度進(jìn)行了預(yù)測。

本文主要研究立體圖像視差大小與人眼舒適度間的關(guān)系，通過對人造立體圖像進(jìn)行舒適度主觀評價[5]，建立了視差—舒適度量化模型，并進(jìn)一步結(jié)合人類視覺特性中的注意機(jī)制，建立基于用戶關(guān)注的立體圖像質(zhì)量評價模型，對立體圖像的舒適度進(jìn)行預(yù)測。

1基于用戶關(guān)注的立體圖像舒適度的評價方法設(shè)計

本文結(jié)合用戶關(guān)注模型，設(shè)計并實(shí)現(xiàn)了一種立體圖像舒適度客觀評價方法，算法結(jié)構(gòu)如圖1所示。具體步驟：1)對僅包含不同視差大小的人造立體圖像進(jìn)行立體舒適度主觀評價，建立“視差—舒適度預(yù)測模型”；2)計算待評價立體圖像的“顯著圖”和“視差圖”，并合成“視覺關(guān)注加權(quán)圖”；3)根據(jù)視差—舒適度模型計算一幅圖中每個像素對應(yīng)的舒適度值；4)將每個像素對應(yīng)的舒適度值加權(quán)相加(即“空間匯集”)，最后得到的單一舒適度評分，即為客觀評價結(jié)果。

1.1視差—舒適度模型的建立

為了建立視差—舒適度模型，首先需要研究立體圖像中視差參數(shù)與人眼感知之間的關(guān)系。本文通過分析人造立體圖像的舒適度主觀評價結(jié)果，得到了視差與人眼舒適度感知的關(guān)系，以此建立了視差—舒適度模型。該模型顯示了立體圖像視差與舒適度之間的量化關(guān)系，可以用來預(yù)測立體圖像中每個像素點(diǎn)的舒適度。

對于人造立體圖像的舒適度評價，近年來已有過若干相關(guān)研究[4，6]。本實(shí)驗中，為了建立視差—舒適度的對應(yīng)關(guān)系，必須排除其他因素的干擾，例如顏色、視差分布、語義信息等。因此，本文舒適度評價實(shí)驗所采用的實(shí)驗素材的設(shè)計需滿足以下3點(diǎn)要求：1)圖像為灰度圖像，不包含色彩信息；2)視差特征僅包含不同的水平視差大小，不包含其他可能引起不舒適的視差因素，如垂直視差、視差分布等；3)包含不同水平視差大小的圖案應(yīng)為中心對稱圖案，且同時具備高頻及低頻特征，以有助于觀察員聚焦。基于以上要求，本實(shí)驗中立體圖像素材設(shè)計如圖2所示。

本實(shí)驗的素材圖像包括背景和前景圖案兩個部分。其中：1)背景為椒鹽噪聲圖案，即在一張純白色圖片中隨機(jī)加入若干黑色的黑色噪聲，并對其進(jìn)行均值濾波。之所以使用這樣的背景是因為過于簡單的背景(比如單一的白色背景)可能會使觀察員的雙眼不能很好地融合看到單一的立體圖案，而是僅看到單目圖案(重影)。使用椒鹽噪聲背景可以使觀察員可以清晰看到單一的立體圖案。椒鹽背景位于零視差的位置。2)前景圖案采用黑色的馬耳他十字(MalteseCross)，該圖案同時包含了高頻及低頻特征信息。實(shí)驗中，馬耳他十字圖案位于整個圖像中心，在不同的圖像素材中，該圖案具有不同的負(fù)視差值。本實(shí)驗的圖片素材中包含了11個不同視差值的圖案，分別為0°，0.33°，0.66°，1°，1.33°，1.66°，2°，2.5°，3°，4°，5°。

需要說明的是，本實(shí)驗的素材視差只采用負(fù)視差及零視差是基于文獻(xiàn)[7]的研究結(jié)果：人眼在觀看立體圖像時，會更傾向關(guān)注離他們較近的物體，即圖像中負(fù)視差部分區(qū)域。而對于正視差的區(qū)域，盡管圖像中超出安全范圍的正視差也會引起不舒適，但是由于遠(yuǎn)離人眼，這部分區(qū)域受到的關(guān)注較少，因此相比負(fù)視差引起的不舒適，正視差所帶來的不舒適并不明顯。

對以上人造立體圖像的舒適度主觀評價實(shí)驗根據(jù)ITU-RBT.500建議書[8]的建議采用單刺激法(SS)[9]，評價表使用連續(xù)5級評價量表評估立體圖像的舒適度，5個等級分別為：極舒適、略舒適、一般、略不舒適、極不舒適。本實(shí)驗邀請了15位評價員參與評價，每人都通過了立體視覺測試[10]。

通過對人造立體圖像(圖2)進(jìn)行主觀評價實(shí)驗，得到了各視差下的立體圖像舒適度評分。為了得到視差值與舒適度評分之間的量化關(guān)系，本文使用SPSS軟件對均分結(jié)果進(jìn)行曲線估計，圖3為視差—舒適度曲線擬合圖。本例選取了線性模型、多項式模型(二次和三次)以及指數(shù)模型三類常見模型進(jìn)行估計，表1列出了估計結(jié)果。從決定系數(shù)(coefficientofdetermination)R2可以看出，二次模型、三次模型和指數(shù)模型都具有較好的擬合度，其中以三次模型擬合度最高。但是，結(jié)合實(shí)際情況，當(dāng)負(fù)視差增大時，實(shí)際舒適度應(yīng)該為單調(diào)遞減，趨近于0。如圖3所示，如果選用多項式模型，則曲線在(0，+∞)區(qū)間上無單調(diào)性，且沒有隨視差增大而趨近于0，而指數(shù)模型符合這一特性。因此，在考慮實(shí)際情況后，本文采用指數(shù)模型作為視差—舒適度評價模型，其擬合結(jié)果(見表1)如式(1)，其中x代表負(fù)視差值(單位為度)，y為舒適度評分。

y=4.558e-0.415x

(1)

1.2視覺關(guān)注加權(quán)圖

如圖1所示，“視覺關(guān)注加權(quán)圖”是由“顯著圖”和“視差圖”構(gòu)成。根據(jù)研究，人眼對于立體圖像的關(guān)注區(qū)域主要來自平面圖像的顯著區(qū)域[11]和立體圖像中離人眼較近的區(qū)域(即負(fù)視差區(qū)域)，因此在預(yù)測立體舒適度時需著重考慮這兩部分區(qū)域。本文采用已有的FT算法[12]提取顯著圖。視差圖是通過采用Kolmogorov的圖割法[13]對待評價圖像對進(jìn)行立體匹配得到的。視覺關(guān)注加權(quán)圖的計算是由顯著圖和視差圖按照一定比例的權(quán)重w1，w2合成，即

IC=w1×ID+w2×IS,w1+w2=1

(2)

合成效果如圖4所示。視覺關(guān)注加權(quán)圖的作用是為圖像中的每個像素確定預(yù)測舒適度時的權(quán)重，圖中亮度越大的部分，對于舒適度預(yù)測的貢獻(xiàn)越大。在本實(shí)驗中，權(quán)重w1，w2取值均為0.5。

1.3空間匯集法

在對自然圖像對進(jìn)行客觀評價時，最終結(jié)果的得出利用了基于圖像內(nèi)容的權(quán)重空間匯集的方法。公式如式(3)所示

(3)

式中：mi代表每個像素的舒適度，結(jié)合視差圖和視差—舒適度模型可以求得該值；wi為權(quán)重，該值由視覺關(guān)注加權(quán)圖決定；Q為最終的舒適度評分。

2實(shí)驗及結(jié)果分析

為確保本文所提出立體圖像舒適度客觀評價方法的正確性和有效性，筆者設(shè)計了如下實(shí)驗：1)選取一定數(shù)量測試圖像，分別提取每幅圖像的視差圖和顯著圖，并合成視覺關(guān)注加權(quán)圖；2)結(jié)合視差圖和視差—舒適度模型，求得一幅圖像中每個像素的舒適度客觀評分；3)結(jié)合視覺關(guān)注加權(quán)圖，利用空間匯集法，將一幅圖像的所有像素舒適度評分加權(quán)相加，即可得該圖像的最終舒適度評價結(jié)果；4)對所有測試圖像進(jìn)行舒適度主觀評分實(shí)驗，最后將主觀評分結(jié)果與客觀評分結(jié)果進(jìn)行對比分析。本節(jié)將從客觀評價素材選擇及實(shí)驗結(jié)果分析幾方面對實(shí)驗進(jìn)行介紹。

2.1客觀評價實(shí)驗素材的選擇

本實(shí)驗一共選取了50個測試圖像作為客觀評價素材。其中45張圖像來源為[14-15]，其余5張來自Middlebury立體圖像數(shù)據(jù)庫[16]。50張圖像的內(nèi)容涵蓋人物、動物、靜物、風(fēng)景等各種類型，部分測試圖像如圖5所示。需要指出的是，為了驗證立體圖像舒適度客觀評價算法的準(zhǔn)確性，已預(yù)先對本次實(shí)驗所用素材圖片進(jìn)行了舒適度主觀評分(該組圖像的主觀評分實(shí)驗采用與人造立體圖像主觀實(shí)驗相同的標(biāo)準(zhǔn)和方法，并選擇相同的測試人員進(jìn)行實(shí)驗)。

2.2客觀評價結(jié)果及分析

如圖6為50張圖的評價結(jié)果，包括指數(shù)模型的預(yù)測結(jié)果以及主觀評價結(jié)果。經(jīng)過計算，該模型預(yù)測的舒適度分?jǐn)?shù)與主觀評價評分Pearson線性相關(guān)度達(dá)到了0.865，可見本文設(shè)計的客觀評價方法可以較好地預(yù)測立體圖像的舒適度。

3總結(jié)

本文基于立體視覺原理，同時結(jié)合圖像的視差信息和顯著信息，設(shè)計并實(shí)現(xiàn)了一種立體圖像舒適度客觀評價方法，該方法可以較為準(zhǔn)確地預(yù)測立體圖像舒適度，對于改善立體內(nèi)容舒適度的相關(guān)工作的研究，具有積極的推動作用。本文算法有兩個特點(diǎn)：1)基于人造圖像的舒適度主觀評價實(shí)驗，建立了視差—舒適度模型，該模型能夠體現(xiàn)視差與人眼舒適度感知的量化關(guān)系；2)將視覺關(guān)注加權(quán)圖融入到舒適度的預(yù)測過程中，使得本文客觀評價方法的評價結(jié)果更符合人眼特性。經(jīng)實(shí)驗驗證，本文實(shí)現(xiàn)的立體圖像舒適度客觀評價方法預(yù)測結(jié)果與主觀評價結(jié)果具有較好的一致性。

本文的舒適度預(yù)測方法中重點(diǎn)討論了視差因素帶來的不適，對于其他舒適度影響因素討論不多。為了進(jìn)一步提高預(yù)測準(zhǔn)確度，后續(xù)實(shí)驗將會考慮在評價體系中加入更多可能影響舒適度的因素，如顏色、亮度、物體尺寸等。

參考文獻(xiàn)：

[1]LAMBOOIJM，F(xiàn)ORTUINM，HEYNDERICKXI，etal.Visualdiscomfortandvisualfatigueofstereoscopicdisplays：areview[J].Journalofimagingscienceandtechnology，2009， 53(3)：1-14.

[2]LAMBOOIJM，IJSSELSTEIJNWA，HEYNDERICKXI.Visualdiscomfortof3-DTV：assessmentmethodsandmodeling[J].Displays，2011，32(4)：209-218.

[3]JUNGYJ，SOHNH，LEES，etal.Predictingvisualdiscomfortofstereoscopicimagesusinghumanattentionmodel[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2013，23(12)：2077-2082.

[4]SOHNH，JUNGYJ，LEES，etal.Attentionmodel-basedvisualcomfortassessmentforstereoscopicdepthperception[C]// 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-6.

[5]杜祥坤，姜秀華，王彩虹.立體電視視頻質(zhì)量主觀評價方法研究[J].電視技術(shù)，2013,37(23)：241-245.

[6]LIJing，BARKOWSKYM，WANGJ，etal.Studyonvisualdiscomfortinducedbystimulusmovementatfixeddepthonstereoscopicdisplaysusingshutterglasses[C]//Proc. 17thInternationalConferenceonDigitalSignalProcessing(DSP).Corfu：IEEEPress，2011：1-8.

[7]JANSENL，SELIMO，K?NIGP.Influenceofdisparityonfixationandsaccadesinfreeviewingofnaturalscenes[J].JournalofVision，2009，9(1)：29.

[8]ITU-RRecommendationBT.500-13，Internationaltelecommunicationunion.Methodologyforthesubjectiveassessmentofthequalityoftelevisionpictures[S].2012.

[9]阮衛(wèi)泓，溫娜，武曉光，等.3D電視主觀評價方法研究[J].電視技術(shù)，2014，38(24)：60-64.

[10]ITU-RRecommendationBT.1438，Internationaltelecommunicationunion.subjectiveassessmentofstereoscopictelevisionpictures[S].2000.

[11]譚澤富，丁妍芝，雷國平，等.基于視覺顯著性圖的立體圖像視疲勞評價[J].電視技術(shù)，2015，39(7)：114-116.

[12]ACHANTAR，HEMAMIS，ESTRADAF，etal.Frequency-tunedsalientregiondetection[C]//IEEEConferenceonComputerVisionandPatternRecognition.Miami：IEEEPress，2009：1597-1604.

[13]VLADIMIRK，ZABIHR.Multi-camerascenereconstructionviagraphcuts[C]//ComputerVision-ECCV2002.Copenhagen，Denmark：SpringerBerlinHeidelberg，2002：82-96.

[14]JUNGYJ，SOHNH，LEES，etal.IVYlabstereoscopicimagedatabase[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3DVCA/3DVCAhtm.

[15]SOHNH，JUNGYJ，LEESI，etal.IVYlabstereo3Dimagedatabasefordisparityremapping[EB/OL].[2015-07-06].http：//ivylab.kaist.ac.kr/demo/3D/DisparityRemapping.htm.

[16]HIRSCHMüLLERH，SCHARSTEIND.Evaluationofcostfunctionsforstereomatching[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR2007).Minneapolis：IEEEPress，2007：1-8.

胡岸(1990— )，女，碩士生，主研數(shù)字電視技術(shù)、立體圖像舒適度評價等；

孟放(1972— )，碩士生導(dǎo)師，主要研究方向為數(shù)字電視技術(shù)、視覺信息處理、視頻圖像處理等；

鄭郁劼(1989— )，碩士生，主研數(shù)字電視技術(shù)、立體圖像舒適度評價等。

責(zé)任編輯：閆雯雯

Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention

HUAn,MENGFang,ZHENGYujie

(School of Information Engineering,Communication University of China,Beijing 100024,China)

Keywords:stereoscopicimages;visualattentionmodel;objectiveassessment

Abstract:Inrecentyears,thedevelopmentofstereoscopicTVandmovieshasledakindof"3D"fashion.Visualdiscomfortinstereoscopicmoviesshouldbeeliminatedinordertoallowtheaudiencetoenjoythehighqualityofthe3Dcontent.Anobjectiveassessmentmethodonvisualcomfortofstereoscopicimagesbasedonthedisparityfactorandvisualattentionmodelisdesignedandimplemented.Inthismethod,adisparity-comfortmodeliscalculatedbasedonthesubjectiveassessmentresultoftheartificialimagesatfirst.Then,takingintoaccountboththedisparity-comfortmodelandsaliencyinformationofimages,thevisualcomfortofstereoscopicimagescanbepredicted.Theexperimentalresultsshowthatthepredictionperformanceoftheobjectiveassessmentmethodproposedinthispapercanbebetterconsistentwiththesubjectiveassessmentresults.

中圖分類號：TN949.13

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.01.028

作者簡介：

收稿日期：2015-08-06

文獻(xiàn)引用格式：胡岸，孟放，鄭郁劼.一種基于用戶關(guān)注的立體圖像舒適度評價算法[J].電視技術(shù)，2016,40(1)：141-144.

HUA,MENGF,ZHENGYJ.Assessmentalgorithmonvisualcomfortofstereoscopicimagebasedonvisualattention[J].Videoengineering,2016,40(1)：141-144.