長期演進系統基于加權平均時延的下行資源調度

王妍 馬秀榮 單云龍

摘 要：三維（S3D）圖像重定向技術的作用是調整S3D圖像的寬高比。為準確和客觀地衡量三維重定向圖像的視覺質量，建立了一個S3D重定向圖像質量評價數據庫。首先，使用八種具有代表性的三維重定向算法對45幅原始圖像按兩種重定向尺度進行分辨率調整，共生成720幅三維重定向圖像; 然后，每幅重定向圖像通過主觀測試，得到相應的主觀打分值; 最后，對主觀分數進行處理，得到平均主觀意見分（MOS）值。在此基礎上，提出一種三維重定向圖像客觀質量評價方法，即通過提取S3D重定向圖像的深度感特征、視覺舒適度特征和左右視點的圖像質量特征，使用支持向量回歸預測得到S3D重定向圖像的視覺質量。在提出的數據庫上進行測試可以得知，所提方法的Pearson線性相關系數高于0.82，Spearman等級系數高于0.81，表明其能有效預測S3D重定向圖像的視覺質量。

關鍵詞：質量評價;圖像數據庫;三維圖像重定向;深度感;舒適度

中圖分類號：TN919.81

文獻標志碼：A

Abstract： Stereoscopic 3D （S3D） image retargeting aims to adjust aspect ratio of S3D images. To objectively and accurately assess the quality of different retargeted S3D images， a retargeted S3D image quality assessment database was constructed. Firstly， 45 original images were retargeted by eight representative retargeting algorithms with two retargeting scales to generate 720 retargeted S3D images. Then， the subjective quality evaluation score of each retargeted image was obtained via subjective testing. Finally， the subjective scores were converted to MOS （Mean Opinion Score） values. Based on all above， an objective quality assessment method was proposed for retargeted S3D images. In this method， three types of features including depth perception， visual comfort and image quality of left and right views were extracted to calculate the retargeted S3D image quality with the use of support vector regression prediction. Experimental results on the proposed database show that the proposed method has the Pearson linear correlation coefficient and the Spearman rankorder correlation coefficient higher than 0.82 and 0.81 respectively， demonstrating its superiority in retargeted S3D image visual quality assessment.

英文關鍵詞Key words： quality assessment; image database; stereoscopic 3D image retargeting; depth perception; visual comfort

0 引言

隨著三維（Stereoscopic 3D， S3D）圖像顯示技術的快速發展，越來越多的S3D顯示設備融入人們的生活。各種類型的S3D圖像和視頻極大地豐富了觀眾的視覺體驗， 然而，顯示設備分辨率的多樣化導致S3D圖像無法在不同寬高比的顯示器上自適應顯示， 因此，需要S3D圖像重定向技術對S3D圖像的寬高比進行調整[1]。

傳統平面重定向方法如CR（CRopping）、SCL（uniform scaling）、SC（Seam Carving）[2]和WARP（WARPing）[3]等，在調整圖像分辨率的同時，將圖像重要區域的幾何形變和內容缺失最小化; 然而，S3D圖像的質量不僅包含圖像內容本身，過大的雙目視差、雙目不對稱以及雙眼調節和輻輳沖突等都會嚴重影響S3D圖像的觀看舒適度[4]。另外，S3D圖像的深度信息使觀看者能夠獲得更加逼真的臨場體驗。深度失真將會嚴重影響S3D圖像的觀看效果[5]， 因此，與平面重定向方法相比，S3D圖像重定向技術需要考慮更多的圖像失真因素，這也極大地增加了S3D圖像重定向技術的復雜度。

近年來，人們提出了許多S3D圖像重定向方法，大致可分為離散方法和連續方法兩類。離散方法通過刪除或者增加左右圖像對應位置的像素點或圖像塊，調整S3D圖像分辨率[6-8]。離散方法的優點是直接對像素點進行插入或刪除操作，能夠較好地保持S3D圖像的幾何一致性; 然而，高耗時、對象形狀難以保持等問題是這一類方法的主要瓶頸。連續方法的本質是非均勻伸縮變換。這類方法通過設定約束條件，將原始圖像映射至目標尺寸[9-12]。連續方法的優點是能夠根據圖像內容的重要性程度，將圖像的形變處理分布到人眼不關注的區域，相對于離散方法能夠更好地保持對象的形狀，尤其是當圖像分辨率壓縮較大時， 但連續方法較難保持重定向圖像的幾何一致性[6]。由于不同的S3D圖像重定向方法對圖像的處理結果差別很大， 一些S3D重定向方法在某一類圖像上處理效果較好，但在其他類別上處理結果卻很差， 因此，提出一種有效的S3D重定向圖像客觀質量評價方法，對不同S3D圖像重定向方法的處理結果進行準確和客觀的衡量，進而指導和優化S3D圖像重定向算法就顯得尤為重要。

然而，S3D重定向圖像的分辨率與原始圖像不同，傳統的S3D圖像質量評價方法如文獻[13-15]等無法直接運用到S3D重定向圖像質量評價中。目前，針對圖像重定向技術的評價方法大多集中在平面領域，例如，Fang等[16]提出了一種IRSSIM（Image Retargeting Structural SIMilarity）算法，采用SIFT（ScaleInvariant Feature Transform）特征建立原始圖像和重定向圖像間稠密匹配，并根據SSIM算法計算匹配后圖像的局部質量，最后對局部質量進行加權得到重定向圖像的質量; Hsu等[17]提出了一種PGDIL（Perceptual Geometric Distortion and Information Loss）算法，將重定向圖像的質量分為幾何失真和內容損失兩部分; Zhang等[18]提出了一種ARS（Aspect Ratio Similarity）算法，將圖像重定向過程轉換為后向重采樣問題。Liang等[19]將重定向圖像失真分為顯著區域保留、形變失真、全局結構保留、美學特性和對稱性五個因素; Jiang等[20]通過構建學習字典，預測重定向圖像質量; Chen等[21]提取自然場景統計特征、全局結構特征和雙向內容缺失特征，評價重定向圖像質量; Zhang等[22]分別從區域失真、圖像塊失真和像素失真三個層次評價重定向圖像質量; Guo等[23]從全局失真和局部失真兩個方面計算重定向圖像的幾何失真和內容缺失。然而，平面重定向圖像質量評價方法未考慮S3D圖像的舒適度和深度等信息，不適用于S3D重定向圖像質量評價。

為準確和客觀地評價S3D重定向圖像的視覺質量，本文首先建立了一個S3D重定向圖像質量評價數據庫，并對數據庫中的S3D重定向圖像進行主觀打分。其次，提出了一種S3D重定向圖像客觀質量評價方法。該方法從深度感（Depth Perception， DP）、視覺舒適度（Visual Comfort， VC）以及圖像質量（Image Quality， IQ）三個方面評價S3D重定向圖像的視覺質量。主要貢獻包括：1）本文建立了一個S3D重定向圖像質量評價數據庫。包含45幅原始圖像、8種重定向方法、2種壓縮尺度，整個數據庫共720幅S3D重定向圖像。2）本文從遮擋區域面積和對象深度差兩個方面評價S3D重定向圖像的深度感。提取視差幅值特征和視差梯度特征評價S3D重定向圖像的視覺舒適度。最后，結合深度感、舒適度以及S3D重定向圖像左右視點圖像的質量，得到S3D重定向圖像的質量，評價結果符合人眼主觀感知。

1 三維重定向圖像質量評價數據庫

當前，重定向圖像的質量評價研究主要集中在平面領域，對三維重定向圖像的視覺質量評價研究較少，且缺少相應的質量評價數據庫。為此，本文首先建立了一個三維重定向圖像質量評價數據庫，對三維重定向圖像進行主觀質量評價。

1.1 原始圖像

三維圖像重定向方法根據S3D圖像的內容差異，壓縮人眼不感興趣區域，保留圖像的重要內容，保持或提升S3D圖像的深度感和視覺舒適度。為建立可靠的S3D重定向圖像據庫，更加有效地反映不同重定向方法的處理效果，本文篩選了45幅原始S3D圖像，包含自然場景、顯著前景對象、幾何結構、人物等室內與室外場景。45幅原始S3D圖像的左圖像如圖1所示。另外，本文篩選的原始S3D圖像包含不同的視差范圍，以驗證不同重定向方法的深度和舒適度優化性能。

4 結語

本文構建了一個S3D重定向圖像標準數據庫，選取八種代表性的S3D重定向方法，生成720幅S3D重定向圖像，并對每一幅圖像進行主觀打分。在此基礎上，本文提出了一種結合深度感、舒適度和圖像質量的S3D重定向圖像客觀質量評價方法。在數據庫上的測試結果表明，提出的方法的評價結果符合人眼感知。本文提出的圖像數據庫可用于S3D重定向圖像的視覺質量研究，提出的S3D重定向圖像質量評價方法能客觀地預測S3D重定向圖像的視覺質量，對S3D圖像重定向算法優化有一定的指導意義。未來的研究重點是提取更多高層次的語義和結構信息，建立更加準確的評價模型。

參考文獻 （References）

[1] ??? LUO S J， SUN Y T， SHEN I C， et al. Geometrically consistent stereoscopic image editing using patchbased synthesis[J]. IEEE Transactions on Visualization and Computer Graphics， 2015， 21（1）： 56-67.

[2] ??? SHAMIR A， SHAMIR A， AVIDAN S. Improved seam carving for video retargeting[J]. ACM Transactions on Graphics， 2008， 27（3）： Article No. 16.

[3] ??? WOLF L， GUTTMANN M， COHENOR D. Nonhomogeneous contentdriven videoretargeting[C]// Proceedings of the 2007 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2007： 1-6.

[4] ??? LEE K， MOORTHY A K， LEE S， et al. S3D visual activity assessment based on natural scene statistics[J]. IEEE Transactions on Image Processing， 2014， 23（1）： 450-465.