雙通道立體圖像質量評價方法的研究

王楊，賈曦然，隆海燕

(1.河北工業大學電子信息工程學院，天津 300401；2.河北工業大學天津市電子材料與器件重點實驗室，天津 300401)

立體圖像相關技術發展日益迅速，但在采集、傳輸、存儲立體圖像過程中難以避免地引入失真，因此，有效地評估圖像失真程度受到研究學者廣泛關注。

Kang等[1]提出了一種基于淺層卷積神經網絡的無參考圖像質量評價算法，為日后研究基于卷積神經網絡的立體圖像質量評價算法做出了開創性貢獻。隨后，學者們將視覺特性與卷積神經網絡引入立體圖像質量評價中。Zhou等[2]提出了DFNet結構，獲取并融合左、右視圖單目特征，從而得到雙目深度特征。Shi等[3]基于配準失真表示構建了多任務卷積神經網絡模型，同時進行立體圖像質量預測與失真類型識別。Yan等[4]構建權值共享模塊聯合提取左右視圖特征，并設計融合模塊聚合多層次特征。Feng等[5]基于多層級交互的卷積神經網絡模型獲取雙目視差與融合信息。Li等[6]通過端到端的多損失約束卷積神經網絡獲得立體圖像質量評價分數。Meng等[7]設計了“where”分支和“what”分支分別處理立體深度、形狀和顏色等信息。Si等[8]設計了StereoIF-Net網絡模擬人類雙目互動與雙目融合機制。Li等[9]考慮到人類視覺注意機制，構建DPCNN模型提取左、右視圖及視覺顯著性圖像特征，預測圖像質量。Messai等[10]利用融合圖的3D顯著性圖像塊進行立體圖像質量評價。贠麗霞等[11]設計了2D-卷積神經網絡(convolutional neural networks,CNN)和3D-CNN雙通道結構，基于融合圖、和圖像與差圖像特征獲取質量評價值。

人眼觀看圖像時，75%來自清晰度，25%來自感知體驗。因而，學者們引入視覺顯著性、深度感知特性和雙目競爭機制等力求獲得更符合人眼感知特性的質量評價方法，但上述算法均利用單個卷積神經網絡模型提取特征，其權重的不變性導致所得特征間存在相似性，并在一定程度上忽略了視覺語義感知對質量評價值的影響。視覺心理學研究表明視覺平衡特性與人類視覺感知息息相關，其重要性不容忽視[12]，然而其在立體圖像質量評價中的應用少有報道。

基于上述質量評價方法以及深度特征提取思想的啟發，構建雙通道網絡評價立體圖像質量，度量質量感知程度的同時引入視覺平衡特性。該算法在對稱失真與非對稱失真情況下均具有較高的準確性，一定程度上克服了淺層立體圖像質量評價算法的不足。

1 雙通道立體圖像質量評價模型

1.1 圖像質量與人眼的視覺平衡特性

視覺心理學和格式塔心理學認為圖像的視覺觀測效果是大腦皮層追求視覺平衡的體現，而視覺元素的構圖原則與視覺平衡密切相關。格式塔心理學提出視覺元素中均存在著大小、方向不同的“知覺力”，從而構成“視覺場”。當畫面構圖滿足視覺元素的“知覺力”到平衡中心“力距”處于平衡狀態時可產生視覺平衡效果[13]，常用的構圖原則如圖1所示。其中，三分法構圖是藝術、美學和設計等領域最基本的構圖原則并被應用于圖像質量評價領域[14]，當語義主體位于三分點或三分線時，更加契合視覺感知習慣，如圖2所示。

圖1 常用構圖原則

圖2 三分法構圖圖像

提取含有美學構圖技巧的語義特征衡量圖像視覺平衡效果以模擬人類視覺感知及審美思維。語義特征由全局視角出發較好地表達了圖像的內容和屬性信息，如場景類型和位置結構等，是最接近于人類對圖像視覺理解與整體感知的高層次特征。引入雙目語義特征既可以表征構圖信息，又可以提高立體圖像質量評價的魯棒性[15]。

1.2 算法網絡框架

算法網絡框架如圖3所示，該網絡包含兩個通道：質量感知特征通道(quality-aware feature channel，QFC)、語義特征通道(semantic feature channel，SFC)。雙通道網絡基于支持向量回歸構建主客觀圖像質量評價值的關系映射，以此得到圖像最終的質量評價值。

1.2.1 構建融合圖

立體圖像由左、右視圖構成，大腦視覺皮層通過獲取其視差信息產生深度感知。基于拉普拉斯金字塔[16]構建融合圖以模擬視覺處理過程，圖像金字塔從多尺度、多分辨率的角度來表達圖像，同時其包含了圖像的各頻段信息，對不同頻段圖像單獨融合可優化融合效果。其主要步驟如下。

步驟1基于高斯金字塔，由下至上將各層圖像與經內插放大后的上層圖像作差得到該層的拉普拉斯分解圖像，進而得到左、右視點圖像的拉普拉斯金字塔序列。

步驟2將左、右視圖的拉普拉斯金字塔序列{IL0,IL1,…，ILn}、{IR0,IR1,…,IRn}逐層融合獲取融合圖，如式(1)所示，底層圖像為IL0、IR0，頂層圖像為ILn、IRn。

CI(x,y)=ωL(x,y)IL(x,y)+

ωR(x+d,y)ΙR(x+d,y)

(1)

式(1)中：CI為融合圖；IL和IR分別為左、右視圖；d為視差信息；ωL和ωR分別為左、右視圖的融合系數。

為體現左、右視圖的局部紋理差異，采用平均梯度GLn確定頂層圖像ILn融合系數ωLn，如式(3)所示。雙目視覺中存在雙目競爭機制，立體圖像感知質量受左、右視圖中包含更多信息的視圖支配，因此采用區域能量ELm確定其他圖層ILm(0

(2)

(3)

式(3)中：M、N為左右視圖圖像大?。沪x、ΔIy分別為像素f(x,y)在x、y方向上的一階差分。

(4)

式(4)中：ELm為區域能量；i、j為圖像的第i行與第j列；μ為權值矩陣。

同理可得頂層圖像IRn融合系數ωRn與其他圖層IRm融合系數ωRm。

如圖4所示，基于拉普拉斯金字塔所構建的融合圖在保留了雙目視圖原始細節特征信息的同時，亦包含了視差信息，有利于后續的雙目質量感知特征提取。

圖4 立體圖像的左、右視圖與融合圖

1.2.2 質量感知特征提取

融合圖的多個局部區域均具有豐富的特征信息，單個卷積神經網絡傾向于提取圖像的一般全局特征而導致其對失真區域分布不均勻圖像的細節特征獲取不充分[17]。為突破上述局限性，采用并行域分解多權重化策略提取圖像特征。在選取域分解方式時，考慮到圖像中多個視覺元素等效抽象為單個視覺元素的“重心”在視圖中心位置即可達成視覺平衡[13]，因此，為使得各部分視圖的視覺心理“不失重”，將融合圖與梯度圖分割為局部區域，分塊訓練特征提取網絡，得到4個權重不同的FG-CNNωi(fusion gradient-convolutional neural networksωi，FC-CNNωi)網絡，其中i=1,2,3,4從而獲取更加豐富的融合圖細節特征。

在人腦視覺感知的信息流中，邊緣特征可以較好地表征幾何信息，于是基于融合圖利用Prewitt梯度算子獲取其梯度域圖像，將二者同時輸入至FG-CNN以量化表示邊緣特征。但隨著網絡層次的加深，邊緣特征逐漸減弱，為緩解此問題，FG-CNN中引入級聯殘差模塊，復用淺層圖像特征的同時，減小網絡訓練時因梯度過小而無法優化參數的問題，圖5為級聯殘差模塊結構。

圖5 級聯殘差模塊結構

FG-CNN包含6層傳統卷積層、2層可形變卷積層、4層最大池化層、2層全連接層。卷積層均由多個3×3大小的卷積核堆疊而成，填充處理保持圖像塊尺寸恒定?？尚巫兙矸e層可以有效地提升網絡對幾何物體的建模能力，通過在傳統卷積的采樣點上添加偏移量使得采樣網格可以自由形變，將采樣點集中在更加重要的目標區域，打破了傳統卷積的規則網格約束，其偏移量由附加卷積層從特征圖中學習得到，普通卷積與可形變卷積計算過程示意圖如圖6所示。

圖6 普通卷積與可形變卷積計算過程示意圖

有監督學習訓練過程中，考慮到參數優化時存在振蕩現象以及隨機梯度下降法需要人為設置參數的局限，采用可以自動更新學習率的Adam優化算法加快網絡收斂速度，并選用平均絕對誤差(mean absolute error, MAE)作為損失函數以量化預測值與訓練標簽間的差異，其表達式為

(5)

式(5)中：Bp為一個批尺寸大小的圖像數量；fθ1(pi)為圖像塊pi經參數為θ1的網絡模型預測值；qi為圖像塊pi的訓練標簽。

1.2.3 視覺平衡特征度量

QFC基于局部圖像塊提取質量感知特征，保留圖像原始細節信息，但造成了整體構圖信息的缺失，因此，增加SFC獲取語義度量值以衡量圖像視覺平衡效果對人類視覺體驗感所造成的影響。

CNN-F(convolutional neural networks-fast)網絡經過ImageNet圖像數據集訓練后具有良好的語義特征提取能力[15]，選用其作為語義特征提取工具，圖7為CNN-F網絡卷積層可視化結果。

由圖7可以看出，隨著CNN-F網絡層次加深，所得圖像特征逐漸由低級到高級，由具體到抽象。其中，深層conv5卷積層傾向于提取圖像高層次語義特征信息。利用CNN-F網絡所得到的左、右視圖單目語義特征，經加權后合成為雙目語義特征。

圖7 CNN-F網絡卷積層可視化結果

fB=ωsfL+(1-ωs)fR

(6)

式(6)中：fL和fR分別為左、右視圖單目語義特征；fB為雙目語義特征；ωs為權重系數，ωs設置為0.5，以平衡左、右視圖的語義特征。

圖8給出了視覺重量的效果圖。其中，圖8(a)～圖8(c)中主體對視覺注意力吸引較大，所占視覺“重量”較重，而圖像背景占據面積大但其視覺“重量”較輕，當主體位于三分線位置時產生視覺平衡效果，契合美學標準，此時語義度量值較高；圖8(d)不滿足視覺平衡條件，其語義度量值較低，但三幅圖的語義度量值均接近于主觀質量評價分數，說明語義度量值能夠較好地衡量人眼視覺感知特性。

qs和DMOS分別為語義度量值、主觀質量評價分數

1.2.4 質量分數預測

將圖像的主觀評價值分別與質量感知特征向量集、語義特征向量集作為支持向量回歸(support vector regression, SVR)的輸入，構建從特征域到分數域的映射關系，從而獲取質量感知值qq與語義度量值qs，對qq與qs加權后得到立體圖像質量評價分數q，可表示為

q=ωqs+(1-ω)qq

(7)

式(7)中：ω為權重系數，多次迭代得最佳值。

2 性能測試與分析

2.1 數據集和評價指標

本文算法在LIVE 3D phase Ⅰ與LIVE 3D phase Ⅱ立體圖像庫測試性能。LIVE 3D phaseⅠ包含365幅對稱失真立體圖像對和20幅原始參考立體圖像對，失真類型分別為JPEG壓縮、JP2K壓縮、加性白噪聲(WN)、高斯模糊(Blur)和快速衰落(FF)。LIVE 3D PhaseⅡ包含8幅原始參考立體圖像對、120幅對稱失真立體圖像對和240幅非對稱失真立體圖像對，其失真類型與LIVE 3D phaseⅠ相同。將所有樣本圖像按照8∶2的比例隨機劃分為訓練集和測試集。

為了有效評估算法性能，采用皮爾遜線性相關系數(PLCC)、斯皮爾曼階相關系數(SROCC)、均方根誤差(RMSE)作為客觀評價指標。其中，PLCC衡量算法預測值與DMOS值的線性相關性，SROCC衡量算法單調性，RMSE衡量算法預測值與DMOS值之間的偏差。PLCC與SROCC值越接近于1，RMSE越接近于0時，證明算法性能越好。

2.2 消融實驗

為驗證網絡的有效性，從雙通道結構、拉普拉斯金字塔融合、并行域分解多權重化策略三方面考慮設計了消融實驗，利用PLCC值衡量網絡性能，如表1所示。

表1 不同情形時網絡性能

對比Q1、Q2和Q可知，與單通道網絡性能相比，雙通道網絡所得PLCC值分別提升了3.3、3.2、1.2、1.1個百分點，具有更高的準確性，其可能的原因在于：對于QFC，單個卷積神經網絡訓練后所得權重值使得網絡傾向于提取整幅圖像的一般全局特征，而本文采用4個權重不同的網絡分塊提取特征，豐富了質量感知特征集，但分塊提取特征策略導致網絡對圖像全局語義信息獲取不充分；對于SFC，CNN-F網絡具有輸入圖像尺寸限制，將數據集圖像大小均縮放為224×224×3，圖像經縮放后損失部分質量感知特征，但其全局語義信息保存較為完整。綜合上述，結合視覺平衡特性采用雙通道網絡集成立體圖像的質量感知特征信息和高層次語義特征信息，從而提升算法性能。

對比Q3和Q可知，相較于小波融合算法，利用拉普拉斯金字塔進行融合處理時效果更佳，并且小波基的選擇對小波融合效果影響較大，其普適性略差。對比Q4、Q5和Q可知，基于四分塊并行域分解多權重化策略時網絡性能更佳，其PLCC值分別提升了1.4、0.9、0.7、0.4個百分點，未經域分解處理時，同權重化網絡所得特征間存在相似性，網絡性能略差，相較于二分塊域分解方式，四分塊處理能夠將特征集更大程度地豐富化，從而提升算法的準確性?？紤]到平衡圖像的全局性與網絡復雜度，未將圖像繼續細分。

2.3 權重選擇

為確定式(7)中質量感知值與語義度量值各自的權重系數，將ω以0.1為間隔由0增加至1，其結果如圖9所示。

圖9 不同ω值對PLCC的影響

由圖9可知，預測性能隨著ω的增加首先提高，然后有所降低，當ω=0.5時，預測值與主觀評價值保持高度線性相關，網絡預測準確性能最佳。

2.4 算法性能分析

為驗證本文算法的有效性，將算法與其他九種算法在LIVE 3D立體圖像庫上的實驗結果比較分析。其中，文獻[18-19]為全參考立體圖像質量評價，文獻[20]為半參考立體圖像質量評價，其余均為無參考立體圖像質量評價。上述算法可按照特征提取方式再劃分，文獻[18-23]為手工特征提取算法，其余均為深度學習特征提取算法。整體性能實驗結果如表2[15，17-26]所示，不同失真類型下的實驗結果如表3[17-26]、表4[17-25]所示，其中最佳結果被加粗顯示。

表2 LIVE 3D立體圖像庫整體性能比較

表3 不同失真類型的PLCC值

表4 不同失真類型的SROCC值

由表2可知，本文算法在LIVE 3D phaseⅠ和LIVE 3D PhaseⅡ下取得了優異成果，PLCC與SROCC值均超過0.95，RMSE較接近于0。同時可以看出，相較于手工特征提取算法，深度學習特征提取算法預測性能更佳，證明了其多層級交互結構能夠較好地模擬視覺感知系統。與其他深度學習特征提取算法相比，Hu等[24]、Sun等[25]和Messai等[17]均基于圖像塊獲取局部特征，忽略了圖像全局語義信息的完整性，Sim等[15]考慮到了全局語義信息，但網絡分離式提取左右視圖特征，未能體現雙目視覺的交互性，并且其質量感知特征經由手工提取特征方式獲得，未能較好地模擬視覺感知系統。而本文算法綜合考慮圖像的局部與全局信息，梯度圖的引入和結合級聯殘差模塊、可形變卷積所設計的FG-CNN特征提取器使得模型所得質量感知特征更加精細化，取得了更佳的預測效果，驗證了所提算法的合理性。

由表3、表4可知，算法在JP2K、JPEG、FF失真類型下性能表現較為突出。在LIVE 3D phaseⅠ中WN失真與LIVE 3D phaseⅡ中WN、Blur失真情況下PLCC、SROCC值雖然未達到令人滿意的程度，但較接近于最佳值；僅在LIVE 3D phaseⅠ中Blur失真所得SROCC表現略差。準確地評價非對稱失真立體圖像質量相對困難，只有更加符合人眼視覺認知機理的算法才能獲得良好的結果[26]，而本文算法在對稱失真和非對稱失真情況下均展現出較好的效果，并且算法未因改變失真類型而產生較大的性能差異，可以較好地模擬人類視覺感知過程。為更加直觀地展現預測值與DMOS值間的相關程度，繪制了兩者的散點圖，如圖10所示?？梢钥闯觯Ⅻc緊密分布在擬合曲線周圍，表明了預測值與DMOS值的較高一致性。

圖10 立體圖像質量評價值和DMOS值散點圖

為驗證算法的時間復雜度，對比不同算法在LIVE 3D phaseⅠ的平均運行時間，結果如表5[27-28]所示。實驗環境為：11th Gen Intel(R)Core(TM)i7-11800H CPU；NVIDIA RTX3050 GPU；16 GB RAM；Python3.8。

由表5可知，本文算法運行時間明顯少于Si等[27]、Kim等[28]，具有運行速度較快的優勢。綜合上述，算法所得預測值與主觀評價值具有較強的相關性并且其時間復雜度較低。為準確預測非均勻失真圖像質量，捕捉立體圖像局部特征信息和全局語義空間信息，基于并行域分解多權重化策略得到權重不同的卷積神經網絡分塊提取融合圖與梯度圖特征，從而獲取含有視差信息的質量感知特征，通過語義特征度量人眼視覺平衡特性使得算法更加符合人眼視覺認知機理。此外，多數基于深度學習的立體圖像質量評價算法僅依靠小型數據集訓練導致模型難以獲取最佳性能，而本文算法通過立體圖像庫訓練QFC、ImageNet數據集訓練SFC，克服了數據集規模有限而導致模型訓練不足的問題。

表5 平均運行時間比較

3 結論

提出了一種雙通道無參考立體圖像質量評價算法，獲取圖像質量感知特征的同時，結合視覺感知平衡特性，引入語義特征通道對圖像質量進行綜合度量。實驗結果表明：所提算法的有效性和可靠性，可以為圖像質量評價領域提供一種新思路。未來可以探究更加符合人眼視覺感知的分塊方式，進一步提升網絡性能，并對人眼視覺平衡特性進行深入研究，將其應用于風格遷移和圖像識別等方向。