基于深度學習與顯著性的數字圖像構圖優化

邵 杭，王永雄，秦宇龍

(上海理工大學 光電信息與計算機工程學院，上海 200093)

隨著信息技術的發展，數字圖像對社會生活的影響日益深遠，并已成為社交、傳媒、商業活動的重要載體。但是受限于攝影器材、拍攝環境、拍攝者攝影水平和鑒賞者鑒賞能力等因素，許多數字圖像往往難以滿足較高的美學要求。此外，由于數字圖像的后期處理工作極為繁瑣，無論是對于專業人士還是業余愛好者，都會被其占用大量的時間和精力。因此，利用計算機圖形學、數字圖像處理技術和人工智能算法對圖像進行符合美學的優化，無論是在計算機輔助設計領域，還是圖像美學質量評價領域，都具有重要的研究意義和廣泛的應用前景。

圖像美學是一門交叉學科，縱觀數字圖像處理和人工智能在該領域的發展，對圖像美學的研究呈現出了兩個不同的發展趨勢：其一是以機器學習和深度學習為代表的圖像美學質量評價，即利用計算機算法，從模擬人類視覺感知[1]的角度出發，基于一定的評價指標[2-3]自動評價圖像質量的高低。然而相較于物體識別、目標檢測等的語義特征[4]，人類審美的奧秘目前尚未有可量化的科學解釋[5]。圖像美學質量評價在具備客觀性的同時，還存在很強的主觀性[6-7]；其二是基于已知的圖像美學原則，對圖像進行自動優化，例如利用生成式對抗網絡(Generative Adversarial Network)實現圖像的域間風格轉換[8]；利用雙邊濾波算法實現人物圖像的自動美顏[9]；利用深度卷積神經網絡并融合多項損失函數實現圖像的實時畫質增強[10]等。研究表明，在影響圖像美學質量的諸多因素中，例如光影、明暗、虛實、景深、色彩飽和度和色調對比度等，構圖被認為是最重要的評價指標[11-12]。同時，基于傳統的數字圖像處理技術，例如圖像去噪、銳化、均衡化、亮度和對比度增強等均屬于面向圖像底層像素信息的優化，構圖優化則更關注圖像高層信息特征[13-14]及美學質量的優化方法。

近年來，研究者們針對圖像構圖優化問題提出了許多新穎的解決方法。Bhattacharya等人[15]提出了一種交互式的優化算法，其將優化系統分為兩個模塊，分別為訓練美學評價的回歸器和根據美學評價重定位用戶選擇區域主體的分類器，以獲得高美學評分的重定位圖像來實現構圖優化。Jin等人[16]在此基礎上，結合圖像裁剪和網格形變，使圖像處理前后的尺寸比例關系保持一致，以盡可能多地保護圖像原有信息。Guo等人[17]利用顯著性和Content Aware Seam Carving算法，基于圖像內容的比例縮放進行圖像重構。Zhang等人[18]在此基礎上通過提取圖像前景區域的方法消除人工裁剪痕跡。Wang等人[19]利用圖像顯著性特征及Hough直線檢測算法進行構圖優化。Xiong[20]基于長直線幾何形變，利用仿射變換對圖像進行旋轉校正。Chen等人[21]通過對圖像像素點數量線性相關性的復雜度進行計算實現圖像重構。Chen等人[22]通過去除圖像畫面主體之外的冗余場景裁剪圖像來實現優化。Wang等人[23]基于帶語義信息的雙通道卷積網絡，通過預測圖像邊界框和主體特征實現了裁剪重構。

為了解決圖像畫面平衡感缺失和畫面主體構圖不合理等問題，本文提出了一種基于深度學習和顯著性模型的圖像美學構圖優化算法。本文利用深度卷積神經網絡對圖像進行顯著性檢測，提取主體特征，結合視覺平衡原理和三分構圖法則來進行圖像自動裁剪重構。本文深度網絡架構以VGG-16作為主干，加權兩項損失函數并以圖像像素數目值進行平均，可在訓練后實現端到端的全分辨率顯著性回歸，無需進行任何預處理和后處理，且在精度和性能上較傳統算法均有明顯提高。本文利用攝影圖像驗證所提出方法的科學性和有效性。實驗結果證明，相較于目前傳統的構圖優化方法，本文算法在改善視覺平衡方面具有明顯優勢，處理后的圖像畫面平衡感得到顯著提升，更符合美學評價原則，且更契合美學評價原則和人的視覺感受，處理后的構圖達到更為諧調、自然、平衡的效果。

1 構圖優化原理

構圖是指根據圖像題材和畫面主體等要素，通過一定的關系將所要表現的對象以適當的形式組織起來，構成一個協調的整體。構圖被廣泛地應用在攝影、繪畫、設計和圖像美學評價等領域。在攝影中，為追求美學效果，需要遵循一定的構圖方法[24]。常用的經典構圖方法有十余種，包括對稱式、框架式、中心構圖、三角形構圖、引導線構圖、對角線構圖、黃金螺旋構圖等。這些方法繁雜林立，給利用計算機算法進行圖像美學自動優化帶來了一定困擾。因此，本文基于奧卡姆剃刀定律，選擇三分法則和視覺平衡原理進行構圖優化。

三分法則利用黃金分割比例，設一條直線段長度為h(h=h1+h2)，當滿足h1/h2=h2/(h1+h2)的比例關系時，即可獲得最佳的視覺平衡效果，從而使圖像畫面達到一種更為有序、穩定的狀態。利用這種關系，可將圖像畫面分割為9個區域，形成3×3的網絡布局以及4個稱之為錨點的分割線交點，如圖1所示。構圖時，將所要突出的顯著主體置于錨點位置處，可很好地提升圖像美學效果。基于三分法則構圖的圖像如圖2所示。

圖1 三分法則視覺平衡原理

圖2 基于三分法則構圖的圖像

圖3 算法整體架構圖

2 構圖優化方法

本文優化算法的整體架構圖如圖3所示。為提取畫面主體并進行構圖優化，本文基于深度卷積神經網絡架構對圖像進行顯著性檢測。本文網絡以VGG-16作為模型的主干架構。網絡由3個模塊構成，分別為特征提取模塊、顯著性回歸模塊和圖像尺寸恢復模塊。經過訓練后，網絡可在沒有相關場景先驗知識的情況下，端到端地實現全分辨率的顯著性回歸。

特征提取模塊包含5組卷積，采用分層架構提取圖像的語義特征信息。具體而言，這5組卷積分別包含2、2、3、3、3個卷積層，卷積核均為3×3大小。本文以ReLU(Rectified Linear Unit)整流線性激活單元代替傳統的Sigmoid作為激活函數。與傳統的激活函數相比，ReLU可以使網絡的收斂速度更快。同時，為了保留更多的邊緣信息并擴大網絡的感受野，本文將最大池化層的卷積尺寸由2×2修改為3×3。在迭代步長方面，前3組設置為2，其后設置為1。這一模塊的輸出為輸入圖像1/8大小的特征映射。

顯著性回歸模塊包含3組卷積，每組卷積的全卷積層之后是ReLU激活函數層和Dropout層。該模塊由前向輸入的特征映射回歸得到每個像素的顯著性得分。由于深度學習需要大量訓練樣本才能獲得令人滿意的結果，而目前用于顯著性任務的數據相對較少。為了更好地訓練網絡，本文采用兩項加權并由像素數目平均的損失函數，具體形式為

(1)

(2)

(3)

其中，N+是顯著對象所占像素的數目，N-是非顯著對象所占像素的數目。ψ(·)定義為

(4)

由此可知ψ(x)可導，且其導數為

(5)

圖像尺寸恢復模塊由一個尺寸恢復層構成，其將前向輸入恢復為原始輸入大小，最終輸出全分辨率顯著圖像。本文網絡在MSRA10K數據集[25]上進行訓練。MSRA10K數據集包含有10 000張帶標注的圖像，本文將其隨機分為兩個子類，以8 000張圖像用于訓練，2 000張圖像用于驗證。顯著性檢測結果如圖4所示。與傳統的、基于底層像素信息、利用先驗特征的顯著性檢測方法相比，本文網絡模型可以更好地提取圖像的高級語義信息，結果也更貼合人的視覺感受。

圖4 顯著特征圖

在獲得顯著特征圖像后，本文基于0～255的像素值對圖像像素進行加權平均計算，進一步得到像素重心點，如圖5所示。隨后，算法基于視覺平衡原理，將像素重心點與三分法則中的錨點位置進行匹配，求取與重心點歐式距離(Euclidean Distance)最近處的錨點，并將圖像隨顯著圖像像素重心點移至該錨點位置處，進而將圖像冗余部分進行裁剪，實現符合圖像美學和視覺平衡的圖像重構。

圖5 顯著像素重心圖

3 實驗結果與分析

本文利用攝影圖片，通過對比實驗，定性地驗證所提出算法的有效性。現有基于圖像美學分析的數據集，如CUHKPQ[26]、Photo Quality Dataset[27]和Google AVA[28]等，均面向圖像美學質量評價得分的分類和回歸問題展開研究。本文算法基于圖像特征進行優化，且由于現有基于特征提取的圖像美學模型，例如Kong等人[6]和Malu等人[29]提出的深度網絡，難以有效評估本文算法優化前后圖像美學關系間存在的對應差異，因此本文利用1范數損失(最小絕對值偏差)、2范數損失(最小平方偏差)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結構相似性(Structural Similarity Index，SSIM)來定量分析所提出方法的科學性。

首先，本文將所提出深度網絡與兩種顯著性檢測方法進行對比驗證。兩種方法分別為wCtr方法[30]和LPS方法[31]。實驗結果如圖6所示，定量驗證結果如表1所示。wCtr方法原理為基于邊界連通性進行顯著性檢測，這種方法所標注的顯著區域目標較大；LPS方法原理為通過邊界先驗、背景標簽進行顯著性檢測，這種方法對于像素信息要求較高，對于上下文語義關系的提取不夠準確。而本文深度網絡模型可以更準確地定位圖像畫面的表現主體，效果和性能均較為突出。且由表1可以看出，本文方法的1損失僅次于LPS；2損失較高；PSNR和SSIM較低，說明本文顯著性特征范圍選取較小，更有利于進一步的像素重心點提取。

(a)原圖 (b)wCtr方法 (c)LPS方法(d)本文方法

表1 顯著性檢測方法定量驗證

本文基于不同的顯著性檢測方法，對圖像進行構圖優化。優化結果如圖7所示，定量驗證結果如表2所示。在圖7中，相比wCtr方法和LPS方法，由于本文方法可以更準確地定位畫面表現主體，故構圖優化結果具有更高的美學質量。同時由表2可以看出，本文方法的1損失和2損失的值均較低，而PSNR和SSIM的值均較高，說明基于本文算法進行構圖優化后，有更多的圖像信息被保留。

(a) (b) (c) (d)

表2 基于不同顯著性檢測方法構圖后的定量對比結果

本文進一步驗證所提出構圖優化算法的整體有效性，實驗結果如圖8所示。由圖8可以看出，優化后4幅圖像的表現主體均得到突出，雖然因畫面裁剪原因，圖像部分冗余信息缺失，但是其整體畫面更符合人的審美感受，視覺平衡感亦隨之增強。

(a)原圖 (b)顯著映射 (c)顯著圖 (d)優化結果

最后，本文分別與文獻[17]、文獻[19]、文獻[22]所提出的圖像構圖優化方法進行對比實驗。實驗結果如圖9所示，定量驗證結果如表3所示。文獻[17]中的方法通過將除畫面主體之外的背景區域進行比例關系調整，以實現構圖優化。優化之后背景信息雖得以保留，但是主體與背景的比例關系被改變。文獻[19]方法將畫面主體進行提取，繼而基于三分原則、利用背景區域中的某條直線對背景區域進行比例關系調整，最后將先前所提取的畫面主體重置于畫面內，以實現圖像的優化。但是優化之后背景信息裁剪過多，且主體與背景之間的相對位置關系被改變。文獻[22]方法利用深度卷積網絡架構，通過訓練來學習畫面主體，對圖像畫面主體所在區域進行提取以實現畫面重構，但其結果的視覺平衡感較差。由圖9可以看出，與上述方法相比，本文方法優化后的畫面可以達到更為平衡的效果，畫面美感亦隨之顯著提高。同時，由表3可以看出，本文1損失、2損失均較小，PSNR僅次于文獻[22]方法，且SSIM較大，說明本文算法可以在實現構圖優化的基礎上更好地保護圖像原有信息。

表3 算法整體有效性定量對比

(a) (b) (c) (d) (e)

4 結束語

本文提出了一種基于畫面主體特征、視覺平衡原理和三分法則的計算機構圖優化方法。本文利用深度網絡模型獲取圖像顯著性主體，以實現符合圖像美學的優化重構。經定性和定量實驗對比驗證，本文優化算法可有效地解決圖像主體位置不佳等構圖缺陷問題，并為圖像美學構圖優化算法的設計提供了新的思路。然而圖像構圖是一個比較復雜的問題，圖像美學還與諸多因素有關，本文算法能依照常用的構圖方法對圖像進行優化，但用于某些個性化、風格化較強的圖像時效果并不理想，這也是今后研究的主要方向。