基于多尺度特征提取網絡的圖像美學量化評分方法

王欣，穆紹碩，陳華鋒

（1.北京中盾安全技術開發公司，北京100044；2.浙江傳媒學院媒體工程學院，浙江杭州310018）

0 引 言

移動互聯網時代，圖像與視頻數據量呈爆發式增長，迫切需要能自動檢索并推送高美學質量的圖像或視頻，因此，對圖像進行美學質量客觀評價和篩選已成為人機交互的重點，迫切需要研究一種高效的圖像美學客觀評價方法，目前圖像美學分類已成為研究熱點。傳統方法通常用信噪比和結構相似度評價圖像畫質，因此，只能評估噪聲、變形、清晰度等，無法評估具有情感色彩的視覺美學質量。隨后，研究者通過手工提取的美學特征實現美感分類，如顏色直方圖和邊緣分布等［1-3］，但其屬于手工設計，無實質性突破，與人類視覺真實美感評估相差甚遠。同時，圖像美感較易受主觀影響，僅靠幾種特例顯然無法做全面、可靠的評估，需另尋他法，神經網絡成為有效解決此問題的方案。卷積神經網絡（CNN）是各種神經網絡中最強大的學習結構之一，已成為計算機視覺領域的研究熱點［4-18］。AVA數據集［4］包含250 000個具有美學評級的圖像和14 000個帶有樣式標簽的子集，使得用深度學習方法自動學習美學特征成為可能。KARAYEV等［5］通過CNN網絡提取特征，對圖像風格進行了有效分類。王偉凝等［6］提出的并行深度卷積神經網絡圖像美學分類方法，可有效提取美學特征，實現美學二級標簽分類。李素梅等［7］基于卷積神經網絡模型，提出一種評價立體圖像舒適度的方法。文獻［13］利用全局和局部2個視角設計的CNN模型，可用于美學評估分類。DONG等［14-15］用分類器對手工和神經網絡提取的特征進行分類，效果很好；LI等［16］提出了一種基于圖像內容的嵌入微調卷積神經網絡方法評價圖像美學質量，解決了數據規模小的問題。LU等［18］提出了一種基于深度學習的圖像美學快速評價系統，采用新的深度神經網絡方法實現了特征的自動學習。

雖然上述方法取得了一定成果，但仍存在不足：（1）通常采用二分類標簽（“好”或“壞”）等單一指標評估圖像美學質量，無法區分同類標簽圖像的美感優劣，如文獻［10-12，19-20］；（2）CNN 要求輸入的圖像尺寸固定，文獻［12，18，21-22］等對外部訓練圖像預處理較簡單，只是簡單地將其插值到固定尺寸，影響圖像的美學特征分布。為解決以上問題，本文提出一種基于全局和局部特征的多輸入源圖像美學量化評價方法。在網絡輸入端，采用幾種不同表示方法獲取圖像的全局視圖和局部視圖，并將其聯合作為輸入；在網絡輸出端，以EMD為新的損失函數，將1～10分的概率密度質量函數作為神經網絡模型的輸出，并以均值作為量化值。實驗證明，本文方法具有可行性和有效性，圖像美學的客觀評分值與實際評分值十分接近，分類準確率也較一般方法高。

1 基于CNN的圖像美學量化方法

基于CNN的圖像美學量化方法步驟：（1）預處理外部圖像，構建訓練數據集；（2）構建高效的CNN網絡模型；（3）利用訓練數據集訓練并優化網絡參數；（4）利用訓練好的模型對圖像或視頻進行美學量化評分。

針對現有算法對圖像美學質量評價單一和預處理簡單等問題，提出了一種改進的多尺度特征提取網絡模型，網絡結構如圖1所示。首先，在輸入端提取外部訓練圖像的全局視圖和局部視圖，并將兩視圖聯合作為輸入；其次，構建多尺度特征提取網絡模型，通過組合1×1，3×3和5×5三種尺度的卷積核，使圖像特征提取更充分。最后，在softmax層以EMD為損失函數，用1～10分的概率密度質量函數作為神經網絡模型的輸出，評價圖像，并以均值作為精確評價值。

1.1 外部訓練圖像預處理

圖1 算法的網絡結構Fig.1 Network structure of the algorithm

將CNN應用于美學質量分類并非易事。因為CNN要求輸入固定尺寸的圖像，而每幅圖像的尺寸是不同的，圖像的長寬比、分辨率和細節等均會影響圖像的美學等級，因此很難直接訓練CNN網絡；大多研究只是簡單地將圖像插值至CNN網絡所需尺寸，如圖2中g1所示，易造成圖像美學特征發生變化，影響后續評估。如何對輸入圖像的全局視圖和局部視圖進行自動美學特征學習成為一大難題。為解決此問題，筆者提出將圖像的全局視圖和局部視圖進行深度融合，并將融合圖作為輸入（s×s×15），如圖 2所示，實驗中，將CNN所需的固定尺寸s設置為224。本文數據集選自專業的圖像美學數據集AVA庫，每幅圖像均由200個不同職業、不同年齡的人進行評分，評分值為1～10（最高美學評分為10分），每幅圖像都用相應的美學評分直方圖作為本文神經網絡模型的標簽，見圖2（標簽）。

圖2 圖像預處理過程Fig.2 Image preprocessing process

對于全局視圖，為充分保持原始圖像的美學特征并輸入CNN固定尺寸圖像，提出3種變換組合以形成全局視圖。直接縮放（g1）：將原始圖像直接插值至固定尺寸（s×s×3）；短邊規格（g2）：以原始圖像的短邊規格為固定長度s的倍數調整圖像尺寸，并裁剪中心區域尺寸為s×s×3的圖像；長邊規格（g3）：以原始圖像的長邊規格為固定長度s的倍數調整圖像尺寸，并用零填充邊界元素，以生成s×s×3尺寸的圖像。

對于局部視圖，獲取全局視圖需調整原始圖像的尺寸，會導致部分高分辨率局部美學信息的丟失，因此，本文的局部視圖由原始圖像中隨機裁剪的2組固定尺寸（s×s×3）圖像塊l1，l2組成。

1.2 網絡結構

對圖像或視頻進行美學評估需要通過網絡模型充分提取光影、亮度、構圖、顏色等“美”學特征，因此，設計能充分提取美學特征的網絡結構至關重要。網絡由4層多尺度特征提取單元（如圖3所示）組成。其中，網絡單元由特征提取層、融合層和映射層組成，Conv表示卷積操作，ReLU表示非線性激活函數。針對美學特征，提出由1×1，3×3和5×5三種尺度的卷積核（步長皆為1）并列組成特征提取層，其具有不同的感受野，能提取不同尺度的特征，同時，5×5大卷積核能提取相關性不強的特征。融合層采用級聯的方式將這些包含多尺度信息的特征圖合并，重組為新的特征圖；為降低維度和提高網絡的泛化能力，增加了1×1卷積的特征映射層。

圖3 多尺度特征提取單元Fig.3 Multi-scale feature extraction unit

1.3 損失函數

AVA數據集是圖像美學分類訓練集的重要來源，包括幾十萬幅社交圖片，經不同行業、不同年齡的200多人對每幅圖片進行主觀美學評分，構建1～10分的概率密度函數P，并建立“0”差和“1”美2類標簽。P為主觀統計評分，具有廣泛性和真實性，

其中，s1=1，s2=2，…，s10=10，表示分數級，psi表示相應分數級的概率，傳統的神經網絡softmax分類輸出層通常用交叉熵函數執行等級分類任務，而圖像美學評分的輸出（1～10分）是有序的，交叉熵函數無法體現此類間關系，HOU等［16］提出可通過EMD函數實現基于類間有序的數據集訓練，為此，選取圖像的統計概率密度函數P為標簽，在損失層選用EMD函數，訓練后輸出與P一致的概率密度質量函數，并將概率密度質量函數的均值μ和方差σ作為圖像或視頻的美學評價量化值，EMD函數為

EMD定義為實際的概率密度函數P與估計的概率密度質量函數P^的最小代價，累計分布函數質量評級排序為s1＜s2＜···＜sN，其中，N=10。

2 實驗與分析

為驗證本文方法的性能，選用圖像美學評價領域通用的AVA數據集進行測試實驗。根據實驗需要，選取AVA數據集中1～10分各分數段圖像共2 000幅，用其中的10%作為測試集，在網絡參數初始化階段，采用ImageNet分類數據庫初始化CNN架構網絡參數，全連接層采用隨機初始化，動量設置為0.9，網絡訓練學習率設置為0.001，迭代后期再逐漸減小學習率。

基于AVA數據集，所有對比實驗均用相同的訓練集和測試集。圖4為本文方法對AVA數據集中測試集的部分處理結果，其中，每幅子圖下方括號內的值為本文方法的結果，即概率密度質量函數的均值；括號外的值為AVA數據集中的評分。直方圖是對應圖像的概率密度質量函數，橫坐標為分數，縱坐標為對應的概率密度，求均值便得到本文方法對圖像美學的量化評分。由圖4可知，本文方法得到的圖像美學量化評分與AVA數據集評分十分接近，因此，本文方法是可行和有效的。

圖4 圖像美學量化評分結果Fig.4 Image aesthetics quantitative scoring results

本文方法給出了圖像美學的量化評分，而LU等［15］、KONG 等［18］和 MAI等［14］經典的圖像美學評價方法均無法給出量化評分。為方便與這些方法進行圖像美學分類準確度比較，進行了圖像美學分類實驗，并將圖像評分的測試結果分為2級，高于5分的為高美學圖像，低于5分的為低美學圖像。本文方法與3種常用的圖像美學評價方法的對比結果如表1所示，由表1可知，本文方法的分類準確率高于其他3種方法。從評分誤差均值看，本文方法在預測真實評分過程中的誤差并不小，有待在以后的工作中做進一步研究和改進。

表1 不同方法的AVA測試集實驗對比Table 1 Experimental comparison of different methods on AVA dataset

3 結 論

提出了一種基于多尺度特征提取網絡的圖像美學客觀量化評分方法，用于解決圖像美學質量評價單一和訓練集預處理簡單等問題。所用網絡模型由多個多尺度特征提取單元級聯組成，構造了訓練圖像的全局視圖和局部視圖，并將兩視圖聯合作為輸入，最后以EMD為損失函數，輸出分布為1～10分的概率密度質量函數，并以均值作為圖像美學的客觀量化值。實驗表明，本文方法能較好地對圖像美學做量化評價，但所得結果與真實評分值存在一定差異，算法精度有待進一步提高。