：融合色彩和諧性與構圖的圖像美學分類方法研究

葛瑞雪

摘要：圖像美學評價通過構建模擬人腦審美思維的計算模型，對圖像作出具有可行性的美學決策。針對現有方法特征選擇單一以及無法適用所有類型圖像的問題，提出一種基于改進的色彩和諧性并融合構圖的圖像美學評價方法。現有的色彩和諧性提取方法沒有考慮色彩調和模型，只適用于比較簡單的顏色組合。為此，提出一種改進的色彩和諧性度量方法。為了更好地對各類圖像進行美學分類，又融合了構圖特征。在Datta數據庫上進行實驗，證明了該方法的有效性和普適性。

關鍵詞關鍵詞：圖像美學評價；主體區；MoonSpencer色彩調和理論；色彩和諧性；構圖

DOIDOI：10.11907/rjdk.171834

中圖分類號：TP317.4

文獻標識碼：A文章編號文章編號：16727800（2017）011022104

0引言

隨著科技的發展和數碼產品的普及，網絡上數字圖像數量呈爆炸式增長。如何從海量圖片中選出符合用戶美學感受、滿足用戶心理需求的圖像，成為亟待解決的問題。隨著計算機視覺、圖像處理和模式識別等技術的發展，人們對圖像美學的標準也在逐步量化。在此背景下，計算美學應運而生。

Datta等[1]是最早通過提取圖像特征對圖像美學進行量化的領軍人物。通過提取圖像的顏色、飽和度、亮度和景深等56維特征，利用分類回歸樹算法選取其中15維最為有效的特征，采用支持向量機對圖像進行分類，雖然得到的準確率不高，但為后續圖像美學的研究奠定了基礎。在Datta等人研究的基礎上，Wu等[2]用“good”、“bad”和“ugly”對圖像美學進行形容和判定。Ke等[3]通過提取邊緣的空間分布、顏色分布、色調和模糊等一系列高層語義特征來區分專業照和快照。Marchesotti等[4]則提出使用圖像的通用描述實現圖像分類任務。Wong等[5]把研究的重點放在圖像的顯著區域，提出了基于視覺注意力機制模型的顯著性增強算法，提取圖像的顯著區域作為主體區域，然后利用主體區域特征、全局特征及主體和背景之間關系特征區分專業照和快照。

Khan等[6]根據人臉和背景區域之間的關系，提取了顏色、空間構圖、清晰度、景深和對比度等7個特征，用來評估攝影肖像美感的高低。Aydn等[7]根據圖像的色調、清晰度、深度等5個屬性，提出了一個為攝影圖像自動校準的審美評價系統。同樣，圖像的低層和高層特征也應用到藝術作品的質量評價中。高寒等[8]通過對靜物、人物、日景、夜景4類圖像進行飽和度、對比度、反色、光照等特征的提取，證明了不同類別圖像的審美特征存在一定差異。同時，根據不同圖像審美特征的著重點不同，建立了“先分類后審美”的圖像審美系統。Zhe等[9]考慮了主體區域的重要性，采用主體背景分離，提取了主體區域的顏色直方圖、主體區域與整個圖像大小的比等特征來區分圖片的質量。Wang等[10]在前人的研究基礎上，提取了顏色、紋理、景深、復雜度、色彩調和等特征，利用這些特征構建美學分類模型取得了很好的效果。

在一系列圖像美學特征中，色彩和諧性一直被認為是對圖像美感影響較大的因素之一。在圖像美學研究的早期，主要把圖像的顏色直方圖作為衡量美學質量的一個重要標準，Luo[11]將顏色直方圖進行色彩和諧性度量，最終得到的效果不好。近些年開始將色彩調和理論應用到圖像美學評價中。Chamaret[12]采用Matsuda[13]定義的8個色彩調和模板得到和諧距離圖，利用感知掩模圖和對比掩模圖模擬人類視覺系統對色彩調和的感知，最終效果很好。Tang等[14]也采用Matsuda[13]定義8個色彩調和模板對的方法整個圖像進行色彩和諧性度量。

目前雖然在可計算圖像美學領域有一定的研究基礎，但仍存在一些不足：

①現存的色彩和諧性特征提取方法，沒有考慮到模型本身只適用于比較簡單的顏色組合問題，忽略了圖像主體區域和背景區域的顏色種類數量差異，最終效果不好；②目前的方法大多只是對某一類圖像評價效果較好，不適用所有類型圖像。

針對以上問題，本文提出了一種改進的色彩和諧性算法，同時融合構圖特征方法，有利于提高圖像美學分類的準確率，對各類圖像均有很好的魯棒性。

基于改進的融合色彩和諧性及構圖特征的圖像美學評價方法，在色彩和諧特征提取上，將圖像的主體區域和背景區域分離，分別對主體區域和背景區域采用自適應方法進行分塊，然后根據MoonSpencer色彩調和理論對子塊進行色彩和諧特征提取，最后將所有子塊特征進行整合，構成色調特征向量、明度及彩度特征向量。在色彩和諧特征基礎上融合了構圖特征，提高了圖像分類的準確率，適用于各類圖像的美學質量分類。

1色彩和諧性特征提取

1.1色彩和諧性

色彩和諧性是決定圖像美學質量的重要特征之一。目前，比較經典的色彩和諧模型有：Matsuda[13]色彩調和模板和MoonSpencer[15]色彩調和模型。Matsuda色彩調和模板只考慮了色調，沒有考慮飽和度和亮度。在選用模板時，由于一幅圖像可能符合多個模板，因而較難確定適用的模板，而MoonSpencer色彩調和模型克服了這一缺點。它在Munsell顏色空間上通過計算主顏色與其它顏色的相對值來衡量是否和諧，其模型如圖1所示。在圖1（a）中，當色調值落在同一、相似或對比區域時，認為這兩種色調和諧；當色調值落在模糊區域時，認為這兩種色調不和諧。在圖1（b）中，當明度及彩度值落在同一、相似或對比區域時，認為兩種明度及彩度和諧；當明度及彩度值落在模糊區域時，認為這兩種明度及彩度不和諧。

圖1MoonSpencer色彩調和模型

用于圖像美學評價的色彩調和模型較多，但對于顏色復雜的圖像效果不好，只適用于顏色組合比較簡單的情況，因此產生了分塊的思想，將一個圖像看作是多個簡單顏色塊集合，Nishiyama[16]采用了這一思想。但是，該方法沒有考慮到主體區域和背景區域顏色種類的不同。為彌補這一缺點，本文提出一種改進的提取色彩和諧性特征方法。對于一幅圖像來說，主體區域的顏色種類往往比背景區域的種類多。因此，本文將它們分開處理，分別對主體區域和背景區域分塊。endprint

色彩和諧性特征提取流程如圖2所示。

圖2色彩和諧性特征提取流程

特征提取分為如下5個步驟：

2實驗設置與分析

在Datta[1]數據庫進行實驗，證明本文方法的有效性。

2.1實驗設置

實驗分為色彩和諧性特征參數實驗和特征融合實驗。本文采用核函數為RBF的支持向量機構建圖像美學分類模型，其中采用5折交叉驗證法選取最佳的參數c和γ，將高美感圖像定義為正樣本，低美感圖像定義為負樣本。

2.2色彩和諧性特征參數實驗

本文從Datta數據庫中分別隨機選取高美感圖像750張，低美感圖像644張，共1 394張圖像進行測試和訓練。其中，本文隨機選取一半的高美感圖像的和一半的低美感圖像作為訓練集，余下的作為測試集。分塊大小N∈{4×4，8×8，16×16，32×32，64×64}，表1為實驗結果。

從表1可以看出，當分塊大小為16×16時，準確率最高，為70.85%，說明此時分塊內的顏色較單一，比較適用于MoonSpencer色彩調和模型。當分塊小于16×16時，準確率隨著分塊大小的增大而提高，當分塊大于16×16時，準確率隨分塊大小的增大而降低。

2.3特征融合實驗

2.3.1實驗結果及分析

本文不僅對每類特征進行單獨測試，而且對整體進行測試。如表2所示，準確率指正確分類的圖像數量與所有測試圖像數量之比，即平均準確率。

從表2可以看到，色彩和諧性特征平均準確率為70.85%，構圖特征的平均準確率為64.35%，兩者融合的平均準確率為73.15%，比單個特征的平均準確率高。從高美感圖像來看，兩者融合后的準確率比單個特征的準確率高。同樣，在低美感圖像上，融合后的準確率也比單個特征的準確率高。

2.3.2對比實驗

使用Dong[9]提供的代碼進行對比實驗，實驗結果如表3所示。

從表3可以看到，本文算法準確率為73.15%，Dong等人算法的準確率為70.59%。本文算法平均準確率更高，證明了本文算法的有效性。

3結語

本文提取了圖像的兩類特征，將這些特征輸入到支持向量機中進行訓練，最終得到能夠進行美學質量決策的美學分類模型。實驗結果表明，本文方法能很好地將高美感圖像和低美感圖像區別開來。但本文方法仍存在一些不足，需要進一步研究：

（1）提取更多的視覺特征。雖然色彩和諧性一直被認為是對圖像美影響很大的因素之一，但是只考慮色彩和諧性是不夠的，還需要考慮更多的視覺特征，如光照、紋理、形狀等。

（2）提取圖像的語義特征。對一些圖像來說，語義是必不可少的一部分。有些圖像本身有其特殊含義，更好地提取圖像的語義，將會進一步消除圖像的視覺特征與圖像美學之間存在的語義鴻溝，這些是筆者以后的研究方向。

參考文獻參考文獻：

[1]DATTA R， JOSHI D， LI J， et al. Studying aesthetics in photographic images using a computational approach[C].European Conference on Computer Vision， Springer Berlin Heidelberg， 2006：288301.

[2]WU Y， BAUCKHAGE C， THURAU C. The good， the bad， and the ugly： predicting aesthetic image labels[C].Pattern Recognition （ICPR）， 2010 20th International Conference on. IEEE， 2010：15861589.

[3]KE Y， TANG X， JING F. The design of highlevel features for photo quality assessment[C].2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'06），2006.

[4]MARCHESOTTI L， PERRONNIN F， LARLUS D， et al. Assessing the aesthetic quality of photographs using generic image descriptors[C].2011 IEEE International Conference on Computer Vision.Spain， 2011：17841791.

[5]WONG L K， LOW K L. Saliencyenhanced image aesthetics class prediction[C].2009 16th IEEE International Conference on Image Processing （ICIP）， 2009：9971000.

[6]KHAN S S， VOGEL D. Evaluating visual aesthetics in photographic portraiture[C]. Proceedings of the Eighth Annual Symposium on Computational Aesthetics in Graphics， Visualization， and Imaging， Switzerland，2012：5562.

[7]AYDIN T O， SMOLIC A， GROSS M. Automated aesthetic analysis of photographic images[J]. IEEE Transactions on Visualization And Computer Graphics， 2015，21（1）：3142.endprint

[8]高寒，唐降龍，劉家鋒，等.基于圖像分類的圖像美學評價研究[J].智能計算機與應用，2013，3（4）：3941.

[9]DONG Z， TIAN X. Effective and efficient photo quality assessment[C].2014 IEEE International Conference on Systems， Man and Cybernetics （SMC）， San Diego，2014：28592864.

[10]WANG W， CAI D， WANG L， et al. Synthesized computational aesthetic evaluation of photos[J]. Neurocomputing， 2016（172）： 244252.

[11]LUO Y， TANG X. Photo and video quality evaluation： focusing on the subject[C]. Computer VisionECCV 2008， France：2008：386399.

[12]CHAMARET C， URBAN F. Noreference harmonyguided quality assessment[C].26th IEEE Conference on Computer Vision and Pattern Recognition，Portland，2013：961967.

[13]MATSUDA Y. Color design[J]. Asakura Shoten， 1995，2（4）：1011.

[14]TANG X， LUO W， WANG X. Contentbased photo quality assessment[J]. IEEE Transactions on Multimedia， 2013， 15（8）： 19301943.

[15]MOON P， SPENCER D E. Geometric formulation of classical color harmony[J]. JOSA，1944，34（1）：4650.

[16]NISHIYAMA M， OKABE T， SATO I， et al. Aesthetic quality classification of photographs based on color harmony[C].Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on，2011：3340.

[17]ACHANTA R， SHAJI A， SMITH K， et al. Slic superpixels[R]. EPFL Technical Report 149300，2010.

[18]LIU L， CHEN R， WOLF L， et al. Optimizing photo composition[J].Computer Graphics Forum， Blackwell Publishing Ltd， 2010，29（2）：469478.

責任編輯（責任編輯：杜能鋼）endprint