基于圖像分類的圖像美學評價研究

收稿日期：2013-06-21

作者簡介：高寒（1990-），女，黑龍江虎林人，碩士研究生，主要研究方向：圖像處理、文字識別、可計算美學；

唐降龍（1960-），男，黑龍江哈爾濱人，博士，教授，博士生導師，主要研究方向：文字識別、圖像識別、中文信息處理等；

劉家鋒（1968-），男，黑龍江哈爾濱人，博士，副教授，主要研究方向：模式識別、計算機視覺、字符識別技術等；

金野（1979-），男，湖北咸寧人，博士，助理研究員，主要研究方向：模式識別、數字圖像處理。

基于圖像分類的圖像美學評價研究

高寒， 唐降龍， 劉家鋒， 金野（哈爾濱工業大學 計算機科學與技術學院， 哈爾濱 150001）摘要：提出圖像類別及圖像內容在審美中的重要性，并由實驗驗證審美特征對于不同的圖像類別體現出不同的適應性，因此確定圖像類別對圖像審美的影響。通過分析現有的圖像審美特征的著重點，建立專用于圖像審美的圖像預分類方法，并確定對各個圖像分類有效的審美特征，通過已標簽圖像的數據訓練，計算各審美特征的權值，最終建立起內部先分類后審美的圖像審美系統。

關鍵詞：圖像審美； 審美特征； 敏感特征集合； 圖像內容； 分類

中圖分類號：TP391 文獻標識碼：A文章編號：2095-2163（2013）04-0039-04

Research on Image Aesthetic Evaluation Based on Image Classification

GAO Han， TANG Xianglong， LIU Jiafeng， JIN Ye

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001，China）

Abstract：This article suggests the importance of image classification and image content in aesthetics and the experimental verification that aesthetic features reflect different adaptability on different image categories， therefore， determines the impact that image class makes on the image aesthetic. Through the analysis of the existing focus on image aesthetic characteristics， specialized image classification method of image aesthetics can be established. After that， through training labelled image data and calculating the value of the aesthetic characteristics ，finally image aesthetic structure that internal classification is ahead of image aesthetics can be established.

Key words：Image Aesthetics； Aesthetic Feature； Sensitive Feature Set； Image Content； Classification

0引言

隨著計算機智能化的程度逐步發展，計算美學（computational aesthetics）[1]走入了人們的視線，漸漸得到計算機各領域研究人士的廣泛關注。但是由于美學的主觀性和復雜性，圖像美學的研究還處于初步探索和萌芽階段，目前為止并沒有成熟的方法。各專家學者都致力于尋找帶有創造性的，對審美評估具有重大影響的美學特征描述，也試圖從人類認知方式上研究如何將計算機審美智能化。但是過多的特征描述會使審美評價結果中庸化，反而失去了原本的意義，而從人類認知出發的各項研究都較為繁復，因為人的視覺系統本來就難于分析。

合適的圖像美學描述[2]在對圖像進行美學價值分析中具有關鍵作用。如何選擇合適的美學描述對圖像審美也起著至關重要的決定性作用。經過研究分析，從國內外各學者的實驗結果中，不難發現，對于不同類別的圖像，影響其美學評價的關鍵性描述是完全不同的。

為此，尋找圖像類別與審美規則之間的關系，并以之作為突破點，建立新的圖像審美方式則成為一個新的研究思路。

1圖像內容對審美的影響及分類設計

1.1圖像內容影響力驗證

本課題中，提出了一種假設：圖像內容對于圖像的審美有著先驗性的影響，不同內容的圖像可劃分為不同的類別，各種類別的圖像審美標準也有著一定的差異。接下來的研究將對這一假設進行驗證。

課題中選取了一部分具有代表性的圖像特征進行審美計算，其中全局特征和局部特征各占約50%，能較好地反映圖像類別與圖像審美特征的對應關系，同時也能體現出全局特征與局部特征兩大類圖像特征在審美評價時對圖像不同類別的敏感程度。對單一特征審美結果與圖像標簽的一致性的統計結果如表1所示。

results with the image tags日景夜景靜物人物對比度72%45%67%55%飽和度75%39%68%66%反色69%78%62%52%清晰度55%41%62%79%三分法則65%72%70%54%黃金分割61%76%74%61%對角線59%67%66%61%

表1說明對于不同類別的圖像，各審美特征有著不同程度的影響，甚至有的審美標準與公認判斷的審美標準大相徑庭，因而并不應該成為這一類圖像計算機審美的依據。同時，也證明了圖像分類對于計算機審美有著不可忽視的重大作用，如何更好地利用圖像內容的差異來幫助計算圖像審美價值就成為接下來的研究重點。已有研究表明，基于圖像內容將圖像進行分類，作為審美評價的一種預處理是可行、且有效的。

1.2審美特征分析

目前，大多數對圖像的分類方法都是基于圖像檢索的圖像內容分類方法，重點在于“匹配”，而圖像審美則更注重于什么樣的圖像內容會帶給人更高程度的美學感受，這是基于圖像審美的圖像分類方法設計首先需要考慮的問題，也是其中的關鍵問題之一。

通過已有研究對圖像可提取的各種特征的分析可見，色彩是審美中比重很大的一部分，可以從顏色分布，顏色對比，顏色和諧性[3]等多個角度對圖像進行審美。這些特征對于評價彩色圖像也確實能夠得到比較理想的效果，但是對于黑白圖像，則完全沒有作用，不僅浪費了計算時間，也由此降低了黑白圖像其他特征所帶來的審美效果。

除顏色信息外，圖像的主體區域識別和理解也在相當程度上影響著圖像審美的標準。人在審美時對于不同的圖像內容多會從不同的角度去欣賞，這作為圖像審美的重要依據，需要從提取圖像主體區域得到全面應用，以實現更科學，更符合主體認知角度的計算機圖像審美系統。

為了更好地進行計算機圖像審美，圖像主體區域的識別和分類不能只依托已有的用于圖像檢索或者圖像理解的分類方法。由于計算機圖像審美是一個全新的目標，就需要從以往的分類標準中，提取和構造適合圖像審美特征并且能夠幫助圖像審美評價的分類方法。第4期高寒，等：基于圖像分類的圖像美學評價研究智能計算機與應用第3卷

1.3圖像分類方法設計

經過對前文研究結果的分析，以及對各種圖像特征的含義進行延展，可得出用于圖像審美的圖像分類首先需要給出如下幾個目標：

（1）明確顏色信息的有效范圍；

（2）更好地運用亮度元素；

（3）將有主體圖像和無主體圖像區別對待；

（4）依據大眾的審美習慣，將圖像主體劃分；

（5）分類結果要具有一定的糾錯性。

基于以上原則，可將圖像分為如下幾類：黑白圖像、夜景、靜物、動物（包括人物）、人臉、風景、無主體圖像。分類方法詳述如下：

（1）計算圖像飽和度[4]如公式（1）所示，飽和度為零的為黑白圖像分類；

s=0， if max=min

max-minmax+min=max-min2l， if 0

max-min2-（max+min）=max-min2-2l， if12

其中，max為RGB中最大值，min為最小值，l為亮度；

（2）計算圖像亮度分布函數：

l=12（max+min）（2）

亮度較低的60%像素點的平均亮度值低于50，其分類為夜景圖像。深色像素比例越高，圖像為夜景圖像的概率越大；

（3）用sobel算子邊緣檢測[5]進行前景背景分離，計算公式為：

Gx=-10+1

-20+2

-10+1*A， Gy=+1+2+1

000

-1-2-1*A（3）

提取圖像的主體區域，無閉合邊緣的圖像為無主體圖像；

（4） 對于有主體的圖像進行內容識別[6]，計算其主體屬于靜物、動物和人臉的概率，剩下的概率為風景內容圖像；

（5） 若圖像無明顯主體，則將其內容定義為風景圖像；

（6）對圖像進行分類后，會得到一個7維向量，存儲這幅圖像屬于上述7種圖像類別的概率。

1.4圖像分類結果處理

對于以上所提出的七個圖像類別，待分類圖像可能不僅僅屬于其中的一個類別。例如一幅圖像是夜景圖像的概率可能為0至1之間的任意數值，根據其像素亮度分布函數進行斷定；若一幅圖像有主體區域，則其內容為靜物、動物、人臉、風景的概率和為1。待分類圖像的分類結果為一個7維向量，記錄這幅圖像屬于各個圖像類別的概率值，7個數值的和基本上不為1。但可以將向量歸一化，使7個數值的和為1。將此向量作為圖像的預分類結果，即此圖像屬于各個分類的概率分布函數。

2圖像類別與審美特征的對應關系研究

2.1圖像類別對應的敏感特征集合確定

在進行圖像類別對圖像審美影響的實驗時，每種圖像特征根據已實現的研究都有一個基礎模型，對于圖像審美價值都可以附上這幅圖像是“好”還是“壞”的標記。

人工分類完成，并附注了標簽的圖像用一種審美特征進行計算，分別記錄所有“好”圖像和所有“壞”圖像用此審美特征進行評價所得的計算值，如果兩個值有明顯差異，證明此特征對于這一類圖像的審美評價有影響；如果兩個值差異較小，證明此特征對于這一類的圖像沒有審美幫助，因而不屬于此類圖像所對應的敏感特征集合。

2.1.1數值特征

（1）符合單調函數規律的特征

對“好”圖像和“壞”圖像的特征值分別求其平均，若兩個平均值之差小于特征全部平均值的10%，則認為此特征對這一類別的圖像沒有明顯評價作用，反之則將此特征加入這一類圖像的敏感特征集合。運用貝葉斯最小錯誤率規則如圖1所示，確定分類標準，即閾值。

（2）符合門函數規律的特征

對于這一類圖像特征，需要確定兩個閾值以作為上、下界。本課題中首先采用平均值的計算方法，配合貝葉斯最小錯誤率規則進行閾值計算，但由此得到的參數并不準確和科學，且由于要確定兩個參數，也要考慮這兩個參數之間彼此產生的交叉影響。

經過分析和研究，決定采用以下算法實現閾值參數的迭代求取，具體步驟為：

（1）首先對所有“好”圖像的特征求取平均值x；

（2）在所有圖像特征分布中，以x為分界線，對小于x和大于x的“壞”圖像特征值分別求取平均值a、b；

（3）壞”圖像特征中心a、b與“好”圖像特征中心x的差小于特征全部平均值的10%，則認為此特征對這一類別的圖像沒有明顯評價作用，反之將此特征加入這一類圖像的敏感特征集合；

（4）此時為迭代的第一輪，特征的上、下限分別為：

min1=0.5（a+x），max1=0.5（b+x）（2）

（5）以此分界線重新計算“好”圖像的特征中心和“壞”圖像的兩個特征中心，再根據這新的特征中心計算新的閾值；

（6）迭代計算上、下限直至matlab所支持的精度，得到閾值minn和maxn作為審美的結果標準。

2.1.2位置特征

前景、背景分離可確定主體區域的中心，三分法則和黃金分割法則都在圖像中確定了4個最優點，以突出物體與這4個點的最近距離作為圖像的相應特征。

邊緣檢測得到的圖像線性元素特征，可用直線距離計算函數，計算其與兩個對角線的最近距離作為審美特征。

2.2特征集合的權值確定

對于已經確定的敏感特征集合，運用已確定的分類標準再次對圖像進行審美評價，結果標注為1和-1；測試所有此類圖像，統計符合此特征審美標準計算結果的圖像所占總圖像的比例，可得到此特征對于這一類圖像審美的可靠程度。

統計圖像分類的敏感特征集合中每個特征的可靠程度，歸一化之后，再根據此向量值設定特征的權值。將全部七個圖像類別的特征權值向量合并至一個矩陣中，則形成審美特征在圖像分類前提下的權值表。

3功能測試和系統分析

3.1系統流程及實驗結果

用于系統測試的圖像共有200幅，分類的混合矩陣[7]如表2所示。

根據以上公式可計算得出系統的分類評價指數如表3所示。

準確度錯誤率查準率查全率調和平均數74%26%79.1%68.6%73.5%

由審美結果的評估數據來看，本系統較好地實現了模擬人類對圖像的審美評價，其中得到的查準率尤其可觀，即判定為“好”圖像的審美結果就具有極大可能使用戶感到愉悅。但同時查全率較低，則表示也有一部分用戶認為審美價值較高的圖像并沒有被系統識別出來。

3.2系統不足分析

系統在呈現了對審美有效預測的同時，也仍有著不足之處。分析歸納后，主要表現為以下幾點：

（1）圖像分類方法設計得不夠人性化和精細；

（2）圖像內容識別技術的限制；

（3）審美特征計算不夠精確；

（4）圖像好壞的分類標準確定得不夠細致；

（5）圖像的多元化理解和個人偏好造成的審美標準偏差。

4結束語

本文首先驗證了不同類別圖像在審美標準上的差異性，為圖像審美課題今后的研究工作提供了新的思路。文中提出了專門用于計算機圖像審美的圖像預分類方法，拓寬了圖像審美預處理的處理范圍，進行了人性化的思考，加入了人性化的分類條件和方法，不拘泥于已有的用于檢索和用于匹配的圖像分類方法，為今后的圖像分類課題也提供了參考。

同時，又建立了“先分類，后審美”的新型圖像審美系統，針對以往圖像審美特征的盲目堆砌提出了更為科學的審美機制，運用模式識別方法訓練數據，得到符合樣本規律的審美預測程序。經過驗證，確實能夠在一定程度上預測人對圖像的審美評價，對于設計行業、攝影行業等都能起到良好的輔助效用。

在本文工作的基礎上，更加細致地進行審美特征的計算和分析，對新提出的審美特征進行運用，則有進一步提高審美效果的可能性；若能更深入地探究圖像類別、圖像內容與審美特征之間的對應關系，也將有利于提高審美的準確性，并適當提高審美的預測能力。

參考文獻：

[1]HOENING F. Defining computational aesthetics[C]//Proceedings of Eurographics Workshop on Computational Aesthetics in Graphics， Visualization and Imaging. Switzerland： Eurographics Association， 2005：13-18.

[2]LUO Y， TANG X. Photo and video quality evaluation： focusing on the subject[C]//Proceeding of 2008 10th European Conference on Computer Vision（ ECCV 2008）. Heidelberg： Springer-Ver-lag， 2008， 5324： 386-399.

[3]ZHANG Q， ZHAO C， GU Z， et al. A color harmony measure model with shape information[C]//Computational Sciences and Optimization， 2009. CSO 2009. International Joint Conference on. IEEE， 2009， 1： 627-630.

[4]宋麥玲， 李歡. 一種基于 HSV 顏色空間的圖像檢索技術[J]. 電腦知識與技術 （學術交流）， 2007， 1（1）：200-201.

[5]袁春蘭， 熊宗龍， 周雪花. 基于 Sobel 算子的圖像邊緣檢測研究[J]. 激光與紅外， 2009， 39（1）： 85-87.

[6]VAILAYA A， FIGUEIREDO M A T， JAIN A K， et al. Image classification for content-based indexing[J]. Image Processing， IEEE Transactions on， 2001， 10（1）： 117-130.

[7]秦鋒， 楊波， 程澤凱. 分類器性能評價標準研究[J]. 計算機技術與發展， 2006， 16（10）： 85-88.