東方美學框架下多視圖局部約束的圖像情感計算

葉鳳華

摘要：針對以往對圖像內容分析的工作主要集中在物體檢測與識別的問題。本文提出在東方傳統美學框架下進行將多視圖局部約束用于圖像情感分類與回歸的計算方法，主要有預處理的操作、特征提取、對提取的特征進行選擇以及選擇分類器四個主要步驟。通過介紹圖像情感的定義與描述，然后給出了圖像情感計算的問題描述，最后使用不同視覺特征以及不同學習方法情感分類的平均性能。

關鍵詞：儒學；圖像情感計算；局部約束；東方美學

1 引言

圖像的人工智能情感計算是通過體系性地介紹情感的認知基礎以及數學模型、從fmri數據中解讀出情緒狀態的一種方法，神經網絡和支持向量機、圖像特征提取算法、mpeg中圖像的描述標準、本體構建和推理方法，并且在此基礎上結合當下的研究動態，著重對基于強度的情感映射算法、圖像特征和多層情感模型、圖像特征本體的構建和推理的技術進行了相關討論，力圖向廣大讀者展示該領域的最新研究動態，希望能為從事相關研究的讀者提供更有價值的參考，能對人機交互技術、圖像理解的發展起到一定的促進作用。

現階段大部分的東方美學設計還停留在形象符號層面，并不足以體現東方美學的真正意涵。需要補的課是從東方思維和東方美學中重新認識“創意設計”的概念。在東方美學框架下多視圖局部約束的圖像情感計算是基于東方美學框架下6個藝術原理的：（1）平衡（求仁），（2）強調（重仁），（3）和諧（天人合一），（4）多樣（寬容），（5）漸變（虛實合一），（6）運動（情景合一）。通過提出東方美學框架來進行東方美學框架下多視圖局部約束用于圖像情感分類與回歸的計算。

2、東方美學框架及情感

2.1 東方美學在視覺上的表達呈現

天人合一是古代東方美學的一種精神追求，將其放到新時代語境下，東方美學的現代意義也在不斷接續衍變。儒道禪的一系列美學概念對東方美學影響深遠，東方美學創作的最主要的目的不是描述表面的現象而是表達意象的概念和現在的精神。創作的途徑不在于模仿外在形式或是用眼睛直接關注外界，而是透過眼睛感受外界氛圍，內心亦不受外界影響。之所以國內有時會對現代創意藝術設計“水土不服”，根本的原因可能是在于東方思想推崇、主導的集體主義精神與創意設計本身所提倡的個性主義相悖，所以需要從東方美學思維特別是在儒家美學概念中重新認識找到屬于東方的創意觀念。

2.2 圖像情感計算流程

圖像情感計算首先須有一個有label的圖片數據集，有兩中方法獲取，一是利用公開的數據集，圖像情感方面可以參考IAPS；二是自己建立，通過人工的標注，最后統計結果作為ground truth。以下為圖像情感計算流程的預處理的操作、特征提取、對提取的特征進行選擇以及選擇分類器四個主要步驟：

Step1.預處理操作。把圖片的尺寸變成一致并且進行裁剪，最好保持圖片的長寬比和原來的一致，不至于讓圖片失真；

Step2.特征提取。根據相應的研究和論文提取出最有用的特征，組合成最后的特征；這一步決定了后面分類器分類的質量；

Step3.對所提取的數據特性來選擇。因為提取的特征當中可能會有冗余的特征，并且特征過多容易造成維數災難，比較常用的方法是作主成分分析（PCA），或者是直接利用現有特征，根據啟發式、完全搜索式等等方法抽取特征子集；

Step4.選擇分類器。對不同分類器進行測試，比如SVM算法、RF算法、GBDT等等各種算法進行分類，測試效果，得到最終分類模型；算法在得到模型之后，就可以進行預測了。

3、東方美學框架下多視圖局部約束的圖像情感計算

東方美學框架下多視圖局部約束的圖像情感計算是基于東方美學框架下6個美學原理平衡、強調、和諧、多樣、漸變、運動。用于圖像情感分類與回歸的流程如圖1。

4、實驗結果與分析

為了評估所提出的方法RMTHG在個性化圖像情感預測中的有效性，并且在IESN數據集上進行情感分類實驗。

4.1實驗設置

由于用戶上傳圖像或評論圖像是有時間順序的，感知的情感也會在時間上受到影響，本文根據圖像的上傳時間和評論時間將數據集分成一個訓練集和一個測試集。每個用戶參與的前50%的圖像用于訓練，剩下的50%用于測試。由于數據集中有8000個用戶，數據量比較大，為了提高計算速度節省計算內存，本文隨機將他們分成80組。每次本文都在一組中進行實驗，最后本文計算性能的平均值和標準差。

對于情感分類，本文使用三種分類器作為baseline方法：（1）樸素貝葉斯（NB）算法，（2）使用RBF核的支持向量機（SVM）算法，這兩種方法在傳統的圖像情感分類和等工作中用到，（3）圖模型（GM）算法，用于個性化情感預測。GM算法中主要使用社交因素和視覺特征。

對于情感回歸，本文測試了支持向量回歸（SVR）算法以及多元線性回歸（MLR）算法等回歸方法的性能。這些方法很難對社交上下文等特征進行建模，因此本文僅使用了視覺特征。對于SVR算法，本文測試了不同的核方法。如何在回歸的框架中有效地結合不同的因素是本文未來的工作。

4.2個性化情感分類

首先，比較不同的視覺特征對于個性化情感分類的性能。SVM算法和NB算法當作baseline方法。為了便于比較，我本文使用了GM算法和RMTHG算法的一種簡單版本，即只考慮了視覺特征，這種簡單版本分別簡記為GM（V）算法和RMTHG（V）算法。

使用不同視覺特征以及不同學習方法的不同情感類別precision、 recall和F1的情感分類平均性能。從圖2所示的實驗結果中，可以發現：（1）所提出的超圖學習的方法幾乎在所有的特征上都明顯優于baseline方法；（2）相對于消極情感，這4種方法幾乎都對積極情感建模的更好；（3）整體的precision，recall和F1仍然很低，說明僅僅使用視覺特征對個性化的圖像情感進行分類是不夠的。

參考文獻：

[1]RODA A. Clustering affective qualities of classical music： beyond the valence-arousal plane[J]. IEEE Transactions on Affective Computing，2014，5（4）：364-376.