基于感知偏序模型的圖標視覺復雜度研究

陸宏菊，崔 嘉

（1 廣州城市理工學院管理學院，廣州 510850； 2 華南理工大學設計學院，廣州 510006）

0 引 言

視覺復雜度計算作為重要依據用來檢索和評價圖像和圖案，如可視化檢索、分類、審美評估等［1］。當前復雜度評估主要包括三方面研究： 描述程度、創造程度和組織程度［2］。 然而，由于獲取和處理困難，缺少感知特征的考慮導致其預測結果與人工評價仍有較大的差異。

對視覺復雜度的排序方法可以分為兩大類： 基于偏好和基于過程的排序［3］。 前者主要對用戶數據采用概率模型進行統計分析，但統計結果往往會覆蓋用戶數據的敏感性； 后者采用特定的評價指標產生評估序列，卻無法體現視覺復雜度的動態波動特點。 近年來，戴凌宸等學者［4］通過計算4 種客觀評價參數，采用回歸模型對圖標形狀復雜度進行評價，獲得了較為準確的結果（接近80%的人工評價）。 基于學習策略的不同評估模型也隨之出現，例如基于結構分裂Patch［5］、Inferring Human Attention 模型［6］和深度學習算法［7］。 然而，當對比圖像具有高度相似性時，由于用戶的感知因素常優于客觀特征起主導作用，上述方法的評價效果往往波動較大。 因此，具有沖突性、動蕩性和不穩定性的用戶感知數據［8］的表示和建模便成為了解決該問題的關鍵。

針對上述問題，提出新的視覺復雜度評估模型，與文獻［4］所不同，本文面向具有豐富語義和符號含義的圖標圖案進行研究。 研究假設存在目標復雜度序列，既對用戶數據具有敏感性，又能夠發掘復雜度邏輯。 用戶數據的敏感性能夠保證在統計數據相同的前提下，不同的用戶數據可以產生不同的感知特征表示，從而提高預測的精準度； 發掘復雜度邏輯是主觀感知模型建立的基礎，能夠使得模型更加符合用戶評價方式。 與傳統統計概率模型不同，研究提出基于比較的偏序關系（A ＞B） 表示用戶感知信息。 偏序對的形式能夠有效保持用戶數據的敏感度。 針對用戶數據普遍存在的矛盾沖突現象，本文提出可信度預處理，根據用戶數據得到可信度閾值，從而使得沖突程度為最終預測結果做出積極貢獻。 對于偏序關系采用對象相異距離最大化地改進SVM 模型進行訓練，獲得用戶感知模型。 本文首次在視覺復雜度模型預測中引入用戶感知因素以提高預測的準確度。

本文主要貢獻包括：

（1）提出基于二比較偏序關系的用戶感知特征表示方法。 主觀數據的表示對于用戶感知模型的建立至關重要，本文提出”偏序對”的方式能夠融合比較雙方的多模態特征。 用戶的偏序關系可以通過啟發式算法進行訓練生成用戶感知模型。

（2）基于群體智能的用戶感知計算模型的提出可以廣泛應用于視覺比較和智能設計領域。 用戶感知評價在設計、生成領域的決策過程中一直占有重要地位，但由于難于獲取和表示無法在優化過程中進行計算。 本文針對具有感知特點的視覺自動評估機制提出的評估框架適用于領域其他研究，具有較好的推廣性和普適性。

1 相關工作

2017年，Zhang 等學者［4，9］提出通過回歸算法構建形狀復雜性的計算模型，是近年來該領域的代表作之一。 其中，文獻［6］提出了對復雜度表示的4個特征：香濃信息熵、加權旋轉角度熵、非圓性和鄰角平均差。 訓練標簽來自于用戶數據的統計結果。通過采用Pearson 和Kendall 相關性系數，模型能夠解釋80%的用戶評價行為。 但該方法僅用簡單（相似度不高）的圖標圖案進行驗證，因而在決策過程中用戶感知因素并沒有明確的體現。

相對于分類任務，能夠得到目標序列的排序模型［10］更加接近真實的視覺復雜度評價。 SVMRank 算法［11］能夠基于圖像數據訓練模型對于類內／間物體的可視化屬性進行排序，例如：鞋子、自然風景和人臉表情。 類內物體的屬性表示為S集，類間物體的屬性表示為O集。 優化過程的損失函數實現類間物體差距大，且類內物體差距小的約束。 SVMRank 算法及其改進的DeepRank 算法［12］雖然對于類間排序能夠獲得較好的準確度，但對高度相似的類內數據的排序效果仍舊有待提升。 這主要因為在相似的類內數據排序過程中，感知因素將占據主導地位。

受以上方法的啟發，本文提出能夠模擬人類決策過程的視覺復雜度計算模型。

2 感知特征表示

主／客觀特征都能夠對視覺復雜度進行表示。 對于差異明顯的圖標復雜度評估，客觀因素占據主導地位［1，3］，如圖1（a）所示。 本文的主要研究對象是面向具有高度相似性圖標在評估過程中起到關鍵作用的感知因素。 中國大學圖標具有豐富的視覺元素和隱含的符號化語義：在有限的設計空間內，不同的圖形、顏色及其組合表達了不同的設計理念和語義傳達，既具有相似性，又具有辨別度，非常適合用來進行主觀因素占主導的決策研究，如圖1（b）所示。 如何對具有感知特征和高度相似的圖形圖像進行視覺復雜度評估是當前計算機視覺和機器學習研究領域的挑戰。本文提出二元組偏序關系表示用戶的感知評價結果；可信度預處理函數能有效地提高訓練模型的魯棒性，如圖2 所示。 尤其是在主觀評價存在沖突的時候，通過引入多模態特征組對目標物體進行客觀描述，能夠盡可能全面地獲取比較對象的感知特征。 根據收集到的數據量，本文采用基于改進SVM 模型模擬用戶主觀感知進行復雜度預測。

圖1 不同相似度的圖標Fig. 1 Logos with different similarities

圖2 本文算法框架Fig. 2 Research framework

2.1 偏序關系表示感知特征

對于人工智能最大的收獲在于將人類智慧和機器智能相結合而產生的群智能［13］。 傳統研究中，當需要用戶感知數據時，用戶調研成為最常采用的研究手段。 傳統的用戶數據通過基于累積得分的概率統計模型進行表示。 這種模型在啟發式學習過程中具有數據不敏感的問題，例如，根據眾數原理，A數據得9 分和得5.5 分，都表示統計優勢結果。 由于感知判斷的不穩定性和難以對所有采樣進行完整測試（工作量大），統計概率模型僅能表示部分的通用概率分布且不能體現其中個體的相似度關系。 例如，如果A（強烈喜歡，＋2），B（普通喜歡，＋1），C（不喜歡，＋0），那么對于ACC和BBC的統計模型會得到相同的結果，而A所代表的強烈偏好的感知因素無法在數據模型中得到體現。 數據的敏感性對于智能算法至關重要，因此提出具有數據敏感的用戶感知表示法成為需要解決的首要問題。

在小數據量（n≤30） 情況下，對用戶進行全面的測試得到基于用戶數據的目標序列仍是具有挑戰的。 根據心理學原理［14］，人們在進行選擇時，二選擇往往會比多選擇更容易做出決策。 因此本文采用二選擇的方式進行用戶感知數據的收集，即用戶只需要在2 個圖標中根據感受進行相應選擇。 其比較的結果通過偏序關系進行表示：大于關系O集（A ＞B） 和近似關系U集（A ～B）。 用戶測試界面如圖3所示。

圖3 用戶數據收集界面Fig. 3 User interface for data collection

對于偏序對A ＞B和A ～B，可以通過式（1）和式（2） 進行表示：

其中，xi和xj表示2 個目標圖標的特征向量；?（·） 為主觀評價函數；‘＞’ 和‘＝’ 為用戶根據感知指定的偏序關系。

這樣，通過用戶調研收集到的用戶感知數據可以表示為N不等式關系。 本文提出目標函數可以表示為：

且滿足如下約束：

2.2 數據可信度處理

在相似的視覺復雜度評價中，用戶的感知因素將起主導作用。 但是，由于主觀感知的不確定性，不可避免地將會產生一定的沖突結論。 例如，對于圖標A和B，有人認為A比B復雜，有人認為B比A復雜，還有人會認為A與B的復雜度差不多。 在傳統的統計概率模型下，只需要對評價數值進行疊加而無需關注結論的沖突程度，即，最終用戶數據統計結果為0－1 分類。 但本文研究引入用戶的感知差異的考慮，在訓練過程中加入感知數據的沖突現象建模過程。 研究假設，感知因素的不穩定性會導致偏序關系存在多樣性，而每一對偏序關系都將對最終模型的建立做出相應的貢獻。 為了表示數據的多樣性，本文提出可信度約束函數，將用戶的主觀數據根據沖突情況映射到連續區間［0，1］中。 經過多次實驗，本文選取tahn 函數作為可信度約束，計算公式如下：

當結論相對統一時，可信度函數將會趨向于0或1； 當結論沖突現象嚴重時，可信度函數將會計算相應可信度閾值平衡矛盾沖突現象。

由于偏序關系中的U集表示2 個目標的相似關系，不存在偏序的比較關系（A ～B?B ～A），因此U集不需要可信度約束。 偏序關系中的O集可以表示為

2.3 主觀感知模型

訓練數據I ＝｛i1，…，in｝可以表示為在n維特征空間內的特征向量xi。 根據式（5） 和式（7） 可知，該問題進行優化仍舊屬NP 難問題。 本文通過引入松弛變量ζij和γi j對問題近似尋優［15］，則偏序關系O集和U集可以表示為不等式（8）：

該優化問題可以通過支持向量機SVM 模型進行求解：

其中，C為平衡系數常量。 式（9） 中第一項用來最大化目標物體間的距離，第二項用來滿足松弛約束。 通過計算二次懲罰訓練誤差，其梯度可以表示為：

其Hessian矩陣可以通過式（11） 計算：

當相鄰目標間的距離變大時，由于數據比較稀疏，Hessian矩陣無法進行顯式的構建。 因此，可以通過共軛梯度法［16］求解線性系統H－1?。

本文提出的改進SVM 模型能夠使得訓練數據遵循式（8）的約束。 保證序列中相鄰目標物體間的投影距離盡可能地大，也就是說將序列中相鄰2 個圖標間的差異最大化。 系數w可以學習到偏序關系O集和U集所表示的用戶感知數據。 具體算法如下。

Algorithm 主觀感知模型算法

輸入用戶主觀偏序對

輸出權重向量Wij

Step 1輸入用戶主觀偏序對O集和U集

Step 2按照式（6）計算可信度約束confij

Step 3O′ ＝confij?O

Step 4按照式（10）～（11）計算?和H

Step 5按照式（9）進行優化

Step 6計算Wij

3 實驗與分析

3.1 實驗設置

實驗環境為Win10 操作系統，16 G 內存，GTX1070 圖形卡和Matlab R2015b。 多模態特征能夠在不同尺度和流形對目標物體進行描述［17］，本文從不同角度選取3 個特征對目標物體進行客觀特征描述： 全局特征Gist、局部特征HOG 和顏色特征Color histogram。 總共進行了3 組實驗對本文方法進行驗證。 第一組：在自建的中國大學圖標數據庫中進行視覺復雜度定性排序實驗；第二組：與最新的算法進行主觀感知準確率對比實驗；第三組：與人工打分進行相關性系數對比實驗。

3.2 圖標數據集

研究搜集了815 個大學圖標，并建立主觀評價數據集。 考慮用戶調查的可行性，60 個圖標一組對整個數據庫進行可重復分組。 邀請40 位年齡在18～25 歲的用戶（12 男，28 女）進行感知數據采集。一組圖標分為訓練集和測試集（30 個圖標作為訓練集，30 個圖標作為測試集）。 圖標復雜用戶評估屬于高強度腦力勞動，不易進行大規模、長時間測試。同時，為了避免用戶倉促選擇導致的數據不準確，設定每一次選擇時間不小于5 s。 用戶可以根據自己的主觀感受，通過點擊鼠標在2 個圖標中選擇認為復雜的一個，或者復雜度相同的選項。 并且規定每人每天只能進行一組實驗，每組實驗不超過100 對比較，連續5 天為一個周期，訓練和測試部分數據如圖4 所示。

圖4 中國大學圖標庫Fig. 4 Chinese university logo dataset

研究選擇其中一組用戶數據進行分析，見表1。表1 中，total＿test＿pairs 表示一共進行了6300 對圖標對比實驗； effective＿test＿pairs 表示除去重復實驗外，總共進行的實驗組數。 在一組訓練集和測試集中各有30 個圖標，最多的有效對數（不重復的測試對）為870 組。 測試覆蓋度達到了99.46%。 其中，經統計共有812 組出現了結果沖突的情況，只有53組沒有沖突，沖突率達到了93.95%。 以上數據的分析從側面證實了本文提出的假設：在高度相似的數據集中，可視復雜度的判斷起主導作用的是感知因素； 且感知數據特征具有不穩定和矛盾沖突的特點。 該數據分析也證實了在進行視覺評價時感知模型建立的必要性。

表1 數據庫用戶數據分析Tab. 1 Database user data analysis

由于具有較高的數據沖突，因此對比了數據預處理之前和之后的狀態，見圖5。 通過采用傳統的統計概率模型進行分析發現，數據經過可信度預處理后，雖然數據數值發生了變化，但數據分布和變化趨勢并未改變，也沒有破壞偏序關系本身的特征。

圖5 主觀數據分布Fig. 5 Subjective data distribution

3.3 圖標復雜度對比實驗

本節包括2 個實驗：首先，是用戶感知模型在訓練集上預測結果與人工打分結果的定性對比實驗；其次，是與其他經典復雜度評估的對比實驗，例如：LogoComplexity［4，9］、SVMrank［11］和Deeprank［12］。

通過用戶調研，對圖標復雜度的用戶數據通過統計概率模型進行分析得到在訓練集和測試集上的排序情況，如圖6 所示。 訓練好的用戶感知模型也分別在訓練集上進行驗證，在測試集上進行推理。經過對比發現：在訓練集上，對于復雜度前5 名來說模型預測和用戶評分獲得了相同的結論，如圖6（a）；復雜度后5 名模型預測和用戶評分雖然排序略有不同，但是都集中在相同的5 個圖標上。 從視覺角度分析，前5 名復雜的圖標都具有精細的線條和復雜的圖案； 后5 名復雜的圖標圖案都比較簡單。 在測試集上可以得到類似的結論，除了2 個例外（見圖6）。 前5 名的用戶評分第4 個在模型預測序列中只能排到第15 名。 經過分析原始主觀數據發現該圖標總共出現了15 次沖突數據，因此其可信度系數不高導致預測排名靠后。 后5 名的用戶評分第4 個也是類似的情況。 第一組實驗結論證實本文提出的用戶主觀感知模型基本可以真實地反映用戶的主觀特征，可信度系數的提出也進一步的提高了模型對于數據的魯棒性。

圖6 測試集圖標分析Fig. 6 Logo rank analysis on test set

第二組實驗對比本文算法與其他3 個經典算法，以及與未經過可信度預處理模型的對比結果。預測準確率為預測準確的組數與總預測組數的比率，如式（12）所示：

對此結果見表2。 在表2 中，由于圖標圖案在形狀和結構方面具有高度相似性，LogoComplexity 只對4 個客觀特征訓練的預測準確率約有70%。 無論RankSVM、還是Deeprank 算法，僅依靠客觀特征、不考慮主觀因素，都無法準確地預測評價結果。RankSVM 的準確率大約在80%，而采用了深度學習框架Deeprank 的準確率在85%。 本文提出的用戶主觀感知模型由于引入了用戶主觀數據，因此能夠獲得較好地預測準確率。 同時，因為RankSVM 和本文方法皆采用了基于回歸SVM 模型、且都包含用戶感知數據，還進一步對比了可信度預處理之前和之后的效果。 經過實驗顯示，置信度預處理能夠在一定程度提高預測準確率（3%，3%，8%，12%）。

表2 圖標復雜度定量對比Tab. 2 Quantitative comparison of icon complexity

3.4 用戶相關性實驗

本文提出的模型引入了感知特征，因此與用戶的主觀判斷更加接近。 研究采用統計學中的三大相關性系數：Pearson、Kendall 和Spearman 進行模型推理結論與用戶評價數據的相關性實驗。 其中，Pearson 系數用來衡量2 組數據在線性關系中的相關性和方向性； Kendall 系數用來衡量2 組數據的部分匹配度； Spearman 系數用來衡量2 組變量的依賴性程度。 主觀感知模型相關性，對此實驗結果見表3。 由于LogoComplexity 僅計算了圖標的客觀特征，因此與人工評價的相關性都比較低。 RankSVM和Deeprank 算法通過計算用戶評價感知特征的統計信息進行排序而沒有考慮相似個體的差異，因此得到的相關性也不令人滿意。 本文方法采用偏序關系對用戶感知數據進行表示。 由于主觀數據具有沖突的因素，在進行可信度預處理前，三大系數均在70%～85%之間。 經過可信度預處理后，相關性系數均在90%左右。 因此，研究認為本文提出的主觀感知模型可以解釋達到90%的用戶行為特征。

表3 主觀感知模型相關性對比實驗Tab. 3 Comparison experiment subjective perceptual model correlation

4 結束語

本文提出通過基于偏序關系的感知特征表示視覺復雜度。 針對用戶調查數據存在沖突的現象，本文首先進行可信度函數預處理，然后通過共軛梯度法，采用改進的SVM 模型對主觀偏序關系進行優化得到用戶感知模型。 經過與最新算法的定性對比、準確率對比驗證了本文方法的有效性。 通過相關性系數的計算，證實了本文方法能夠較高地（90%）接近用戶的評價結果。

在訓練過程中本文仍舊采用手工設計的特征對目標物體進行表示，特征表達具有局限性。 采用預訓練的深度框架提取目標特征，從而提高預測準確率和模型魯棒性是接下來的研究方向。 另外，本文工作僅在小數據集進行了實驗和對比，存在過擬合和數據不均衡的可能性，無法全面、客觀地反映用戶感知數據特點。 收集更大規模的用戶數據能夠有效解決這一問題，這也將是下一步工作方向。