基于改進卷積神經網絡的多標記分類算法

余鷹，王樂為，吳新念，伍國華，張遠健

（1. 華東交通大學 軟件學院，江西 南昌 330013; 2. 中南大學 交通運輸工程學院，湖南 長沙 410000; 3. 同濟大學計算機科學與技術系，上海 201804）

不同于傳統的單標記學習問題，多標記學習考慮一個對象對應多個類別標記的情況。例如：一個基因可能同時具有多種功能，如新陳代謝、轉錄以及蛋白質合成；一首樂曲可能傳達了多種信息，如鋼琴、古典音樂和莫扎特等；一幅圖像可能同時屬于多個類別，如motor、person與car等。早期，多標記學習的研究主要集中于文本分類中遇到的多義性問題。經過近十年的發展，多標記學習已成為當前國際機器學習領域研究的熱點問題之一，逐漸在情感分類[1]、圖像視頻語義標注[2]、生物信息學[3]和個性化推薦[4]等實際應用中扮演重要的角色。隨著相關應用的發展及需求的不斷提升，多標記學習技術的大規模應用仍然要應對很多的問題和挑戰。當前在多標記學習領域，特征表達大多采用人工設計的方式，如SIFT、HOG等，這些特征在特定類型對象中能夠達到較好的識別效果，但這些算法提取的只是一些低層次(low-level)特征，抽象程度不高，包含的可區分性信息不足，對于分類來說無法提供更多有價值的語義信息，影響分類的精度。目前，如何讓多標記系統學會辨別底層數據中隱含的區分性因素，自動學習更抽象和有效的特征已成為制約多標記學習研究進一步深入的瓶頸。

近年來，深度學習在圖像分類和目標檢測等領域取得了突破性進展，成為目前最有效的特征自動學習方法。文獻[5]將傳統人工設計的特征與深度神經網絡自學習的特征進行了比較，發現后者更有助于提升圖像自動標注算法的性能。深度學習模型具有強大的表征和建模能力，通過監督或非監督的方式，逐層自動地學習目標的特征表示，將原始數據經過一系列非線性變換，生成高層次的抽象表示，避免了手工設計特征的煩瑣低效。本文針對多標記學習中存在的特征抽象層次不高的問題，利用包含多個隱含層的深度卷積神經網絡直接從原始輸入中學習并構建多層的分級特征，形成更加抽象的高層表示，實現以最少和最有效的特征來表達原始信息。同時，針對卷積神經網絡預測精度高但運算速度慢的特點，利用遷移學習和雙通道神經元方法，縮減網絡的參數量，提高訓練速度，在一定程度上彌補了卷積神經網絡計算量大、速度較慢的缺陷。

1 相關工作

1.1 多標記學習

為了便于敘述，在分析之前先給出多標記問題的形式化定義。令 X ={x1,x2,···,xm} 代表實例空間， L ={l1,l2,···,lq} 代表所有標記的集合，Y ={y1,y2,···,ym} 代 表標記空間， T = {(xi,yi)|1 ≤ i ≤ m } 代表訓練集。多標記分類的任務就是用訓練集T對模型進行訓練，使模型學得函數f：X→Y，其中xi∈X表示一個實例，yi∈Y表示實例xi所含有的類別標記，且yi為標記集合L的一個子集。訓練完成后，將未分類的數據輸入模型，得到與實際標記最大程度接近的分類結果。

目前，多標記分類算法根據解決問題方式的不同，可歸為問題轉換型和算法適應型兩類[6]。問題轉換型是將多標記分類問題轉化為多個單標記分類問題，如算法BR(binary relevance)[7]、LP(label powerset)[8]等，然后利用單標記分類方法進行處理。算法適應型則是改進已有的單標記分類算法，使其適應于多標記分類問題，如算法BSVM(biased support vector machine)[9]、ML-KNN(multi-label k-nearest neighbor)[10]等。隨著深度學習的興起，已有一些學者開始基于深度學習研究多標記分類問題，Zhang[11]由傳統徑向基函數RBF(radial basis function)推導出了一種基于神經網絡的多標記學習算法ML-RBF。Wang等[12]將卷積神經網絡CNN(convolutional neural network)和循環神經網絡RNN(recurrent neuron network)相結合，提出了一種多標記學習的復合型框架，用于解決多標記圖像分類問題，但這些算法的精度和時間復雜度都有待進一步提升。

1.2 卷積神經網絡

卷積神經網絡CNN是一種深度神經網絡模型，主要由卷積層、池化層和全連接層構成，如圖1所示。卷積層負責圖像特征提取，池化層用于降維及實現不變形，而全連接層則起到分類器的作用。卷積層和池化層一般作為組合多次成對出現，也可以根據實際情況靈活使用，如AlexNet[13]和VGG[14]。

圖 1 卷積神經網絡結構Fig. 1 Convolutional neural network structure

相比于傳統的特征提取方法，卷積神經網絡不需要事先人工設定特征，而是通過網絡模型從大量數據中自動學習特征表示。通過多層非線性映射，逐層提取信息，最底層從像素級原始數據學習濾波器，刻畫局部邊緣和紋理特征；中層濾波器對各種邊緣濾波器進行組合后，描述不同類型的局部特征；最高層描述整體全局特征。

1.3 遷移學習

遷移學習(transfer learning)的基本思想是將從一個環境中學到的知識用于新環境中的學習任務。

目前，遷移學習已被廣泛應用于各個領域，例如，在文檔分類方面，Dai等[15]提出聯合聚類的方法，通過不同領域共享相同的詞特征進行知識遷移；在智能規劃中，Zhuo等[16]提出一種新的遷移學習框架TRAMP，通過建立源領域與目標領域之間的結構映射來遷移知識，獲取人工智能規劃中的動作模型。

2 基于改進CNN的多標記分類算法

2.1 算法框架

由于圖像傳遞信息的底層機制相通，因此可以利用遷移學習，將在源域上訓練好的網絡模型，通過共享網絡參數，使之在目標域上也具有一定的特征提取能力。本文采用在ImageNet[17]數據集上訓練好的Inception V3[18]模型進行圖像特征提取。該模型引入了“Factorization into small convolutions”的思想，將一個較大的二維卷積核拆分成兩個較小的一維卷積核，例如將 3 × 3 的卷積 核 分 解 成 1 × 3 和 3 × 1 兩 個 卷 積 核。這 種 非 對稱的拆分方式減少了網絡參數量，降低了過擬合風險，可以保證對ImageNet之外的數據集具有很好的泛化性能。

為了進一步減少全連接層參數數量，本文對Inception V3模型的全連接層進行改進，引入雙通道神經元，優化網絡結構，并結合遷移學習提出了多標記分類模型ML_DCCNN。最后，將全連接層的輸出送入SoftMax分類器，從而得到各標記的預測概率，然后根據各標記的概率計算多標記分類損失函數。

在反向傳播時，保留Inception V3模型的特征提取層，即固定特征提取層的權重和偏置參數，并用神經元個數為20的全連接層替換原有全連接層，設置該層的初始權重和偏置為0，學習率設置為0.001，batchsize設置為100。然后，使用隨機梯度下降算法，用PASCAL Visual Object Classes Challenge(VOC)數據集[19]對網絡參數進行微調，使其適應于新數據集，算法的具體流程如圖2所示。

圖 2 基于改進CNN的多標記分類算法框架Fig. 2 Multi-label classification algorithm framework based on improved convolution neural network

2.2 雙通道神經元

在卷積神經網絡中，卷積、池化和激活函數等操作將原始數據映射到隱層特征空間，全連接層則將學到的分布式特征表示映射到標記空間，即全連接層在整個卷積神經網絡中起到了“分類器”的作用。但全連接層上往往包含大量參數，對整個網絡的速度有一定影響。雖然FCN[20]全卷積模型取消了全連接層，避免了全連接層的副作用，但是在Zhang等[21]的研究中，全連接層能夠在模型表示能力遷移過程中充當“防火墻”的作用，保證模型表示能力的遷移。因此為了能夠在保留全連接層的基礎上，減少網絡參數，本文提出了雙通道神經元的概念。

2.2.1 基本結構

本文將全連接層中只能接受一種標記特征信息的神經元稱為普通神經元，如圖3(a)所示，全連接層中最后一層的神經元個數和具體分類問題的標記總數相等，如某數據集上共有 n 種標記，則最后一層全連接層上的神經元個數為 n。

本文將可以接受兩種標記特征信息的神經元稱為雙通道神經元。一個雙通道神經元相當于兩個普通神經元的合并，它改進了全連接層，有效地減少了該層的參數。在接受到特征信息后，為了能將合并的標記區分，使用雙通道的神經元，需在其后再連接兩個神經元，分別表示對應的標記，并規定所連接的兩個神經元上的權重分別為1和-1，如圖 3 (b)所示。

圖 3 全連接層Fig. 3 Fully connected layer

在圖3(a)中，假設分類標記數為 n，全連層輸入為 m，則權重參數有 m ×n 個 ，偏置參數有 n 個，總 參 數 有 m × n+n 個。ception V3 模型的輸入 m 為 2 048，輸出標記 n 為20，所以在 m 遠 大于 n 前提下，使用雙通道神經元最多可縮減一半參數，如公式(1)所示：

式中： m ?n； n =2d+e。

在圖3(b)中，假設全連接層有 d 個雙通道神經元和e個不使用雙通道的神經元。在同樣假設條件下，該層權重參數為 m × (d+e)+2d 個，偏置參數為d+e個，總參數為 ( m +1)×(d+e)+2d 個。一般情況下，輸入值 m 遠大于輸出值 n，例如In-

2.2.2 核心思想

打包和解包是雙通道神經元的核心思想。打包主要表現在將兩種標記合二為一在一個神經元上，即最后一層全連接層上的每個神經元可以表示兩種標記，接受兩種標記的特征信息。例如：將飛機和自行車這兩種標簽打包在一起，由一個神經元負責輸出，則該神經元上的權重只對飛機和自行車的特征信息敏感。但僅用一個神經元輸出，存在無法判別輸出是飛機還是自行車的情況，因此需要解包思想，主要表現在一個神經元又“分裂”出兩個神經元，具體如圖4所示。

圖 4 打包與解包示意Fig. 4 Package and unpack diagram

圖4左邊為普通全連接層的神經元，每個神經元僅對一種標記特征信息敏感，如上方神經元僅對飛機特征信息敏感，下方神經元僅對自行車特征信息敏感。圖4右邊使用了雙通道神經元，每個神經元對兩種類別的特征信息敏感，例如同時對飛機和自行車的特征信息敏感，在提取出飛機和自行車的特征后，再分裂出兩個神經元分別代表對應的標記，其中權重為1的代表飛機，權重為-1的代表自行車。

2.3 損失函數

設 D ={(xi,yi)|i=1,2,···,n} 代 表具有 n 個樣本的訓練集，其中 xi=[xi1xi2···xid] 是 第 i 個 樣本的d維特征向量， yi=[yi1yi2···yiq] 是 第 i 個樣本的標記向量，其維度 q 與數據集標記總數相等， yij=1 表示xi含有標簽 lj， yij=0 則表示不含有。

SoftMax分類器不僅可以用于處理單標記分類問題，也可以用于處理多標記分類問題。本文將最后一層全連接層的輸出送入SoftMax分類器中，得出圖片含有各標記的概率，例如圖片xi含有標記 lj的概率：

式中：fj(xi)表示圖片xi對應標記 lj的 激活值，q表示數據集的標記總數。經過SoftMax分類器輸出各標記概率后，定義交叉熵損失函數：

由式(3)和式(4)可以推導出：

式中：n 表示一個Batch上的圖片數量；c+表示圖片xi上正標記的總個數。

3 實驗與分析

本文實驗在處理器為i5-3210M的Windows PC機上完成，基于TensorFlow 1.2.1實現卷積神經網絡，采用了PASCAL VOC2007和PASCAL VOC2012兩個多標記數據集，二者均含有20個類別標記。PASCAL VOC2007數據集共有9 963張圖片，其中訓練驗證集有5 011張，測試集有4 952張，PASCAL VOC2012共有33 260張圖片，其中訓練驗證集有17 125張，測試集有16 135張。

為了驗證雙通道神經元的可用性，本文對普通全連接層結構和采用雙通道神經元的全連層結構的分類效果進行了比較，其中雙通道神經元的標簽兩兩合并方式如表1所示。表2顯示了PASCAL VOC數據集中的一個多標記圖像(如圖5)分別使用普通全連接層和包含10個雙通道神經元的全連層在訓練2 000步時，softmax分類器的輸出值，其中，FC表示普通全連接層，DC(Dual_Channel)表示雙通道神經元全連接層，GT表示ground_truth。DC所用 d 值為10，即10個雙通道神經元結構。表3為訓練了5 000次的普通全連接層FC和使用10個雙通道神經元的全連接層DC在100張圖片上每個標記sof tmax的平均輸出值，其中NUM表示在100張圖片上每個標記出現的總數，出現次數最多的標記分別為person和car，可以看出兩種全連接層在這兩個標記上所對應的softmax也最大，且很接近。由表2和表3可知，在使用10個雙通道神經元時，全連接層參數縮減了近一半，但網絡仍能準確識別出多標記圖片中的物體類別，且sof tmax分類器的輸出值與普通全連接層相近，在一定程度上證明了雙通道神經元的可用性。

圖 5 多標記圖像Fig. 5 Multi-label image

表 1 標簽合并方式Table 1 Label merging mode

表 2 使用兩種全連接層的分類結果比較Table 2 Result comparison of two fully connected layers

表 3 兩種全連接層的平均分類效果比較Table 3 Average effect comparison of two fully connected layers

為了說明雙通道神經元個數對分類效果的影響，在PASCAL VOC2007數據集上對比了雙通道神經元個數 d 分別取不同值時的模型分類效果，如表4所示。由表3可見，隨著 d 值增大，平均準確率(mean average precision, mAP)值在降低，每個標記所得最高AP值出現在非雙通道神經元的輸出中，即雙通道神經元在減少參數的同時犧牲一定的準確率，變化趨勢如圖6所示。圖6中，λ表示雙通道神經元所占的比例， λ = d/n。由圖可見，隨著 λ 增大，mAP逐漸降低，當 λ = 0.5 時，mAP取最小值；實線表示全連接層上的參數縮減比例 β ， 隨著 λ 增 加， β 逐 步上升，當 λ = 0.5 時，β達到最大值0.5。

為了驗證ML_DCCNN模型的分類效果，本文分別在Pascal VOC2007和Pascal VOC2012數據集上進行實驗，比較了ML_DCCNN、普通全連接層模型CNN-SoftMax、傳統的多標記分類算法INRIA[22]、FV[23]和 G S-MKL[24]，以及基于卷積神經網絡的多標記分類模型PRE-1000C[25]和HCP-1000[26]，評價指標使用 A ccuracy Precision(AP)，雙通道神經元個數 d 取10，實驗結果如表5和表6所示。由表可見，相對于傳統算法的多標記分類算法，深度神經網絡在圖像特征提取和分類效果上有著明顯優勢，其中PRE-1000C和HCP-1000基于AlexNet卷積神經網絡，相比于本文遷移學習所使用的Inception V3模型所得mAP值較低。

表 4 d取不同值時AP在PASCAL VOC2007數據集上的變化Table 4 Comp ar ison of AP of algor ithm on PASCAL VOC2007 data set

圖 6 雙通道神經元比例λ 對平均準確率mAP和參數縮減比例 β 的影響Fig. 6 Effect of dual-channel neuron ratio λon the mAP and ratio β of parameter reduction

表 5 不同分類算法AP在PASCAL VOC2007 上的比較Table 5 Comparison of AP of different classification algorithms on PASCAL VOC2007 data set

表 6 不同分類算法AP在PASCAL VOC2012數據集上的比較Table 6 Comparison of AP of different classification algorithms on PASCAL VOC20012 data set

總之，通過實驗可以證明使用雙通道神經元能夠對全連接層參數進行一定比例的縮減，而由于全連接層參數往往是遷移學習過程中所需要訓練的全部參數，因此全連接層參數的縮減在一定程度上意味著整個網絡模型的參數縮減。雖然雙通道神經元在特征提取方面存在一定準確率損失，但整體性能依然在可接受范圍之內，雙通道神經元提供了不同程度的參數縮減與性能表現的可選擇性，某種程度上增加了網絡模型的靈活性。

4 結束語

本文提出了一種基于卷積神經網絡的多標記分類方法，設定了針對多標記分類的損失函數，并在PASCAL VOC2007和PASCAL VOC2012兩個多標記數據集上進行了驗證。總體而言，與以往的方法相比，本文提出的使用遷移學習和雙通道神經元多標記分類方法，可以在保證一定準確率的前提下減少網絡參數，節省計算資源。在當下注重準確率和計算量平衡的背景下，有著較好的適應性和應用前景。但限于數據、機器性能等因素，本文沒有進行更多的實驗來證明標記相關性約束條件下分類算法的性能。因此將來的工作從以下方面開展：利用深度學習模型構建標記之間的依賴關系以及在標記依賴關系約束下進行多標記卷積神經網絡的訓練。