應用于不平衡多分類問題的損失平衡函數(shù)

黃慶康，宋愷濤，陸建峰

（南京理工大學 計算機科學與工程學院，江蘇 南京 210094）

近幾年，卷積神經(jīng)網(wǎng)絡[1](convolutional neural networks，CNN)在目標檢測、圖像分類和語義分割[2]等視覺領域取得了巨大的突破，從而引起許多研究者的關注。卷積神經(jīng)網(wǎng)絡是一種利用共享參數(shù)和局部連接的神經(jīng)網(wǎng)絡框架，通過梯度反向傳播的方式，能夠有效擬合模型輸出。

為了達到理想學習情況，深度學習通常需要大量的標注數(shù)據(jù)，并且各個標簽之間的分布要能夠盡量均衡。然而在實際情況中，很難保證這種標簽的均衡，往往面對的是類別不平衡情況。類別不平衡問題[3-4](class imbalance problem)指數(shù)據(jù)集中各類別樣本總數(shù)存在明顯差異。極端情況下二者不平衡比率甚至高達1 000倍。這類情況在計算機視覺[5]和醫(yī)療診斷[6]領域尤為凸顯。這種類別不平衡問題極大地影響著模型的擬合和泛化能力，導致模型產(chǎn)生過擬合情況，而往往忽視對小類別樣本的學習[7]。典型問題，如實際生活中癌癥患者數(shù)量遠遠少于健康者數(shù)量。如果模型采用標準算法以最大化正確率為目標，則會偏好正常人類別，易將病患錯誤預測為正常人，從而嚴重影響患者的治療時機。因此對類別不平衡問題的研究尤其重要。

基于數(shù)據(jù)層面的平衡算法主要通過對樣本重采樣，來改善原始數(shù)據(jù)集類別分布平衡。過采樣(oversampling，OS)[8]是目前機器學習中針對類別不平衡問題最廣泛使用的方法之一。該方法的簡單做法是直接隨機從小類別中重復選取樣本。但重復的樣本可能會導致模型的過擬合問題[9]。一種比較有效的方法是SMOTE采樣[10]，其思想是通過鄰近樣本點人工生成相似的樣本。但該方法可能存在生成的樣本處于類別邊界處，反而降低了模型的決策能力。欠采樣[8](under-sampling)的思想是將大類別中的樣本剔除一部分，從而保持類別平衡。由于除去了部分樣本，可能會導致數(shù)據(jù)集缺少部分信息。為解決該問題，一些改善的方式是更為謹慎地選擇剔除的樣本。如除去處于類別邊界處的冗余樣本[11]或通過聚類方式生成樣本權重來對大類別樣本進行欠采樣。一種新近方法是結合過采樣和欠采樣優(yōu)點，對大類別樣本欠采樣，小類別樣本過采樣，從而使數(shù)據(jù)集達到一個較好的平衡點[12]。

而模型層面的算法主要通過修改模型損失函數(shù)或調整模型結構來降低數(shù)據(jù)集的不平衡性。閾值移動[13](thresholding)是一種通過改變后驗概率的決策閾值來調整模型分類的算法。其根據(jù)類別信息對模型輸出概率使用先驗信息對其做補償，從而調整分類器的決策閾值，更好地適應不平衡分類問題。代價敏感學習[14](cost sensitive learning)認為模型將樣本錯分成其他類別時的錯分代價是不同的，因此對不同類別錯分代價賦予不同權重。一種方法是在算法梯度反向傳播階段調整模型損失。模型將一個類別錯分成另一個類別時，對該樣本損失乘以相應錯分代價。但目前對于錯分代價的量化仍屬于一個問題。而Focal Loss方法[15]試圖根據(jù)預測樣本的概率高低動態(tài)地給樣本損失賦予不同的權重，從而引導模型更多地學習較難樣本。

采樣方法需要人工分析樣本特性去生成或剔除樣本，處理繁雜。而調整模型類算法一般需要引入額外參數(shù)來控制平衡性，增加了模型的學習復雜度。且隨機打亂的樣本序列和類別間的不平衡性，使得在每個小批量內(nèi)類別間不平衡率動態(tài)變化。在本文中，針對圖像不平衡多分類問題，設計了一種在小批量內(nèi)動態(tài)調整樣本損失比例的期望損失函數(shù)。該方法相較于交叉熵損失函數(shù)和目前在類別不平衡問題上常見的過采樣方法，其在測試集上的正確率和調和平均F1都取得一定程度的提高。

1 損失平衡函數(shù)

1.1 交叉熵損失函數(shù)

在圖像多分類任務中，傳統(tǒng)損失函數(shù)通常采用交叉熵[16]的形式(cross entropy loss function，CE)，其表達式為

式中：θ表示模型參數(shù)；n表示樣本總數(shù)；i表示樣本編號；yi代表樣本i的真實標記；表示模型對樣本i的預測結果。交叉熵損失函數(shù)主要考慮每個樣本對應于其正確類別的概率，如果該概率較低，說明當前模型對該樣本的學習程度不夠，給予較大損失；反之，則賦予該樣本較小損失。但交叉熵損失函數(shù)前提是類別間分布平衡，因此在面對類別不平衡問題時，交叉熵損失函數(shù)將不再適用。

1.2 改進的損失平衡函數(shù)

類別不平衡問題導致模型效果不佳的根本原因在于訓練集中部分類別樣本數(shù)量過少，模型對這些類別的樣本學習程度不夠，模型泛化能力不佳。由于該問題在實際情況中普遍存在，解決該問題只能盡可能增加數(shù)據(jù)規(guī)模，對小類別樣本多采樣。但由類別不平衡問題引起的模型對大類別樣本的過擬合問題可采用一些方法來降低其影響，如過采樣方法。

在前期實驗中發(fā)現(xiàn)，模型在訓練過程中，每個小批量內(nèi)各類別樣本總數(shù)都是不平衡的。而且由于各類別樣本數(shù)量差異性，在對所有樣本序列隨機打亂后，每個小批量內(nèi)包含的各類別樣本總數(shù)比例更是動態(tài)變化，難以確定。這種類別間的不平衡性導致大類別樣本損失占據(jù)比例較大，從而控制了整個梯度傳播方向，而使模型忽略對小類別樣本的學習。

過采樣方法雖然在數(shù)據(jù)層面重采樣以達到類別分布平衡，但從模型訓練角度，其實質上同樣是調整每個類別在總損失中的占據(jù)比例。結合前文觀察到的小批量內(nèi)類別損失動態(tài)不平衡問題，本文試圖在模型層面利用過采樣方法的思維解決該問題，提出了在小批量內(nèi)對每個樣本產(chǎn)生的損失進行自適應調整，利用樣本的標簽信息，使各個類別損失在總損失中占據(jù)比例相等。據(jù)此提出兩種函數(shù)：一種是對模型輸出的樣本概率進行均衡化的概率期望損失函數(shù)(probability expectation loss function，PE)，另一種是對模型輸出的樣本損失進行均衡化的損失期望損失函數(shù)(loss expectation loss function，LE)，其公式分別為

圖1 小批量內(nèi)各類別在損失函數(shù)中占據(jù)的比重Fig. 1 The loss proportion of each class in a mini-batch

2 實驗過程與結果分析

2.1 數(shù)據(jù)集及預處理

本次實驗數(shù)據(jù)集來源于caltech101[17]和ILSVRC2014[18]。數(shù)據(jù)集caltech101是一個圖像物體識別數(shù)據(jù)集，總共包含101類物體，每個類別最少包含30張圖像。ILSVRC2014數(shù)據(jù)集為Large Scale Visual Recognition Challenge 2014年比賽的訓練數(shù)據(jù)，包含200類物體圖像。相比于caltech101數(shù)據(jù)集，ILSVRC2014數(shù)據(jù)集物體變化尺度較大，分類難度更具有挑戰(zhàn)性。為研究該方法在不平衡數(shù)據(jù)集上效果，對caltech101和ILSVRC2014數(shù)據(jù)集中部分類別樣本進行采樣，生成3個類別比例差異較大的數(shù)據(jù)集。分別為caltech PART、ILSVRC PART1和ILSVRC PART2。數(shù)據(jù)集樣本數(shù)量信息如表1所示。

表1 數(shù)據(jù)集信息Table 1 Dataset information

實驗主要采用不同深度的ResNet[19]預訓練網(wǎng)絡，固定底層模型參數(shù)，修改模型頂層的全連接層進行訓練。為了實驗公平，使用同樣在模型層面的交叉熵損失函數(shù)作為對比基準，為比較模型的提升程度，使用數(shù)據(jù)層面的過采樣方法作為對比。為表述方便，將分別使用CE[16]、OS[8]、PE、LE代表交叉熵損失函數(shù)、過采樣方法以及本文提出的概率期望損失函數(shù)和損失期望損失函數(shù)。實驗選擇0.1作為所有模型的初始學習率。整個實驗選用隨機梯度下降法作為優(yōu)化方法，每次實驗進行100次迭代，每30次迭代學習率縮放到0.4倍。所有模型都采用基本的數(shù)據(jù)增強手段，在訓練集上對圖像隨機裁剪至224×224，并隨機水平翻轉。在測試集上只有中心裁剪至 224×224。

2.2 實驗結果分析

為準確清晰地觀察每個算法的分類效果，盡量減小隨機初始化帶來的影響，各進行5次實驗，取正確率和調和平均F1[20]作為評判標準，結果如表2所示。

表2 實驗結果Table 2 Experimental results

由表2可知，相比于交叉熵損失函數(shù)，本文提出的兩種期望損失函數(shù)，在測試集上每個類別的調和平均F1都有所提高，這是因為交叉熵損失函數(shù)沒有考慮到類別不平衡情況。因此每次梯度反向傳播時數(shù)量多的大類別樣本控制了梯度傳播的方向，模型會過度向大類別樣本擬合。而對于在數(shù)據(jù)層面的過采樣方法，本文的概率期望損失函數(shù)獲得了與其幾乎同等的性能，本文的LE損失函數(shù)效果仍然優(yōu)于過采樣方法。其原因在于，過采樣方法雖然使得數(shù)據(jù)集各類別數(shù)量幾乎均衡，但忽略了在訓練過程中樣本序列的隨機性，使得仍然存在小批量內(nèi)各類別樣本數(shù)量不均衡問題。而且由于過采集相同樣本，數(shù)據(jù)集中存在大量重復樣本，可能會導致模型的過擬合問題[10]。

模型的正確率可以作為衡量模型整體能力的度量標準之一。從圖2可以發(fā)現(xiàn)，本文的兩種方法都能提高模型的整體判別能力，提出的損失期望損失函數(shù)在較優(yōu)學習率情況下對模型的增幅相較于交叉熵損失函數(shù)最高可提高3.5%，而對比過采樣方法最高可提高1.5%。模型深度越淺，提升效果越明顯。在試探選擇初始學習率時，發(fā)現(xiàn)在選擇較差學習率情況下提升效果更為明顯。由于該方法在每次更新參數(shù)時各類別占據(jù)總損失的比例相同，不會出現(xiàn)某個類別主導梯度傳播方向的問題，這使得在訓練過程中模型表現(xiàn)得更為穩(wěn)定，正確率的波動范圍遠遠小于交叉熵損失函數(shù)。

圖2 不同算法在各數(shù)據(jù)集上正確率及其標準差Fig. 2 The accuracy and standard deviation of different algorithms for each dataset

由圖3可知，在訓練集上交叉熵損失函數(shù)和過采樣方法模型正確率曲線處于幾乎完全一致狀態(tài)，但在測試集上，過采樣方法的正確率要比交叉熵損失函數(shù)方法高，說明過采樣方法能夠提高模型的泛化能力。而基于PE方法的結果在訓練集出現(xiàn)較大的波動，表明其在尋找最優(yōu)參數(shù)過程中搜索的范圍更為廣泛，同時也不夠穩(wěn)定，容易陷入局部極小點。LE損失函數(shù)在訓練集上正確率低于交叉熵損失函數(shù)和過采樣方法，在測試集上卻高于其他算法。這證明該方法一定程度上避免了模型的過擬合問題，實現(xiàn)了更好泛化能力。這是該方法能夠優(yōu)于與其思想類似的過采樣方法的主要原因。

圖3 不同算法在數(shù)據(jù)集ILSVRC PART2上各階段正確率Fig. 3 The accuracy of different algorithms in each epoch with respect to the ILSVRC PART2 dataset

3 結束語

本文基于傳統(tǒng)處理類別不平衡問題的手段，結合過采樣和代價敏感學習的優(yōu)點，利用模型在小批量訓練過程中動態(tài)產(chǎn)生的類別信息，實現(xiàn)了在小批量內(nèi)樣本的損失平衡。在提高算法便利性的同時，進一步提高了模型在不平衡數(shù)據(jù)集上的分類精度。將該方法應用于3個不平衡圖像數(shù)據(jù)集分類實驗中，結果證明該方法的可行性。在視覺領域一階段的目標檢測模型中，背景和目標的不平衡性嚴重影響了模型的分類效果。因此將該算法應用于目標檢測領域，以驗證該算法的有效性是接下來的工作之一。