基于改進的S-ReLU激活函數(shù)的圖像分類方法

徐靜萍， 王芳

(燕山大學理學院， 秦皇島 066004)

圖像分類主要分為細粒度圖像分類[1]和圖像分類兩個方向。細粒度圖像主要針對同一個大類下的不同子類，它們類間差異小而類內(nèi)差異大，而圖像分類是針對不同物種進行的識別，物種的類間差異性大，相對更容易些。對于圖像分類任務，如何高效地提取物種間具有區(qū)分性區(qū)域的特征成為學術界討論最為熱烈的問題。在深度學習(deep learning，DL)[2]沒有提出之前，人們進行圖像分類任務通常依靠的是人工設計的特征提取器，這需要研究者根據(jù)分類任務針對性的設計特征描述，人為設計局部不變性的特征描述需要大量的專業(yè)知識，這嚴重影響了模型的泛化能力。相較于傳統(tǒng)手段圖像識別，深度學習的出現(xiàn)使得圖像分類的精度得到迅猛提升。隨著人們對DL理解的加深，生成對抗性網(wǎng)絡[3]、注意力機制[4]、膠囊網(wǎng)絡[5]以及遷移學習[6]等一系列優(yōu)秀的深度學習模型被引入，極大地拓展了圖像分類任務的手段，具有分類效果好、模型精度高、應用范圍廣泛等諸多優(yōu)點。

卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)的發(fā)展，使得人們在計算機視覺任務中取得了巨大進展。在2012年的ImageNet 挑戰(zhàn)賽中，He等[7]提出的CNN模型的識別性能首次超越了人類視覺能力，錯誤率僅有4.94%。激活函數(shù)是CNN模型性能迅猛提升的重要原因，它使模型具備了非線性性質(zhì)，增加了模型的復雜度，解決了以線性函數(shù)為激活函數(shù)時不能處理線性不可分問題的難題，極大地提升了模型處理問題的能力。

Sigmoid[8]和Tanh[9]是最早應用于CNN的非線性飽和激活函數(shù)。但是Sigmoid和Tanh都存在軟飽和問題，即當參數(shù)在訓練過程中處于飽和區(qū)時，會出現(xiàn)梯度消失的現(xiàn)象。基于以上問題，Glorot等[10]提出了ReLU函數(shù)，它是非飽和激活函數(shù)，可以緩解飽和函數(shù)存在梯度消失的問題。由于ReLU將所有負值取為0，導致模型在訓練過程中很容易出現(xiàn)“神經(jīng)元死亡”[11]，從而致使模型分類效果下降。SoftPlus[12]被認為是ReLU 的平滑近似，避免了ReLU 的“神經(jīng)元死亡”的問題，但也導致了“均值偏移”的問題。Maas等[13]提出給所有樣本負區(qū)域的值一個非零的斜率。Clevert等[14]解決了“均值偏移”的問題，提出了ELU，但也引入了和LeakyReLU類似的問題——需要人為設定超參數(shù)。He等[7]則建議將ReLU負值的斜率設為一個可學習的參數(shù)，解決了人工調(diào)參的難題，但由于函數(shù)兩部分都是線性的，模型的非線性能力下降。Misra[15]提出了一個幾乎處處光滑的非單調(diào)可導激活函數(shù)Mish，提升了模型的分類能力，同時也增加了模型的計算量。

針對目前的激活函數(shù)存在的問題，現(xiàn)將ReLU和SoftPlus組合優(yōu)化，構造新的激活函數(shù)S-ReLU。 在MNIST 和CIFAR-10 數(shù)據(jù)集上，利用S-ReLU 與其他激活函數(shù)在LeNet-5 模型下進行實驗，以對比分析不同激活函數(shù)分類效果。

1 相關工作

主要介紹了非飽和的非線性激活函數(shù)ReLU和SoftPlus，并分析了兩者的優(yōu)缺點。

1.1 ReLU激活函數(shù)

Glorot等[10]受到神經(jīng)科學中人類腦神經(jīng)元接受刺激后的表現(xiàn)的啟發(fā)，首次將ReLU應用于神經(jīng)網(wǎng)絡中，通過讓CNN模擬生物神經(jīng)網(wǎng)絡的工作流程，提升了模型的表達能力。ReLU 函數(shù)的形式為

(1)

ReLU函數(shù)與飽和激活函數(shù)Sigmoid和Tanh相比，將模型的負區(qū)域取值歸為0，使CNN具有了稀疏性，從而有效地解決了梯度消失的問題。但是，當訓練階段的學習率很大時，會出現(xiàn)“神經(jīng)元死亡”現(xiàn)象，其圖像如圖1所示。

由圖1可知，當x≤0時，其輸出值與導數(shù)恒為0，一方面使模型輸出具有了隨機性，提升了模型的泛化能力；另一方面，使帶有負樣本信息的神經(jīng)元無法工作，既造成了樣本信息的缺失，又因其梯度常為0，導致權重無法更新。當x>0時，輸出值隨著x的增大而增大，其導數(shù)為1，數(shù)值小，計算簡單，加快了模型的收斂速度。

圖1 ReLU函數(shù)

1.2 SoftPlus激活函數(shù)

SoftPlus被認為是ReLU 的平滑近似，它們具有許多相似性，SoftPlus 的表達式為

f(x)=ln(1+ex)

(2)

SoftPlus的圖像如圖2所示，由圖1可知，當x<0時，ReLU直接讓所有負值等于0，由圖2可知，SoftPlus則使用一種更加平滑的方式減少負區(qū)域數(shù)值的輸出，即隨著x的增大，結(jié)果不斷減小直至趨于0，避免了ReLU強制為0時導致的“神經(jīng)元死亡”的問題，從而使網(wǎng)絡模型變得更加穩(wěn)定。

另外，由圖2可知，SoftPlus的輸出范圍為(0,+∞)，當x→+∞時，其導數(shù)為1，當x→-∞時，其導數(shù)為0，既具備了ReLU計算簡單、收斂速度快的優(yōu)點，又促進了負樣本權重的更新。但當x<0時，其輸出值恒為正值，導致了均值偏移。

圖2 SoftPlus函數(shù)

2 S-ReLU激活函數(shù)

基于ReLU函數(shù)和SoftPlus函數(shù)構造了一種新的函數(shù)S-ReLU，分析了它的性質(zhì)，并將其與ReLU和SoftPlus進行對比分析，體現(xiàn)了S-ReLU的優(yōu)勢，然后給出了S-ReLU如何在模型中進行正向傳播與誤差優(yōu)化。

2.1 S-ReLU函數(shù)

基于式(1)和式(2)所示兩類激活函數(shù)構造如下的S-ReLU激活函數(shù)為

(3)

從式(3)可知，當x>0時，輸出結(jié)果是恒等函數(shù)，即輸入等于輸出，而當x≤0時，輸出結(jié)果是由ReLU和SoftPlus構成。

S-ReLU激活函數(shù)的導數(shù)為

(4)

式(4)中：α=ln(1+ex)。由f′+(0)=f′-(0)=1可知，f(x)是可微的，且從圖3可以明顯看到其導數(shù)并不是常數(shù)，因此，f(x)具有非線性，這將極大提高模型處理復雜問題的能力，增強模型的泛化能力。

圖3 S-ReLU函數(shù)及導數(shù)

首先，與ReLU相比，S-ReLU增加了負樣本信息，與SoftPlus在負區(qū)域取值總是恒大于0相比，S-ReLU取值有正有負，可以有效減緩“均值偏移”問題。與同是增加負樣本信息利用率的ELU函數(shù)相比，S-ReLU 更加貼合生物學上神經(jīng)元響應的特點，提升了模型的抗干擾能力。

其次，當x→+∞時,f(x)→∞，函數(shù)沒有上界，可以加快模型的收斂速度和避免函數(shù)飽和后訓練速度的急劇下降; 當x→-∞時,f(x)→0，說明函數(shù)是有下界的，使模型具有較強的正則性，增強了模型應對復雜問題的表達能力。

再次，S-ReLU函數(shù)由指數(shù)函數(shù)和對數(shù)函數(shù)構成，與只有恒等函數(shù)構成的函數(shù)[式(1)]相比更加復雜，使得S-ReLU函數(shù)在實際應用中需要更多的時間，但S-ReLU函數(shù)在正向傳播過程中可以返回一個有效的負值，防止了梯度消失。

S-ReLU函數(shù)與ReLU函數(shù)的結(jié)構極度相似，使得S-ReLU函數(shù)也具備了ReLU函數(shù)的一些優(yōu)點，如稀疏性，不僅可以減少模型的計算量，還能提升模型的表達能力，使網(wǎng)絡更加關注任務本身。

2.2 基于S-ReLU的正向傳播

假定每個神經(jīng)元的輸入值為z，經(jīng)過激活函數(shù)后的輸出結(jié)果為a，激活函數(shù)為σ，則

(5)

(6)

式(6)中：m為第i-1層的神經(jīng)元個數(shù)。

當σ是S-ReLU函數(shù)時，有

(7)

從式(7)可知，S-ReLU與ReLU的不同之處是: 在模型的正向傳播過程中，輸入值小于等于0時，輸出結(jié)果不再是固定常數(shù)零，它使得網(wǎng)絡在反向傳播過程中產(chǎn)生了一個小的梯度流，促進了網(wǎng)絡中權重矩和偏置更新，進而減小了模型的錯誤率。

此外，為了簡化式(7)，還可以用矩陣表示為

ai=s(zi)=s(ai-1wi+bi)

(8)

2.3 權重和偏置的優(yōu)化

神經(jīng)網(wǎng)絡在反向傳播過程中利用梯度下降法[16]更新模型中的權重w和偏置b，并以此減少模型的誤差，在多分類問題中經(jīng)常在模型最后一層使用Softmax函數(shù)作為激活函數(shù)，并用交叉熵損失函數(shù)作為Loss函數(shù)，公式為

(9)

式(9)中：y為真實值；ak為預測結(jié)果。又因為在圖像分類任務中常常會對數(shù)據(jù)標簽進行one-hot處理，因此損失函數(shù)還可以化簡為

L=-lnak

(10)

接下來將說明如何使用交叉熵損失函數(shù)和梯度下降法更新權重w和偏置b。

假定yi標簽值為1，其他標簽值為0，可得

(11)

最后一層的激活函數(shù)是Softmax，故為

(12)

以此類推，第l-1層有

(13)

式(13)中：

(14)

而權重w和偏置b的更新方法為

(15)

式(15)中：η為學習率，是后期設置的超參數(shù)。CNN通過多次正向、反向傳播更新模型中的權重和偏置，從而縮小了精度誤差，達到提升分類準確率的目的。

3 實驗結(jié)果與分析

在MNIST和CIFAR-10數(shù)據(jù)集上將S-ReLU與其他激活函數(shù)應用LeNet-5[17]模型進行對比實驗，并分析不同激活函數(shù)的分類效果。

3.1 實驗條件

實驗是在硬件參數(shù)為i5-7500 CPU，GTX960 GPU的tensorflow-gpu-1.1.0深度學習框架下進行的。在模型開始訓練之前，對所有的數(shù)據(jù)集進行了數(shù)據(jù)預處理，且對除MNIST數(shù)據(jù)集之外的數(shù)據(jù)集使用平移、水平翻轉(zhuǎn)、縮放等數(shù)據(jù)增強技術[18]以擴充數(shù)據(jù)。出于節(jié)約實驗時間和成本的考慮，使用LeNet-5深度學習模型，為了更客觀地對比不同激活函數(shù)的性能，除改變模型的激活函數(shù)外，相同數(shù)據(jù)集下的其他設置均一致。實驗中，參與對比的激活函數(shù)為Tanh、ReLU、SoftPlus、ELU、Mish、Swish[19]和S-ReLU，所需參數(shù)設置如表1所示。

表1 實驗超參數(shù)及指標設置

實驗中采用的數(shù)據(jù)集是圖像分類中最常用的數(shù)據(jù)集：MNIST[17]和CIFAR-10[20]，其詳細信息如表2所示。

表2 數(shù)據(jù)集信息

MNIST數(shù)據(jù)集有48 000張訓練圖片、12 000張驗證圖片和10 000張測試圖片，每張圖片是大小為28×28的灰度圖，類別為0～9的10個數(shù)字。

CIFAR-10是由大小為32×32的60 000張RGB圖片組成，包含鳥類、汽車、飛機等10個不同類別屬性的物種。與MNIST數(shù)據(jù)集相比，盡管CIFAR-10也是10個類別，但由于其圖像包含了更多額外的信息，因此識別難度會更大。

3.2 實驗分析

3.2.1 MNIST數(shù)據(jù)集

MNIST數(shù)據(jù)集選擇LeNet-5網(wǎng)絡作為基準框架，其中批數(shù)據(jù)大小為100，遍歷次數(shù)為30次。LeNet-5框架下，各個激活函數(shù)的分類效果如表3所示。

由表3可知，在遍歷次數(shù)為30的情況下，7個激活函數(shù)都達到了96.9%以上的準確率，其中S-ReLU函數(shù)表現(xiàn)最為突出，達到了98.16%的準確率，誤差僅為0.058 5。在相同的遍歷次數(shù)下，與SoftPlus函數(shù)相比，準確率提升了1.18%，誤差降低了0.0331。ReLU函數(shù)達到了97.97%的準確率。Mish與Swish都達到了97.7%以上。飽和激活函數(shù) Tanh的準確率為97.67%，僅高于非飽和激活函數(shù)SoftPlus函數(shù)，準確率僅提高了0.69%。因此，從以上的實驗結(jié)果上可知,非飽和激活函數(shù)整體上要優(yōu)于飽和激活函數(shù)。

表3 LeNet-5框架下的各個激活函數(shù)對比

另外，需要說明的是，由于S-ReLU函數(shù)同時含有指數(shù)和對數(shù)函數(shù)，表達式相對復雜，所以在實驗中，在同樣的遍歷次數(shù)下，S-ReLU的計算時間會比ReLU等函數(shù)更長些。

3.2.2 CIFAR-10數(shù)據(jù)集

為了進一步探索不同激活函數(shù)在同一深度學習框架下的圖像分類效果，將7個激活函數(shù)應用到CIFAR-10數(shù)據(jù)集，同樣采用LeNet-5框架進行對比實驗。

表4可知，構造的S-ReLU函數(shù)分類效果最好，其準確率為63.64%，與SoftPlus相比，準確率提高了8.13%。激活函數(shù)Tanh 的準確率與非飽和激活函數(shù)Swish和SoftPlus相比分別提升了1.18%和3.29%。Mish的準確率為59.90%，僅次于S-ReLU函數(shù)。與此同時，Swish的準確率僅有57.62%。與MNIST數(shù)據(jù)集上的分類結(jié)果相比，模型表達能力有所下降，說明同一個激活函數(shù)在不同數(shù)據(jù)集會有不同的表現(xiàn)，因此在以后的實驗中可以通過對不同的數(shù)據(jù)集選擇恰當?shù)募せ詈瘮?shù)的方式提高模型的表達能力。對比表3和表4可以得到，同樣是10個類別，CIFAR-10數(shù)據(jù)集的準確率遠低于MNIST數(shù)據(jù)集，這是由于CIFAR-10數(shù)據(jù)集是一個三通道的RGB圖像，圖像更容易受到光照、物體姿態(tài)、遮擋等因素的影響，從而導致模型的分類性能有所下降。

表4 CIFAR-10數(shù)據(jù)集中不同激活函數(shù)的結(jié)果比較

4 結(jié)論

針對目前函數(shù)存在的“神經(jīng)元死亡”“均值偏移”和人工調(diào)參難的問題。提出了新的激活函數(shù)，并通過實驗分析得到如下結(jié)論。

(1)S-ReLU在MNIST、CIFAR-10上均達到了現(xiàn)有激活函數(shù)的最好水平，且準確率分別提升了1.18%和8.13%。

(2)解決了ReLU函數(shù)的“神經(jīng)元死亡”的問題，使模型能在為負區(qū)域數(shù)值引入負激活值和非零導數(shù)值的同時，維持了負區(qū)域的稀疏性。

(3)S-ReLU函數(shù)兼具了ReLU和SoftPlus的優(yōu)點，負區(qū)域取值有正有負，更加貼合生物學上神經(jīng)元響應的特點，提升了模型的抗干擾能力。

(4)S-ReLU不含有任何自定義的超參數(shù)，解決了ELU和LeakyReLU等人工調(diào)參的難題，且樣本負區(qū)域函數(shù)是非線性的，提升了模型的非線性表達能力。

為了更好地利用S-ReLU函數(shù)的性能，今后還可以研究該激活函數(shù)在不同的學習率、優(yōu)化器的表現(xiàn)，不斷探索模型的網(wǎng)絡結(jié)構，以尋求最優(yōu)超參數(shù)值和模型設計。此外，還能進一步探索S-ReLU函數(shù)在目標檢測、人臉識別、語義分割等應用場景的表現(xiàn)，拓展S-ReLU的使用范圍。