基于混合激活函數的改進卷積神經網絡算法

劉國柱,趙鵬程,于 超,王曉甜

(青島科技大學 信息科學技術學院,山東 青島266061)

卷積神經網絡是一種典型的多層前饋人工神經網絡。激活函數則是人工神經網絡模型中不可缺少的重要組成部分。通常在大多數人工神經網絡中所使用的激活函數多為Sigmoid、Ramp(ReLU)、Tanh等單調、非周期性的非線性函數。并且在多層卷積神經網絡中,通常都會使用同一種激活函數,而幾乎不會同時使用多種激活函數。大多數人并不認可Sinusoid函數作為神經網絡中激活函數的能力,因為它并不單調。而早 在1987 年,LAPEDES 與FARBER 首 先 成 功地建立了使用Sinusoid函數作為激活函數的具有一個隱藏層的神經網絡[1]。他們將此解釋為廣義的傅里葉分解。最近的一個研究工作中,GASHLER 和ASH MORE 在深度神經網絡中使用了Sinusoid,Linear和ReLU 函數作為激活函數用于預測時間序列數據[2]。ALEXANDER、MAXIMILIAN 和ALEXANDER 在簡單進化網絡(evolving parsimonious networks)中使用了混合激活函數[3]。而在卷積神經網絡中使用Sinusoid函數作為激活函數進行圖像分類任務以及在卷積神經網絡中使用混合激活函數的有關工作尚缺乏。

本研究將Sinusoid(Sin)函數作為激活函數引入到多層卷積神經網絡中,建立了一個使用混合激活函數的多層卷積神經網絡模型,并在圖像分類任務中對其收斂速度和識別效果進行了研究。另外,也將該模型同其他研究者所使用的一些圖像分類算法在分類效果上進行了對比。

1 模型建立

提出一個使用混合激活函數的卷積神經網絡模型。作為對照,在保持神經網絡的基礎結構不變的情況下,分別將每個神經網絡中各單元所使用的激活函數替換為其他4種激活函數中的同一種函數,建立其他4個神經網絡模型。……