基于改進(jìn)VGGNet的城市生活垃圾分類研究

倪中付

（江蘇科大匯峰科技有限公司 江蘇省鎮(zhèn)江市 212000）

1 引言

近年來，國民經(jīng)濟(jì)水平逐年提高，居民消費(fèi)質(zhì)量明顯改善，隨之帶來的生活垃圾增長率也逐年遞增。2017年以前，國內(nèi)大多城市的垃圾分類只分為可回收和不可回收兩類，居民的垃圾分類意識不夠，缺乏垃圾分類基本常識，垃圾分類現(xiàn)狀混亂。2019年6月初，國家發(fā)改委宣布全國從2019年開始全面啟動垃圾分類，一些上門回收垃圾APP 和智能分類垃圾桶應(yīng)運(yùn)而生[1]。然而，上門回收垃圾的APP 需要投入大量的上門回收人員；而智能分類垃圾桶則存在大面積更換所需成本很高的弊端。

針對當(dāng)前國內(nèi)居民垃圾分類意識不夠、基本垃圾分類常識缺乏，而國內(nèi)針對垃圾分類的軟件較少的現(xiàn)狀，本文開展基于改進(jìn)VGGNet 的城市生活垃圾分類研究，改進(jìn)了VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)和激活函數(shù)，基于TensorFlow 框架，進(jìn)行了VGGNet 網(wǎng)絡(luò)在垃圾圖片分類上的準(zhǔn)確率測試。

2 垃圾分類數(shù)據(jù)集構(gòu)建

本文垃圾分類數(shù)據(jù)集的構(gòu)建，基于上海市生活垃圾分類標(biāo)準(zhǔn)，通過網(wǎng)上搜集的方式搜集符合要求的圖像共計79478 張。其中，包含可回收垃圾49251 張、干垃圾5056 張、濕垃圾20356 張及有害垃圾4815 張，各類垃圾圖片的數(shù)量比例如圖1 所示。

3 VGGNet網(wǎng)絡(luò)結(jié)構(gòu)及激活函數(shù)改進(jìn)

3.1 VGGNet網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

常見的VGGNet 網(wǎng)絡(luò)包括VGG16 和VGG19。以VGG16 為例，其網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)為：輸入層為224×224 的RGB 模式圖片；包含13 個卷積層、3 個全連接層、5 個最大池化層和1 個分類器層；卷積層中的卷積核大小為3×3；所有隱藏層都采用ReLU 作為激活函數(shù)；池化層采用最大池化方法[2-3]。

VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)的網(wǎng)絡(luò)層數(shù)多，訓(xùn)練時計算量大，收斂速度慢，需要的訓(xùn)練樣本數(shù)據(jù)量大，同時，網(wǎng)絡(luò)參數(shù)較多，以VGG16為例，其訓(xùn)練參數(shù)達(dá)到1.38 個億，對計算機(jī)內(nèi)存的要求較高，同時訓(xùn)練時間也比較長。

圖1：垃圾圖片數(shù)據(jù)集

圖2：改進(jìn)后的VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)

圖3：LReLU-Softplus 函數(shù)示意圖

針對VGGNet 計算量大、內(nèi)存占用大等缺點(diǎn)，對VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，從減少網(wǎng)絡(luò)參數(shù)方面著手。為了保留VGGNet 網(wǎng)絡(luò)的特征提取優(yōu)勢，在保證底層網(wǎng)絡(luò)很少改變的基礎(chǔ)上，盡可能地修改上層網(wǎng)絡(luò)。VGGNet 會消耗很多計算機(jī)資源，究其原因，VGGNet有3個全連接層，每一個全連接層都會產(chǎn)生很多參數(shù)。因此，VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的第一步即是將3 個全連接層減少為1 個。

VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)中，每一段卷積的后面都會連接一個池化層。池化層的作用是在保留原有重要特征的前提下盡可能減少網(wǎng)絡(luò)參數(shù)。VGGNet 網(wǎng)絡(luò)在每段卷積之后采用最大池化形式，相比平均池化操作，最大池化會產(chǎn)生更多的網(wǎng)絡(luò)參數(shù)。因此，VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的第二步是將全連接層前面的最大池化層改為平均池化層，在最大程度保留VGGNet 網(wǎng)絡(luò)圖像特征提取優(yōu)勢的前提下，減少網(wǎng)絡(luò)參數(shù)。改進(jìn)后的VGGNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

3.2 VGGNet激活函數(shù)改進(jìn)

常用的激活函數(shù)包括：Sigmoid 函數(shù)、Tanh 函數(shù)、ReLU 函數(shù)、LReLU 函數(shù)及Softplus 函數(shù)等[4]。其中，LReLU 函數(shù)能夠有效解決數(shù)值偏移現(xiàn)象和神經(jīng)元死亡的問題，但是它不具有光滑性；而Softplus 函數(shù)雖然具有光滑性，但是它存在數(shù)值偏移現(xiàn)象和神經(jīng)元死亡的問題。因此，將這兩種激活函數(shù)相結(jié)合，綜合這兩種激活函數(shù)的優(yōu)缺點(diǎn)，提出一種新的激活函數(shù)LReLU-Softplus 函數(shù)：先將Softplus 函數(shù)向下平移ln2 個單位，然后將x ≤0 的輸出值換為LReLU 函數(shù)部分，其表達(dá)式如公式（1）所示，與LReLU 函數(shù)相同的是公式（1）中a 是一個很小的常數(shù)。

表1：LReLU - Softplus 激活函數(shù)常數(shù)a 不同取值的測試結(jié)果

表2：網(wǎng)絡(luò)改進(jìn)前后的識別準(zhǔn)確率

表3：網(wǎng)絡(luò)改進(jìn)前后的訓(xùn)練時長

圖4：部分代碼截圖

如圖3 所示為LReLU-Softplus 函數(shù)示意圖。通過改進(jìn)，LReLU-Softplus 激活函數(shù)兼具了LReLU 函數(shù)和Softplus 函數(shù)的優(yōu)點(diǎn)，既具備了光滑性，又解決了數(shù)值偏移和神經(jīng)元死亡問題。

VGGNet 的所有隱藏層都采用ReLU 作為激活函數(shù)，因此，改進(jìn)的激活函數(shù)設(shè)計是將隱藏層的ReLU 激活函數(shù)替換為LReLUSoftplus 激活函數(shù)。

圖5：訓(xùn)練準(zhǔn)確率及測試準(zhǔn)確率

圖6：訓(xùn)練丟失率及測試丟失率

圖7：網(wǎng)絡(luò)改進(jìn)前后的識別準(zhǔn)確率

4 改進(jìn)后的網(wǎng)絡(luò)模型訓(xùn)練和驗(yàn)證

以上述構(gòu)建的垃圾分類數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)庫，基于改進(jìn)前后的網(wǎng)絡(luò)結(jié)構(gòu)模型，開展垃圾分類實(shí)驗(yàn)，將改進(jìn)前后的網(wǎng)絡(luò)識別準(zhǔn)確率、計算機(jī)性能要求進(jìn)行對比，根據(jù)對比分析的結(jié)果來判定改進(jìn)前后的卷積神經(jīng)網(wǎng)絡(luò)模型的執(zhí)行效率。

4.1 準(zhǔn)確率定義

本文所使用的卷積神經(jīng)網(wǎng)絡(luò)垃圾圖片分類模型的評價標(biāo)準(zhǔn)為準(zhǔn)確率（英文為Accuracy rate），其計算公式如公式（2）所示：

式中：

Numbertrue表示垃圾圖像測試集中能夠進(jìn)行正確預(yù)測的垃圾圖像總數(shù)；

Numberall表示垃圾圖像測試集樣本總數(shù)，包括預(yù)測正確的垃圾圖像數(shù)和預(yù)測錯誤的垃圾圖像數(shù)兩部分；

Accuracy rate 表示垃圾圖像分類準(zhǔn)確率。

4.1 激活函數(shù)的常數(shù)取值

選用LReLU-Softplus 作為激活函數(shù)時，首先要進(jìn)行函數(shù)中常數(shù)a 的取值。本文分別選取常數(shù)a 為0.01、0.02、0.05、0.1、0.2、0.5、1 和2 進(jìn)行測試，測試結(jié)果如表1 所示。根據(jù)表1 的測試結(jié)果可知：當(dāng)a 的取值為0.1 時，誤差最小。因此，當(dāng)選用LReLU - Softplus作為激活函數(shù)時，函數(shù)中常數(shù)a 的取值為0.1。

4.2 模型訓(xùn)練及結(jié)果分析

構(gòu)建好模型結(jié)構(gòu)后，設(shè)置數(shù)據(jù)集的加載路徑，在搭建好的環(huán)境中進(jìn)行模型訓(xùn)練，將訓(xùn)練過程中每輪迭代的Train Loss、Valid Loss、Train Acc、Valid Acc 等數(shù)據(jù)保存到log日志文件中，然后使用matplotlib 庫繪制在訓(xùn)練集和測試集上的Accuracy 跟Loss 的變化曲線，部分代碼的截圖如圖4 所示。訓(xùn)練結(jié)果是以Train Loss、Valid Loss、Train Acc、Valid Acc 數(shù)值繪制的曲線，如圖5、圖6 所示。

4.3 網(wǎng)絡(luò)改進(jìn)前后對比分析

基于最佳性能的常數(shù)a 的取值0.1，針對改進(jìn)前后的網(wǎng)絡(luò)模型，進(jìn)行垃圾分類實(shí)驗(yàn)，改進(jìn)前后的識別準(zhǔn)確率對比結(jié)果如表2 和圖7所示，改進(jìn)前后的訓(xùn)練時長對比結(jié)果如表3 所示。

由表2 和圖7 可知，網(wǎng)絡(luò)改進(jìn)后，其識別準(zhǔn)確率比改進(jìn)前高，訓(xùn)練50 次時的識別率為95.22%，同時其收斂速度也比改進(jìn)前快。因此，對比分析網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)前后的結(jié)果，可以看出，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)，能在保證識別準(zhǔn)確率的基礎(chǔ)上，有效地提高網(wǎng)絡(luò)收斂速度。由表3 可知，網(wǎng)絡(luò)模型改進(jìn)前，訓(xùn)練時長大約為18.5 分鐘，網(wǎng)絡(luò)模型改進(jìn)后，其訓(xùn)練時長大約為17.3 分鐘，比改進(jìn)前有所降低。

綜上所述，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)具有一定的實(shí)用性，在保證識別準(zhǔn)確率的基礎(chǔ)上，能夠有效地提高網(wǎng)絡(luò)收斂速度，同時能夠適當(dāng)?shù)亟档陀?xùn)練時長，降低對硬件計算能力的要求。

5 結(jié)束語

本文構(gòu)建了基于上海市生活垃圾分類標(biāo)準(zhǔn)的垃圾分類數(shù)據(jù)集，改進(jìn)了VGGNet 網(wǎng)絡(luò)的結(jié)構(gòu)和激活函數(shù)，并進(jìn)行了訓(xùn)練驗(yàn)證，對比分析了改進(jìn)前后的識別準(zhǔn)確率和訓(xùn)練時長，得出改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)能在保證識別準(zhǔn)確率的基礎(chǔ)上有效降低訓(xùn)練時長的結(jié)論。