基于卷積神經(jīng)網(wǎng)絡(luò)的垃圾圖像分類算法①

董子源,韓衛(wèi)光

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)

1 引言

垃圾回收利用作為發(fā)展循環(huán)經(jīng)濟(jì)的必經(jīng)之路,是根治污染、提高環(huán)境治理效果的關(guān)鍵所在.隨著我國生產(chǎn)力水平的發(fā)展,生活垃圾、工業(yè)垃圾數(shù)量不斷增加,困擾著很多城市.據(jù)統(tǒng)計(jì),僅2018年,中國垃圾的清運(yùn)量已經(jīng)達(dá)到了2.28 億噸[1].在人們將垃圾投放進(jìn)垃圾箱之后,垃圾被運(yùn)送到垃圾處理廠統(tǒng)一處理.當(dāng)前國內(nèi)的垃圾處理廠,更多依靠人工在流水線上作業(yè)去分揀垃圾,對作業(yè)者健康不利且分揀效率較低,已不能滿足大量垃圾處理需求.此外,人工分揀的垃圾種類極為有限,大部分垃圾無法重新回收利用,造成很大浪費(fèi).隨著深度學(xué)習(xí)技術(shù)的發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)使圖像分類算法在精度和速度上得到了巨大的提升,讓我們看到了借助視覺技術(shù)自動分揀垃圾的可能性.通過攝像頭拍攝垃圾圖片,利用卷積神經(jīng)網(wǎng)絡(luò)檢測出垃圾的類別,之后就可以借助機(jī)械手或推板自動完成分揀任務(wù),可以降低人工成本,提高分揀效率.因此,開展垃圾圖像分類算法的研究,具有重要的應(yīng)用價(jià)值.

2 相關(guān)工作

早期,學(xué)者們只能借助經(jīng)典的圖像分類算法[2–5]完成垃圾圖像分類任務(wù),這要通過手動提取的圖像特征并結(jié)合相應(yīng)的分類器完成.吳健等[6]利用顏色和紋理特征,初步完成了廢物垃圾識別.由于不同數(shù)據(jù)集的圖像背景、尺寸、質(zhì)量不盡相同,傳統(tǒng)算法需要根據(jù)相應(yīng)數(shù)據(jù)人工提取不同的特征,算法的魯棒性較差,并且處理方式復(fù)雜,所需時(shí)間較長,無法達(dá)到實(shí)時(shí)的效果.隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)的飛速發(fā)展,深度學(xué)習(xí)廣泛應(yīng)用于圖像識別領(lǐng)域.作為數(shù)據(jù)驅(qū)動的算法,CNN 具有強(qiáng)大的特征擬合能力,可以有效、自動地提取圖像特征,并具有較快的運(yùn)行速度.2012年,AlexNet[7]取得了ImageNet 圖像分類競賽的冠軍,標(biāo)志著深度學(xué)習(xí)的崛起.隨后幾年,GoogleNet[8]、VGGNet[9]、ResNet[10]等算法提升了圖像分類的精度,并成功應(yīng)用于人臉識別、車輛檢測等多個(gè)領(lǐng)域.垃圾圖像分類,在深度學(xué)習(xí)算法的幫助下同樣取得了較大的突破.斯坦福大學(xué)的Yang 等建立了TrashNet Dataset 公開數(shù)據(jù)集,包含6 個(gè)類別,共計(jì)2527 張圖片.Ozkaya 等[11]通過對比不同CNN 網(wǎng)絡(luò)的分類能力,搭建神經(jīng)網(wǎng)絡(luò)(本文稱之為TrashNet)并進(jìn)行參數(shù)微調(diào),在數(shù)據(jù)集TrashNet Dataset 上取得了97.86%的準(zhǔn)確率,是目前這一數(shù)據(jù)集上最佳分類網(wǎng)絡(luò).在非公開數(shù)據(jù)集方面,Mittal 等[12]自制了2561 張的垃圾圖片數(shù)據(jù)集GINI,使用GarbNet 模型,得到了87.69%的準(zhǔn)確率.國內(nèi)方面,鄭海龍等[13]用SVM 方法進(jìn)行了建筑垃圾分類方面的研究.向偉等[14]使用分類網(wǎng)絡(luò)CaffeNet,調(diào)整卷積核尺寸和網(wǎng)絡(luò)深度,使其適用于水面垃圾分類,在其自制的1500 張圖片數(shù)據(jù)集上取得了95.75%的識別率.2019年,華為舉辦垃圾圖像分類競賽,構(gòu)建了樣本容量為一萬余張的數(shù)據(jù)集,進(jìn)一步促進(jìn)了該領(lǐng)域的發(fā)展.

我國各地區(qū)生活垃圾分類標(biāo)準(zhǔn)有所不同,大致可分為可回收垃圾、有害垃圾、廚余垃圾和其他垃圾這4 大類,且每個(gè)類別下又包含若干子類別,種類繁多且十分復(fù)雜.按照這樣的分類標(biāo)準(zhǔn)做的垃圾圖像識別研究,國內(nèi)目前還處于起步階段.現(xiàn)有的圖形分類算法在垃圾處理領(lǐng)域的應(yīng)用較少,且存在準(zhǔn)確率不足、泛化性能差、處理效率低的缺點(diǎn).針對現(xiàn)有方法的不足,本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的垃圾圖像分類算法(Garbage Classification Net,GCNet),在網(wǎng)絡(luò)結(jié)構(gòu)中融合了注意力機(jī)制模塊與特征融合模塊,提高了模型在垃圾分類任務(wù)上的準(zhǔn)確性與魯棒性.

3 算法設(shè)計(jì)

3.1 模型結(jié)構(gòu)

本文構(gòu)建的GCNet 模型包括特征提取器、分類器兩部分,整體結(jié)構(gòu)如圖1所示.圖中特征提取器由Resnet101 作為主干部分,共包括5 個(gè)bottleneck,并在不同的bottleneck 后加入注意力機(jī)制模塊,同時(shí)對不同模塊提取到的特征進(jìn)行特征融合(如圖1中虛線所示)以從輸入x中提取圖像的特征信息F1:

其中,Me表示特征提取器.

分類器由兩層全連接層和一個(gè)Softmax 分類器組成,對提取到的特征信息F1進(jìn)行分類,以得到圖像在每個(gè)類別下的最終得分yi:

其中,Mc表示分類器.

3.2 注意力機(jī)制

注意力機(jī)制源于對人類視覺的研究,人類會根據(jù)實(shí)際需要選擇視網(wǎng)膜內(nèi)特定區(qū)域進(jìn)行集中關(guān)注,可以將有限的處理資源分配至重要的部分.由于相同類別垃圾的特征表征差異性可能較大,不利于圖片的正確分類,這就要求準(zhǔn)確地關(guān)注圖像中的顯著區(qū)域.受這一思想的啟發(fā),通過構(gòu)建注意力機(jī)制模塊,使網(wǎng)絡(luò)模型重點(diǎn)關(guān)注有利于分類的特征區(qū)域,以實(shí)現(xiàn)更好的特征提取功能,其具體結(jié)構(gòu)如圖2所示.

圖1 GCNet 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 注意力機(jī)制示意圖

將每個(gè)bottleneck 提取到的特征以Fi表示,其大小為N×C×W×H.利用格拉姆矩陣[15]構(gòu)建局部注意力機(jī)制模塊,將Fi與其轉(zhuǎn)置相乘,獲得大小為N×C×C的局部特征:

該操作可以獲得特征圖中每個(gè)元素自身間的關(guān)聯(lián),使原本數(shù)值較大的元素越大、數(shù)據(jù)較小的元素越小,即凸顯每個(gè)局部的重要程度,使有助于判斷類別的特征更加明顯,同時(shí)抑制影響判斷的特征.

隨后,對Fi進(jìn)行全局平均池化操作(Global Average Pooling,GAP)[16],可以保留特征Fi提取到的空間信息和語義信息,并獲得大小為N×C×1×1的全局特征:

代 表了特征Fi中最顯著的特征,這也符合所定義的全局注意力機(jī)制.

最后,將局部特征與全局特征相乘,從而獲得包含局部和全局信息的總體特征:

3.3 特征融合機(jī)制

垃圾分類任務(wù)中,從屬于同一類別的垃圾往往差異性較大,如可回收物中包括的紙板箱和玻璃杯,二者存在較大的外觀差異但卻屬于同一類別,這會給分類器的判別增加一定的難度.此外,隨著網(wǎng)絡(luò)層數(shù)的加深,單一的圖像特征會丟失某些區(qū)域的信息,從而導(dǎo)致模型的分類性能變差.針對這一問題,常用的方法是通過不同卷積核的池化操作構(gòu)建多尺度的特征融合模塊,但這種操作會增大模型的運(yùn)算量,同時(shí)也會使模型訓(xùn)練更加困難.

由于構(gòu)建的特征提取器中包含了不同的池化操作,因此只需要提取不同bottleneck 下的特征便能獲得不同尺寸的特征.在此基礎(chǔ)上,本文提出了改進(jìn)的特征融合機(jī)制,如圖1中的虛線所示,將每個(gè)bottleneck 經(jīng)過注意力機(jī)制后所提取到的總體特征進(jìn)行融合:

其中,wc為1×1的卷積核,bc為偏置,Concat表示融合操作.該操作旨在利用不同尺度的特征信息,避免信息的丟失,進(jìn)一步提升模型的魯棒性.

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)平臺

本文實(shí)驗(yàn)在Ubuntu16.04 系統(tǒng)下,利用Python 語言,Pytorch 深度學(xué)習(xí)框架完成.硬件環(huán)境為CPU Intel I7-9700K,內(nèi)存32 GB,顯卡Nvidia GeForce RTX 2080Ti.

4.2 實(shí)驗(yàn)數(shù)據(jù)

本文采用華為垃圾分類挑戰(zhàn)杯數(shù)據(jù)集,該數(shù)據(jù)集已全部標(biāo)注類別,包括廚余垃圾、可回收物、其他垃圾和有害垃圾4 個(gè)大類,每個(gè)大類下又包含若干子類別,合計(jì)40 個(gè)小類別,共計(jì)14 683 張圖片.

在實(shí)驗(yàn)中,采用4:1的比例劃分?jǐn)?shù)據(jù)集,80%作為訓(xùn)練數(shù)據(jù),20%作為測試數(shù)據(jù).此外,為了增強(qiáng)模型的泛化能力和魯棒性,還對訓(xùn)練樣本進(jìn)行了數(shù)據(jù)增強(qiáng)操作,包括隨機(jī)旋轉(zhuǎn)、隨機(jī)翻折、隨機(jī)裁剪等.

4.3 結(jié)果分析

實(shí)驗(yàn)選用ADAM[17]優(yōu)化算法訓(xùn)練模型,動量系數(shù)為0.9,共設(shè)置50 個(gè)迭代周期,初始學(xué)習(xí)率設(shè)置為0.01,每隔10 個(gè)迭代周期學(xué)習(xí)率衰減0.1 倍,一階矩估計(jì)的指數(shù)衰減率為0.99,二階矩估計(jì)的指數(shù)衰減率為0.999.此外,使用交叉熵?fù)p失函數(shù)來訓(xùn)練優(yōu)化模型.

在訓(xùn)練過程中,對GCNet 模型通過消融實(shí)驗(yàn)以分別驗(yàn)證注意力機(jī)制和特征融合機(jī)制的功能.實(shí)驗(yàn)1(Experiment_1)為含有注意力機(jī)制和特征融合機(jī)制的模型,實(shí)驗(yàn)2(Experiment_2)為只含有注意力機(jī)制的模型,實(shí)驗(yàn)3(Experiment_3)為只含有特征融合機(jī)制的模型,實(shí)驗(yàn)4(Experiment_4)為不含有注意力機(jī)制和特征融合機(jī)制的模型.各個(gè)實(shí)驗(yàn)的訓(xùn)練過程迭代曲線如圖3所示.

圖3 GCNet 訓(xùn)練過程曲線

從圖3中可以看到,實(shí)驗(yàn)1的準(zhǔn)確率提升與損失值下降都快于其他3 個(gè)實(shí)驗(yàn),說明訓(xùn)練過程收斂更快.實(shí)驗(yàn)2和實(shí)驗(yàn)3的速度幾乎相近,而實(shí)驗(yàn)4的速度最慢.為了進(jìn)一步驗(yàn)證上述訓(xùn)練的準(zhǔn)確性,在對應(yīng)的測試集上進(jìn)行測試,實(shí)驗(yàn)結(jié)果如表1所示.包含注意機(jī)制模塊和特征融合模塊的實(shí)驗(yàn)1 取得了96.73%的最優(yōu)準(zhǔn)確率,同時(shí)在各個(gè)子類別上均取得了最高的準(zhǔn)確率,說明本文構(gòu)建的模型泛化能力較好.在類內(nèi)差異性較大的“其他垃圾”這一類別中,注意力機(jī)制和特征融合機(jī)制均能夠顯著提高模型的準(zhǔn)確率.

表1 GCNet 模型消融實(shí)驗(yàn)準(zhǔn)確率對比(單位:%)

本文模型與其他模型的準(zhǔn)確率對比結(jié)果如表2所示.可以看出,本文構(gòu)建的GCNet 平均準(zhǔn)確率最高,在各個(gè)類別中也取得了最高的準(zhǔn)確率,說明本文構(gòu)建的注意力機(jī)制和特征融合機(jī)制充分提取了有利于圖像分類的特征,使得分類結(jié)果更加準(zhǔn)確.TrashNet的平均準(zhǔn)確率略差于GCNet,而CaffeNet 結(jié)果最差.

表2 不同模型實(shí)驗(yàn)準(zhǔn)確率對比(單位:%)

圖4為3 種算法GCNet,TrashNet和CaffeNet 對同樣4 張圖片的測試結(jié)果,顯示了預(yù)測類別以及屬于這一類別的概率.GCNet 在各個(gè)類別的樣例中,也取得了最好的結(jié)果.特別是在第4 幅(其他垃圾)的測試中,由于該類別的圖像類內(nèi)差異過大,CaffeNet 將其識別為其他垃圾的概率僅為62.75%,將其錯(cuò)誤地識別成有害垃圾的概率卻高達(dá)35.61%,在某些干擾情況下,這可能會導(dǎo)致判定錯(cuò)誤,對分類結(jié)果造成較大影響.本文算法成功的改進(jìn)了這一問題,確保了在較難分辨的類別上的準(zhǔn)確率.

圖4 各模型測試結(jié)果對比圖

5 結(jié)論

本文針對垃圾圖像分類問題,構(gòu)建了一種基于卷積神經(jīng)網(wǎng)絡(luò)的算法GCNet,該網(wǎng)絡(luò)通過構(gòu)建注意力機(jī)制和特征融合機(jī)制,能夠有效地提取圖像特征、降低類別差異性帶來的影響,并在相關(guān)數(shù)據(jù)集上取得了96.73%的平均準(zhǔn)確率,相較于現(xiàn)有的分類算法提升了約4%的準(zhǔn)確率,滿足了實(shí)際的應(yīng)用需求,具有良好的應(yīng)用前景.