基于深度學(xué)習(xí)與圖像處理的廢棄物分類與定位方法

陳亞宇，孫驥晟*，李建龍，王宏達(dá)，畢士君

(1.河北工程大學(xué)機(jī)械與裝備工程學(xué)院，邯鄲 056038；2.河北維立方科技有限公司，唐山 063000)

根據(jù)中國生態(tài)環(huán)境部《2020年全國大、中城市固體廢物污染環(huán)境防治年報》，2019年中國生活垃圾產(chǎn)量為23 560.2萬t，并呈逐年上漲趨勢[1]。改變城市生活垃圾處理方式，對中國的經(jīng)濟(jì)發(fā)展、社會生活以及可持續(xù)發(fā)展都具有重要意義[2-3]。城市生活廢棄物中主要包含塑料、玻璃、木材、紙張以及金屬等大量的可回收物資，建立完善回收機(jī)制的核心在于高效分揀[4-5]。但現(xiàn)有廢棄物分類回收主要以人工完成分揀工作，在分揀效率或成本上都缺乏明顯優(yōu)勢，且長期工作在惡劣環(huán)境下會影響人員身體健康[6]。故提出基于深度學(xué)習(xí)機(jī)器視覺與圖像處理的廢棄物識別方法，對實現(xiàn)廢棄物分揀智能化具有重要意義。文獻(xiàn)[7]提出的OverFeat-GoogLeNet模型，將高清攝像頭固定在清掃車前方距離地面2～3 m處，通過攝像頭采集圖像，輸入分類模型，經(jīng)訓(xùn)練模型準(zhǔn)確率達(dá)到了77.35%；文獻(xiàn)[8]提出基于ResNet-50遷移學(xué)習(xí)模型，結(jié)合支持向量機(jī)(support vector machine，SVM)分類器進(jìn)行的垃圾分類任務(wù)，經(jīng)過訓(xùn)練準(zhǔn)確率達(dá)到了87%；文獻(xiàn)[9]中采用的AlexNet分類模型實現(xiàn)垃圾分類，準(zhǔn)確率可達(dá)65%。傳統(tǒng)分類模型只能有效識別垃圾種類且準(zhǔn)確率不高，針對進(jìn)一步廢棄物像素分析也并沒有做過多深入研究，因此現(xiàn)提出基于改進(jìn)分類模型算法，在提高分類準(zhǔn)確率的基礎(chǔ)上利用圖像處理技術(shù)，實現(xiàn)對廢棄物的分類及位置標(biāo)定。

1 系統(tǒng)構(gòu)建

基于深度學(xué)習(xí)與圖像處理的廢棄物分類與定位原理如圖1所示。首先由圖像采集裝置采集圖像，經(jīng)傳輸線傳入后臺PC，其次將采集的圖像同時輸入廢棄物輪廓提取及定位模型和廢棄物分類模型中，最后輸出廢棄物類別信息與質(zhì)心坐標(biāo)實現(xiàn)對廢棄物的準(zhǔn)確分類與定位。

圖1 廢棄物分類與定位方法原理圖

2 廢棄物分類模型

2.1 深度學(xué)習(xí)分類模型搭建

廢棄物分類模型采用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)搭建，通過對訓(xùn)練集圖像進(jìn)行特征提取并學(xué)習(xí)圖像特征[10]，可實現(xiàn)對新圖像內(nèi)廢棄物類別預(yù)測。

2.1.1 前向傳播

前向傳播過程是從樣本中抽取一個樣本X，通過將X輸入預(yù)先搭建好的卷積神經(jīng)網(wǎng)絡(luò)模型，樣本X通過每一層網(wǎng)絡(luò)進(jìn)行計算，得到最終輸出，表達(dá)式為

Youtput=f(…f(X1W1+b1)W2+b2)Wn+bn

(1)

式(1)中：X1為輸入特征；W1、W2、…、Wn為權(quán)重；b1、b2、…、bn為偏置量；f(·)為激活函數(shù)；Youtput為輸出。

2.1.1 反向傳播

由正向傳播計算所得到的權(quán)重，對損失函數(shù)求偏導(dǎo)數(shù)并通過隱藏層將用梯度下降方法更新的權(quán)重向前傳遞。計算輸出值Youtput與預(yù)先標(biāo)記的label值Yi之間的誤差，損失函數(shù)表達(dá)式為

(2)

通過梯度下降方法對權(quán)重進(jìn)行更新，權(quán)重更新表達(dá)式為

(3)

(4)

式中：Wi、bi為更新前的第i層權(quán)重值和偏置量；Wi，new、bi，new為更新后第i層權(quán)重值和偏置量；α?Loss/?Wi為第i層權(quán)重梯度值；α?Loss/?bi為第i層偏置量梯度值；α為學(xué)習(xí)率。

采用改進(jìn)的Inception模塊[11]與殘差單元(residual unit)[12]搭建分類模型，改進(jìn)Inception模塊具體結(jié)構(gòu)如圖2所示。將卷積層與池化層分4路并行運(yùn)算并整合運(yùn)算結(jié)果，在增加了網(wǎng)絡(luò)深度的同時，增強(qiáng)網(wǎng)絡(luò)對不同輸入特征各尺度的適應(yīng)性。同時采用降維思想，將5×5大小卷積核替換為2個3×3大小卷積核，可大幅度減少計算量。模型中引入的殘差單元，將前一層特征與該層特征進(jìn)行特征融合，防止因網(wǎng)絡(luò)過深發(fā)生退化現(xiàn)象。

圖2 改進(jìn)的Inception模塊結(jié)構(gòu)

改進(jìn)分類模型結(jié)構(gòu)如圖3所示，采用卷積和池化操作對224×224×3大小的輸入圖像提取特征，分別得到圖3中所注大小的特征圖像，卷積與池化計算公式為

圖3 改進(jìn)分類模型結(jié)構(gòu)

(5)

式(5)中：F為輸出圖像大小；n為輸入圖像大小；p為輸入圖像外圈補(bǔ)0的圈數(shù)；f為卷積核大小；s為步距，當(dāng)輸出結(jié)果為小數(shù)時自動向下取整。

AlexNet，VGG-16以及ResNet-50+SVM模型分別如圖4～圖6所示。

圖4 AlexNet模型結(jié)構(gòu)

圖5 VGG-16模型結(jié)構(gòu)

圖6 ResNet-50+SVM模型結(jié)構(gòu)

3 廢棄物輪廓提取及定位模型

在廢棄物分類準(zhǔn)確率提高前提下，為實現(xiàn)目標(biāo)精準(zhǔn)定位，首先采用圖像處理算法實現(xiàn)目標(biāo)輪廓提取，最后結(jié)合質(zhì)心定位模型標(biāo)定廢棄物質(zhì)心。

3.1 圖像濾波

濾波是圖像處理中常見的去除噪聲方法，常見的濾波方法有均值濾波和中值濾波[13]。均值濾波原理的表述式為

g(x,y)=mean{f(x-q,y-r)|q,r∈u}

(6)

式(6)中：g(x,y)為輸出圖像；f(x,y)為輸入圖像；u為濾波器模板。通過求取濾波器模板u所包圍像素點的灰度求平均，將所求灰度平均值代替圖原圖中像素值，實現(xiàn)噪聲的消除。

中值濾波計算公式為

g(x,y)=med{f(x-q,y-r)|q,r∈u}

(7)

式(7)中：g(x,y)為輸出圖像；f(x,y)為輸入圖像；u為濾波器模板。

利用統(tǒng)計學(xué)排序原理，將圖像中一點處鄰域內(nèi)各點用其鄰域內(nèi)像素中值替換，使周圍像素更接近真實值進(jìn)而實現(xiàn)降噪功能。

3.2 閾值分割

由圖像采集裝置收集到的圖片中通常含有大量無關(guān)信息，要剔除目標(biāo)物體外的背景信息需利用閾值分割算法[14]。閾值分割是通過設(shè)定的最佳閾值與圖像中像素點進(jìn)行比較，大于最佳閾值時將該點像素值置為255，小于則置為0，進(jìn)而對相關(guān)信息進(jìn)行提取，實現(xiàn)圖像分割，閾值分割計算公式為

(8)

式(8)中：I(x,y)為輸入像素；f(x,y)為輸出像素；v為最佳閾值。

3.3 輪廓提取

輪廓提取采用邊緣檢測算子，經(jīng)典邊緣檢測算法有sobel、roberts、prewitt算子等[15]。但傳統(tǒng)邊緣檢測算子對于不規(guī)則物體的檢測效果一般，故提出一種基于雙結(jié)構(gòu)萬向邊緣檢測算子，表達(dá)式為

F°B1⊕B2-F·B1ΘB2

(9)

式(9)中：符號°代表圖開運(yùn)算；符號⊕代表膨脹操作；符號·代表團(tuán)運(yùn)算；符號Θ代表腐蝕操作。

B1、B2結(jié)構(gòu)如式(10)所示：

(10)

利用X元素結(jié)構(gòu)B1對圖像F進(jìn)行開、閉運(yùn)算去除圖像中的殘余噪聲。采用B2萬向檢測結(jié)構(gòu)對圖像膨脹與腐蝕以提取輪廓，由于B2中不同的線性走向，故可利用該方法檢測不規(guī)則物體輪廓，且效果良好，輪廓信息表達(dá)完整。

3.4 目標(biāo)定位

基于改進(jìn)的輪廓提取算法得到的輪廓信息，通過迭代求出目標(biāo)物體輪廓點水平方向x軸與垂直方向y軸中最大、最小坐標(biāo)值，即

(11)

式(11)中：(x1,x2,…,xi)為所有輪廓點x軸坐標(biāo)值；(y1,y2,…,yi)為所有輪廓點y軸坐標(biāo)值；imax、imin為輪廓點x軸坐標(biāo)的最大、最小值；jmax、jmin為輪廓點y軸坐標(biāo)的最大、最小值。

根據(jù)式(11)中計算結(jié)果，將imax、imin、jmax、jmin代入質(zhì)心定位計算公式中，求取目標(biāo)物體質(zhì)心坐標(biāo)，可得

(12)

(13)

(14)

式中：G00、G02和G20分別為圖像的零階矩、二階矩。根據(jù)式(12)～式(14)可計算目標(biāo)物體質(zhì)心坐標(biāo)值(x,y)。

4 實驗結(jié)果與分析

4.1 廢棄物分類模型實驗結(jié)果分析

采用TrashNet數(shù)據(jù)集對分類模型訓(xùn)練和驗證，數(shù)據(jù)集詳細(xì)信息如表1所示。實驗流程：①將數(shù)據(jù)集按9∶1的比例分為訓(xùn)練集和驗證集；②利用reshape和隨機(jī)裁剪等對數(shù)據(jù)集擴(kuò)充；③搭建網(wǎng)絡(luò)模型；④通過不斷調(diào)整超參數(shù)，并在測試集上對模型進(jìn)行評估，使模型達(dá)到預(yù)期效果；⑤測試模型使其達(dá)到理想效果。

表1 數(shù)據(jù)集詳細(xì)信息

經(jīng)過對模型的優(yōu)化，最終在學(xué)習(xí)率lr(learning rate)為0.000 4，隨機(jī)失活率(dropout)為0.4時，模型達(dá)到最優(yōu)效果。分類模型在擴(kuò)充的數(shù)據(jù)集上訓(xùn)練140個epoch后，得到訓(xùn)練集、驗證集的最高準(zhǔn)確率分別為94.1%和88.8%。

廢棄物分類模型在數(shù)據(jù)集上損失值及準(zhǔn)確率的可視化圖如圖7、圖8所示。分類模型在驗證集上的收斂速度較快，在60個epoch基本達(dá)到最佳狀態(tài)，95個epoch后準(zhǔn)確率不再上升。采用的數(shù)據(jù)集擴(kuò)充方法，在增加樣本數(shù)量的同時，增強(qiáng)了網(wǎng)絡(luò)的魯棒性，使網(wǎng)絡(luò)有更優(yōu)的泛化能力。擴(kuò)充后的數(shù)據(jù)集可一定程度減少網(wǎng)絡(luò)過擬合發(fā)生概率，網(wǎng)絡(luò)特征響應(yīng)能力增強(qiáng)。

圖8 損失值

將改進(jìn)的模型與其他模型在TrashNet數(shù)據(jù)集上對比，結(jié)果如表2所示。改進(jìn)的分類模型準(zhǔn)確率可達(dá)88.8%，高于表2中所列舉的所有模型準(zhǔn)確率。

表2 不同模型下基于TrashNet數(shù)據(jù)集準(zhǔn)確率對比

4.2 廢棄物輪廓提取及定位模型實驗結(jié)果與分析

為模擬真實工況條件下廢棄物圖像信息采集過程，在帶有非均勻碎屑及土壤的背景板上，在不同光照環(huán)境下，對不同材料、不同形狀的廢棄物進(jìn)行圖像采集，采集結(jié)果如圖9所示，圖9(a)、圖9(d)為正常光照條件下，不同材料、形狀采集的圖像；圖9(b)、圖9(c)為曝光不足、曝光過高條件下采集的圖像。

圖9 采集圖像

為減少計算量加速運(yùn)算速度，對RGB圖像灰度化、二值化處理，如圖10(a)、圖10(b)所示；其次對經(jīng)中值濾波的圖像進(jìn)行閾值分割，如圖10(c)所示；最后利用改進(jìn)的邊緣檢測算法提取圖像輪廓信息，如圖10(d)所示。由圖10(d)得到廢棄物輪廓信息后，結(jié)合質(zhì)心定位算法，實現(xiàn)對廢棄物的質(zhì)心定位，如圖11所示。處理后的圖像可消除噪聲對定位精度的影響，且輪廓信息連貫清晰。

圖10 圖像處理結(jié)果

圖11 質(zhì)心坐標(biāo)

5 結(jié)論

以金屬、紙、玻璃、紙板等生活常見廢棄物為研究對象，提出基于深度學(xué)習(xí)與圖像處理的廢棄物分類與定位方法，實現(xiàn)對廢棄物的準(zhǔn)確分類及標(biāo)定。

(1)利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)搭建分類模型實現(xiàn)對圖像中廢棄物類別預(yù)測。經(jīng)實驗驗證，改進(jìn)的分類模型準(zhǔn)確率可達(dá)88.8%，高于其他模型準(zhǔn)確率，通過改進(jìn)算法與數(shù)據(jù)集擴(kuò)充，解決了分類模型過擬合問題，具有很好的魯棒性和泛化能力。

(2)利用圖像處理技術(shù)，對圖像進(jìn)行濾波、閾值分割、邊緣檢測等操作，能有效減少圖像中復(fù)雜背景及惡劣光照條件對信息提取的影響，同時利用改進(jìn)的邊緣檢測算子能完整提取不規(guī)則物體輪廓信息。結(jié)合質(zhì)心定位算法實現(xiàn)對廢棄物的精準(zhǔn)定位。表明該算法在對不同材料光照、形狀條件都具有良好的適用性。

通過該方法得到的類別與質(zhì)心坐標(biāo)信息，可進(jìn)一步結(jié)合相機(jī)標(biāo)定、機(jī)械臂控制等技術(shù)，實現(xiàn)對廢棄物的高效分揀，代替人工分揀，顯著提高分揀效率。