基于深度學(xué)習(xí)的智能垃圾分類系統(tǒng)研究

戰(zhàn)秋成，季龍華，趙際云，修艷琪，戴婷婷

（哈爾濱理工大學(xué)機械動力工程學(xué)院，哈爾濱 150080）

0 引言

據(jù)不完全統(tǒng)計，截至2019年全國每年僅城市產(chǎn)生的垃圾超4 億t，每年處理這部分垃圾需花費300 億元以上，處理帶來的環(huán)境污染問題日益嚴(yán)重，全國668個城市中超過2/3的城市被垃圾環(huán)帶包圍，其中大部分可回收垃圾并未被回收利用，而將這部分垃圾綜合利用（如：相關(guān)材料再利用，建造垃圾發(fā)電廠等），卻能創(chuàng)造2500 億元的效益。到2020年底，生活垃圾清運量己達(dá)到24 206 萬t/a[1]。

如何正確處理垃圾分類等問題迫在眉睫。我國垃圾分類智能化程度相比于國外，仍然面臨起步相對較晚的現(xiàn)狀，并且我國在垃圾的種類識別上的智能化程度仍然不高，尤其是垃圾分類智能化社區(qū)部署方面仍有待提高[2]，而本文從深度學(xué)習(xí)算法的角度出發(fā)，針對生活垃圾智能分類系統(tǒng)做了一系列研究，為社區(qū)化普及智能化垃圾分類提供了解決方案。

1 智能垃圾分類現(xiàn)狀

根據(jù)國家統(tǒng)計局和部分?jǐn)?shù)據(jù)整理網(wǎng)站統(tǒng)計，2010—2020年生活垃圾清運量及增速趨勢如圖1[3]所示，可以看出，我國垃圾清運量增速雖逐年放緩，但總量是逐年上升的。

圖1 生活垃圾清運量及增速趨勢

由此可知我國垃圾分類處理回收利用的需求量巨大，而目前我國的垃圾分類回收普及效果不好，大多數(shù)分類措施依賴于垃圾分類站進(jìn)行大規(guī)模分類，大都為人工分類[4]；智能化分類主要由傳感器、傳送帶、單片機控制大型機械臂進(jìn)行分類，其準(zhǔn)確度較低，普及程度不高，很難進(jìn)行社區(qū)化部署，無法從源頭改善垃圾分類效果差的現(xiàn)狀[5]。小型社區(qū)化智能垃圾分類系統(tǒng)的重要性體現(xiàn)于此，能更好地實現(xiàn)生活垃圾分類智能化、自主化、社區(qū)化。

2 設(shè)計方案

本文所設(shè)計的系統(tǒng)可實現(xiàn)垃圾自動分類、滿載故障報警、人機交互、模塊化社區(qū)部署、集群化管理等。系統(tǒng)使用優(yōu)化后的YOLOv5模型，通過圖像識別實現(xiàn)自主識別4類垃圾（可回收垃圾、廚余垃圾、有害垃圾、其他垃圾），通過多級分類系統(tǒng)實現(xiàn)分類投放，通過物聯(lián)網(wǎng)云平臺實現(xiàn)儲存、記錄對應(yīng)信息等功能；滿載故障報警可實時檢測垃圾桶狀態(tài)，是否裝滿，是否有模塊損壞，并及時同步到云平臺警告處理；人機交互可實現(xiàn)投放垃圾信息顯示、宣傳片播放、廣告投放，對應(yīng)激勵功能等；模塊化社區(qū)部署可實現(xiàn)應(yīng)對不同場景可個性化組裝相應(yīng)功能、客制化部署。主要功能邏輯如圖2所示。

圖2 主要功能邏輯圖

3 垃圾桶軟件系統(tǒng)設(shè)計

3.1 模型比較挑選

在模型的選用上，分別測試了當(dāng)下較為突出的幾種模型，分別測試了Faster RCNN、AlexNet、Google Net、VGG-16、ResNet-50、YOLOv3、YOLOv4、YOLOv5，最后發(fā)現(xiàn)YOLO 系列模型整體效果上要優(yōu)于FasterRCNN AlexNet、Google Net、VGG-16、ResNet-50等模型。在準(zhǔn)確率方面，YOLO 系列模型較強于AlexNet、Google Net、VGG-16、ResNet-50等模型。通過對比實驗發(fā)現(xiàn)YOLOv5模型相較于FasterRCNN模型速度提高了2～3倍，而在對于較小垃圾（如：煙頭等）識別方面YOLOv5模型對于物體定位信息也更準(zhǔn)確，而且其部署更簡易，在整體方面YOLOv5模型有更好的性能。

對于YOLO系列模型，進(jìn)行了對比實驗，數(shù)據(jù)表明YOLOv3模型遠(yuǎn)不如其他兩款模型，YOLOv4模型在速度上超過了YOLOv5，分析可能是由于YOLOv5模型仍在開發(fā)中，尚未完善。但YOLOv5模型較小型化，便于部署到移動端，且更容易優(yōu)化，于是選擇了YOLOv5模型進(jìn)行后續(xù)開發(fā)。

在選擇了YOLOv5模型之后對于其中權(quán)重的選擇又進(jìn)行了對比實驗，權(quán)重實驗對比在精確度方面X權(quán)重表現(xiàn)最好，但其識別花費時間過長，相較s權(quán)重耗時多1倍而準(zhǔn)確度提升較小，由于嵌入式部署算力受限，最后選擇了s模型進(jìn)行后續(xù)實驗部署。

3.2 模型優(yōu)化加速

在基本對比實驗完成之后，進(jìn)行代碼測試，發(fā)現(xiàn)識別效果較穩(wěn)定，但識別時間在70 ms左右，這個速度還是沒有達(dá)到的預(yù)期，于是進(jìn)一步重構(gòu)優(yōu)化代碼，使用TensorRT加速，終于識別時間進(jìn)一步縮短，最快可達(dá)10 ms，穩(wěn)定識別時間低于30 ms。

在代碼優(yōu)化完成后進(jìn)行了訓(xùn)練測試，訓(xùn)練可視化圖如圖3所示，基本達(dá)到預(yù)期效果。項目初期識別分類基本完成，根據(jù)相關(guān)要求變化進(jìn)一步改進(jìn)優(yōu)化算法代碼。

圖3 訓(xùn)練可視化圖

3.3 軟件交互方面

產(chǎn)品與物聯(lián)網(wǎng)云平臺的對接是本項目的一個重要功能。物聯(lián)網(wǎng)云平臺是5G時代智能設(shè)備必不可少的功能。其包括但不限于數(shù)據(jù)收集、儲存、分析處理、可視化和遠(yuǎn)程管理控制等功能，實現(xiàn)了智能設(shè)備的一站式管理。而本項目系統(tǒng)的推廣、簡易化、模塊化部署與管理離不開物聯(lián)網(wǎng)云平臺。

初步選用的云服務(wù)器有Apache和Nginx兩種，經(jīng)過整體分析比較，Nginx云服務(wù)器和項目選擇的后端框架更為契合，所以選用Nginx作為本項目的服務(wù)器。

服務(wù)器對應(yīng)的后端框架有多種，主流框架有基于Python的Flask、Django框架，Php后端和Golang后端等，基于性能、產(chǎn)品龐大的市場、復(fù)雜度等考量，決定選用適用范圍最廣的Django作為項目開發(fā)的后端框架。

在數(shù)據(jù)庫的選取方面，由于Django框架支持市面上絕大部分主流的數(shù)據(jù)庫，在實驗對比了占用空間大小和讀寫效率后，選擇了Sqlite3作為項目的數(shù)據(jù)庫系統(tǒng)，用于存儲前后端使用的所有重要數(shù)據(jù)。

在云平臺搭建完成后，為了更方便地實現(xiàn)人機交互，便于管理端與個人用戶及時查看相關(guān)數(shù)據(jù)，開發(fā)了相關(guān)App。當(dāng)前主流App開發(fā)主要有基于Java的Android App、基于C# Xamarin App及HTML5開發(fā)App。由于項目系統(tǒng)針對性較強，交互系統(tǒng)更加方便簡潔，在進(jìn)行對比后發(fā)現(xiàn)，Java和C#框架過于龐大繁瑣，于是選擇HTML5作為App的前端實現(xiàn)方案，經(jīng)校內(nèi)實驗測試效果良好。

3.4 嵌入式部署

面對嵌入式部署的復(fù)雜環(huán)境及不斷新增的垃圾種類，對于已識別垃圾通過桶內(nèi)攝像頭拍照上傳云端的方式進(jìn)行處理，基于現(xiàn)有數(shù)據(jù)集半自動標(biāo)注，不斷提升識別精度；同時維護(hù)人員定期收集未識別垃圾，定期手動更新數(shù)據(jù)集，提升權(quán)重提高精度。定期云端更新部署到各嵌入式垃圾桶，達(dá)到持續(xù)更新垃圾識別種類的要求，不斷提升垃圾識別精度。

4.1 分離機構(gòu)方面

如何在短時間內(nèi)準(zhǔn)確地分類大量垃圾，如何在較小空間內(nèi)更高效地運作相關(guān)機構(gòu)，在面對種類繁雜的垃圾怎樣保證相關(guān)元件不被腐蝕更大限度地延長使用壽命，這些問題都是產(chǎn)品設(shè)計時面對的難點。

分別測試了傳送帶機構(gòu)、六軸機械臂機構(gòu)，實驗發(fā)現(xiàn)以上方案速度、準(zhǔn)確度、空間利用率各方面效果均不太理想，機械結(jié)構(gòu)對比實驗數(shù)據(jù)如表1所示。于是項目結(jié)合了相關(guān)機構(gòu)的優(yōu)點，設(shè)計了振動分離機構(gòu)、機械臂、環(huán)形傳送帶等多級分離機構(gòu)，在相互配合之后，每件垃圾分類時間為1～2 s左右，識別后的垃圾分類準(zhǔn)確度在99%左右。

表1 機械結(jié)構(gòu)對比實驗數(shù)據(jù)表

而對不同特征的垃圾有不同的解決方案，如：對于干垃圾，通過傳送帶的振動及差速分離進(jìn)行預(yù)處理，將垃圾初步分散，經(jīng)攝像頭識別分類再通過機械臂夾取投放至對應(yīng)垃圾桶；對于濕垃圾，攝像頭識別后，會在對應(yīng)廚余垃圾桶上方進(jìn)行分軌，通過一定坡度及振動將垃圾投入進(jìn)垃圾桶。同時垃圾桶傳送軌道設(shè)有擋板防止垃圾在傳送過程中落桶，對夾爪進(jìn)行模塊化設(shè)計便于維護(hù)更換，可有效避免夾取過程中不慎掉落。

為使結(jié)構(gòu)在小空間內(nèi)高效運作，解決方案是使環(huán)形傳送帶持續(xù)運作，以應(yīng)對大量垃圾同時投放，同時傳送帶設(shè)計了分軌結(jié)構(gòu)，以處理未識別分類的垃圾（在超過一定時間內(nèi)無人投放垃圾時，折疊在傳送帶擋板上的垃圾導(dǎo)板會展開，未識別的垃圾會在導(dǎo)板和傳送帶共同作用下從未識別垃圾出口處離開傳送帶掉入專用垃圾桶，并上傳數(shù)據(jù)，后續(xù)維護(hù)人員會記錄相關(guān)數(shù)據(jù)定期優(yōu)化升級，并處理該部分垃圾），分離機構(gòu)模型圖如圖4所示。

圖4 多級分離機構(gòu)

傳送帶作為關(guān)鍵分離暫存機構(gòu)，它通過傳送帶的摩擦力將垃圾初步分離開來。選用的傳送帶摩擦因數(shù)為0.44，滾輪半徑為25 mm，電動機最高轉(zhuǎn)矩為95 N·m，傳送帶速度設(shè)定值為0.5 m/s，加速距離為200 mm，根據(jù)F·S=1/2mv2，M=f·d 計算解得M=30.4 kg，即每次投放垃圾的質(zhì)量不可超過30.4 kg，滿足日常需求。

機械臂的最大伸展長度為600 mm，電動機的最高轉(zhuǎn)矩為95 N·m，機械臂自重0.5 kg，根據(jù)M=F·d ，F(xiàn)=m·g解得M=15 kg 所以機械臂最大載荷為15 kg，滿足日常需求，機械臂前端安裝有夾爪，將已識別的垃圾從傳送帶上夾取至已識別垃圾投放口投入下方垃圾桶中。

在防腐材料選用方面，對于不同部件選用了不同的材料，對于承重結(jié)構(gòu)來說，由于垃圾的總體質(zhì)量不大。所以選用較輕質(zhì)的鋁材作為框架和承重結(jié)構(gòu)，關(guān)鍵結(jié)構(gòu)件選用了ABS材料并經(jīng)3D打印，結(jié)構(gòu)易加工的同時兼具防腐性，對于傳送帶材料選用了NR-45LVHS聚氨酯噴涂的橡膠材料，保證了耐磨和防腐性。

4.2 電動機控制方面

本項目以Nvidia Jetson Agx Xavier為上位機進(jìn)行視覺數(shù)據(jù)分析及數(shù)據(jù)云端上傳，以stm32f427為下位機對機械臂和傳送帶進(jìn)行控制，連接各種外設(shè)傳感器獲取流程狀態(tài)。上下位機通信采用.json格式數(shù)據(jù)，數(shù)據(jù)標(biāo)準(zhǔn)兼容方便。傳送帶電動機選用大疆的M3508電動機，機械臂舵機采用大轉(zhuǎn)矩總線舵機，傳感器選用高精度超聲波，紅外光電傳感器。

傳送帶的電動機控制采用PID雙閉環(huán)調(diào)速系統(tǒng)，外環(huán)為速度環(huán)，內(nèi)環(huán)為位置環(huán)，通過獲取電動機編碼器并進(jìn)行累加來確定電動機轉(zhuǎn)動路程，將路程與期望路程進(jìn)行內(nèi)環(huán)位置環(huán)閉環(huán)處理，反饋數(shù)值再與電動機轉(zhuǎn)速進(jìn)行外環(huán)電流環(huán)閉環(huán)處理，從而確定傳送帶轉(zhuǎn)動距離，配合紅外光電傳感器實時反饋物體經(jīng)過特定區(qū)域的情況，如果遮擋光電傳感器返回低電平，反之則高電平。在產(chǎn)生低電平到高電平的跳變的時候，視為垃圾離開光電傳感器位置，記錄電動機編碼器數(shù)據(jù)并做校準(zhǔn)。校準(zhǔn)由于傳送帶表面摩擦因數(shù)關(guān)系導(dǎo)致垃圾在傳送帶上產(chǎn)生的移動誤差。

機械臂舵機采用大轉(zhuǎn)矩總線舵機，總線舵機的好處在于有位置和速度及轉(zhuǎn)矩電流反饋，結(jié)合算法可以得知當(dāng)前機械臂整體姿態(tài)、當(dāng)前狀態(tài)及夾取情況。并且總線舵機采用總線串聯(lián)的形式接線，整體只有1根線貫穿機械臂。算法采用矩陣分析，通過對機械臂的位姿矩陣進(jìn)行分析與轉(zhuǎn)換，正逆運動學(xué)分析算法及速度雅可比矩陣方法實現(xiàn)路徑規(guī)劃。為了使得機械臂的整體運動平滑，通過對機械臂進(jìn)行規(guī)劃，對末端速度、加速度等進(jìn)行一定約束。

在垃圾桶容量計算方面，采用超聲波傳感器，由單片機定時器記錄時間，計算發(fā)射聲波與回波所需時間計算垃圾桶內(nèi)橫切面的邊距情況。一旦垃圾桶容量超過一定高度，超聲波計算的距離值將會縮小，表面垃圾已經(jīng)堆放到當(dāng)前高度。通過設(shè)置一定的體積高度計算滿載情況，實時反饋當(dāng)前垃圾桶剩余容量。

4.3 產(chǎn)品外觀方面

出于對社區(qū)化的推廣問題考慮，進(jìn)行了模塊化設(shè)計便于清潔、維修、部署，大到垃圾處理站配套分類機構(gòu)，小到街道垃圾桶均可以針對不同市場需求進(jìn)行特質(zhì)化定制，同時加裝了太陽能板進(jìn)行應(yīng)急供電，外觀模型效果圖如圖5所示。

圖5 外觀效果圖

5 結(jié)語

我國目前對于垃圾回收，主要集中于價值較高的稀缺資源，對于生活垃圾僅有部分城市進(jìn)行了分類回收，且回收手段主要靠居民自主分類、統(tǒng)一集中處理，其中對于資源回收利用的效率低、花費高，并且普及推廣難度大，大部分城市對于垃圾分處理還處在不分類直接處理階段。簡化垃圾分類，使其不那么繁瑣，進(jìn)一步推廣垃圾分類，成為了當(dāng)下亟待解決的難題。而垃圾分類智能化，作為解決此難題的可行方案仍不成熟。現(xiàn)有市面上不論國內(nèi)外，并沒有一套完善的垃圾自動分類設(shè)備和垃圾分類管理系統(tǒng)。但隨著計算機軟硬件飛速發(fā)展，相關(guān)從業(yè)者的拓展研究，圖像檢測及卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)在智能化識別中嶄露頭角，并逐漸趕上甚至超越傳統(tǒng)視覺算法，然而針對于移動端社區(qū)化部署，以及精確化特征識別提取仍有一定問題待解決，需要優(yōu)化相關(guān)網(wǎng)絡(luò)模型來解決相關(guān)問題。

為了探究深度學(xué)習(xí)在垃圾分類的應(yīng)用部署，尤其是針對社區(qū)化移動端部署這一具體問題，本文以識別速度較快、模型較小的YOLOv5卷積祌經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ)，對如何提升網(wǎng)絡(luò)小型化部署和識別檢測速度、進(jìn)一步提升網(wǎng)絡(luò)分類準(zhǔn)確率，以及社區(qū)智能化管理這一方向上展開研究工作。以下是研究內(nèi)容和取得的成果：

1）在模型的選用上，分別測試了當(dāng)下較為突出的幾種模型，分別測試了Faster RCNN、AlexNet、Google Net、VGG-16、ResNet-50，YOLOv3、YOLOv4、YOLOv5幾類卷積神經(jīng)網(wǎng)絡(luò)模型在自建數(shù)據(jù)集上的精度、檢測速度、移動端部署難易程度，最終選用了模型最小、識別速度最快、精確度較高的YOLOv5模型作為研究的基礎(chǔ)算法模型，在其模型中加入了1×3卷積和3×1卷積來提升模型對待檢測目標(biāo)的細(xì)節(jié)特征提取能力。通過改進(jìn)后的YOLOv5網(wǎng)絡(luò)模型在數(shù)據(jù)集上進(jìn)行訓(xùn)練及測試，獲得了95.23%的準(zhǔn)確率。

2）為了進(jìn)一步加快識別檢測速度以便于小型化部署，采用YOLOv5.s權(quán)重，并通過分析修改網(wǎng)絡(luò)超參數(shù)使之在較低版本權(quán)重依然能保持不錯的識別準(zhǔn)確率，將YOLOv5神經(jīng)網(wǎng)絡(luò)模型部分進(jìn)行C++編譯重構(gòu)，同時使用TensorRT進(jìn)行加速，最終利用此方式改進(jìn)的模型，并在自制數(shù)據(jù)集上進(jìn)行驗證，使圖像識別處理速度達(dá)到120 fps以上，且模型更加小型化便于社區(qū)移動端部署使用。

3）針對目前垃圾分類智能化仍未普及，設(shè)計社區(qū)部署搭建物聯(lián)網(wǎng)云平臺，實現(xiàn)集群化管理，利用數(shù)據(jù)收集、儲存、分析處理，實現(xiàn)可視化和遠(yuǎn)程管理控制等功能，以求達(dá)到智能設(shè)備的一站式管理。有助于本項目系統(tǒng)的推廣、簡易化、模塊化部署。解決了日常生活中生活垃圾的自動分類問題，進(jìn)一步緩解了日益增加的垃圾種類多、分類困難的問題，促進(jìn)了垃圾分類的普及，積極進(jìn)行環(huán)境保護(hù)、資源回收，力求對人與自然和諧相處做出一定貢獻(xiàn)。