基于目標(biāo)檢測技術(shù)在智能垃圾分類上的創(chuàng)新應(yīng)用

吳林鋒 廖文溯 陳強(qiáng) 陳泳祺 陳瑩玲 何志敏

摘要：創(chuàng)新應(yīng)用了目標(biāo)檢測與垃圾分類結(jié)合處理垃圾分類問題，將垃圾種類進(jìn)行類別劃分后保存為數(shù)據(jù)集，使用目標(biāo)檢測技術(shù)對物體進(jìn)行識別并與數(shù)據(jù)集內(nèi)的垃圾物品進(jìn)行細(xì)節(jié)比對，并得出被檢測物品的垃圾種類，通過機(jī)器學(xué)習(xí)方式大幅降低人民對垃圾分類的門檻，有助于加強(qiáng)城市環(huán)境的保護(hù)以及資源的有效回收利用。

關(guān)鍵詞：垃圾分類;目標(biāo)檢測

1 項(xiàng)目背景

1.1我國垃圾分類方式的現(xiàn)狀

隨著經(jīng)濟(jì)社會的快速發(fā)展以及人民生活水平的不斷提高，城市產(chǎn)生的垃圾日漸劇增，并逐漸上升成為一個城市發(fā)展必須面臨的重大難題。我國早在多年前開始倡導(dǎo)垃圾的分類處理，但多年來仍有大部分城市依舊在施行垃圾混合收集及處理。2000年4月，國家建設(shè)部首先在北京、上海等8個城市實(shí)行垃圾分類收集試點(diǎn)，實(shí)踐了幾年時(shí)間，雖有所收獲，但效果并不理想。截止2019年，我國仍然沒有全面開展垃圾分類。但在2019年7月1日起，上海開始正式實(shí)施垃圾分類，而且，到2020年底，先行先試的46個重點(diǎn)城市，要基本建成垃圾分類處理系統(tǒng)。

1.2 國際上先進(jìn)的垃圾分類方式的現(xiàn)狀

在德國80%的居民參與生活垃圾源頭分類，德國的生活垃圾分類起步于20世紀(jì)70年代，到90年代玻璃的同收量己達(dá)到其產(chǎn)生量的50%，紙張的同收量己達(dá)到其產(chǎn)生量的41%，塑料的同收量己達(dá)到其產(chǎn)生量的5%，紙板的同收量己達(dá)到其產(chǎn)生量的三分之一;85%的美國人參與街道資源化利用的廢物收集工作;加拿大也是在20世紀(jì)70年代就己經(jīng)開始進(jìn)行城市生活垃圾的分類同收，并形成了一套完整有效的垃圾分類同收系統(tǒng);瑞士、奧地利人保護(hù)環(huán)境是非常自覺的，他們不需要任何“環(huán)境衛(wèi)生條例”來約束，其生活垃圾分類自覺執(zhí)行;我國的近鄰日本是生活垃圾分類做得最好的國家之一，其國民是生活垃圾分類的主體，其生活垃圾分類教育是“從娃娃抓起”的，目前己經(jīng)形成一套完整的生活垃圾分類法律體系和分類后的垃圾分類處理處置體系。

2 技術(shù)設(shè)計(jì)

2.1 介紹

在深度學(xué)習(xí)領(lǐng)域也衍生出許多分支，如NLP（自然語言處理）和圖像識別等。在NLP領(lǐng)域，詞向量是將深度學(xué)習(xí)引入到NLP領(lǐng)域的一個核心技術(shù)。在機(jī)器視覺領(lǐng)域，CNN、RCNN、Faster RCNN等網(wǎng)絡(luò)已經(jīng)在當(dāng)下變得非常流行，成為眾多企業(yè)或開發(fā)者所選擇的圖像處理基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。

自Attention機(jī)制提出后，加入attention的Seq2seq模型在各個任務(wù)上都有了提升，之后google又提出了解決Seq2Seq問題的Transformer模型，用全attention的結(jié)構(gòu)代替了lstm，在翻譯任務(wù)上取得了更好的成績。現(xiàn)階段研究者已嘗試將 Transformer 用于目標(biāo)檢測任務(wù)，填補(bǔ)了 Transformer 用于目標(biāo)檢測的空白。

Transformer模型是由文章《Attention is All You Need》提出，該模型有一個完整的Encoder-Decoder框架。該模型被用于機(jī)器翻譯任務(wù)，和以往網(wǎng)絡(luò)架構(gòu)有所區(qū)別的是，在該網(wǎng)絡(luò)架構(gòu)中，編碼器和解碼器沒有采用 RNN 或 CNN 等網(wǎng)絡(luò)架構(gòu)，而是采用完全依賴于注意力機(jī)制的架構(gòu)。

Facebook AI的研究者把 Transformer 用到了目標(biāo)檢測任務(wù)中，還取得了媲美 Faster R-CNN的效果。該研究推出的 Transformer視覺版本——Detection Transformer（DETR），可用于目標(biāo)檢測和全景分割。DETR 利用標(biāo)準(zhǔn) Transformer 架構(gòu)來執(zhí)行傳統(tǒng)上特定于目標(biāo)檢測的操作，簡化了檢測 pipeline。

原理圖：

DETR 通過將常見的 CNN 與 Transformer 架構(gòu)相結(jié)合，將CNN提取的特征集傳遞給transformer，經(jīng)過編碼encoder和解碼decoder操作后送到預(yù)測框集，通過FFN直接（并行）預(yù)測最終的檢測結(jié)果。在訓(xùn)練階段，二分匹配將唯一的預(yù)測分配給 GT 框，不匹配的預(yù)測產(chǎn)生無對象（?）類預(yù)測。

Transformer結(jié)構(gòu)簡圖，編碼組件由多個編碼器encoder組成，解碼組件也是對應(yīng)的相同數(shù)量。對應(yīng)的輸入經(jīng)過一系列編碼，將最終的編碼結(jié)果分別傳輸給解碼組件各個解碼器進(jìn)行解碼并傳送給下一個，最終得到輸出。

2.2 transformer網(wǎng)絡(luò)應(yīng)用

2.2.1 項(xiàng)目目的

1. 嘗試將最新的transformer目標(biāo)檢測技術(shù)應(yīng)用到解決實(shí)際生活問題中，如對垃圾類別的檢測。

在實(shí)驗(yàn)中，我們只需對物體進(jìn)行正常的信息標(biāo)注，分類上只需在前端app添加結(jié)果的映射，即可獲取對應(yīng)的垃圾類別。例如，在檢測出目標(biāo)物體為 “餅干”后，將該結(jié)果傳到前端，顯示時(shí)通過映射可顯示為“廚余垃圾-餅干”，諸如此類。

2. 從現(xiàn)實(shí)生活入手，制作貼合生活的數(shù)據(jù)集，適當(dāng)引入噪聲，提高檢測模型的適用性與魯棒性。

3. 對實(shí)驗(yàn)進(jìn)行記錄，查看性能及資源的使用情況，統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的指標(biāo)值。

2.2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的硬件環(huán)境為：CPU：Intel Core i7-8700 @ 3.20GHz，由于實(shí)驗(yàn)需要使用顯卡進(jìn)行，使用的顯卡為：Nvidia GeForce RTX 2060 SUPER，顯存為8GB。采用的系統(tǒng)環(huán)境為：Windows10操作系統(tǒng)，使用pytorch框架，版本為1.5.1。實(shí)驗(yàn)環(huán)境使用Python語言實(shí)現(xiàn)，Python版本為3.7，實(shí)驗(yàn)使用cuda進(jìn)行訓(xùn)練加速。

實(shí)驗(yàn)的數(shù)據(jù)集源于生活實(shí)際的拍攝，示例圖如圖3所示。用labelme對數(shù)據(jù)及進(jìn)行標(biāo)注。

2.2.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)使用1445張圖片，共包含4個類別的物體，其中一樣物品大概包含360張圖片，訓(xùn)練集和測試集約按8：2的比例進(jìn)行數(shù)據(jù)分配，由于硬件性能受限，進(jìn)行300epoch的實(shí)驗(yàn)。

最終獲取的算法性能評估如圖4、圖5、圖6所示。（基于detr backbone r50實(shí)驗(yàn)）

2.2.4 實(shí)際應(yīng)用檢測結(jié)果：

由實(shí)驗(yàn)結(jié)果分析可知，實(shí)驗(yàn)結(jié)果符合實(shí)際分類規(guī)定。在數(shù)據(jù)集足夠充分且訓(xùn)練的epoch等參數(shù)設(shè)置適當(dāng)?shù)脑挘琩etr網(wǎng)絡(luò)能對目標(biāo)對象進(jìn)行準(zhǔn)確度較高的判別，這得益于attention網(wǎng)絡(luò)機(jī)制，可以在較為少數(shù)的樣本上取得較為不錯的檢測結(jié)果。

3 可推廣性分析

3.1應(yīng)用場景

于企業(yè)內(nèi)部，可規(guī)范企業(yè)員工對于辦公過程產(chǎn)生的垃圾如打印紙、打印機(jī)墨盒、回形針、文件夾，企業(yè)內(nèi)部休息區(qū)產(chǎn)生的垃圾如飲料瓶、便當(dāng)盒、便當(dāng)盒內(nèi)的餐余垃圾等的有效分類;在居民家中日常生活產(chǎn)生的垃圾種類是類型最為復(fù)雜的，運(yùn)用目標(biāo)檢測技術(shù)對復(fù)雜的垃圾進(jìn)行識別分類對機(jī)器來說是一件非常輕松的事，大大減輕居民的學(xué)習(xí)成本和負(fù)擔(dān)，同時(shí)也能提高垃圾分類的效率和準(zhǔn)確性。于垃圾回收處理廠而言，這是一項(xiàng)減輕工作負(fù)擔(dān)、具有極高實(shí)用性的應(yīng)用，應(yīng)用目標(biāo)檢測技術(shù)于垃圾分類中可提高垃圾回收處理流水線的工作效率，增強(qiáng)流水線的處理準(zhǔn)確度。

3.2推廣意義

1） 降低分類回收門檻，推進(jìn)垃圾分類政策落實(shí)到位

基于目標(biāo)檢測技術(shù)的智能垃圾分類可通過手機(jī)軟件形式實(shí)現(xiàn)垃圾識別分類效果，極大地降低了垃圾分類回收的門檻和難度，普通老百姓都可通過手機(jī)對身邊的垃圾進(jìn)行分類，有助于居民對垃圾分類的認(rèn)識，加深居民對不同類別垃圾之間區(qū)別的理解，增強(qiáng)居民對垃圾分類的主動意識，有效幫助居民區(qū)別日常生活中產(chǎn)生的各色各樣的復(fù)雜的垃圾。同時(shí)，廢舊物垃圾得到了合理正規(guī)的分類，提高了回收的規(guī)范性和準(zhǔn)確性。

2） 為政府進(jìn)行城市管理提供了可靠的信息數(shù)據(jù)

基于目標(biāo)檢測技術(shù)的智能垃圾分類應(yīng)用通過記錄每次識別后產(chǎn)生的垃圾種類、數(shù)量、產(chǎn)生的地點(diǎn)等信息并積累信息，有助于政府對有關(guān)方面的統(tǒng)計(jì)，為政府針對性的實(shí)施垃圾回收政策提供可靠的科學(xué)的信息資料。

4 項(xiàng)目總結(jié)

在目標(biāo)檢測技術(shù)發(fā)展迅速的今天，transformer目標(biāo)檢測以異于往常目標(biāo)檢測網(wǎng)絡(luò)的結(jié)構(gòu)，能在目標(biāo)檢測結(jié)果上取得不錯的成績。當(dāng)前transformer檢測技術(shù)剛起步，或許隨著transformer網(wǎng)絡(luò)的改進(jìn)，網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)以進(jìn)一步減少參數(shù)量，或許能更好地應(yīng)用于各個領(lǐng)域。

參考文獻(xiàn)：

[1]《End-to-End Object Detection with Transformers》 ——Nicolas Carion* ， Francisco Massa* ， Gabriel Synnaeve， Nicolas Usunier， Alexander Kirillov， and Sergey Zagoruyko.

[2]《Attention is All you Need》 ——Ashish Vaswani， Noam Shazeer， Niki Parmar， Jakob Uszkoreit， Llion Jones， Aidan N. Gomez， ?ukasz Kaiser， Illia Polosukhin.

[3]《含液體垃圾的智能分類回收垃圾桶設(shè)計(jì)》——吳逸超，鄭天華，魏玉蘭.

佛山科學(xué)技術(shù)學(xué)院 528011