基于圖像識別的深度學習垃圾桶

張博文 殷 浩 扈天悅 李徜徉 馬劉奇

(1、上海海事大學,上海201306 2、倫敦瑪麗女王大學)

1 背景

隨著國民經濟穩步增長,人民消費水平日益多元化,從而帶來垃圾分類的問題,因此國家格外重視并加速推進垃圾分類政策。當前垃圾分類的主流有街道、社區、家庭、但垃圾分類仍是難題。目前,垃圾分類存在難度大、成本高、效率低的問題。而垃圾更存在難以人工識別、消耗大量時間、散發氣味破環空氣質量等諸多問題、因此,垃圾分類大潮急需結合借助現代科學技術,制造出一款簡易、高效、造價低廉的智能化垃圾分類系統已成為當前的最大需求。

自2019 年起,上海市成為了垃圾分類試點城市,在運行中的垃圾分類措施給人們帶來了一定的不方便,同時造成了很大的人力資源消耗。比如許多社區規定了投放垃圾的時間且大多需要社區志愿者進行監督。大街上雖然有各種分類的垃圾桶,但無人監督情況下垃圾分類的效果并不好。所以制作一個可以自主識別垃圾進行分類的垃圾桶尤為重要。通過查閱資料發現市場上還沒有成型的產品在為大眾服務,而少數的幾個也大多是語音識別,還是要投放人來對垃圾進行判斷。

2 結構

整個的設計由機械結構部分、電控部分和圖像識別與交互部分三部分構成。

2.1 機械部分

對于機械結構方便大致分為以下幾個部分:外圍的固定部分、內部的垃圾桶部分、中間的舵機控制部分、上層的投放口部分以及一個顯示屏。如圖1 所示。

圖1 智能垃圾桶3D 圖

對于外圍的固定部分,由于是處在實驗室調試階段,整體的材料就采用了透明的亞克力材質板, 既方便激光切割和彎折又便于觀察內部的整個系統的運行情況。內部的垃圾桶采取多個小垃圾桶的形式進行放置,方便對不同類別的垃圾進行倒取。中間的舵機控制部分連接有一個可開閉的小暫存盒,便于將垃圾通過旋轉投入指定垃圾桶中,小暫存盒下端還搭載有紅外距離傳感器來監測下端垃圾桶是否滿載了。上層的投放口包含一個大的木質蓋板將整個下層進行密封,同時設立了一個投放口,方便人們投放垃圾,顯示屏也是搭載在上層投放口的板子上。

整個的機動部分由移動軸、舵機、垃圾暫存盒、支撐桿、連接器、投放板,這幾個部分構成,通過舵機帶動下面的垃圾暫存盒來實現水平面上的移動,當盒子到達指定位置時投放板通過另一舵機來打開角度,將垃圾倒入。圖2 為機動部分3D 示意圖。

圖2 智能垃圾桶機動部分3D 圖

由于還處于實驗室階段,暫時將控制裝置也都搭載在了整個的上層木板上。

2.2 電控部分

在最初的設想是用stc52 單片機來進行控制,但在后期的測試中其穩定性不夠,最終挑選了TI 公司生產的低功耗單片機MSP430F5529 作為主控,兼具節能和穩定兩大優勢。

在舵機的選型方面由于控制暫存盒開閉的舵機對角度的要求不是很高,90°就能達到要求,所以選用了15kg 的180°金屬舵機。而上層的控制投放至指定位置控制的舵機則選用了20kg 的360°轉角的金屬舵機。

由于這兩個器件都是大功率器件,有可能會損壞主控制板,所以還設計了一塊穩壓電路板來進行電壓的轉換,同時也有一定的隔離作用。通過AMS-ADJ 和AMS117 這兩款降壓芯片,在周圍布置電容,電阻進行濾波,調壓等可以實現電壓的穩定與電壓大小的轉換。如圖3 所示為穩壓電路板的PCB 電路模型圖,在使用過程中將所選用的9V 電源接入可分出5V,3.3V 和6.2V 的電壓來實現整體的不同供電需求。為了保護主控板,對于主控板采用單獨供電的方式并和穩壓板進行共地。

圖3 穩壓電路板PCB 圖

在監測垃圾桶是否滿時使用了紅外測距模塊,同時搭配一塊小的oled 顯示屏來顯示測量的距離信息方便調試與判斷,同時向外預留了與上位機交互的引腳,來接收指令將垃圾投入指定垃圾桶,在垃圾過滿時也可以將信息傳達到上位機進行下一步的操作。

2.3 圖像識別與交互部分

通過對于算力,速度和經濟上面的多方面考慮最終確定了英偉達公司的Jetson Nano 作為整個項目的上位機,在其上搭載攝像頭當有垃圾投入時對垃圾照片進行拍攝,然后通過網絡上傳至遠端的服務器進行識別,同時本機也對其進行識別,然后將兩者進行比較,并逐步優化本地的識別精度,然后將垃圾信息通過串口發送至下位機來實現垃圾投遞。上位機還與一塊液晶顯示器連接,可以動態播放垃圾分類的短視頻,同時在垃圾投入后顯示垃圾的種類。圖4 就是整個界面的實現結果顯示。

圖4 垃圾分類效果圖

圖像分類的深度學習實現及前端軟件分為圖像分類部分、用戶交互部分。用戶交互部分負責接收用戶的圖像并將結果展示給用戶,實現了一個web 服務,該服務將用戶的圖像上傳到阿里云OSS 上,以便后端服務器快速下載該圖像,減少用戶的等待時間,目前一個分類請求從圖像捕捉開始到完成約4300ms,耗時與客戶端上傳速度較強聯系,去除了上傳的圖片以外的平均請求時間約820ms,在體驗過程中不會有卡頓感,也體現了其模型識別的速度快。

對于深度模型的訓練我們采用較簡單的VGG16 模型,它的輸入層是224 的方形RGB 圖像輸入,由于分類的目標垃圾種類大約10 種,對VGG16 的全連接層做了修改,以便適應我們的訓練任務。在訓練過程中,發現這樣的訓練識別準確度不高,僅78%,經過對模型內部參數的多次調節,提高了訓練精度,實現了預期的效果,對瓶子、易拉罐等常見家庭垃圾有了區分能力。

3 結論

有效的垃圾分類,可以方便人們更加合理的使用這些垃圾。分類之前的垃圾要想著如何處理,分類過后便可以變廢為寶,實現循環利用帶來更多的經濟價值,同時減少環境污染,實現可持續發展。