基于視覺識別和人機交互的智能垃圾分類裝置

吳國雄

（武漢工程大學，湖北 武漢 430000）

近年來，生活中的垃圾產(chǎn)生量呈現(xiàn)大幅增長的態(tài)勢。根據(jù)中國城市環(huán)境衛(wèi)生協(xié)會統(tǒng)計，我國每年產(chǎn)生近10億噸垃圾，產(chǎn)生垃圾總量排行位于世界前列。此外，隨著我國城鎮(zhèn)化進程的加快以及人民生活水平的提高，城市生活垃圾保持著8%~10%的年增長率，全國2/3以上的城市深陷“垃圾圍城”困境。垃圾分類回收被普遍認為是解決困境、提高資源化利用效率的關鍵環(huán)節(jié)[1]，但由于日常生活中存在垃圾分類管理工作落后、信息化推廣程度較低、普及性水平較差等問題[2-3]，傳統(tǒng)的垃圾桶并不能引導人們進行正確分類。針對上述問題，筆者設計出一種垃圾分類裝置，可通過機器視覺對投入的垃圾進行自主分類，并將分類結果顯示在屏幕上反饋給用戶，將垃圾分類變得簡單，從而推動政策的施行和垃圾分類知識的普及。

1 結構設計

根據(jù)擬設計的現(xiàn)實場景，筆者設計出一種新型垃圾分類機構，分類機構主要由垃圾暫存機構、斜坡機構、抽拉式底桶三個部分組成，其整體視圖和分類流程如圖1所示。

圖1 整體視圖與分類流程

1.1 垃圾暫存機構

垃圾暫存機構主要由LED環(huán)形光源、側板、曲形斜槽、連桿機構、舵機搭建而成，用于垃圾投入后的暫時儲存并提供視覺識別的空間。

側板由四塊白色磨砂亞克力板通過角鐵連接，曲形斜槽由兩塊3D打印件組成，作為暫存機構的底板，并通過合頁與側板連接，形成半封閉式空間。磨砂亞克力板的半透光性配合LED環(huán)形光源能形成整體均勻的光線，為攝像頭提供良好視覺識別環(huán)境，避免環(huán)境光線過暗或光影雜亂給分類帶來負面影響，提高識別精度。兩塊打印件閉合狀態(tài)呈120°夾角，閉合處形成曲形槽，當易拉罐、電池、塑料瓶等圓柱形垃圾投入暫存機構時，由于曲形斜槽的結構特殊性，這些垃圾均能在底板上以相同姿態(tài)呈現(xiàn)在攝像頭下。因此，在制作這些垃圾的數(shù)據(jù)集時，可以減小非必要圖片的數(shù)量，降低數(shù)據(jù)集的復雜性，提高分類模型精度的同時加快其訓練速度。

在識別完成之后，兩側舵機操控連桿機構將兩塊曲形槽板打開，使得垃圾自由下落，進行下一個分類步驟。

1.2 斜坡機構

斜坡機構主要由斜坡、餐盤軸承、電機支承板、步進電機、法蘭聯(lián)軸器組成，通過步進電機帶動斜坡轉動控制垃圾下落后的滾動方向，以此完成分類。

斜坡由四塊環(huán)氧板搭建而成，其中包含一塊傾斜度為35°的斜板、兩塊護欄板和一塊底板，斜板用于垃圾的順利滾落，護欄板防止垃圾從側面掉落，底板負責與步進電機和餐盤軸承連接。

原動機采用2.3 N·m的大扭矩步進電機，通過支承板固定于暫存機構的正下方，電機軸上套有法蘭聯(lián)軸器，用于和餐盤軸承內(nèi)圈以及斜坡底板連接，餐盤軸承的外圈通過銅柱與電機支承板固連。在餐盤軸承的作用下，斜坡的豎直方向受力分散給了四個支撐銅柱，避免重物下落時導致斜坡傾斜。

1.3 抽拉式底桶

為了便于進行垃圾袋的更換，筆者采用抽拉式底桶的設計，通過導軌和牛眼輪將內(nèi)筒從外殼兩邊抽出，簡化換袋操作。抽拉式底桶的組成有垃圾桶、抽屜導軌、鋁型材、側板、牛眼輪。當垃圾溢滿后，可以將垃圾桶抽出進行換袋。

2 功能實現(xiàn)

根據(jù)分類裝置的功能需求，筆者將控制端分為上行視覺開發(fā)板和下行執(zhí)行開發(fā)板兩個主要部分，并選用Kendryte K210和STM32F103分別作為上行開發(fā)板和下行開發(fā)板的主控芯片。Kendryte K210實現(xiàn)基于卷積神經(jīng)網(wǎng)絡的圖像分類任務，STM32F103負責進行分類動作的執(zhí)行和滿載報警。

2.1 視覺分類

上行開發(fā)板通過OV5640攝像頭采集圖片、K210芯片調(diào)用kmodel模型和Maixpy視覺代碼來實現(xiàn)垃圾的視覺分類。K210芯片架構包含了一個自研的神經(jīng)網(wǎng)絡硬件加速器KPU，KPU算力能夠達到0.8TFLOPS，可以高性能地進行卷積神經(jīng)網(wǎng)絡運算，實現(xiàn)基于卷積神經(jīng)網(wǎng)絡的圖像分類任務[4]。kmodel屬于yolov3目標檢測算法生成的模型，yolov3以darknet-53為骨干網(wǎng)絡，整個結構里面只有殘差模塊，沒有池化層和全連接層，yolov3應用殘留跳過連接來解決深度網(wǎng)絡的梯度消失問題，并使用上采樣和級聯(lián)方法保留細粒度的特征以用于小物體檢測，每個卷積層后面都接一個批次歸一化層和一個Leaky Relu激活層，并引入Res Net殘差模塊以解決網(wǎng)絡深度加深時所出現(xiàn)的訓練退化問題[5]。對于kmodel模型的生成，本文采用Mx-yolov3本地訓練平臺對垃圾圖片數(shù)據(jù)集進行訓練，將訓練生成的tflite模型通過nnc轉換器轉換為kmodel格式并導入SD卡，K210芯片調(diào)用SD卡中的模型，使用自帶的神經(jīng)網(wǎng)路加速器KPU對攝像頭采集的垃圾圖像進行卷積神經(jīng)網(wǎng)絡計算，完成圖像分類并將分類結果傳遞給下行開發(fā)板。

2.2 視覺分類結果傳遞

下行開發(fā)板與上行開發(fā)板通過各自的ESP8266 WIFI模塊建立通信傳輸視覺識別的分類結果。ESP8266芯片是一款串口轉無線模芯片，內(nèi)部自帶固件，采用串口（LVTTL）與站點主控MCU進行通信，通過內(nèi)置的TCP/IP協(xié)議棧實現(xiàn)串口與WIFI之間的轉換，只需要簡單的串口配置即可通過網(wǎng)絡傳輸數(shù)據(jù)，無需編寫時序信號[6]。上行開發(fā)板作為主站，WIFI模塊設置為COM-WIFI AP模式，作為無線WIFI熱點，建立局域網(wǎng)，允許從站W(wǎng)IFI設備連接，子模式設置為TCP服務器端，生成IP地址。下行開發(fā)板作為從站，WIFI模塊設置為COM-WIFI STA模式，子模式設置為TCP客戶端，通過輸入主站的IP地址，加入主站局域網(wǎng)，實現(xiàn)主從站之間的無線數(shù)據(jù)透傳。下行開發(fā)板根據(jù)建立的上行下行通訊協(xié)議，獲取視覺識別的分類結果，根據(jù)分類結果執(zhí)行分類動作。

2.3 分類動作執(zhí)行

當下行開發(fā)板接收到分類信息之后，開始由STM32F103芯片控制執(zhí)行分類動作。STM32芯片具有較強的運算能力，系統(tǒng)最大時鐘頻率可達到72 MHz[7]，具有多路時鐘通道可供使用。STM32F103芯片通過引腳輸出PWM波和脈沖信號控制兩路舵機和一路步進電機執(zhí)行分類動作，舵機開合暫存機構的底板控制垃圾下落，步進電機帶動斜坡機構轉動，使下落的垃圾滾進對應桶中完成分類。

2.4 垃圾桶驗滿

筆者選用VL53L1激光測距儀測距驗滿。VL53L1具有4 cm到400 cm的測量距離，并且具有可通過一個串口訪問多個傳感器的特點，達到占用最小板載資源，實現(xiàn)多個傳感器數(shù)據(jù)的同時讀取。通過傳感器數(shù)據(jù)值循環(huán)檢測，當任一讀取數(shù)據(jù)值超過設定值，觸發(fā)顯示屏溢滿報警。待更換垃圾袋后，測距儀所測距離小于設定值，清除顯示屏溢滿報警。

2.5 人機交互屏幕

人機交互屏幕采用大彩公司的工業(yè)級串口顯示終端，該終端采用32位400MSOC處理器，內(nèi)部集成了SDR顯存、JPEG圖片解碼等功能。分類裝置利用該終端配套的上位機VisualTFT建立工程進行界面排版和控件配置，上位機對工程的每一個頁面、圖片、控件分配唯一的ID號，下行板將垃圾分類信息和溢滿情況以規(guī)定數(shù)據(jù)幀的形式通過串口發(fā)送給屏幕，屏幕對每一幀數(shù)據(jù)進行解析并在相應控件上執(zhí)行操作，將垃圾分類信息和溢滿狀況實時反饋給用戶，實現(xiàn)人機交互。

3 總結

筆者提出一種基于視覺識別和人機交互的智能垃圾分類裝置，將智能化設備帶入到新政策的施行中，加快垃圾分類知識的普及，提高民眾進行垃圾分類的效率，降低清潔人員的工作量和工作難度，真正地將創(chuàng)新與科技融入到垃圾回收處理中，對提高資源利用效率、改善環(huán)境問題和解決能源危機有一定的科學指導意義。