基于FPGA的智能垃圾分類識別系統設計

陳歡，紀麗萍，秦懷宇

1.無錫科技職業學院，江蘇 無錫 214000；2.江蘇科技大學，江蘇 鎮江 212000

0 引言

分類垃圾桶是最為常見的垃圾分類裝置。普遍結構單一化，采用敞開式或手動密封式，衛生條件較差。而且，大多數人尤其是老年人對“垃圾分類”知之甚少，使得人們難以長期堅持垃圾分類的實施。因此，設計出一款基于語音識別的智能垃圾分類裝置是必要的，該裝置加入語音識別，方便人機語音交互，幫助用戶進行正確的垃圾投放。同時，FPGA的硬件功能十分強大，運行速度可以和專用芯片相比。使用語音識別模塊與FPGA硬件相結合，對系統識別率將有更大的提升[1]。

基于此，本文以現場可編程門陣列Cyclone II EP2C5T144和語音識別為核心，設計選題為基于FPGA的智能垃圾分類裝置。裝置功能的實現過程如下：當用戶在投放垃圾時，通過語音指令喚醒并說出垃圾的名稱，語音識別系統會根據該語音信號對垃圾進行分類。顯示屏將顯示垃圾名稱和垃圾類型的拼音、對應種類的LED指示燈閃爍并實時語音播報垃圾種類。操作簡單方便，適用于各個年齡段，特別是中老年人，有效地解決了用戶因分類意識薄弱而不能正確投放垃圾帶來的困擾。

下面回顧語音識別與智能垃圾桶的國內外研究成果。

語音識別是實現人機語音交互等智能應用產品的核心技術。通過接收和執行設備發出的指令，LCD顯示屏、LED指示燈和MP3語音廣播可以輸出相應的視覺或聽覺信息。近年來，因為深度神經網絡（Deep Neural Network，DNN）的出現、系統大數據的應用與網絡云計算的運行，語音識別技術過渡到一個新的階段，并逐漸在市場上走向實用。

由AT&T Bell實驗室開始自動語音識別技術的研究，第一次成功地識別出10個孤立的英文數字。

60年代，隨著計算機和數字處理器的出現，語音識別技術的研究得到了進一步的提升。同時期，語音識別通過簡單的模板匹配，發展了動態規劃（DP）與線性預測（LP）這兩項重要技術。70年代，研究人員對60年代的線性預測技術（LP）進行改進，從而推出線性預測的編碼技術（LPC）以及動態時間的規整技術（DTW），這兩個技術分別解決了信號的特征參數提取和時間長度不相同而不能匹配的難題，使得特定人、孤立詞的語音識別成為可能。80年代初期，矢量量化技術（VQ）被提出，用于壓縮語音信號信息，以減少識別時間、降低實現復雜度；中期，發展了混合高斯-隱馬爾可夫模型（GMMHMM），語音識別方法由60年代的簡單模板匹配轉變為概率統計模型；后期，人工神經網絡（ANN）開始應用，但語音識別的整體效果不如中期提出的GMM-HMM模型。90年代，提出的MFCC在魯棒性、識別速度和精度上體現了優異的性能，為語音模型的優化和設計做出了巨大的貢獻。該時期，發布Via Voice的IBM、Whisper 的微軟和Voice Tone的Dragon等公司將語音識別推廣到日常生活中。

由于GMM-HMM模型在語音識別中的整體性能與實用化水平相差懸殊，此后將近10年的時間，語音識別技術陷入瓶頸期，發展速度緩慢。直到2006年，由Hinton提議出的深度置信網絡（DBN），改進了深度的神經網絡（DNN）。2009年，Hinton及Mohamed D在語音識別模型中進行DBN應用的實驗，最終可以識別出詞匯量較少的連續詞。2011年，DNN能夠允許識別連續詞、大詞匯量。同時期，Apple Inc. 推出了具有語音識別功能的iPhone 4S系列，得到了公眾的廣泛認可。

此后，傳統的GMM-HMM模型被基于深度（DNN）、循環（RNN）、卷積（CNN）的神經網絡和端到端技術的模型取代[8-10]。與GMM-HMM模型相比較而言，DNN模型提高了連續詞語音識別的整體性能；RNN模型通過反饋記憶有效信息，優化了DNN模型；CNN模型又是RNN模型的一個改進版本，它能有效地抑制信號中的各種噪聲，具有更強的魯棒性能。隨著語音識別技術的日益興盛和完備，它已逐漸進入市場并走向實用化。

1980年之前，是國內少數科研機構對語音識別的探索時期，語音識別技術的發展相對緩慢。但隨著1987年863 計劃的實施和人工智能體系的應用，我國語音識別技術的研究進入了一個快速發展的軌道。2002年，中國科學院研發的Pattek-ASR成功地識別出漢語語音，具有良好的識別效果。2008年，科大訊飛公司推出了可以應用在多種產品中的多功能識別系統Aitalk2.0，支持多種語音信號的智能控制。2010年，谷歌發布了搜索引擎，首次增加了語音搜索功能；此后，百度、搜狗、科大訊飛等國內企業紛紛推出基于語音識別的智能產品。2013 年之后，國內語音芯片開始快速發展。

雖然我國語音識別技術的發展趨勢較好，但由于市場上的語音識別產品對識別速度和精度的要求不斷提升，而大量涉及語音識別技術的產品僅通過軟件優化的方式不能滿足上述的要求。因此，迫切需要設計出適合硬件的更加高效的數據處理算法。

美國的Clean Robotics研發的Trash Bot原型機，具有垃圾分類投放、自動填滿垃圾的功能，解決了用戶由于缺乏垃圾分類意識而無法正確投放垃圾的問題。芬蘭Enevo初創公司設計的首款Enevo One Collect，具有實時監控垃圾桶異常、優化垃圾回收路線的功能，有助于降低環衛機構的運營成本，改善城市的運營效率。法國Uze公司開發的Eugene，具有垃圾分類功能，主要通過掃描儀確定待丟垃圾所屬的垃圾種類。波蘭Bin-E公司研制的新型人工智能垃圾桶，具有垃圾智能識別、垃圾信息及時更新與反饋的功能，并對用戶消費習慣數據進行了一定程度的分析。美國Big Belly Solar公司發明的“大胃王”垃圾桶，具有壓縮垃圾、優化回收路線等功能，有效節約一定的人力物力資源，保證了城市環境的衛生。悉尼大學留學生設計的Tetra Bin垃圾桶，通過“游戲”的形式實現了多種功能，不僅給群眾提供了一定的幫助還有利于環境的改善。

智能垃圾桶在我國已經逐步發展，并取得了一定的經濟和社會成效，但仍然存有大量的實際問題需要解決，如資源緊缺、衛生差勁、空氣污染等。因此，本系統實現的低成本、高效能的智能垃圾分類裝置具有一定的實用價值與研究價值。

1 系統總體設計

本裝置基于語音識別技術和FPGA硬件知識，選用芯片型號為EP2C5T的ALTERA FPGA開發板、LD3320語音識別模塊、串口MP3語音播報模塊、LM393紅外感應模塊以及LCD1602顯示模塊，實現一種基于FPGA的智能垃圾分類裝置。這款智能垃圾分類裝置適用于各種場合和不同人群，即使不知道垃圾的種類也不會把垃圾扔錯。這方便工作人員對垃圾進行分類處理，也解決了垃圾來源的分類問題。總體設計框圖如圖1所示。

圖1 系統總體設計框圖

下面介紹語音識別系統的基本理論、基本原理和組成部分，闡述語音信號系統的具體實現過程：數字化與預處理、特征參數提取、聲學模型和語音模型的建立、解碼。

（1）預處理模塊，主要用來濾除各種噪聲，從而保留原始語音數據信號中的有效信息。

（2）特征提取模塊，若采用最適合系統的特征參數，即可以高效地提取出具備關鍵特征的語音信號。

（3）聲學模型訓練，用于匹配原始語音數據信號的特征參數，從而得到匹配度最高的語音特征信號。

（4）語言模型訓練，主要用來判斷模板匹配中哪些詞更容易出現，從而可以排除匹配過程中一些不可能出現的詞。其縮小了搜索范圍且提高了識別率。

（5）解碼模塊，通過采用相匹配的搜索算法，從而可以得出識別結果。

對原始語音數據信號進行數字化和預處理操作，可以使得系統識別效果更加高效。數字化過程包括預濾波、采樣、模數變換；預處理過程包括中值濾波與歸一化、預加重、加窗與分幀、端點檢測。由于采集的原始語音數據信號通常是模擬信號，采用數字化和預處理操作可以將模擬信號轉換成更適合計算的數字信號。同時，抑制各種干擾噪聲對語音信號的影響，便于信號的后續處理，提高語音識別系統整體性能。

（1）預濾波。在一般的原始語音信號處理時，由采樣定理，選取8～16KHz的采樣頻率。原始語音信號在進行采樣之前，應先進行預濾波操作，預濾波相當于帶通濾波器。

（2）采樣。在進行預濾波操作后，選取適當的采樣頻率進行采樣。由奈奎斯特采樣定理可知，若模擬語音信號的頻譜帶寬是低于fm的帶寬，則取樣選擇等于或高于2fm的帶寬，從而能夠從等距離的離散時間中恢復出原始語音信號。

（3）模數轉換。經過采樣后的語音數據信號，再通過模數轉換器將模擬語音信號變換成數字語音信號，即完成模擬信號到數字信號的過渡，從而使得處理后的語音信號在時間和幅度上都離散。

2 系統硬件設計

2.1 語音識別模塊

LD3320語音識別模塊集成了語音數據信號識別的處理器以及一些外圍電路，主要包含了模數/數模轉換器、麥克風語音輸入接口以及語音輸出接口等。首先，該語音模塊不需要任何外部的輔助模塊，即能夠直接嵌入到產品中使用，從而實現語音識別、語音控制、人機對話等功能；其次，LD3320模塊的使用相對簡單，用戶不需要深入了解語音識別的原理，通過I^2C通信，即可以完成語音信號識別。最后，在LD3320語音識別模塊中，內部含有高精度、高速度的識別性能和完整的識別數據庫[2-4]。

用戶使用I^2C通信，將關鍵詞編碼成字符串，傳輸給LD3320語音識別芯片，下次識別時則立即生效。該模塊有三種主要的使用模式。用戶可以使用編碼定義三種不同的工作模式，如下所示。

（1）按鍵檢測模式：系統主控MCU接收到外部觸發信號后，在芯片上啟動時序識別過程。這時，用戶需要說出在一定時間段內要識別的關鍵詞。此過程完成后，用戶需要再次觸發以重新啟動標識過程。

（2）循環檢測模式：系統主控MCU循環啟動自動語音識別過程。若沒有發出聲音，則沒有識別結果。每個進程的識別時間是固定的，超過識別的時間，則開始新的識別過程；如果得到識別結果，那么再根據識別的結果進行處理。

（3）口令檢測模式：口令模式需要一個關鍵詞來喚醒，喚醒后可以識別。默認的喚醒關鍵字是第一句話。識別出來后，如果想再次識別，仍需把裝置喚醒，類似小潔。

LD3320語音識別模塊的主要特點有如下三個。

（1）LD3320模塊識別精度高，語音識別效果實用化。該模塊無需錄音即可完成與說話人無關的語音識別命令，用戶只需使用同一種語言進行識別，識別效率大大提高，最高可達95%。

（2）LD3320模塊可動態識別關鍵詞，自由編輯50個關鍵詞。在該模塊的設計中，用戶可以根據實際情況選擇多種可能，比如定義50個識別語句作為語音數據命令的候選語音信號，以此提升系統的整體識別性能。

（3）LD3320模塊具備高精度A/D和D/A通道；不僅能夠支持串行和并行接口，還可以設置為休眠狀態，以便于后續激活。

LD3320語音識別模塊除了方便與主控芯片通信外，內部還集成了優化后的孤立詞語音識別算法。用戶可以方便地將LD3320模塊嵌入到產品中，達到語音交互的目的。其原理圖如圖2所示。

圖2 LD3320模塊原理圖

2.2 語音顯示模塊

語音顯示包括LCD1602顯示屏和LED指示燈顯示。LCD1602模塊可以提供各種控制命令，例如清除屏幕、字符閃爍、光標閃爍、顯示移位等其他功能。具有畫質高、畫面效果清晰、功率低等優點，應用范圍廣泛。

2.3 語音播報與檢測模塊

MP3-FLASH-16P串口語音模塊，采用SPI通信方式。其通過簡單的串口指令，無需繁瑣的底層操作，即能夠播放指定的語音。MP3_FLASH_16P可以作為播放器使用。首先，當用戶說出垃圾的名稱時，LD3320模塊能夠識別到語音信號指令。其次，通過串口向MP3模塊發送一系列指令，MP3模塊接收到相應指令后，即可播放相應的垃圾類型。該模塊無需繁瑣的底層操作、使用方便且穩定可靠。

紅外感應模塊是基于紅外技術的自動控制模塊。當遇到障礙物時，紅外信號被接收管反射接收，接收管通過傳感器接口返回FPGA，智能垃圾分類裝置可以利用返回信號判斷垃圾是否滿了。在正常情況下，人體可以發出約10nm的波長。當用戶進入感應范圍時，智能垃圾分類裝置將電平變化信號發送給FPGA，然后通過語音模塊廣播垃圾已滿。其具有干擾小、使用方便、靈敏度高、功耗低等優點。本文使用LM393紅外感應模塊，其輸出可以直接連接FPGA的IO口，電路簡單、信號處理速度快且抗干擾能力強。當接通電源后，發射管發出一定頻率的紅外線。用戶觸碰紅外管時，接收管接收到紅外反射信號，MP3模塊則實時播報“垃圾已滿”。

3 系統軟件設計

本系統裝置通電后，各模塊初始化，具體實現工作如下。

（1）LCD顯示屏初始化，裝置顯示“la ji fen lei ti xing xi tong”的主界面。

（2）串口MP3模塊實時播報“歡迎使用垃圾分類提醒系統，請呼喚小潔后，說出你要放置的垃圾名稱”。

（3）呼喚小潔后，用戶說出垃圾名稱，垃圾分類裝置開始識別，識別結果以三方面提醒用戶：LCD1602顯示垃圾名稱和類型的漢語拼音或中文字符、識別垃圾種類對應的LED燈亮、MP3_FLASH_16P語音模塊實時播報垃圾名稱對應的垃圾種類。

（4）未識別或識別時間超過15s時，自動返回垃圾分類裝置主界面。

（5）當垃圾處于異常模式時，觸碰紅外極管，串口MP3模塊語音播報“垃圾已滿”，裝置顯示在主界面。開串口即可自動解析返回數據。

系統軟件流程圖如圖3所示。

圖3 系統軟件流程圖

4 系統實現

系統設計與系統測試兩者是相輔相成的，在完成系統軟硬件的設計后，本節主要對預期實現的功能逐一進行測試。

寫入語音模型的具體流程如下。

（1）在PC機上預先訓練預識別詞匯模型。本系統針對現有的四大垃圾類別：可回收垃圾、廚余垃圾、有害垃圾和其他垃圾，對其分別選取6個詞進行訓練，即共設置24個識別詞。識別詞以各種垃圾名稱的漢語拼音或中文顯示，如yi la guan（易拉罐）、su liao ping（塑料瓶）等。

（2）對訓練好的模型進行編號，生成C語言的頭文件進行程序調用。在程序中，用漢語拼音串或中文字符寫入每個詞匯和垃圾類別。

（3）系統將識別出的垃圾和所屬垃圾種類的漢語拼音或中文字符顯示在液晶屏上。

裝置上電后，各個模塊開始初始化。LCD1602顯示屏顯示主界面“la ji fen lei ti xing xi tong”，串口MP3語音播報模塊實時播報“歡迎使用垃圾分類提醒系統，請呼喚小潔后，說出你要放置的垃圾名稱”。裝置主界面顯示如圖4所示。

圖4 裝置主界面

本系統識別四大種類垃圾，每種垃圾識別6個對應的垃圾名稱，統計24個垃圾名稱。這里顯示每種垃圾對應的1個垃圾名稱。垃圾名稱識別時，LCD1602顯示屏顯示垃圾名稱和垃圾種類的漢語拼音或中文字符；垃圾名稱對應垃圾種類的LED指示燈會亮起；串口MP3語音播報模塊實時播報所丟垃圾的垃圾種類。垃圾分類裝置的中文字符識別界面如圖5所示。

圖5 裝置中文字符識別顯示圖

5 結語

設計了基于FPGA的智能垃圾分類識別系統，可滿足測試及顯示要求，人機交互友好，整體識別率高、識別速度快。