基于深度學習的自主識別智能語音手杖設計

王巖，田會峰

（江蘇科技大學電氣與信息工程學院，江蘇張家港 215600）

設計的系統采用Raspberry Pi（樹莓派）作為主控制器，其小巧經濟，廣泛應用于嵌入式與物聯網領域。利用Raspberry Pi 自帶的CSI 接口（相機串行接口）驅動Pi Camera（樹莓派攝像頭）捕捉實時畫面，通過Frp（快速反向代理）內網穿透上傳至華為云服務器ECS，兩個USB 接口攝像頭則分別進行照片的拍攝與物體的檢測識別，照片將自動存儲于云存儲空間。語音交互綜合利用了百度智能云語音技術以及圖靈機器人。其余各功能模塊，如HC-SR04 模塊、MPU6050 模塊、GPS 模塊，經配置分別完成距離測量、狀態檢測、位置讀取。整個系統使用Button Switch 按鍵模塊作為控制開關。

1 硬件系統設計以及實現

1.1 系統總體設計

系統以Raspberry Pi 作為控制核心，硬件電路由ReSpeaker2-Mics Pi HAT 語音模塊、HC-SR04 模塊、MPU6050 模塊、GPS 定位模塊、Button Switch 按鍵模塊、USB 攝像頭、Pi Camera 以及擴音器組成，智能手杖總體硬件框圖如圖1 所示。

圖1 總體硬件框圖

1.2 系統功能分析

第一，系統能夠自動測量前方障礙物的距離，HC-SR04 模塊工作原理如圖2 所示。距離計算公式為：

圖2 HC-SR04模塊工作原理

式中，L為模塊與障礙物的距離，t2為返回信號接收時間，t1為發出信號時間[1]。一旦距離超過安全閾值，系統及時輸出語音警報，以便使用者迅速作出反應[2]；

第二，系統能夠傳輸攝像頭捕捉到的視頻流，并且將實時畫面共享至云服務器中，通過設置一定權限保證指定的第三方用戶能夠訪問此監視畫面；

第三，系統能夠在用戶與前方障礙物保持較大距離時滿足語音交互需求，用戶通過按動按鍵進行錄音后即可享受天氣預報、自由對話等多種服務；

第四，手杖能夠充當相機，可供使用者隨時隨地進行拍攝，只需按下按鍵，系統便自動將照片上傳至云存儲空間中；

第五，系統能夠對攝像頭捕捉畫面中的各物體進行檢測與識別，并給出各自的識別結果及準確率；

第六，系統可對使用者的人體姿態進行檢測，如若發現異常，可及時發出求救信息并保持發送狀態直至危險解除；

第七，系統定時采集GPS 模塊返回的經緯度數據，將其轉換為地理位置發送至指定接收方。

涂裝是現代產品制造工藝中的重要環節之一，它包括涂裝前對被涂物表面的處理、涂布工藝和干燥三個基本工序以及設計合理的涂層系統。傳統涂裝工藝中，在噴漆、烘干工段會產生大量的有機溶劑氣體，其主要成分是甲苯、二甲苯、苯等，這些有害物質外排不僅影響大氣環境，而且有火災和爆炸的環境風險。涂裝工藝產生的環境污染與涂料選擇、作業環境條件、質量及工藝管理各方面息息相關［1］。

1.3 系統硬件的選擇

由于系統所需實現的功能包括語音交互、按鍵拍照，因而，為滿足控制條件的需求，這里選用了兩個Button Switch 按鍵模塊。在距離測量方面，選用HC-SR04 超聲波測距模塊[3]。而對于狀態檢測，則選用MPU6050 陀螺儀模塊，通過設置加速度閾值以保證跌倒即時求救。由于該系統功能模塊較多，為避免I/O 口接線混亂，這里選用TTL 轉USB 模塊將GPS 模塊連接到Raspberry Pi 的USB 接口上。

除上述模塊選擇外，由于Raspberry Pi 沒有自帶的語音輸入通道，因而為滿足智能語音交互功能的需求，選用ReSpeaker2-Mics Pi HAT 語音模塊作為錄音載體。此外，為便于警報語音能夠有效反饋至用戶處[4]，這里選用了音量可調節的擴音器。系統I/O接線圖如圖3 所示。

圖3 I/O接線圖

2 系統軟件設計

2.1 控制流程設計

系統開啟后，Pi Camera 以及兩個USB 攝像頭獨立工作，分別完成物體檢測與識別及實時遠程監控任務，其余各功能模塊相互協調，在具體的控制策略下共同實現按鍵控制、智能語音交互、拍照存云、摔倒自動求救以及地址定時上報等。系統整體控制流程圖如圖4 所示。

圖4 系統整體控制流程圖

2.2 實時遠程監控

實時遠程監控涉及到的過程有Mjpg-streamer(視頻流編碼格式傳送程序)與Frp 反向代理軟件的安裝、ini 文件的編輯以及華為云服務器ECS 安全組的配置。安裝編譯Mjpg-streamer 的目的是在局域網內傳輸視頻流，實行小范圍內的畫面共享。而其余步驟的操作是為了在執行Frp 內網穿透指令后，Raspberry Pi 的IP 地址能夠順利搭載到公網IP 上，進而，在任一可供上網的設備中輸入相應網址便可隨時隨地查看遠程畫面。

2.3 語音交互

語音交互關系到語音文件及文本文件的互相轉換、機器人回復等過程[5]。前者主要依賴百度智能云語音技術，調用相應API 即可實現，后者則是依賴圖靈機器人對轉換后的文本作出答復，將其轉為mp3文件后便可通過mplayer 語音輸出至用戶處。

2.4 拍照存云

這里的拍照本質上是攝像頭畫面的截取，依靠的是Raspberry Pi 小程序fswebcam，以Button Switch模塊作為拍攝鍵。在此基礎上，調用七牛云存儲空間的API 接口即可實現照片自動存云。

2.5 地址上傳

定位功能依賴GPS 模塊以及minicom 串口通信工具，運行AT 指令并進行篩選，可從GPS 返回的大量數據中得到經緯度信息。調用百度開放平臺的AK 密鑰將此經緯度轉換成地理位置，開啟SMTP 協議后即可定時將其發送至指定郵箱。

3 物體檢測與識別實現策略

3.1 YoloV3算法訓練目標檢測模型

該系統選用的是COCO 數據集，COCO 數據集是一個大型的、豐富的物體檢測數據集，其擁有80個不同的物體類別，包含超過33萬張圖像。由于COCO 數據集是以json 格式存儲的，經過必要的轉換方可得到訓練模型所需的各種圖片以及txt 文件。利用labelimg軟件對選用的圖片進行標簽標注后可得到xml文件。

通過YoloV3 算法對上述文件進行訓練，經過一段時間可得到損失率最低的h5 權重模型，將此模型轉換成TensorFlow的pb模型即可在OpenCV中調用。

3.2 OpenCV圖像處理

該系統的物體檢測應用OpenCV 對圖像進行采集與預處理。圖像處理包括將RGB 圖像轉換為灰度圖像，然后將其二值化。處理步驟涉及將對象與背景和其他對象區分開，在此步驟中，使用了非常通用的圖像處理方法，即邊界檢測（Canny 算法）、閾值化以與背景隔離、高斯模糊以柔化細節、從彩色到黑白和二值圖像的轉換以及輪廓檢測。

其中，閾值化采用Otsu算法，使用一個閾值將像素劃分為兩類，其定義為每個群集的方差的加權和[6-7]，如式（2）：

式中，nB與no分別是閾值以下與之上的像素數，而δB與δo分別是它們的方差，T是閾值。這樣，對既有物體又有背景的圖像塊進行閾值化、二值化、填充孔洞等處理便可將每個物體很好地分割出來。

3.3 CNN(卷積神經網絡)基本原理

物體的識別模型采用的算法是卷積-神經網絡[8-9]，其依賴的是TensorFlow Lite 學習框架[10-11]。卷積神經網絡的神經元模型如圖5 所示。

其數學表達式為：

式中，x為輸入；w為權重；b為偏置值；f為激活函數。

卷積神經網絡主要包括輸入層、卷積層、池化層、全連接層、輸出層[12]。卷積和池化過程是為了更好地提取圖像特征。輸入層即輸入的原始圖像；卷積層一般使用一個正方形卷積核遍歷圖像上的每一個像素點，圖片與卷積核重合區域中的每一個像素值乘上卷積核內相對應點的權重，求和后再加上偏置即可得到輸出圖片中的一個像素值，如圖6 所示。

圖6 卷積過程

池化層的目的是進一步降低維度，通過聚合卷積層收集的值進行降維。它們遵循與卷積層相同的滑動窗口思想，但不是計算所有值，而是選擇其輸入的最大值或平均值，這分別稱為最大池化和平均池化。池化處理過程如圖7 所示。

圖7 池化處理過程

池化層得到的結果需要進行壓縮后送入全連接網絡，再使用神經元模型公式進行計算，即每個輸入值乘以不同的權重并加入偏置，激活后經過多次神經網絡連接，在訓練過程中舍棄一定的神經元節點，通過Softmax 函數回歸，即可得到輸出層。

4 系統功能測試

4.1 遠程監控測試

系統啟動后，使能攝像頭，在Linux 命令行中運行相應指令以啟用Mjpg-streamer[13]。確定Mjpgstreamer 有效運行的情況下，分別在ECS 云服務器終端以及系統命令行下輸入Frp 內網穿透命令，提示連接成功后實時視頻流即可源源不斷地傳送至公網服務器[14]。遠程監控實現流程圖如圖8 所示。

圖8 遠程監控實現流程圖

順利執行以上各流程后，在任一可上網的設備中輸入網址http://公網IP 地址:端口號port/javascript_simple.html，便可進行實時遠程監控[15]。經觀察，此頁面中的畫面延遲保持在1 s 以內，延遲時間隨云服務器ECS 的不同而發生微小變化。

4.2 物體檢測與識別測試

系統開啟后，首先確保tflite1-env 虛擬環境處于活動狀態，從/home/pi/tflite1 目錄中發出python3 TFLite_detection_webcam.py--modeldir=Sample_TFL ite_model 命令來指定識別模型并運行物體檢測識別代碼[16]。通過觀察，物體檢測識別畫面的傳輸速率為1 fps 左右，受制于Raspberry Pi 本身的性能約束，此幀數上下波動但變化幅值不大，一般隨后臺程序數量的減少而有所提升，總體而言，并不影響觀感。

4.3 系統總體調試

該系統在實際測試運行時，各功能模塊之間相互協調，在具體的控制策略下保持有效運作。系統能夠及時反饋距離預警，提供自由對話、天氣預報等功能，供使用者便捷管理拍攝的照片，保證跌倒后及時且持續地發送求救信息，在正常使用過程中地理位置也可按照設定定時上報。

此外，在遠程監控的第一次調試過程中，即使在確保Raspberry Pi 與云服務器ECS 成功連接的情況下，輸入網址后也不能夠訪問實時畫面。經查找，出現這個問題的原因是Raspberry Pi和云服務器ECS的設定時間不一致。該問題的解決方法是通過Python進行網絡爬蟲，請求一臺可以響應的服務器，利用其中的date 屬性獲取實際時間，再調用os.system()函數執行終端命令，強制設置Raspberry Pi 時間。為實際操作的方便，這里編寫了一個Shell 腳本，將此Python文件設為開機自啟，這樣就省去了每次開機后手動校準時間的麻煩。

5 結束語

該手杖的開發不但結合了現有智能手杖的優點，還充分調用了各種云服務器進行拓展與創新。受助于這些云計算技術，系統能夠提供拍照存云、實時遠程監控、GPS 定位以及語音交互等功能，這些功能能夠有效消除系統受環境限制的弊端。此外，該系統還提出利用TensorFlow Lite 學習框架以及各類算法進行物體的檢測與識別，進一步提高了系統對圖像的處理能力，有效擴展了應用場景。