基于機器視覺的智能送餐小車設計

顏琳諭，姚玲英，張曉熳，王曉琳

（廣州市廣東第二師范學院，廣東廣州，510300）

0 引言

隨著社會經濟的發展，雙職工家庭在不斷增多，人們渴望追求更加美好的生活，外出就餐的需求也越來越大。傳統餐飲行業依靠純人工點菜、記賬與送餐，存在記錄修改不便、成本高、利潤低等劣勢，已經逐步退出市場，取而代之的是手機掃碼點餐的普及，掃碼點餐雖節省了點餐的流程，但仍需要人力送餐。此外，三年疫情警示人們，日常生活中應該盡量減少不必要的接觸，這也促使了智能送餐小車逐步走入人們的視野。無接觸式智能送餐小車不但節省了人力成本，減少了人員之間的接觸，為顧客提供了更加安全、便捷的服務，幫助企業節約了成本，而且，相比人工送餐服務更能得到人們的青睞，有效提高了企業的競爭力，需求量也在逐步增加，市場前景廣闊。

1 系統總體設計方案

■1.1 系統總體模塊

智能送餐小車的硬件系統主要是由STM32F103ZET6芯片、Open MV4plus 智能攝像頭、矩陣鍵盤、OLED 液晶顯示模塊、ESP8266 無線收發模塊、五路循跡傳感器、紅外模塊、超聲波模塊、語音播報模塊、霧化器消毒模塊、L298N 直流電機驅動模塊以及3W/4R 喇叭等組成，系統總體設計模塊框圖如圖1 所示。

圖1 系統總體設計模塊框圖

■1.2 系統功能概述

智能小車系統以STM32F103ZET6 為核心，通過ESP8266 無線收發模塊搭建無線網絡，并設計APP 與無線網絡相互配合。顧客連接無線網絡登錄APP 進行線上下單，送餐小車接收到顧客的下單信息后在OLED 顯示端顯示，實現控制端到小車間的遠程信息交互。將餐品放入放餐臺后按下對應的按鍵，送餐開始。小車以Open MV 作為視覺系統核心，采用卷積神經網絡對數字和字母進行模型訓練，將訓練模型導入Open MV，調用內部神經網絡庫進行識別，配合紅外和超聲波等多種模塊，設計了線上點餐、巡線避障、定點送餐、語音播報、自動消毒等功能，實現無接觸式智能送餐。

2 系統硬件電路設計

■2.1 總控制器STM32F103ZET6

系統采用STM32F103ZET6 作為主控芯片，實現對整個智能送餐小車的運行管理。

■2.2 巡線避障電路設計

紅外循跡采用的模塊是TCRT5000L 紅外線反射式光電開關板，這是專門設計用作復雜黑白線、交叉黑白線檢測的傳感器，因此在小車送餐的過程中主要使用5 路巡線傳感器進行巡線。避障電路采用超聲波傳感器HC-SR04，它的最大射程為4m，最小射程為2cm，測距精度可達3mm。程序開始時，先開啟超聲波模塊的外設時鐘，通過單片機I/O 控制啟動超聲波模塊發送頻率為40kHz 的方波并接收到高電平，記錄總時間再通過公式計算出障礙物的距離[1]。在巡線過程中一旦檢測到障礙物在系統設定的60cm 范圍內時，就執行停止巡線指令，并進行語音播報行人避開，從而實現巡線避障的功能。五路巡線電路原理圖如圖2 所示，超聲波避障電路原理圖如圖3 所示。

圖2 五路巡線電路原理圖

圖3 超聲波避障電路原理圖

■2.3 直流電機驅動電路設計

電機的驅動芯片是雙L298N，L298N 是一款高電壓、大電流輸出的電機驅動芯片，其驅動電壓可以在6V～36V 內正常工作，單個L298N 輸出電流能力可達2A，芯片內部集成了雙H 橋電路結構[2]，能使單片機方便操控所輸入的TTL 電平，滿足了小車電機運行所需要的驅動要求。在設計電路中，通過改變連接單片機IO 口控制電機兩個端子的高低電平，來切換電機正、反轉及停止，通過調節PWM 脈寬調制波的占空比來控制小車行進的速度，脈寬調制的頻率范圍保持在0～40kHz 以內，從而實現小車的運動控制。L298N 電路原理圖如圖4 所示。

圖4 L298N 電路原理圖

■2.4 無線網絡電路設計

ESP8266 是一款超低功耗的UART-WiFi 透傳模塊，作為高度集成的WiFi SoC[2]解決方案，具有功耗低、穩定性高的優勢。其CPU 時鐘速度在80MHz～160MHz 之間，支持實時操作系統，廣泛應用于各種移動設備和物聯網中。

智能小車上搭載的ESP8266 模塊充當網絡通信中的網絡服務器端，手機充當網絡客戶端，ESP8266 和單片機兩者之間直接通過串口交互，網絡客戶端給ESP8266 模塊發送相應AT 指令就能間接控制STM32F103ZET6 單片機外圍器件。ESP8266 電路原理圖如圖5 所示。

圖5 ESP8266 電路原理圖

■2.5 視覺識別系統電路設計

視覺識別系統由攝像頭模塊和云臺共同搭建完成。攝像頭模塊使用的是Open MV4 H7 Plus，它是一款開源、小巧、低功耗、功能強大的機器視覺模塊，以STM32H743 處理器為核心，集成了OV7725 攝像頭芯片[4]，模塊上的Python編程接口方便使用者開發更多功能。而云臺的模型可根據智能送餐小車的高度和觀測傾斜度設計，再3D 打印成型。將它們組合并搭建在小車的前面，云臺用來架高Open MV 并固定傾斜角度，Open MV 主要是用來在巡線過程中識別數字和字母，從而完成視覺識別系統的電路設計。Open MV電路接口圖如圖6 所示。

圖6 Open MV 電路接口圖

■2.6 語音播報電路設計

JQ8900-16P 語音播報模塊的工作電壓在3.3～5.5V之間，滿足單片機IO 對硬件的供電要求，還能夠靈活地更換SPI-flash 內的語音內容。在電路設計中先將需要播報的語音轉換成MP3文件，再把它們儲存在SPIFLASH 中，該語音播報模塊有三種控制模式，分別是多種控制模式、兩線串口控制模式、一線串口控制模式，智能送餐小車使用的是最簡單的一線串口控制模式。這種模式是SDA 為數據發送端口，先發送低位，再發送需要播報的語音地址，簡單易控制，在送餐過程中便于播報各種情況和提醒顧客取餐。JQ8900-16P 電路原理圖如圖7 所示。

圖7 JQ8900-16P 電路原理圖

■2.7 顯示電路設計

0.96 寸的4 針OLED顯示屏小巧精致、用軟件模擬I2C 接口的操作方式極為便利、顯示可以多樣化。在智能送餐小車的顯示電路設計中，OLED 屏不僅顯示餐位號，還顯示語音播報的內容。選用4×4矩陣鍵盤搭配OLED 屏實現餐位號的顯示，矩陣鍵盤可以減小單片機IO 口的使用，有效提高單片機系統中I/O口的利用率，按下按鍵后單片機對其進行行列掃描，從而確定按鍵值并顯示在OLED 屏中。顯示電路原理圖如圖8 所示。

圖8 顯示電路原理圖

■2.8 消毒電路設計

利用USB 霧化器進行消毒，用杜邦線將霧化器正負極與芯片的引腳相連接，便于單片機直接控制開關。小車在顧客取餐后接收指令，啟動霧化器噴出消毒液對放餐臺進行消毒，延時5s 后關閉霧化器，實現自動消毒功能。USB 霧化器電路原理圖如圖9所示。

圖9 USB 霧化器電路原理圖

3 系統軟件設計

■3.1 點餐程序設計

點餐程序由ESP8266 無線收發模塊、矩陣鍵盤、OLED 屏幕和手機APP 共同完成的。首先通過串口對ESP8266 模塊進行使用模式配置，再與單片機的串口引腳相連接，相當于將ESP8266 作為單片機和手機通訊的橋梁，而手機APP 在MIT APP Inventor 中制作，點餐界面如圖10 所示。開啟送餐模式時，OLED 屏幕上會顯示顧客下單的餐位號，在矩陣鍵盤上按下相應的數字，小車自動執行送餐指令。

圖10 手機APP 控制界面

■3.2 視覺識別程序設計

小車使用最新的機器視覺模塊Open MV 來做數字自動識別[4]，實現了一個完全自動化的識別控制管理。在智能送餐小車的設計中可以根據特定視覺特征的需要，運用Python 設計合理的算法，進而得到穩定可靠的輸出，再配合單片機交互，有機統一地完成對應數字和字母的識別，相當于給Open MV 提供機器視覺的功能，指引小車完成送餐任務。

送餐過程中，Open MV是處于數字識別和字母識別的狀態中，此時Open MV 進入GRAYSCALE灰度模式，識別地面左右的數字和字母并發送給單片機。當識別出的指定字母時進入轉彎程序，之后識別數字。當識別到的數字與指定餐位號相同時，則執行語音播報取餐指令，提醒顧客取餐，否則繼續前進。小車送餐流程圖如圖11 所示。

圖11 小車送餐流程圖

4 系統功能測試

■4.1 點餐功能測試

點餐功能測試主要由測試者連接局域網登錄手機APP，然后隨機挑選一桌進行點餐。點餐后無線模塊能接收到下單信號并反饋，OLED 屏可以正確顯示訂餐信息以及餐位號，再將餐品放入餐臺，隨后在矩陣鍵盤按下對應的數值，小車順利進入送餐程序。測試過程中監測到局域網絡的最大范圍是10m，在10m 內顧客連接無線網絡成功后可迅速進入手機APP，網絡穩定，手機APP 內容清晰明了，OLED 屏顯示點餐信息無誤，按鍵功能正常，智能送餐小車的點餐功能符合預期測試結果。

■4.2 送餐功能測試

進行測試時，選擇位于設計圖紙上第二個十字路口左邊盡頭的D4 號餐桌，并在小車的行進路線上放置障礙物。小車在巡線過程中離障礙物60cm 處原地停止并播報語音提醒，拿走障礙物后小車繼續巡線來到第二個十字路口，Open MV 識別D 字母并進行右轉彎，直行至餐桌前識別數字，識別成功后播報語音提醒顧客取餐。在顧客取餐后播報“開啟消毒模式”的語音，然后開啟霧化器，噴出消毒液，5s 后結束消毒模式，小車調頭原路巡線返回。測試過程中小車各項指標正常，對指令反應迅速，巡線避障無偏差，符合預期設計要求。記錄小車的實際運行狀態如表1 所示。

表1 小車實際運行狀態

5 結語

傳統的餐飲行業想要在未來的競爭中取得優勢，除了要在菜品的質量和口味上下功夫，更重要的要讓客人獲得舒適的服務體驗。為了能夠讓客人獲得用餐時的舒適感，服務人員應該減少一些不必要的工作，多把時間用在回應客人的更多需求中，以提高客人的滿意度，增加回頭客的數量。本文介紹了一種基于STM32 控制芯片的智能送餐小車的設計，采用ESP8266 模塊進行局域通信，實現送餐小車的循跡、避障、語音播報、消毒等功能，減少服務人員簡單重復的送餐工作，把精力和時間更多地投入到客戶的個人需求中，達到降低餐廳運營成本、提高餐廳整體競爭力的目的。