設計一個低門檻的AI硬件交互活動

謝作如 浙江省溫州科技高級中學

高毓甜 王海濤 上海人工智能實驗室

人工智能教育的核心內容關注AI模型的理解、訓練和應用，但如果模型不結合開源硬件設計交互作品，就顯得不夠有趣。在2023年的某人工智能活動線下的展示會中，筆者接到了設計現場交流活動的設計任務。因為前期已經研究過ESP32-CAM結合普通機器人小車的項目（請參考本欄目的《讓ESP32-CAM小車“智能”起來》一文），經過多次討論，筆者最終選擇了麥昆小車和掌控板為載體，設計了一個AI硬件交互活動。

● “低門檻”的含義及其實現

考慮到全國各地的信息技術課程實施情況差異較大，學生編程水平也參差不齊，所以，這個活動內容的設計在考慮真實問題解決的同時，還要做到低門檻，這樣才能讓不同水平的學生都有收獲。這里的“低門檻”有兩層含義：其一指技術門檻低，無論是硬件的連接、搭建，還是驅動硬件的代碼編寫，都比較容易；其二指實施門檻低，包括硬件的價格要適宜、采購要便捷、對算力的要求要低等。

相對來說，麥昆小車的性價比很高，掌控板更是國內較受歡迎的開源硬件之一，因而“低門檻”的重點在于編程難度。為了能夠實現用最簡潔的方式控制小車，筆者放棄了常見的MQTT協議而選擇了Scoket，畢竟MQTT還需要單獨部署MQTT服務器。具體的工作流程如圖1所示，電腦端借助OpenCV獲取ESP32-CAM的畫面，經過XEduhub的模型推理后，借助XEduGPIO庫發送指令給掌控板，掌控板再驅動小車。這樣一來，這個麥昆小車就成了一輛擁有強悍算力的智能小車了。

圖1

圖1中的XEduGPIO庫內置了Scoket連接的各種協議。核心類CarComm提供了speed、servo、led和stop四種最基本的方法，分別用于驅動小車前進、舵機轉動、改變led狀態和停止運動等。在“XEduGPIO”庫的支持下，4行代碼即可實現小車的驅動。當然，掌控板也需要另外做相應的Scoket編程，筆者寫好相應的固件，刷入即可運行（如圖2）。

圖2

● AI交互活動的主題設計

按照慣例，需要給這個AI交互活動編寫一個故事，也就是主題設計。由于該活動的線上主題“算法挑戰”使用了“八段錦”數據集，內置了3萬多張不同人做八段錦動作的截圖，所以這個主題也應與這個數據集有關，并且還要結合學生自己訓練的AI模型，體現出活動的關聯性。

筆者將主題確定為“星球基地建設”，然后在大語言模型的幫助下，設計了如下故事，并繪制了一張供小車運行的地圖（如圖3）。

圖3

在不久后的未來，地球聯合航天局為了推進人類在星球基地的長期居住計劃實施，以及推廣中華傳統養生功法——八段錦，舉辦了一場創新獨特的“八段錦巡線推物挑戰賽”……

對應八段錦的動作名稱，筆者給地圖的四種路段做了一一對應標注：左上方路段為“左右開弓似射雕”，右上方路段為“兩手托天理三焦”，左下方路段為“調理脾胃須單舉”，右下方路段為“搖頭擺尾去心火”。具體的含義這里不展開。

● AI交互活動的任務設計和難度解析

“星球基地建設”任務共分為三個，分別為小車測試、車人合一和無人駕駛。挑戰者需依次完成三個任務。其中，“小車測試”環節要完成小車的機械拼裝，并且實現讓小車走一個正方形，算是一個入門熱身的活動。而任務二和任務三的難度就逐步增加了，任務二要使用電腦攝像頭，互動性較強，任務三需用到ESP32-CAM，讓學生挑戰無人駕駛。

任務二：車人合一。

描述：學生在電腦攝像頭前，通過自己的姿態控制小車移動和鏟子起落，按跑道軌跡將物體分別移至三個目的地。

難度解析：要完成本任務，需使用電腦上的攝像頭。首先要用XEduHub的det_body任務，獲得畫面中的人體，然后再將檢測到的人體畫面送到人體關鍵點檢測任務中。以pose_body17為例，pose_body17檢測出的keypoints以二維數組的形式保存了所有關鍵點的坐標，每個關鍵點(x,y)被表示為[x,y]。如圖4所示，要獲取到某個特定序號i的關鍵點，只需要訪問keypoints[i]即可。

圖4

需要注意的是，det_body任務是支持多人體的檢測，建議選取第一個人體（bbox[0]）進行檢測，避免當畫面有多個人存在而出現誤判。相關的參考代碼如下頁圖5所示。

圖5

任務三：無人駕駛。

任務描述：使用電腦讀取小車上的ESP32-CAM畫面，根據推理結果來控制小車自主完成八段錦姿態分類任務，小車能夠合理規劃路徑，完成尋找地圖中與目標八段錦姿態相同的立牌（樹立呈現的圖片）并轉動鏟子。

難度分析：這個任務看起來最難，其實不過是在上一個任務的基礎上，增加了姿態分類模型的應用。而學生之前已經用BaseNN搭建全連接神經網絡（DNN）訓練過姿態分類模型，所有的挑戰在于如何將各種綜合的任務合并在一起。鑒于篇幅，這里僅僅提供了用OpenCV讀取ESP32-CAM畫面的參考代碼（如圖6）。

任務號任務要求評分說明評分正確搭建小車正確組裝小車，屏幕亮起10讓小車動起來讓小車走一個正方形10任務一出發控制小車前進5分別完成A、B、C物品搬運任務二小車完成鏟起動作、放下動作小車和物品移動至目的地30結束回到出發點5讀取小車攝像頭數據顯示攝像頭畫面5完成關鍵點檢測任務顯示關鍵點檢測結果5完成姿態分類任務并控制小車出發任務三完成目標姿態分類任務，顯示類別（5分）小車掉頭，并朝目標方向前進（5分）10尋找相同的目標姿態立牌小車移動至正確的目標姿態立牌前（8分）小車完成鏟起動作、放下動作（2分）10整理材料材料整理清理垃圾，完成現場清理復原，將所有的物資歸還10

圖6

● AI交互活動的評價設計

在設計好活動后，最后一個環節就是設計活動的評價表了。筆者采用100分制（如左下表），將這三個任務的細節分解成一個個得分點。另外，為了避免某一個環節失敗導致下面的環節都無法進行的情況出現，允許部分小任務可以跳過，只是不給分而已。

● AI交互活動的反饋

通過這次嘗試，筆者認識到，在青少年的人工智能活動中增加與開源硬件結合的內容，能夠更直觀地展現AI模型，且能有效提升學生的學習興趣。實際上，這個基于ESP32-CAM的AI硬件交互方案，不僅可以做無人駕駛，還可以結合無人機做智能巡檢、結合智慧農場做蟲害監測、結合保護區做生態監測之類的有趣課程內容。對中小學的人工智能教育來說，“低門檻”是一個重要的設計原則，相信會有更多的人為“低門檻”提供更多的可能。