Mind+結(jié)合XEduHub開發(fā)AI交互作品

謝作如 邱奕盛

摘要：在圖形化編程工具M(jìn)ind+和通用AI推理庫XEduHub的支持下，中小學(xué)生使用簡短的代碼就能設(shè)計(jì)出有趣的AI交互作品。本文在介紹Mind+和XEduHub的同時(shí)，分析了AI交互作品的核心環(huán)節(jié)，指出作品可以由感知輸入、智能處理和執(zhí)行呈現(xiàn)三個(gè)部分組成，希望為中小學(xué)開展AI教育提供新的思路。

關(guān)鍵詞：Mind+；XEduHub；AI交互作品

中圖分類號：G434 ?文獻(xiàn)標(biāo)識碼：A ?論文編號：1674-2117（2024）11-0088-03

學(xué)習(xí)AI要從體驗(yàn)開始，青少年只有體驗(yàn)過AI，才可能對其產(chǎn)生濃厚的興趣。為此，學(xué)校的AI學(xué)習(xí)空間（實(shí)驗(yàn)室、功能教室等）的展示區(qū)域或者科普走廊都會部署一些有趣的AI交互產(chǎn)品，讓學(xué)生在體驗(yàn)中了解AI的能力，激發(fā)學(xué)習(xí)興趣。有條件的學(xué)校還會選擇采購和定制企業(yè)開發(fā)的AI交互作品，以追求更好的展示效果。

那么，中小學(xué)生能不能和老師一起設(shè)計(jì)一些有趣的AI交互作品呢？顯然，自己動手豐衣足食，設(shè)計(jì)作品的過程就是學(xué)習(xí)的過程，也是解決真實(shí)問題的過程。仔細(xì)觀察企業(yè)開發(fā)的AI交互作品，會發(fā)現(xiàn)背后的技術(shù)并不復(fù)雜，無非是將輸入后的信息經(jīng)過模型推理再通過屏幕輸出。有了XEduhHub，目標(biāo)檢測、物體分類、關(guān)鍵點(diǎn)檢測等AI技術(shù)的門檻就有所降低，加上Mind+的支持，小學(xué)生也有能力開發(fā)出不錯(cuò)的交互作品。

AI模型推理工具XEduHub簡介

XEduHub是一個(gè)通用AI模型推理工具，既是XEdu項(xiàng)目的核心組成部分，又是一個(gè)可以獨(dú)立安裝的Python庫（庫名為XEdu-python）。XEduHub不僅支持XEdu系列工具訓(xùn)練得到的模型，還內(nèi)置了常見的AI模型，如人體關(guān)鍵點(diǎn)檢查、80種物體目標(biāo)檢測、OCR等，只要選擇某一任務(wù)，即可自動從云端下載相應(yīng)的模型，如圖1所示。

XEduHub設(shè)計(jì)了“工作流”（Workflow）的方式來實(shí)現(xiàn)模型推理。每一次應(yīng)用AI模型推理，數(shù)據(jù)都經(jīng)歷了輸入模型、預(yù)測推理、輸出結(jié)果三個(gè)階段，就像是物料（數(shù)據(jù)）經(jīng)過生產(chǎn)流水線加工后產(chǎn)出半成品一樣。在XEduHub中這一次推理流只需要兩行代碼，第一行代碼是通過指定task名稱來確定使用何種模型構(gòu)建工作流，第二行代碼是輸入數(shù)據(jù)并得到推理結(jié)果輸出。如果想要處理多組數(shù)據(jù)，只要靈活使用第二行代碼即可（如圖2）。

在使用XEduHub來處理較復(fù)雜問題的時(shí)候，往往需要多個(gè)模型進(jìn)行聯(lián)動，這時(shí)，“工作流”可以看作不同模型之間的數(shù)據(jù)流動。例如，當(dāng)畫面中有多個(gè)人像時(shí)，需要先進(jìn)行多人的目標(biāo)檢測以確定每個(gè)人所在的位置，然后將檢測到的數(shù)據(jù)傳入關(guān)鍵點(diǎn)識別模型，從而對每個(gè)人像進(jìn)行關(guān)鍵點(diǎn)識別，最終得到每個(gè)人的關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)。

在Mind+中安裝XEduHub

Mind+集成了各種主流主控板及上百種開源硬件，支持人工智能與物聯(lián)網(wǎng)功能。Mind+擁有實(shí)時(shí)、離線和Python三種編程模式，其中Python模式同時(shí)支持圖形化和代碼編寫程序，適合初學(xué)者。

Mind+支持第三方插件，進(jìn)入插件管理頁面，在聯(lián)網(wǎng)情況下搜索“XEdu”即可找到插件。安裝插件后，再通過庫管理工具安裝“xedu-python”（XEduHub的pip包名稱）。需要注意的是，在安裝過程中，WARNING提醒內(nèi)容可以忽略，同時(shí)，為了獲得更穩(wěn)定、更強(qiáng)大的模型部署使用體驗(yàn)，需要及時(shí)更新“xedu-python”庫。經(jīng)過上述的操作后，XEduHub的積木就出現(xiàn)在Mind+主界面的左邊了，如圖3所示。

Mind+的最大優(yōu)勢是加入了GUI界面設(shè)計(jì)、物聯(lián)網(wǎng)和開源硬件交互功能。GUI界面可以使用unihiker庫，物聯(lián)網(wǎng)使用SIoT庫，而開源硬件庫為pinpong庫。這些庫為設(shè)計(jì)交互作品的天馬行空想法提供了技術(shù)支持。以下頁圖4為例，幾行代碼就實(shí)現(xiàn)了對畫面中人像的關(guān)鍵點(diǎn)繪制。

經(jīng)典AI交互作品的分析和創(chuàng)意

經(jīng)典的AI交互作品往往會實(shí)時(shí)采集現(xiàn)場數(shù)據(jù)，經(jīng)過AI推理后，再輸出呈現(xiàn)在終端上。作品可以由感知輸入、AI推理、輸出呈現(xiàn)三個(gè)部分組成。感知輸入的常用設(shè)備有鼠標(biāo)、鍵盤、攝像頭、麥克風(fēng)、雷達(dá)掃描儀，還有各類傳感器，AI推理可以用XEduHub實(shí)現(xiàn)，而輸出呈現(xiàn)可以借助顯示器、揚(yáng)聲器等實(shí)現(xiàn)，還可以利用pinpong模塊連接開源硬件，如LED、蜂鳴器、舵機(jī)等執(zhí)行器都可以成為交互作品的組成部分。

對于僅僅用鼠標(biāo)鍵盤和顯示器交互的作品，學(xué)生已經(jīng)司空見慣。軟硬結(jié)合顯然能夠讓交互作品妙趣橫生。如下頁圖5所示，當(dāng)結(jié)合物聯(lián)網(wǎng)協(xié)議后，智能家居的各個(gè)產(chǎn)品也能夠加入到交互作品之中。借助SIoT、HASS等軟件，智能家居產(chǎn)品也可以與普通電腦聯(lián)通，在本專欄中已經(jīng)有多篇文章對其進(jìn)行了介紹，歡迎閱讀。

在了解XEduHub的功能后，將“感知輸入”“AI推理”“輸出呈現(xiàn)”這三大環(huán)節(jié)靈活組合，學(xué)生們就能設(shè)計(jì)出各式各樣的創(chuàng)意AI體驗(yàn)作品來。例如，用人的情緒（微笑值）控制一個(gè)真實(shí)的指針，把攝像頭中的動物轉(zhuǎn)換為馬賽克效果，用攝像頭采集人體關(guān)鍵點(diǎn)來操控一個(gè)提線木偶，等等。當(dāng)學(xué)生做虛擬鼓掌動作的時(shí)候，就能真的發(fā)出熱烈的掌聲，學(xué)校的AI實(shí)驗(yàn)室將會成為一個(gè)快樂的游樂場。

總結(jié)與反思

借助XEduHub，用簡潔的代碼就能快速調(diào)用多種模型，再經(jīng)過學(xué)生的創(chuàng)意疊加，就能自由組合出各種有趣的項(xiàng)目。相比于采購企業(yè)開發(fā)的AI體驗(yàn)項(xiàng)目，自行設(shè)計(jì)更有挑戰(zhàn)性。建議老師們將設(shè)計(jì)交互作品作為AI課程的大作業(yè)，定時(shí)將優(yōu)秀的作品展示出來。這樣的AI課程才是真實(shí)有趣的，是能吸引學(xué)生、能解決真實(shí)問題的跨學(xué)科學(xué)習(xí)課程。當(dāng)然，教師還要鼓勵(lì)學(xué)生在常見模型的基礎(chǔ)上加入自己訓(xùn)練的模型，設(shè)計(jì)出更復(fù)雜的AI項(xiàng)目，讓作品的交互更加精彩。

本研究為2022年度上海市自然科學(xué)基金面上項(xiàng)目“基于多模態(tài)數(shù)據(jù)融合的在線學(xué)習(xí)認(rèn)知模型及優(yōu)化研究”（項(xiàng)目編號：22ZR1421300）的階段性研究成果。