基于App Inventor的語音識別與文本翻譯器App的設計與調(diào)試

牛瀟 秦健

摘要：隨著科技的不斷發(fā)展以及國家政策的支持推動，人工智能技術的發(fā)展逐步趨于成熟，智能語音交互技術與自然語言處理技術的應用越來越廣泛。人工智能技術在K12教育應用中逐漸受到大家的密切關注，國內(nèi)人工智能課程的開設以推廣編程教育為主[1]，App Inventor圖形化編程類工具降低了學生學習編程以及制作App的門檻，為開展編程教育提供了可能。本文在給出了系統(tǒng)總體設計以及各功能模塊設計的基礎上，利用App Inventor制作了語音識別與文本翻譯器App，展示了智能語音交互技術與自然語言處理技術的開發(fā)過程，說明App Inventor無須復雜的計算機語言編寫程序，就能很快完成開發(fā)項目并能根據(jù)創(chuàng)意對項目進行修改，是培養(yǎng)中小學生計算思維、編程思維與設計思維的最佳利器。

關鍵詞：App Inventor;人工智能;語音識別;文本翻譯

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2020）22-0020-03

開放科學（資源服務）標識碼（OSID）：

1 引言

近年來，由于深度學習技術、大數(shù)據(jù)、移動互聯(lián)網(wǎng)、云計算等技術的發(fā)展，人工智能技術獲得了快速、跨越式的發(fā)展。作為人工智能技術中的重要領域，智能語音技術與自然語言處理逐漸成熟，成為最為落地一，引起業(yè)界各方的持續(xù)廣泛關注，行業(yè)發(fā)展已迅速進入場景應用布局階段[2]。與此同時，智能語音技術和自然語言處理技術在移動智能終端、智能家居領域高速發(fā)展，其中涉及的關鍵技術有語音識別技術、語音合成技術、中英語音互轉(zhuǎn)技術等，已成為目前人工智能技術中最受人們關注的領域。

國務院在《新一代人工智能發(fā)展規(guī)劃》中指出：”在中小學階段設置人工智能相關課程，逐步推廣編程教育”。教育部在《教育信息化2.0行動計劃》中提出：“充實適應信息時代、智能時代發(fā)展需要的人工智能和編程課程內(nèi)容”[3]。國家兩會提案《關于穩(wěn)步推動編程教育納入我國基礎教學體系著力培養(yǎng)數(shù)字化人才的提案》建議將少兒編程納入學業(yè)水平考試，作為綜合素質(zhì)評價重要內(nèi)容。以上政策的出臺，意味著我國的編程教育正在緊跟世界的步伐。只有加快普及中小學編程教育，努力探索編程教育的新途徑和新方法，才能為學生的終身發(fā)展打下基礎，使他們在人工智能的浪潮中不斷前行[3]。

今天我們使用的各類移動端高科技產(chǎn)品，對于大多數(shù)使用者來說都是一個黑箱系統(tǒng)，其內(nèi)部的系統(tǒng)結(jié)構比較復雜。我們?nèi)绾螌⑦@些復雜的黑箱系統(tǒng)轉(zhuǎn)變?yōu)橐桌斫獾拈_放系統(tǒng)，并允許使用者改動它們。其中，App Inventor作為一款可視化編程平臺，在編程教育中起著重要的作用，在全國不少地區(qū)已經(jīng)把App Inventor作為開展人工智能課程的技術載體并自編教材。本文中筆者設計了一款語音識別與文本翻譯器App，一款涉及人工智能語音技術與自然語言處理技術的App。該案例是在中國大學MOOC愛課程平臺秦健教授主持的《如何做創(chuàng)客教育》在線教學特輯一拓展篇中王德貴老師提供的案例基礎上進行改進制作與完善。

2 App Inventor開發(fā)環(huán)境簡介

2.1 App Inventor簡介

App Inventor是由Google公司開發(fā)的一款完全在線的圖形化、積木式手機編程工具軟件，它將代碼全部封裝成各種組件，使用者只需拖曳積木來完成Android軟件開發(fā)，避免了煩瑣的軟件開發(fā)代碼編寫環(huán)節(jié)。App Inventor于2012年1月由麻省理工學院（ MIT）行動學習中心發(fā)布，目前已經(jīng)發(fā)布至第2版本，可以在多種瀏覽器中使用，例如：Firefox、Chrome等，但不支持IE瀏覽器，支持MacOSX、GUI/Linux、Windows等操作系統(tǒng)。它也支持樂高NXT與EV3機器人，可以完成手機控制機器人運動。

2.2 App Inventor特點

2.2.1簡易在線編程環(huán)境

采用瀏覽器+云服務模式，服務器可以自行架構，也可以使用國內(nèi)幾家架設好的服務器，如廣州市教育信息中心（電教館）架設的App Inventor2服務器（（http：//App. gzjkw.net）[4]、華南理工大學楊道全老師架設的App Inventor2 WxBit漢化版服務器（ https：//App.wxbit.com/login/）、金從軍老師與她的丈夫張路架設的App Inventor2漢化并退出離線版（http：//ai2.17coding. net/）。用戶只需通過瀏覽器訪問以上服務器網(wǎng)址即可在進行App開發(fā)，無需進行復雜的開發(fā)環(huán)境布置。

2.2.2可視化圖形編程組件

App Inventor的界面設計（UI）與邏輯設計都可以通過可視化圖形模塊進行組件的拖曳來完成，使用者無須掌握復雜的C、C++、VB等高級程序語言就可完成App的開發(fā)。它封裝了不同類型的組件模塊，如：多媒體組件、繪畫動畫組件、Maps組件、數(shù)種傳感器組件、社交應用組件、數(shù)據(jù)存儲組件、通信連接組件，甚至樂高機器人（ NXT、EV3）組件，更應用滿足設計者的創(chuàng)新想法。編程時只需將所需要的組件拖曳至工作面板，進行組件的屬性設計和邏輯設計，以實現(xiàn)不同的算法。

2.2.3 開發(fā)項目易于存儲

App Inventor中所有的組件代碼以及項目程序代碼都存儲在云服務器上的，開發(fā)者可以在任何時間、任何地點隨時查看并修改源程序。使用者只需登錄App Inventor開發(fā)環(huán)境個人專屬賬號即可查看“我的項目”，哪怕前幾個月做的項目，只要登錄賬號就能查到源項目，這在一定程度上保證了源代碼的一致性和安全性，并易于項目的存儲。

2.2.4開發(fā)者即時調(diào)試

App Inventor提供了非常強大的調(diào)試功能，使用者可在手機端下載安裝AI伴侶、利用電腦端aiStarter模擬器、將開發(fā)項目打包apk顯示至手機這三種方法都可進行項目的調(diào)試。其中，在手機端下載安裝AI伴侶、利用電腦端aiStarter模擬器進行調(diào)試較為方便且高效快速，可以即時查看App運行情況并方便對部分內(nèi)容做出修改，在App Inventor中對項目進行界面設計與邏輯設計的調(diào)整，都會自動同步到設備中，無須下載安裝App。

2.2.5 初學者快速入門

App Inventor界面簡單，它無須代碼，屬于區(qū)塊化編程，只需要在網(wǎng)頁上進行在線版或離線版編程，無須下載安裝軟件。它使用積木塊式拖曳編排的編程方式更能使抽象的邏輯程序具體化生動化，更適合初學者入門學習和理解，也為C++、JA-VA、Python等語言的學習打下基礎。

3 系統(tǒng)總體設計

本系統(tǒng)設計了一款基于Andriod系統(tǒng)的語音識別與文本翻譯器App。系統(tǒng)功能包括文本轉(zhuǎn)語音、開始錄音、停止錄音、播放錄音、語音識別、清空文字、轉(zhuǎn)至文本翻譯（漢譯英、英譯漢）等七大功能。具體框架安排如下：進入App后，主頁面會顯示七個功能按鈕，用戶可以根據(jù)需要點擊使用。語音識別與文本翻譯器結(jié)構框架圖如圖1所示。

系統(tǒng)軟件的設計流程為：首先打開主界面后，然后點擊主屏幕上文本轉(zhuǎn)語音、開始錄音、停止錄音、播放錄音、語音識別、清空文字、轉(zhuǎn)至文本翻譯等七大模塊中按需選擇。可以在文本輸入框1中輸入文本，點擊文本轉(zhuǎn)語音按鈕即可朗讀文本;可以單擊開始錄音按鈕，將自己想錄的音頻錄制并播放;可以點擊語音識別按鈕說出自己顯示的文本，并將其顯示在標簽2一顯示語音識別文本框內(nèi);可以單擊清空文字按鈕，將標簽2一顯示語音識別文本框內(nèi)文字清空。單擊轉(zhuǎn)至文本翻譯按鈕，可跳轉(zhuǎn)至Screen2屏幕;在文本輸入框1-輸入翻譯文本內(nèi)輸入想要翻譯的文本，如輸人為中文，則單擊漢譯英按鈕，將翻譯后英文顯示于標簽2一翻譯后文本框中;如輸人為英文，則單擊英譯漢按鈕，將翻譯后中文顯示于標簽2一翻譯后文本框中。單擊返回語音識別按鈕，則跳轉(zhuǎn)至Screenl屏幕。

4 系統(tǒng)功能設計與實現(xiàn)

4.1 主界面設計

打開App用戶端，進入主界面，該主界面邏輯清晰且美觀大方。其該界面總體分為四大模塊，第一：在文本輸入框輸入想要朗讀的文本，單擊文本轉(zhuǎn)語音按鈕可實現(xiàn)此功能;第二：點擊開始錄音，可以將想錄制的音頻進行錄音并播放;第三：點擊語音識別按鈕，說出自己想要呈現(xiàn)的文字，即可顯示在標簽中，也可清空該內(nèi)容;第四：可跳轉(zhuǎn)至文本翻譯（ Screen2）界面。其主界面顯示如圖2所示。

4.2 文本轉(zhuǎn)語音模塊

該模塊可將輸入的文本轉(zhuǎn)成語音，為了使該組件正常運行，手機上需要安裝有相應的文本識別成語音的引擎，如TTS，一般情況下Andriod手機默認都有安裝。在該案例中用到了App Inventor中多媒體模塊的文本語音轉(zhuǎn)換器，該組件設計中語言為默認，可轉(zhuǎn)換多國語言，還可調(diào)節(jié)音調(diào)與音速。其文本轉(zhuǎn)語音按鈕組件的邏輯設計如圖3所示。

4.3 錄音模塊

該模塊可將喜歡的音頻進行錄制并播放，錄制過程中可以暫停。該模塊用到App Inventor中多媒體組件的錄音機和音頻播放器兩個組件，使得該App可以錄制聲音并將錄制好的音頻進行播放。錄音機是錄制音頻的多媒體組件，當聲音錄制完成后，會自動保存聲音文件到特定的目錄。音頻播放器可以播放音頻，在組件設計及邏輯設計中，用源屬性來定義音頻來源。其開始錄音、停止錄音、播放錄音以及兩個組件的邏輯設計如圖4所示。

4.4 語音識別模塊

該模塊可將識別的文本呈現(xiàn)在主屏幕標簽中，可以節(jié)省大量打字的時間以及方便復制文本。語音識別出的文本可疊加顯示，如不需要該文本則可單擊清空文字按鈕，將其刪除。該模塊用到App Inventor中多媒體組件的語音識別器來實現(xiàn)語音識別功能。其語音識別、清空文字兩個按鈕以及語音識別器組件的邏輯設計如圖5所示。

4.5 文本翻譯模塊

該模塊可將文本輸入框中輸入的中文字符轉(zhuǎn)化為英文，也可將輸入的英文字符轉(zhuǎn)化為中文。該模塊用到App Inventor中多媒體組件的Yandex語言翻譯器，Yandex是俄羅斯重要網(wǎng)絡服務門戶之一，它可以實現(xiàn)在不同語言之間翻譯單詞和句子。該組件需訪問網(wǎng)絡或請求Yandex.Translate服務。其漢譯英、英譯漢兩個按鈕以及Yandex語言翻譯器組件的邏輯設計如圖6所示。

5 App Inventor調(diào)試方式

5.1 手機AI伴侶在線調(diào)試

使用者可在App Inventor幫助菜單中下載AI伴侶至手機端，可通過提示的二維碼掃描下載，也可通過Download URL鏈接下載。下載安裝完成后，返回App Inventor界面中，點擊連接AI伴侶，可通過使用手機端AI伴侶掃描App Inventor中AI伴侶信息或輸入六位編碼字符，即可將開發(fā)好的項目呈現(xiàn)在手機端，進行多次測試，如存在問題則返回App Inventor主程序進行修改，并多次進行調(diào)試以使得開發(fā)的App無程序問題。

5.2 aiStarter模擬器在線調(diào)試

在沒有Andriod設備前，可用模擬器來進行案例測試，但模擬器在部分功能方面無法提供測試（如重力傳感器等）。使用者可通過在國內(nèi)模擬軟件下載安裝模擬器（ https：//pan. baidu.com/s/leSAtels）[5]，也可下載其他類型模擬器，如靠譜天天模擬器等。在電腦端進行模擬時，需提前打開模擬器，并在App In-ventor界面中點擊連接模擬器按鈕，這時就會發(fā)現(xiàn)電腦端有個類似早期手機的窗口，就會顯示項目運行界面，以方便及時進行調(diào)試。但通過模擬器進行測試也存在很多問題，例如項目中利用了加速度傳感器，但模擬器無法實現(xiàn)、無法利用模擬器實現(xiàn)拍照與攝像功能、模擬器啟動卡頓等問題，都會降低用戶使用感。

5.3 打包apk下載安裝調(diào)試

在所有程序編寫完成后，使用者即可在App Inventor界面中單擊打包apk。其中有兩種方式，第一種是打包apk并顯示二維碼，用手機掃描此二維碼即可將該項目下載至手機端，進行正常安裝步驟，安裝完成后進人該項目進行調(diào)試;第二種是打包apk并下載至電腦，將此apk文件下載至一定位置，下載完成后可直接打開進行項目查看并調(diào)試。該調(diào)試方法能夠真實體驗所開發(fā)的App項目，對于模擬器中無法查看的功能運用打包apk方法也可解決，但此方法也存在一定的弊端，例如每調(diào)試一次就要打包一次apk，這不僅大大使用者浪費時間，還使得過程復雜化。

綜上所述，本文語音識別與文本翻譯器App案例采用aiSt-arter模擬器+打包apk至手機兩種方式組合進行多次調(diào)試與改進來完善此案例。筆者起初在進行該案例界面設計時，就開啟了aiStarter模擬器進行即時監(jiān)測，在完成每一模塊的邏輯設計時，會調(diào)用模擬器測試，如有問題方便及時更正。在完成所有界面和邏輯設計后，將此項目打包apk至手機端，手機安裝此程序后，筆者進行了多次操作并調(diào)試，并邀請家人使用該App進行演練并提出不足之處，積極采納修改意見后對此案例進行了最終的修改調(diào)試。

6 結(jié)束語

本文利用App Inventor作為程序開發(fā)工具，設計了一款語音識別與文本翻譯器App，運用簡單的組件設計和邏輯設計二者結(jié)合搭建而成，無需復雜的計算機語言編寫過程，實現(xiàn)了文本轉(zhuǎn)語音、錄音、語音識別、漢譯英、英譯漢等多種功能，充分體現(xiàn)了人工智能語音技術與自然語言處理技術，中小學生也能很快地掌握并完成項目，也可以根據(jù)創(chuàng)意對項目進行修改。AppInventor電子應用平臺是一個很好的創(chuàng)作平臺，通過此項目設計能夠激發(fā)初學者學習編程的興趣，能將創(chuàng)新思維與動手能力很好地結(jié)合[6]。經(jīng)過不斷地測試與完善，該App的用戶體驗也有了很大的提升，具有良好的發(fā)展前景。

參考文獻：

[1]羅倩茹，秦健，劉全銘.小學初級人工智能作品“智能夜燈”設計與開發(fā)——以ai2控制micro：bit通信系統(tǒng)的教學設計與實踐為例[J].中國教育信息化，2019（21）：60-63.

[2]李瑋，朱巖.AI語音交互技術及測評研究[J].信息通信技術與政策，2019（12）：83-87.

[3]楊希.基于STEAM理念的高中App Inventor創(chuàng)意編程課教學研究[D].石家莊：河北師范大學，2019.

[4]錢晨露，基于App Inventor 2的繪畫App設計與制作[J].電腦迷，2018（12）：80-81.

[5]愛課程.App Inventor-零基礎Android移動應用開發(fā)[EB/OL].（2020-02-17） [2020-05-22]. https：//www. icourse163. org/course/ZUCC-1205776807.

[6]梁展鋒.基于App Inventor的創(chuàng)客教育實踐[J].教育信息技術，2016（6）：21-23.

【通聯(lián)編輯：唐一東】

基金項目：全國教育科學“十二五”規(guī)劃課題教育部重點課題“機器人在中小學創(chuàng)客教育中的應用研究”（DHA150287）;陜西師范大學2019年研究生教育教學改革研究項目教改一教育實踐類（項目名稱：VEX教育機器人結(jié)構設計及運用研究;立項號：GERP-19-50;課題編號：JCJY002）;VEX教育機器人在中小學創(chuàng)客教育中的應用研究（項目編號：JCJY002）;中國大學MOOC愛課程平臺一教師教育專題“如何做創(chuàng)客教育”階段性研究成果（課題編號：0401iCourse045）

作者簡介：牛瀟（1997-），女，碩士研究生在讀，主要研究方向：信息技術教育應用，機器人與創(chuàng)客教育;通訊作者：秦健（1962-），女，副教授，碩士，碩士研究生導師，主要研究方向：人工智能與機器人，通用技術，創(chuàng)客教育。