基于增強現(xiàn)實技術(shù)的兒童識字系統(tǒng)的設(shè)計

摘要：本文基于3～6歲兒童的認(rèn)知發(fā)展特點，將增強現(xiàn)實技術(shù)（AR）與兒童識字相結(jié)合，設(shè)計了一個基于增強現(xiàn)實技術(shù)的兒童識字系統(tǒng)原型。該系統(tǒng)符合學(xué)齡前兒童的認(rèn)知發(fā)展特點，同時加入了多樣化的交互方式，為兒童營造了真實生動、充滿趣味的學(xué)習(xí)氛圍，有助于提高兒童的學(xué)習(xí)積極性，促進(jìn)兒童的漢字學(xué)習(xí)。

關(guān)鍵詞：兒童識字系統(tǒng)；增強現(xiàn)實；兒童認(rèn)知特點

中圖分類號：G434 文獻(xiàn)標(biāo)識碼：A 論文編號：1674-2117（2024）15-0092-05

研究目標(biāo)

社會心理學(xué)家阿伯特·班杜拉認(rèn)為，對已經(jīng)具有使用象征符號能力的3～6歲兒童而言，記憶是一種生理需要，兒童識字更是兒童身心發(fā)展的必然需求。但在學(xué)前階段，兒童僅具有區(qū)分漢字和線條圖的基本能力，位置意識和部件意識還未能完全發(fā)展。[1]而增強現(xiàn)實技術(shù)（AR）可以將計算機(jī)生成的虛擬物品疊加在真實環(huán)境上，增加學(xué)習(xí)的沉浸感。所以，本研究結(jié)合3～6歲兒童的認(rèn)知特點，將增強現(xiàn)實技術(shù)和識字系統(tǒng)相結(jié)合，通過在識字過程中融入動畫、增加交互功能、設(shè)計講故事的環(huán)節(jié)等，從多個方面促進(jìn)兒童認(rèn)識漢字、使用漢字，實現(xiàn)寓教于樂。

相關(guān)理論

1.增強現(xiàn)實技術(shù)與識字系統(tǒng)

增強現(xiàn)實（Augmented Reality，簡稱AR）是虛擬現(xiàn)實（Virtual Reality，簡稱VR）技術(shù)的延伸，增強現(xiàn)實技術(shù)是借助于三維顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)、計算機(jī)視覺技術(shù)以及多媒體技術(shù)把計算機(jī)生成的二維或三維的虛擬信息融合到用戶所要體驗的真實環(huán)境中的一種技術(shù)。[2]

筆者發(fā)現(xiàn)，識字系統(tǒng)利用AR技術(shù)，能夠?qū)⒂嬎銠C(jī)生成的圖片或文字疊加在現(xiàn)實物體上，增強信息表達(dá)，而兒童與系統(tǒng)交互能獲得語音、動畫等反饋，從而將實體物品和文字連接起來，實現(xiàn)整體記憶。

2.兒童認(rèn)知特點

根據(jù)皮亞杰認(rèn)知發(fā)展理論，3～6歲的兒童處于前期運算發(fā)展階段，他們的思維是具體形象的。3～6歲兒童對漢字的字形的認(rèn)識是逐漸發(fā)展的，對漢字與似字符號的辨別能力隨著年齡的增長而提高，6歲兒童已經(jīng)具備較好的辨別能力。他們對漢字的筆畫特征和組合模式的意識，也是隨著年齡的增長而增強。[3]另外，兒童對色彩是極為敏感的，色彩不僅能造成視覺上的沖擊，還能給心靈造成一定的觸動，影響兒童情緒，引發(fā)兒童的想象力。

3.AR技術(shù)在兒童學(xué)習(xí)的應(yīng)用現(xiàn)狀

在促進(jìn)兒童學(xué)習(xí)方面，AR技術(shù)大多與繪本相結(jié)合，利用AR的交互性來提升兒童學(xué)習(xí)意愿。在識字應(yīng)用上，目前的產(chǎn)品大多是通過圖片和反復(fù)練習(xí)來幫助兒童識字。而利用AR技術(shù)將識字放入具體的環(huán)境中，可以更好地幫助兒童將知識與現(xiàn)實相聯(lián)系，利用生動有趣的交互功能提高知識的傳授效率。

系統(tǒng)設(shè)計流程（如圖1）

1.進(jìn)行用戶調(diào)研

筆者邀請了部分幼兒園老師和學(xué)齡前兒童的家長進(jìn)行訪談，了解兒童的行為特征和心理習(xí)慣。通過整理訪談結(jié)果，筆者對兒童的識字情況以及行為特點有了初步的了解，讓后續(xù)的設(shè)計有了依據(jù)。

2.確定理論基礎(chǔ)

通過訪談以及對國內(nèi)外相關(guān)文獻(xiàn)的閱讀，筆者在本研究的設(shè)計中確定了以情感化設(shè)計為理論基礎(chǔ)，在滿足兒童識字功能需求的基礎(chǔ)上，更加關(guān)注兒童的情感需求，將情感融入設(shè)計中，在交互過程中實現(xiàn)情感共鳴。[4]

3.繪制用戶體驗地圖

用戶體驗地圖可以進(jìn)一步了解用戶的使用感受和行為，并發(fā)現(xiàn)設(shè)計的機(jī)會點和痛點，優(yōu)化設(shè)計流程，提高用戶體驗感，如圖2所示。

4.交互原型迭代

在實現(xiàn)數(shù)字原型之前，繪制紙質(zhì)原型進(jìn)行模擬，并不斷迭代確定數(shù)字原型。在數(shù)字原型制作的過程中，加入用戶可用性測試，以即時發(fā)現(xiàn)設(shè)計中存在的問題并及時修改。通過不斷地迭代和修改，確定最終設(shè)計的交互原型。

設(shè)計策略

1.鮮艷明亮的頁面顏色

色彩對兒童十分重要，針對處于前運算思維階段的兒童，色彩設(shè)計應(yīng)選用濃烈、鮮艷的顏色，這樣可以引起他們強烈的興趣。[5]3～6歲的兒童已經(jīng)具有一定的色彩靈敏度，他們更加偏愛明亮鮮艷、活潑亮麗的顏色。但是，如果一味追求鮮艷的顏色，效果會適得其反，所以畫面中可以加入一些中性色或者降低色彩的飽和度來進(jìn)行調(diào)和。[6]在本研究的設(shè)計中應(yīng)充分考慮3～6歲兒童的色彩心理，頁面設(shè)計選用鮮艷明亮的顏色，既符合兒童的色彩心理，也能很好地激發(fā)兒童的學(xué)習(xí)興趣。同時，還應(yīng)注意加入一定的中性色或低飽和色，使頁面更加柔和。

2.虛實結(jié)合的內(nèi)容呈現(xiàn)

在兒童識字的過程中結(jié)合AR技術(shù)，用虛實結(jié)合的方式呈現(xiàn)學(xué)習(xí)的內(nèi)容，讓識字過程充滿更多的趣味性和互動性，能更好地提高兒童注意力。同時，兒童還可以與內(nèi)容實時互動，這樣能激發(fā)兒童的興趣，提升兒童的學(xué)習(xí)效率和積極性。

3.簡單有趣的交互方式

學(xué)齡前兒童喜愛互動、游戲，因此，在設(shè)計中筆者加入了簡單且有趣的交互方式，給兒童營造一個沉浸式的交互氛圍，提升兒童的學(xué)習(xí)趣味性和積極性。

具體設(shè)計與關(guān)鍵技術(shù)

本研究旨在設(shè)計一個基于移動設(shè)備的AR交互兒童識字系統(tǒng)，使用戶可以通過掃描文字和實物學(xué)習(xí)對應(yīng)漢字的字音字形，建立思維聯(lián)結(jié)從而達(dá)到學(xué)習(xí)的目的。除此之外，用戶可以將多個單字以編故事的形式進(jìn)行串聯(lián)來學(xué)習(xí)抽象漢字的實際用法，或以識字游戲的形式將抽象文字和具體實物結(jié)合來加深記憶。

1.頁面整體設(shè)計

系統(tǒng)的邏輯結(jié)構(gòu)主要分為四個部分，分別是掃描、練習(xí)、識字游戲和識字編故事，以掃描頁面為主頁面，通過點擊邏輯按鈕實現(xiàn)不同功能板塊之間的跳轉(zhuǎn)。系統(tǒng)邏輯框架如上頁圖3所示。

本系統(tǒng)在界面的色彩設(shè)計方面以功能風(fēng)格為依據(jù)，將飽和度和明度雙高作為選色標(biāo)準(zhǔn)，掃描和練習(xí)板塊選用紅色和橙色兩種暖色作為主體色，針對識字游戲和識字編故事這兩個對邏輯性要求較高的板塊，選擇綠色和藍(lán)色兩種冷色作為主體色。系統(tǒng)主頁與功能跳轉(zhuǎn)如上頁圖4所示。

用戶打開系統(tǒng)即進(jìn)入掃描頁面，通過手機(jī)攝像頭等硬件對文字、實景物品進(jìn)行掃描或從儲存中調(diào)用圖片進(jìn)行掃描，將文字與實際場景進(jìn)行匹配，通過語音交互、雙指縮放旋轉(zhuǎn)、錄音跟讀等交互功能來實現(xiàn)漢字學(xué)習(xí)的體驗真實化，進(jìn)而實現(xiàn)內(nèi)容可視化。掃描文字、掃描實景和語音交互與錄音識別效果，分別如上頁圖5、上頁圖6和上頁圖7所示。

練習(xí)板塊設(shè)置了定時插件，通過語音識別來判斷用戶的文字掌握情況，在一定時間內(nèi)通過答對題目的比例來檢驗學(xué)習(xí)效果，達(dá)到復(fù)習(xí)和鞏固記憶的目的。學(xué)習(xí)者學(xué)習(xí)動機(jī)的維持與學(xué)習(xí)反饋密不可分，系統(tǒng)將特別注意不同類別學(xué)習(xí)反饋的有效利用—根據(jù)習(xí)題的正確率高低分別給予正負(fù)反饋。[7]練習(xí)板塊的實現(xiàn)效果如圖8和圖9所示。

識字游戲板塊利用掃描功能使繪本中的圖案以3D效果形象展示，且可以選擇不同的聲音特效，進(jìn)而增加了用戶的體驗感。游戲掃描頁面和結(jié)果反饋分別如圖10和圖11所示。

為了培養(yǎng)兒童的想象力，系統(tǒng)增設(shè)了識字編故事的功能。用戶可以自行選擇故事，在故事節(jié)點進(jìn)行文字匹配以完善故事情節(jié)，不同的選擇將引導(dǎo)故事不同的走向，以此鍛煉學(xué)習(xí)者的詞匯運用和語句組織能力。

2.交互系統(tǒng)分析

系統(tǒng)設(shè)計中加入的交互主要有兩種：一是通過增強現(xiàn)實技術(shù)實現(xiàn)交互；二是用戶與系統(tǒng)頁面元素之間的交互。

用戶和界面元素之間的交互主要涉及手勢和語音兩個方面。通過對用戶的手勢進(jìn)行監(jiān)測可以實現(xiàn)不同的操作效果，如雙指合攏擴(kuò)大實現(xiàn)三維實體的縮小和放大、單指滑動實現(xiàn)三維實體的旋轉(zhuǎn)立體展示和動畫互動等。掃描和練習(xí)板塊對麥克風(fēng)收錄到的用戶語音進(jìn)行識別，和數(shù)據(jù)庫中的標(biāo)準(zhǔn)語音進(jìn)行比較，衡量用戶的學(xué)習(xí)效果。點擊交互、語音交互、手勢交互的融合給兒童帶來了多感官體驗，在這些交互設(shè)計的基礎(chǔ)上衍生的兩個游戲化輔助識字功能不僅能滿足兒童玩游戲的需求，還有助于增加系統(tǒng)趣味性體驗，激發(fā)兒童識字興趣，提升兒童的學(xué)習(xí)積極性。

3.關(guān)鍵技術(shù)

（1）3D實體的設(shè)計與實現(xiàn)

虛擬三維實體模型分為文字和物體兩類，其建立主要選擇了3Ds MAX軟件進(jìn)行搭建。對于文字和簡單物體的建模，結(jié)合三視圖，通過“建?！N圖—燈光—渲染”一系列操作進(jìn)行模型的搭建。對于較為復(fù)雜的物體，采用分組建模，將各部分完成優(yōu)化之后進(jìn)行組裝、調(diào)整，最終構(gòu)成模型。

（2）原型實現(xiàn)

本系統(tǒng)的開發(fā)充分運用了敏捷開發(fā)的思想，追求快速響應(yīng)、迭代優(yōu)化以及時間成本最低，因此設(shè)計階段選擇即時設(shè)計這一輕量級原型設(shè)計網(wǎng)站進(jìn)行原型的設(shè)計與開發(fā)。同時，即時設(shè)計還支持共享創(chuàng)作實現(xiàn)溝通可視化，能夠顯著提高團(tuán)隊協(xié)作效率。以即時設(shè)計為創(chuàng)作平臺，結(jié)合色彩選擇、邏輯結(jié)構(gòu)和已搭建完成的3D實體模型實現(xiàn)原型設(shè)計和交互效果初步呈現(xiàn)。

（3）交互實現(xiàn)

在圖像識別方面選擇基于標(biāo)記的追蹤方法，在Unity 3D中導(dǎo)入SDK，利用掃描圖片的特征點來進(jìn)行圖像的識別。選用操作相對簡單的Play Mark插件進(jìn)行可視化編程，結(jié)合Unity 3D中的Touchscript手勢識別插件來實現(xiàn)手勢操控三維實體的旋轉(zhuǎn)伸縮等。

將文字的發(fā)音和音效通過Adobe Audition進(jìn)行剪輯處理，然后導(dǎo)入Audio Clip，結(jié)合Audio Source組件和Image Target，在監(jiān)測到指定目標(biāo)物后用腳本控制Audio Source在實體展示時對特定內(nèi)容進(jìn)行播放，移開自動停止。

（4）用戶數(shù)據(jù)庫的自動生成

漢字?jǐn)?shù)據(jù)庫和用戶個人數(shù)據(jù)庫的建立運用SQL Server2008進(jìn)行搭建，通過問卷和訪談對3～6歲兒童最需掌握的漢字進(jìn)行收集，然后進(jìn)行資源整合，將各漢字的文字、圖片、音頻和制作的3D模型錄入漢字?jǐn)?shù)據(jù)庫。基于建立的漢字?jǐn)?shù)據(jù)庫，結(jié)合掃描工具自動調(diào)取該漢字的有關(guān)數(shù)據(jù)，學(xué)習(xí)后錄入用戶個人數(shù)據(jù)庫以保障練習(xí)功能的使用。

結(jié)語

兒童識字系統(tǒng)的設(shè)計應(yīng)符合兒童的認(rèn)知特點，同時，AR技術(shù)可以構(gòu)建具有真實感的學(xué)習(xí)氛圍。所以，將AR技術(shù)和識字系統(tǒng)結(jié)合，可以更好地提高兒童學(xué)習(xí)的主動性。

參考文獻(xiàn)：

[1]李虹，彭虹，舒華.漢語兒童正字法意識的萌芽與發(fā)展[J].心理發(fā)展與教育，2006（01）：35-38.

[2]蔡蘇，宋倩，唐瑤.增強現(xiàn)實學(xué)習(xí)環(huán)境的架構(gòu)與實踐[J].中國電化教育，2011（08）：114-119+133.

[3]趙靜，李甦.3～6歲兒童漢字字形認(rèn)知的發(fā)展[J].心理科學(xué)，2014，37（02）：357-362.

[4]李盧一，許蓉，鄭燕林.ARCS模型視角下網(wǎng)絡(luò)學(xué)習(xí)反饋設(shè)計[J].現(xiàn)代遠(yuǎn)距離教育，2013（03）：66-71.

[5]羅碧娟.探析兒童產(chǎn)品的色彩設(shè)計[J].包裝工程，2008（01）：177-178+186.

[6]朱吉虹，趙越超.基于兒童認(rèn)知發(fā)展的學(xué)齡前兒童APP界面交互設(shè)計研究[J].包裝工程，2020，41（10）：42-48.

[7]張枝實.虛擬現(xiàn)實和增強現(xiàn)實的教育應(yīng)用及融合現(xiàn)實展望[J].現(xiàn)代教育技術(shù)，2017，27（01）：21-27.

基金項目：2023年江蘇省高校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目“基于增強現(xiàn)實技術(shù)的兒童識字系統(tǒng)的設(shè)計與開發(fā)”（項目編號：202310293141Y）。