基于手勢交互的兒童認知開發學習產品設計研究
——以“童伴”應用為例

毛曉悅

南京藝術學院，江蘇，南京，210013

0 引言

我國國家統計局年度數據顯示：少兒圖書館累計發放的有效借書證、圖書館圖書流通人次、書刊文獻外借冊次僅2020年受疫情影響下有小幅回跌，整體在2011年至2019年呈逐年穩步上升趨勢[1]。兒童對于學習的需求不斷增加居民的教育類消費水平也不斷提高，2016～2020年每年平均攀升2.2～3.1個指數，處于高水平穩定增長型。相較于同期的居民消費價格指數漲幅為0.9～2.9，教育類消費增長高于整體消費水平增長[1]，能夠反映出教育消費支出在整體消費結構中的比重變大，結構的轉變使得兒童學習智能產品有更廣闊的前景。

1 手勢交互技術應用研究

1.1 自然交互技術和手勢交互技術介紹

自然交互強調交互的自然性、非侵入性，包括視覺、觸覺、聽覺、深度感知以及其他多感官的交互方式，如手勢識別、人臉識別、眼動跟蹤、腦電圖、肌電圖等都屬于自然交互的范疇。動作的捕捉識別分為兩個大方向：通過可穿戴傳感器捕捉、通過視覺傳感器捕捉。手勢交互即使用手勢進行人與機器間的信息交流，通過持續的跟蹤手部手勢，將其轉換成計算機語言形成指令，完成一系列的機器操作。而從追蹤到轉換的過程，稱為手勢識別[2]。手勢交互相較于我們常見的WIMP的交互范式，擁有更生活化、更情感化、易理解等優勢。WIMP的交互范式在交互理解上已經優于最基礎的指令型交互，但是依然存在交互觸點小、對理解能力及操作專注度的較高要求、受二維操作空間的局限等問題，降低了部分人群和場景的交互體驗。隨著手勢識別技術的發展，無外接設備的加持也能達到精確追蹤22個關節點動作的效果。用戶能自然地利用手部動作表達其交互意圖，主要包括握拳、揮手、點、手掌轉動等[3]。

1.2 手勢交互技術國內外應用現狀

目前，手勢交互技術仍在研究與發展階段，如基于視覺傳感器捕捉精準度等問題還仍待改善。隨著基于計算機視覺、肌電識別等技術的發展，手勢交互技術已走向實際應用，在虛擬現實、汽車用戶界面、生物醫學、教育等領域中得到廣泛應用，如在虛擬現實中使用手勢進行裝配，提高交互的自然性、體驗感；在汽車用戶界面，使用手勢操作音響、溫度等車載信息，擴大了駕駛員的操作范圍，降低其部分操作負擔和專注度要求，提高駕駛安全性；生物醫學方面，可為手運動功能康復完善治療方案[5]；教育領域內Nainggolan設計開發了虛擬人體骨骼實驗系統，學習者可以點擊骨骼學習，還可以用左手的手勢控制攝像機的移動、縮放，利用交互的自然性、直觀性和沉浸感的特點，提高學生的學習效果[4]。以上各例都能反映出手勢交互的自然性、非侵入性、體驗感、沉浸感、直觀化的特點在實際中的運用。

2 用戶與產品調研

2.1 用戶研究

2.1.1 兒童的定義與特征

《兒童權利公約》（聯合國）對兒童年齡的界定為18歲以下的任何人，中國少年先鋒隊的隊齡規定為6～14歲，《兒科學》（高等醫藥院教材）以0～14歲兒童為研究對象。

生理特征：在視覺尺度特征方面，兒童的視感機能對高飽和度的紅、黃、綠、藍四色感知度最高；在行為特征方面，行為舉止具有明顯的隨意性和情緒性；在認知方面，兒童對事物的感官認知是淺層的、表象的。但兒童對世界充滿好奇心并且不斷地進行探索，他們喜歡通過肢體直接去感知事物，建立認知體系[6]。

心理特征：幼兒期（0～4歲）兒童，行為來源于自然反射和人類本能，有極強的好奇心，在語言和行為上是以模仿他人為主。覺醒期（4～9歲）兒童，通過對周圍事物的觀察、模仿和學習，大致建立了對外界環境的認知，產生了相應的應變能力。受到身邊物質環境和社會環境的影響，兒童會積累生活經驗，從而發展為生存技能。成熟期（9～14歲）兒童，擁有強烈的自主意識，渴望得到他人的關注和認可，情感復雜，因此對個人空間十分注重。

2.1.2 用戶需求調研

通過問卷，對目標用戶群體（兒童）以及消費群體（家長）進行調研，依據調研得到以下結論：（1）對家長的調研結果顯示，家長在孩子兒童階段最重視其認識世界的能力，對兒童使用電子設備的允許度較高，但贊成度較低。同時調研顯示，大量兒童都使用過智能學習產品，而增強思維能力、學習課本知識是家長最注重的功能點，對于智能識字產品大部分家長持有使用意向。（2）在對兒童的調研中，3/4兒童平時會閱讀，他們在生活中對生字詞好奇的比例較多，但進行查閱的頻率較少，因受父母和兒童環境多重因素影響，大多兒童詢問父母的頻次較低，并且對大自然的接觸并不多。（3）關于手勢方面，完全不認識手勢的兒童比例較少。

2.1.3 基于KANO模型的用戶需要層次模型

通過用戶對功能需求調查問卷的作答以及線下訪談，繪制KANO模型圖，將功能分為以下四種：（1）必備型需求，如識字功能；（2）期望型需求，如流暢的操作體驗、時間功能、手勢拍攝功能；（3）魅力型需求，如手勢交互功能、植物識別與植物交談功能、視頻通話；（4）反向型需求，如娛樂游戲。

根據查閱兒童群體特征方面的文獻，將研究人群定為4～9歲的覺醒期兒童。4～9歲兒童為第一研究對象，他們開始有認識文字的需要，且通過觀察、模仿、學習建立對世界的認知，已進入前期運算階段，并通過事物的表象對其進行思考。第二研究對象即為25～50歲間的監護人。

2.2 兒童學習產品調研

通過利用關鍵詞對文獻進行檢索，發現近五年內隨著交互設計的發展與應用，研究成果呈上升趨勢。通過歸納分析發現，現有學習產品存在的問題主要集中在（表1）：（1）設備上，可穿戴的設備較少；（2）場景上，部分產品使用場景局限于家中，通過游戲甚至是枯燥的文字介紹知識，與生活的關聯性弱；（3）內容上，部分軟件內容難度與兒童現有認知不匹配，內容不適合兒童現階段能力；（4）交互上，存在功能步驟繁瑣、交互操作復雜、交互接觸點小，界面圖形抽象等問題。

表1 現有兒童學習產品調研

3 基于手勢交互的兒童學習產品設計實踐

3.1 產品設計策略

3.1.1 解決策略

（1）自然手勢交互技術的使用。兒童認知開發產品在恰當的交互設計原則指導下對兒童的學習有促進作用。手勢交互不僅能在用戶使用層面降低兒童的學習成本，也能在思維邏輯方面引導兒童建立正確的人機交互理念。交互設計不應一味地適應機器，應堅持“以人為中心”“以用戶為導向”的設計原則，交互方式應符合人在現實世界中的自然操作認知。

（2）情感化設計。在眾多的兒童益智開發中，多為直接地對兒童進行圖畫學習指導，甚至是單一的搜索、知識輸出工具。對此，可在產品中充分利用兒童好奇心和好探索的性格特點，引導兒童用手勢交互對周圍各種事物進行觀察、思考和探究，培養其興趣以及對自然世界的歸屬感。

（3）生活化設計。研究發現，兒童在行為過程中的大腦運轉速度是最積極的，所以在行為過程中對其認知進行開發，能達到效果的最大化[7]。兒童的行為目的性較弱，所以兒童的學習應貫穿于生活中。StrommenE以及AlexanderK曾通過調研發現，大多數兒童教育產品都強調教育目標，而現實情況是兒童會對強學習目標產生逆反心理[8]。所以兒童認知應源于生活、用于生活，而非“填鴨”式學習。采用OMO的模式將線上與生活緊密結合，保證兒童能在生活中正確地調用認知。

3.1.2 用戶體驗藍圖

以《童伴》產品設計為主題，將兒童使用產品的具體使用流程和交互操作為關注點，設計圖1為用戶服務藍圖。

圖1 用戶體驗藍圖

3.2 產品設計方案

3.2.1 產品支持設備與功能信息架構

（1）在設備方面，使用MR科技眼鏡設備，以兒童日常生活為目標場景。設計目的是希望兒童在自然與玩樂中學習，與自然互動，良性成長。

（2）在產品具體功能方面：①指認文字，產品以停頓時間作為約束條件，設備通過手勢捕捉、角度與距離測算，捕捉所指認的文字，對文字做出卡通解釋與知識拓展；②同上述方法，對植物進行識別學習，并建立指認記錄，形成兒童自己的知識庫，對重點標注植物、設備會在日常生活中搜尋并指示目標物品；③手勢觸發拍攝、錄像，查看相冊。

3.2.2 產品手勢設計

“童伴”以MR眼鏡為設備載體，經過設計、調研、用戶反饋，我們設計了八個交互動作，如圖2所示，依次為點選、捏合拍照、取景框錄像、打開相冊、滑動翻頁、多圖觀看、關閉相冊。

圖2 產品手勢設計圖（圖片來源于作者自繪）

3.2.3 產品界面設計

圖形用戶界面交互以高簡潔度以及畫面的直觀可讀性作為主要的設計思路。視覺界面是用戶最為直接的接觸到的顯性交互，作為一款智能兒童產品，根據調研以及兒童視覺尺度特征，采用主色調為明亮黃，具體界面如圖3所示。

圖3 產品界面設計圖

4 設計評價

4.1 用戶滿意度評價

目標人群從GUI、交互操作、功能三個維度對其進行滿意度評價。每項問題平均分超過7分則視為滿意（綠色），最后利用有效用戶（A～X）滿意度算出平均值則為最后的滿意度。結果顯示，兒童操作手掌翻動類的手勢需進一步優化，植物交流為最滿意的功能點。產品整體都在7分以上，滿意度較高。具體結果如圖4所示。

圖4 用戶滿意度評價（圖片來源于作者自繪）

4.2 用戶反饋

采用半結構化訪談的研究方法，獲取目標（消費）用戶對設計的反饋，驗證了用戶手勢交互形式的喜愛度。但對于個別手勢如打開相冊功能，發現誤操作和雙手操作困難的問題。消費用戶的問題點集中在兒童的學習熱度問題，可以再做探討。

5 結語

隨著信息社會的發展，兒童認知開發類產品的交互方式的設計更具人文價值，其不僅與兒童的認知開發有著強正相關性，也可以幫助兒童在智能機器時代建立起更自然的人機交互關系。這里我們從自然手勢交互出發，通過對現有產品的歸納分析以及文獻查閱法了解兒童的心理發育特征，提出新的兒童產品交互設計理念：自然手勢交互技術可以提升兒童學習產品的易用性和情感化，建立更人性化的人機交互習慣。本文對“童伴”兒童認知開發類MR應用進行設計實踐，并完成設計評價。

交互的人性化、情感化、自然性等必然是未來兒童電子產品的發展趨勢。自然手勢交互技術仍在不斷地發展與完善，在設備上向更加輕量化[9]、低能耗、高靈敏性、低延遲等方向的發展，以及在交互設計上如何形成良好的交互反饋等研究的突破，都能助推自然手勢交互技術在兒童產品應用中用戶體驗等方面的發展。