針對孤獨癥兒童表情識別訓(xùn)練的交互設(shè)計

摘要：孤獨癥兒童在識別基本情緒時存在顯著困難，這種缺陷進(jìn)一步加劇了其社交障礙的嚴(yán)重性。本研究旨在設(shè)計一款面向孤獨癥兒童的表情識別訓(xùn)練智能產(chǎn)品，結(jié)合系統(tǒng)圖與交互設(shè)計技術(shù)，實現(xiàn)表情識別的實時反饋與個性化訓(xùn)練。首先通過訪談法和問卷調(diào)查，總結(jié)特殊教育學(xué)校教師和家長提出的ASD兒童表情識別問題、影響和設(shè)計偏好。其次利用系統(tǒng)圖構(gòu)建ASD兒童情緒識別訓(xùn)練交互系統(tǒng)的“評估-訓(xùn)練-反饋”生態(tài)框架。接著建立用戶模型、用戶體驗旅程圖、信息架構(gòu)和流程圖，完成軟件和硬件結(jié)合的交互產(chǎn)品設(shè)計。該產(chǎn)品不僅能夠輔助專業(yè)康復(fù)訓(xùn)練，還可為家長提供家庭干預(yù)工具，從而突破時空限制，提升訓(xùn)練的可及性與持續(xù)性。通過交互設(shè)計彌補傳統(tǒng)干預(yù)的不足，為ASD兒童的表情識別訓(xùn)練和社交能力發(fā)展提供新的解決思路。

關(guān)鍵詞：孤獨癥兒童；表情識別訓(xùn)練；系統(tǒng)圖；生態(tài)框架；交互設(shè)計

中圖分類號：TB472文獻(xiàn)標(biāo)識碼：A

文章編號：1003-0069（2025）11-0103-05

引言

孤獨癥譜系障礙（AutismSpectrumDisorder，ASD）是一種神經(jīng)發(fā)育障礙，其主要特征包括社交溝通障礙、重復(fù)性行為及興趣狹窄。其中，社交障礙尤為突出，表現(xiàn)為缺乏正常的面部表情識別與回應(yīng)能力，使其難以理解他人的情緒狀態(tài)，進(jìn)而影響其社會互動與融入[1]。開發(fā)一種便捷、高效且可普及的輔助訓(xùn)練工具，幫助ASD兒童提升對他人面部表情識別能力，對于促進(jìn)其社會融入度、推動融合教育都具有重要的現(xiàn)實意義。隨著人工智能與傳感技術(shù)的發(fā)展，針對ASD群體的輔助和康復(fù)產(chǎn)品研究取得了顯著進(jìn)展。高宇童[2]等以“VR+健康”拓展虛擬現(xiàn)實應(yīng)用空間為切入點，為ASD兒童設(shè)計虛擬康復(fù)空間。王媚雪和范俊樺[3]運用FBM行為模型對ASD兒童認(rèn)知產(chǎn)品進(jìn)行設(shè)計剖析。程睿妍和馬文[4]基于包容性設(shè)計理念，構(gòu)建生成式AI就業(yè)平臺“榆樹ELM”，提升成年ASD人士的就業(yè)率與社會融入度。然而，現(xiàn)有研究缺少針對ASD兒童情緒識別障礙的便攜式訓(xùn)練產(chǎn)品。本文旨在設(shè)計一款面向ASD兒童的表情識別訓(xùn)練智能產(chǎn)品，突破時空限制，提供家庭干預(yù)方法。

一、ASD兒童表情識別訓(xùn)練的研究現(xiàn)狀

（一）ASD兒童表情識別障礙

ASD兒童在表情識別方面往往面臨重大挑戰(zhàn)，如避免與他人的眼神接觸、難以識別和理解他人表情[5]。這嚴(yán)重影響了ASD兒童的日常生活和學(xué)習(xí)能力。研究表明，ASD兒童在社交場景中的視覺注意力分配存在顯著差異，他們傾向于關(guān)注面孔的非典型區(qū)域，這可能解釋了他們在社交互動中的困難[6]。此外，社交動機理論認(rèn)為，社交動機的缺失或減弱可能是導(dǎo)致ASD兒童社交障礙的一個關(guān)鍵因素[7]。ASD兒童可能因為注意力分配的問題而錯過了重要的社交線索，如面部表情、肢體語言和語音的韻律變化，這些線索對于表情識別和理解至關(guān)重要。因此，注意力的分配和調(diào)節(jié)對于ASD兒童的社交技能發(fā)展具有重要影響[8]。為了改善ASD兒童表情識別障礙，干預(yù)措施需要考慮到他們的注意力特點，并設(shè)計出能夠吸引和維持他們注意力的策略。

（二）技術(shù)驅(qū)動的干預(yù)研究

技術(shù)驅(qū)動的ASD兒童表情識別訓(xùn)練干預(yù)方面，基于人工智能與傳感技術(shù)的情緒識別系統(tǒng)已成為當(dāng)前研究熱點。Rice等[9]使用傳感器收集ASD人群的面部表情和情緒數(shù)據(jù)，并基于這些數(shù)據(jù)進(jìn)行不同游戲的設(shè)計，通過不同任務(wù)設(shè)計調(diào)整學(xué)習(xí)方法。當(dāng)ASD人群的行為出現(xiàn)偏差時，監(jiān)護(hù)人員和父母能夠收到即時的警報，從而幫助其進(jìn)行情緒調(diào)節(jié)。劉樂元等[10]基于阿凡達(dá)的干預(yù)和測評工具，采用跨被試多基線實驗法，對4名ASD兒童進(jìn)行了干預(yù)，并得出正向干預(yù)結(jié)果。面對人機交互技術(shù)的創(chuàng)新可以拓展了ASD兒童表情識別訓(xùn)練方法，Garcia-Garcia等[11]融合TUI頁面和情感檢測技術(shù)，開發(fā)了一款名為emoTEA的游戲，通過攝像頭觀察孩子們是否能夠識別出表情圖片。柳慧萍[12]用圖片、視頻、音頻對ASD兒童的情緒識別能力進(jìn)行干預(yù)。雖然以上ASD兒童表情識別訓(xùn)練方法取得了良好的反映，顯著提高了受試兒童的情緒識別能力，但較少考慮ASD兒童訓(xùn)練時的多感官互動性和用戶體驗。

（三）情境體驗的優(yōu)化研究

為解決ASD兒童在社交過程中因表情識別障礙帶來的諸多問題，情境體驗是重要的考慮因素。情景體驗設(shè)計通過深入具體場景，可以貼近用戶需求，增強情感共鳴。顏茹[13]分析了康復(fù)教育產(chǎn)品及聯(lián)覺理論之間的連接點，從感官、障礙和行為這三層面進(jìn)行康復(fù)訓(xùn)練效果的提升。程培焱[14]發(fā)現(xiàn)創(chuàng)造性戲劇教學(xué)對ASD兒童的積極共情具有良好維持效果。林云強等[15]通過觀察被試兒童的面部眼動行為反應(yīng)，發(fā)現(xiàn)ASD兒童存對動態(tài)面孔表情的定向警覺性不足，對積極與消極情緒面孔的關(guān)注點不同。

可見，利用新技術(shù)強化ASD兒童的感官信息輸入，創(chuàng)新設(shè)計更多的情景以豐富體驗，構(gòu)建以情緒識別為主的干預(yù)方案，是提升ASD兒童表情識別能力的趨向。現(xiàn)有研究雖在技術(shù)與情境維度取得了一定進(jìn)展，然而家庭-機構(gòu)協(xié)同干預(yù)體系尚未建立。本研究從交互系統(tǒng)和用戶體驗出發(fā)，進(jìn)行針對ASD兒童表情識別訓(xùn)練的交互設(shè)計研究，構(gòu)建“評估-訓(xùn)練-反饋”閉環(huán)的ASD兒童表情識別訓(xùn)練系統(tǒng)的生態(tài)框架。

二、基于用戶研究的系統(tǒng)生態(tài)框架構(gòu)建

（一）用戶訪談

本研究調(diào)查對象為江蘇省揚州市儀征市特殊教育學(xué)校的教師和家長。訪談對象為6人，其中負(fù)責(zé)特殊教育兒童課堂教育的全職教師2人，該學(xué)校行政管理人員1人，ASD兒童的家長3人。訪談內(nèi)容分為兩部分：第一部分是問題調(diào)查，涉及對于ASD兒童的印象，以及引導(dǎo)ASD兒童進(jìn)行情緒識別的行為和措施，及其情緒識別能力的外顯程度。第二部分是設(shè)計調(diào)查，挖掘ASD兒童的情感偏好和適用方法。

根據(jù)訪談發(fā)現(xiàn)，ASD兒童在人際交往上仍面臨諸多挑戰(zhàn)，嚴(yán)重的甚至?xí)霈F(xiàn)焦躁抑郁等心理問題。設(shè)計調(diào)查發(fā)現(xiàn)：（1）無論是在表情識別還是游玩學(xué)習(xí)方面，不同色彩的運用對大部分ASD兒童影響很??；聲音對ASD兒童的影響更大，很多患病孩子能夠被輕柔的音樂安撫。（2）模仿行為在ASD兒童表情識別與表情練習(xí)方面處于相當(dāng)關(guān)鍵的地位。（3）適當(dāng)增加互動人數(shù)有利于ASD兒童增強表情識別能力與自驅(qū)力。

（二）問卷調(diào)研

為進(jìn)行深度問題探討，針對ASD兒童的家庭進(jìn)行問卷調(diào)查。此次共發(fā)放問卷30份，有效問卷共計27份。問卷發(fā)放形式分為線下和線上。大部分答題者的孩子年齡處于3～8歲，并由兒童心理學(xué)家和發(fā)展兒科醫(yī)生等專業(yè)人士確診。問卷問題設(shè)置包括ASD兒童的情緒表現(xiàn)、輔助方法和情感偏好。根據(jù)問卷調(diào)查，總結(jié)發(fā)現(xiàn)：

（1）關(guān)于ASD兒童如何表達(dá)他們的情緒，58%的家長將其敘述為退縮不前和無法正確表達(dá)情緒，表情僵硬也是常見行為。并且，表情識別障礙嚴(yán)重妨礙了ASD兒童的正常溝通。

（2）85%的家長表示努力使用各種方法來幫助ASD兒童來改善表情識別障礙。其中心理治療占比最大，其次是行為治療，最后是藥物治療。大多數(shù)家長表示對這些方法效果均不滿意。被調(diào)查者普遍認(rèn)為現(xiàn)有方法的趣味性和交互性較低，而操作復(fù)雜性和教學(xué)目的強度也是原因之一。

（3）答題者們表示愿意嘗試使用一款專門設(shè)計來幫助ASD兒童改善表情管理障礙的交互產(chǎn)品的性致都較高。在核心功能的選擇（多選題）上，情感表達(dá)教學(xué)、社交模擬教學(xué)和表情反饋這幾點都被認(rèn)可，這當(dāng)中又以情感表達(dá)訓(xùn)練游戲（66.7%）和社交場景模擬（83.3%）占比最大，識別指導(dǎo)也達(dá)到半數(shù)（51%）。80%及以上的答題者認(rèn)為動畫效果、聲音效果和獎勵機制可以顯著提升ASD兒童的注意力并提高他們的參與度，簡潔現(xiàn)代化和創(chuàng)意趣味的交互界面設(shè)計也是他們的首選。

問卷結(jié)果表明，家長們愿意接受一款專門產(chǎn)品幫助ASD兒童改善其表情管理和識別障礙，并需要其訓(xùn)練內(nèi)容豐富、形式和功能操作簡單、界面簡潔又有趣味性、能夠吸引兒童使用。核心功能方面，家長們希望能夠圍繞社交場景模擬、情感表達(dá)訓(xùn)練游戲和情緒識別指導(dǎo)等方面展開設(shè)計。

（三）系統(tǒng)生態(tài)框架構(gòu)建

如圖1所示，本研究利用系統(tǒng)圖方法，提出一個針對ASD兒童（ASD）的表情識別訓(xùn)練的交互系統(tǒng)生態(tài)框架，名為“同心伴游”。該框架由4個關(guān)鍵角色構(gòu)成：ASD兒童、父母、特殊學(xué)校教師以及作為核心平臺的“同心伴游”。ASD兒童通過與平臺的互動學(xué)習(xí)來提升表情識別和社交能力，同時接收由平臺提供的教學(xué)方案和相關(guān)硬件產(chǎn)品。父母扮演輔助者和資金提供者的角色，從平臺獲取訓(xùn)練信息。特殊學(xué)校教師則向平臺貢獻(xiàn)教學(xué)資源和方案，提供專業(yè)指導(dǎo)?！巴陌橛巍逼脚_作為信息、資金和物質(zhì)流動的樞紐，促進(jìn)了ASD兒童、父母和教師之間的有效溝通與協(xié)作。

三、“同心伴游”系統(tǒng)的交互設(shè)計分析

（一）用戶模型的構(gòu)建

考慮到ASD兒童在使用產(chǎn)品時需要他人的協(xié)助，如特殊教育機構(gòu)的教師和家長等，因此，用戶模型的構(gòu)建必須綜合考慮ASD兒童、相關(guān)機構(gòu)和家庭人員的需求（表1）。在教學(xué)引導(dǎo)環(huán)境中，主要用戶包括患有表情識別障礙的ASD兒童和特殊教育機構(gòu)的教師。ASD兒童面臨的主要挑戰(zhàn)包括無法識別面部表情、刻板重復(fù)行為以及社交障礙，他們需要培養(yǎng)自信心和自尊心，并建立有效的溝通渠道。特殊教育教師使用該產(chǎn)品，幫助ASD兒童矯正因疾病導(dǎo)致的表情識別障礙，使他們能夠更好地融入社交環(huán)境，并最終實現(xiàn)獨立社交的能力。在家庭使用環(huán)境中，主要用戶包括ASD兒童及其家長。家長的痛點在于希望孩子能夠具備正常上學(xué)和社交的能力，并希望查看訓(xùn)練效果。

（二）建立用戶旅程地圖

以用戶模型喬伊為例，設(shè)計用戶旅程地圖（圖2）。在喬伊使用“同心伴游”產(chǎn)品的完整用戶體驗過程中，涉及物理、人形和數(shù)字3類觸點。物理觸點主要包括特殊教育學(xué)校/機構(gòu)、宣傳傳單和硬件產(chǎn)品；人形觸點包括特殊學(xué)校/機構(gòu)教師、家長和其他兒童；數(shù)字觸點則涵蓋公眾號、其他軟件商城和軟件App。這些觸點在產(chǎn)品使用的不同階段發(fā)揮著不同的作用，但總體目的是為了提高用戶黏性并幫助用戶實現(xiàn)預(yù)期目標(biāo)。喬伊的想法和感受呈現(xiàn)出波峰型的先上升后下降再上升的趨勢，具體表現(xiàn)為從不解和無反應(yīng)轉(zhuǎn)變?yōu)楹闷媾c自信，再到自我反思，最終能夠主動將所學(xué)應(yīng)用于生活中。這種情感波動狀態(tài)揭示了喬伊在使用產(chǎn)品過程中的體驗變化。

四、“同心伴游”系統(tǒng)的交互設(shè)計實踐

（一）功能和信息架構(gòu)設(shè)計根據(jù)上述分析，本研究“同心伴游”系統(tǒng)包括實體智能產(chǎn)品和虛擬App軟件。實體智能產(chǎn)品更關(guān)注用戶體驗與趣味性，主要有底板和手桿兩部分。其中，不同的手桿表面設(shè)計不同圖案和觸感紋路，隱喻不同的情緒。當(dāng)ASD兒童向下按壓不同的手桿，智能產(chǎn)品的底板發(fā)出對應(yīng)的情緒聲音和色彩，讓其在虛擬App軟件學(xué)習(xí)的同時，通過觸覺和聽覺增加其對不同情緒的記憶、識別和理解能力。虛擬App軟件著重于教學(xué)，信息架構(gòu)如圖3所示。首先由伙伴帶領(lǐng)來識別表情，其次感受表情背后所代表的情緒變化。接著引導(dǎo)ASD兒童模仿不同表情，這一過程融合眼動技術(shù)和面部捕捉技術(shù)。最后是虛擬與現(xiàn)實的對接，綜合使用情景劇探險和隨機場景的游戲模式，逐漸過渡與真人互動，幫助ASD兒童更好地理解不同表情在不同語言環(huán)境下不同的含義。

（二）智能產(chǎn)品造型設(shè)計

結(jié)合虛擬App軟件的信息架構(gòu)，智能產(chǎn)品主要功能包括：“識別”任務(wù)中，通過多感官輸入，增強對情感的識別和理解；“模仿”任務(wù)中，當(dāng)虛擬App軟件的攝像頭對ASD兒童的表情進(jìn)行識別時，幫助其理解自己表達(dá)的情感；“應(yīng)用”任務(wù)中，幫助ASD兒童準(zhǔn)確定位和感知某種表情所包含的情緒。如圖4所示，為了提升觸感和質(zhì)感，智能產(chǎn)品底座選擇木材材料，自然的肌理使得接觸具有舒適感，手桿部分采用橡膠與絨布材質(zhì)，增強產(chǎn)品的溫暖感受，提升接觸體驗。智能產(chǎn)品包括主板與4個可單獨使用的手桿。主板由NFC無線感應(yīng)按鈕、基底/充電樁和基地底盤組成。手桿由表面觸感層、材料固定層、彈簧、壓力傳感裝置、過渡桿、壓力傳感杠桿、手持底座、壓力傳感器和底盤無線充電觸點組成。

（三）虛擬App軟件界面設(shè)計

中，面向ASD兒童、家長和老師的共性審美需求，進(jìn)行了風(fēng)格、針對用戶模型和用戶需求的界面視覺設(shè)計策略如表2所示。其字體和顏色設(shè)計；針對ASD兒童的注意力引導(dǎo)、易化信息搜索和降低學(xué)習(xí)成本，進(jìn)行了布局和圖標(biāo)設(shè)計。界面任務(wù)設(shè)計策略如表3所示。如圖5所示，ASD兒童進(jìn)入軟件虛擬App軟件界面以游戲形式對ASD兒童進(jìn)行表情識別訓(xùn)練。后，系統(tǒng)首先判斷該用戶是否已注冊，注冊后進(jìn)入主頁面，包括“伙伴”“識別”“模擬”“應(yīng)用”4個模塊。“伙伴”模塊進(jìn)行虛擬伙伴的設(shè)置，“識別”模塊讓ASD兒童對表情有基礎(chǔ)的認(rèn)知，“模擬”給與模仿者面部表情分析，“應(yīng)用”模塊幫助ASD兒童進(jìn)行社會生活中的表情學(xué)習(xí)訓(xùn)練。

結(jié)論

本文針對ASD兒童在識別基本情緒時存在顯著困難，結(jié)合系統(tǒng)圖與交互設(shè)計技術(shù)，設(shè)計一款面向ASD兒童的表情識別訓(xùn)練智能產(chǎn)品，實現(xiàn)表情識別的實時反饋與個性化訓(xùn)練。結(jié)合訪談法、問卷調(diào)查、系統(tǒng)圖方法，構(gòu)建了ASD兒童情緒識別訓(xùn)練交互系統(tǒng)的“評估-訓(xùn)練-反饋”生態(tài)框架；建立用戶模型、用戶體驗旅程圖、設(shè)計信息架構(gòu)和流程圖，完成了實體產(chǎn)品和虛擬界面結(jié)合的設(shè)計方案。設(shè)計方案從建立虛擬伙伴、基礎(chǔ)表情學(xué)習(xí)、表情模仿訓(xùn)練、情境表情應(yīng)用等方面，為輔助ASD兒童情緒識別訓(xùn)練提供了有效的干預(yù)方法，為ASD兒童的表情識別訓(xùn)練和社交能力發(fā)展提供了新的解決思路。

資助項目：江蘇省社會科學(xué)基金項目（22SHC012），江蘇省高校哲學(xué)社會科學(xué)研究項目（2020SJA0135）

參考文獻(xiàn)

[1]蒲云歡，王金玉，汪琪.多媒體社交故事提升孤獨癥兒童社會適應(yīng)能力的干預(yù)研究[J].中國特殊教育，2023，（3）：47-55.

[2]高宇童，李莉，王文萌.基于VR技術(shù)的孤獨癥兒童康復(fù)服務(wù)虛擬空間設(shè)計[J].設(shè)計，2021，34（23）：148-150.

[3]王媚雪，范俊樺.自閉癥兒童認(rèn)知產(chǎn)品設(shè)計研究[J].設(shè)計，2022，35（20）：138-141.

[4]程睿妍，馬文.基于生成式AI的成人孤獨癥就業(yè)平臺包容設(shè)計[J].設(shè)計，2025，38（06）：133-137.

[5]PelphreyKA.，CarterEJ.Visualscanningoffacesinautismspectrumdisorder：Areviewofrecentfindingsandimplicationsfordiagnosis[J].JournalofAutismandDevelopmentalDisorders，2013，43（3）：527-536.

[6]AmiK.，WarrenJ.，RobertS.，etal.Visualfixationpatternsduringviewingofnaturalisticsocialsituationsaspredictorsofsocialcompetenceinindividualswithautism.[J].Archivesofgeneralpsychiatry，2002，59（9）：809-816.

[7]ConstantinoJ.，Kennon-McGillS.，WeichselbaumC.etal.Infantsatriskforautismshowtypicalvisualinterestinsocialscenes[J].MolecularPsychiatry，2017（547）：340-344

[8]ChawarskaK.，MacariS.，ShicF.Visualattentiondisengagementandtemperamentintoddlersiblingsofchildrenwithautismspectrumdisorders[J].JournalofChildPsychologyandPsychiatry，2013，54（1）：84-92.

[9]RiceLM.，WallCA.，F(xiàn)ogelA.Computer-assistedfaceprocessinginstructionimprovesemotionrecognition，mentalizing，andsocialskillsinstudentswithASD[J].Journalofautismanddevelopmentaldisorders，2015，45：2176-2186.

[10]劉樂元，張孟地，陳靚影，等.融入阿凡達(dá)技術(shù)的孤獨癥兒童面部表情識別干預(yù)研究[J].中國特殊教育，2017（09）：35-42.

[11]Garcia-GarciaJ.M.，PenichetV.M.R.，LozanoM.D.Usingemotionrecognitiontechnologiestoteachchildrenwithautismspectrumdisorderhowtoidentifyandexpressemotions[J].UniversalAccessintheInformationSociety，2022，21（4）：809-825.

[12]柳慧萍.回合式教學(xué)對自閉癥兒童情緒識別能力的干預(yù)研究[D].南京：南京師范大學(xué)，2021.

[13]顏茹.基于聯(lián)覺理論的孤獨癥兒童康復(fù)教育產(chǎn)品設(shè)計研究[D].山東：青島大學(xué)，2023.

[14]程培焱.人際關(guān)系親密度對孤獨癥兒童積極共情的影響及干預(yù)研究[D].山東：濟(jì)南大學(xué)，2024.

[15]林云強，申靈鈺，李良秀.孤獨癥兒童對動態(tài)情境中面孔表情社交定向的警覺與維持特征[J].中國特殊教育，2022（09）：66-76.