國外自閉癥人群多模態話語及智能輔助診斷與干預研究

馬博森 曾小榮 龔然

提要 由于患病率不斷攀升，加之診斷和干預資源嚴重匱乏，自閉癥已演變成為全球性重大公共衛生問題。開展自閉癥人群多模態話語及智能輔助診斷與干預研究是積極應對這一挑戰的重要舉措。本文首先梳理了國外自閉癥人群多模態交際話語和他者關涉自閉癥人群話語兩方面的研究成果，然后介紹了國外基于多模態數據的自閉癥人工智能輔助診斷與干預研究進展。

關鍵詞 自閉癥;多模態話語;人工智能;輔助診斷;輔助干預

中圖分類號 H002

文獻標識碼 A

文章編號 2096-1014（2020）02-0051-10

一、導言

自閉癥是一種神經發育性障礙，以社會交往障礙和興趣狹窄及重復刻板行為為主要特征（Ameri-can Psychiatric Association 2013）。據美國自閉癥和發育障礙監測網（Autism and Developmental Disabil-ities Monitoring Network）對11個州8周歲兒童的監測顯示，2014年自閉癥譜系障礙兒童的患病率為1：59，與2000～2002年的1：150相比，患病率增加了119.4%（Baio 2018）。在國內，據2017年《中國自閉癥教育康復行業發展狀況報告Ⅱ》的統計，目前自閉癥人群超過1000萬，其中自閉癥兒童200余萬，并以每年近20萬的速度增長。

由于患病率不斷攀升，加之診斷與干預資源嚴重匱乏，自閉癥已演變成為全球性重大公共衛生問題，這一人群因而也日益受到不同領域研究者的關注。其中，自閉癥人群多模態話語為熱點研究領域之一。本文所說的“多模態”是指表征意義的多種方式或符號系統，如書面文字是一種符號系統，聲音是另外一種符號系統，手勢又是另外一種符號系統等（顧曰國2013）。從多模態視角進行話語研究就是要探討話語交際者如何運用多模態符號資源表達意義。就自閉癥人群多模態話語研究而言，我們既可探討自閉癥人群在交際中如何產出和理解多模態話語，也可分析媒體、大眾以及家長等如何從多模態視角表征自閉癥人群。本文把前者稱為自閉癥人群多模態交際話語研究，后者稱為他者關涉自閉癥人群多模態話語研究。此外，隨著人工智能技術的迅猛發展，基于腦成像及自閉癥人群多模態話語數據的輔助診斷及針對自閉癥人群多模態話語的干預研究也取得了不少成果，前景令人鼓舞。本文將從自閉癥人群多模態話語及其智能輔助診斷與干預兩大方面，梳理國外相關研究，以期為國內同行提供參考和借鑒。

二、自閉癥人群多模態話語研究

依據導言所述，自閉癥人群多模態話語研究既可包括自閉癥人群多模態交際話語研究，也可包括他者關涉自閉癥人群多模態話語研究。從我們所掌握的文獻來看，目前針對前者的研究成果豐碩，但針對后者的研究僅涉及言語模態，屬于單模態話語研究。有鑒于此，本節分“自閉癥人群多模態交際話語研究”和“他者關涉自閉癥人群話語研究”兩小節加以介紹。

（一）自閉癥人群多模態交際話語研究

自閉癥人群多模態交際話語涵蓋該人群所產出和理解的多模態話語。研究這類話語可采取不同的研究范式?，F有研究主要采用基于心理學的實驗研究范式和基于社會建構主義的話語分析范式。

1.實驗范式的自閉癥人群多模態交際話語研究

基于心理學的實驗研究范式具有如下內在假設：多模態交際是認知的外在表現，對其加以研究可揭示自閉癥人群在神經認知方面所存在的缺陷。這種研究范式基于誘發語料，量化對比分析自閉癥人群、正常發展人群以及其他類型特殊人群在多模態交際中產出和理解話語的不同特征，由此來探究自閉癥人群的話語—語用障礙。

就多模態話語產出而言，已有研究或聚焦于言語模態，或關注手勢模態，或探討言語模態與手勢模態之間的互動。如針對自閉癥兒童使用言語模態的研究表明，在口語交際中，他們或反復重復某一話題，或一個人獨占話題，或隨意打斷和改變對方的話題，或經常使用一些與社會規則或語言環境相矛盾的用語，或不根據會話者的相互關系進行會話等（梁丹丹2017）。此外，與正常兒童相比，自閉癥兒童所產出的敘事語篇在銜接等方面表現較弱（Losh&Capps 2003 ）。針對手勢模態的研究則發現，3～12歲的自閉癥兒童存在手勢發展遲緩現象且較少使用指向性（pointing）、表征性（representa-tional）以及具有特定文化意義的手勢（Baron-Cohen 1989）。針對言語模態和手勢模態之間語義互動關系的研究發現，2～3歲自閉癥兒童產出的、與言語共現的手勢大多承擔語義強調（reinforcing）功能，較少承擔語義補充（supplementary）功能（Sowden et al.2013）;與同年齡段的正常發展兒童相比較，6～12歲的自閉癥兒童產出的手勢不僅相對較少，且承擔語義補充功能的手勢同樣缺乏（So et al.2015）。

除多模態話語產出研究之外，亦有學者關注自閉癥人群在理解多模態話語方面存在的障礙。研究工作既涉及言語模態，也涉及注視模態及表達情感的面部表情及韻律等模態。在言語理解方面，現有研究主要探討自閉癥人群對修辭性語言、特殊疑問句（Prevost et al.2017）、基于口頭敘事語篇的推理性問題（Westerveld&Roberts 2017）、會話含義（Pastor-Cerezuela et al-2018）以及英語中表時態的屈折語素（Tovar et al.2015）等的理解障礙。其中，修辭性語言理解障礙是研究熱點，如Kalandadzeet al.（2018）綜述了41項涉及自閉癥人群和正常發展人群理解修辭性語言的對比研究成果，這些研究共涉及1119名自閉癥個體和978名正常人群。該綜述的結論表明，總體來看：（1）自閉癥人群理解修辭性語言的能力落后于與之匹配的正常發展人群;（2）就兩類人群理解修辭性語言存在差異的原因而言，修辭類型與兩類人群的差異之間具有相關性。具體而言，相比反語和諷刺，自閉癥人群更難以理解隱喻。相對于修辭類型，已有研究沒有發現操不同母語會對差異造成影響。

總體來看，上述基于實驗的自閉癥人群言語理解研究表明：（1）與正常發展人群相比，自閉癥譜系障礙人群的語言理解能力發展遲緩，且內部不同類型之間存在高度異質性，如Kjellmer et al.（2012）的研究表明，與阿斯伯格癥組兒童相比，未分類廣泛性發展障礙（Pervasive Developmental Disorder Not Otherwise Specified，PDD-NOS）組和典型自閉癥兒童組的語言理解能力更弱;（2）自閉癥人群的語言理解能力與語言產出能力之間存在正相關關系（Kalandadze et al.2018）。

在注視模態研究方面，已有成果表明，自閉癥兒童在交際中較少使用跟隨發話人目光的策略，即他們不能像正常發展兒童一樣把交際對方的注視理解為社交線索。相反地，他們把目光大多投向自身所關注的對象。究其原因，自閉癥人群缺乏心理理論（the theory of mind），無法推測對方的心理狀態，因此這種障礙也被形象地稱為“心盲注視”（mindblind eyes）（Baron-Cohen et al.1997;Senju et al.2009）。

就理解表達情感的面部表情及韻律等模態而言，研究發現：（1）自閉癥人群借助面部表情理解積極情感（如高興）時不存在障礙，但在理解消極情感（如傷心）及復雜細微情感時存在障礙;（2）自閉癥兒童在理解承載消極情感的韻律特征時存在困難。此外，他們在匹配韻律和面部表情時也存在困難（Nuske et al.2013）。

2.基于社會建構主義的自閉癥人群多模態交際話語研究

近十余年來，基于社會建構主義的自閉癥人群多模態交際話語研究逐漸興起。起源于20世紀60年代的社會建構主義關注知識和現實被構建和理解的過程（Berger&Luckmann 1966），其核心觀點是：（1）知識并不是一種客觀的毫無偏見的存在;（2）知識具有文化、歷史和社會方面的獨特性。據此，社會建構主義認為任何對于現實的解釋都不是中立的，需要追問背后的假設（Gubrium&Holstein2008）。

社會建構主義研究可從宏觀和微觀兩個層面展開。宏觀層面主要關注集體表征和權力之間的關系;微觀層面則關注人們在互動中如何構建意義和達成相互理解（Gubrium&Holstein 2008）?；谏鐣嬛髁x的自閉癥人群交際話語研究主要從微觀層面展開。相關研究采集自然會話語料，使用會話分析或話語分析研究方法，強調結合具體語境來重新認識和思考該類人群的交際障礙（O'Reilley&Lester 2015，2017）。與基于誘發語料的實驗研究范式相比，這一研究范式側重于分析自閉癥人群在真實語境中的交際能力以及其他交際參與者對自閉癥人群交際行為的影響，如Sterponi&Shankey（2014）考察一位6歲自閉癥兒童在家庭環境中與不同成年人（含父母、家庭教師及其他家庭成員）的日常交際情況，側重分析互動中該兒童的回聲式言語及其對顯性互動的反饋方式。研究發現，該兒童能夠靈活運用回聲式言語來表明不同的話語立場。Maynard，McDonald&Stickle（2016）考察了父母如何采用不同的互動風格來共同說服一名自閉癥兒童。研究發現，母親傾向于使用條件型互動來引導男孩產出言語;父親則傾向于使用調節型互動方式，并采用一些類似游戲的活動。

除言語模態外，基于社會建構主義的自閉癥人群多模態交際話語研究還關注注視模態，如Korki-akangas（2018）采用質性分析方法探討自閉癥兒童在交際中如何使用注視，重點分析注視發生的時機及注視在交際中的功能。該研究指出，自閉癥兒童在注視回避（gaze avoidance）的同時會使用微笑和肢體動作（摸頭發、撓腮等），這是對序列需求的順應。雖然兒童沒有口頭回答，但順應表現表明了他們對問題的理解，而非對其無視或者拒絕交際。

實驗研究范式的自閉癥人群話語研究重點關注自閉癥人群的交際障礙，而基于社會建構主義的研究范式在正視自閉癥人群存在交際障礙的同時，更側重在真實語境中觀察和分析他們所表現出來的交際能力，從而為研究自閉癥人群的干預提供了新啟示。如傳統的自閉癥兒童干預研究認為應盡早壓制這些障礙，而基于社會建構主義視角的研究則認為臨床醫生需重視和挖掘自閉癥兒童話語中的意義，關注孩子如何以言行事，同時更加重視他們的主體地位，促進他們與成年人進行更加多樣、真實、有效的社會交往，從而提升干預效果（Sterponi&de Kirby 2016）。

（二）他者關涉自閉癥人群話語研究

在上一節，筆者介紹了學界對自閉癥人群多模態交際話語的研究。本節談談學界針對他者關涉自閉癥人群的話語研究。這類研究既關注電視、報紙、網絡等媒體對自閉癥人群形象的建構，也關注自閉癥兒童父母話語中的自閉癥兒童形象表征。

作為當下社會關注的熱點公共健康議題，媒體直接或間接地影響著社會大眾對自閉癥人群的認知、評價和身份建構，因此媒體關涉自閉癥人群的話語受到研究者的關注。林美珍和馬博森（待刊）對Web of Science 2008～2017年間所收錄的自閉癥人群媒介話語研究進行了梳理。從研究數量來看，近10年來，用英語發表的這類論文僅有28篇，數量較少，說明這一領域的研究仍未引起足夠重視。從研究方法來看，國外自閉癥人群媒介話語研究以定量分析為主。研究語料則主要來自傳統媒體，包括報紙、雜志、電視以及電影等，其中，采用報紙語料的研究約占50%。從研究內容來看，相關研究關注以下3個方面：（1）基于MMR（Measles，Mumps and Rubella）疫苗爭議事件的醫學新聞報道研究。疫苗爭議事件的起因是有研究認為接種MMR疫苗會增加兒童自閉癥的發病風險，從而引發了爭議和媒體廣泛關注;（2）基于框架理論的自閉癥人群媒介形象建構和媒介框架變遷研究;（3）探究自閉癥議題報道方式影響受眾態度和行為的實驗研究。這些研究表明，媒體所構建的自閉癥人群形象以負面為主，所展現的往往是自閉癥人群的異常行為以及對自閉癥兒童的偏見，因而不利于大眾更好地了解這一人群。

除上述針對西方媒體的研究外，國外學者針對中國媒體中的自閉癥兒童形象也進行過研究，如Bie&Tang（2015）和Tang&Bie（2016）選取中國內地5份報紙（《人民日報》《北京晚報》《新民晚報》《今日晚報》和《南方都市報》）中10年間（2003年1月1日～2012年12月31日）的自閉癥報道為語料進行研究。研究發現，中國內地媒體報道的話語主體為家庭，然后是專家，最后是自閉癥人群本身。此外，與美國媒體報道相比，中國媒體報道的消息來源中，自閉癥人群所占的比例較低。尤為值得關注的是，中國報道中政府官員的消息來源只占9%，而美國媒體報道中這一比例是41%（McKeever2013）。兩類報道相比較，中國報道更突出家庭的角色，而美國報道則更突出政府和專家的角色。究其原因，這可能與中國傳統儒家文化中家庭占據重要位置有關。受生死輪回和報應等民間觀念的影響，中國家庭更多地把自閉癥視為“家庭問題”，而不是一種需要政府支持的發育性障礙，因此給家庭帶來了諸如精神上的羞辱和經濟等各方面的壓力。這一“家庭問題”觀點在同處東亞文化圈的越南自閉癥人群研究中，也得到了驗證（Ha et al.2014）。

除媒體中的自閉癥人群形象研究外，自閉癥家長話語中的自閉癥人群形象也是一個值得深入研究的問題。已有研究主要采用訪談法采集語料，探討自閉癥家長對自閉癥的理解以及撫養自閉癥兒童所面臨的社會壓力，并分析相關原因。其中，Lester&Paulus（2012）通過半結構化訪談的方式采集語料，從話語心理學的視角研究自閉癥兒童父母如何理解自閉癥。該研究發現，與科學層面的定義有所不同，自閉癥患者父母對自閉癥的理解具有多樣性：或認為自閉癥不是障礙，而是在某方面具有天分或思維方式與常人不同;或認為自閉癥是一種真實存在且需要克服的問題;或認為自閉癥個體差異較大，因此難以準確定義。此外，Broady et al.（2017）通過采訪家長，分析了自閉癥污名化現象產生的四方面原因（公眾缺乏知識、因缺乏知識帶來的不合理評價、排斥和缺乏支持）以及污名化出現的4種常見社交語境（學校、公眾、家庭以及朋友），并分析了上述兩方面因素對自閉癥患者監護人所造成的負面影響。

本節從自閉癥人群多模態交際話語研究和他者關涉自閉癥人群話語研究兩個方面綜述了國外自閉癥人群話語研究現狀。從所關注的自閉癥人群來看，現有自閉癥人群多模態交際話語研究關注不同年齡和不同亞類的自閉癥譜系障礙人群。從研究范式來看，現有研究既包括實驗范式，也包括基于社會建構主義的話語分析范式。從研究內容來看，相關研究不僅關注自閉癥人群的話語產出，也關注自閉癥人群的話語理解。就他者關涉自閉癥人群的話語研究而言，現有研究大多關注媒體中的自閉癥人群形象表征。此外，亦有研究關注自閉癥兒童父母話語中的自閉癥形象表征。

三、人工智能輔助自閉癥診斷與干預研究

所謂人工智能研究，指研究如何使計算機去做過去只有人才能完成的智能工作（馮志偉2018）。當前，隨著自閉癥患病率的不斷攀升，而相應的早期診斷及干預資源卻十分匱乏，研究者開始關注如何利用人工智能技術來輔助自閉癥診斷及干預。

（一）基于多模態數據的人工智能輔助診斷研究

國外基于人工智能的自閉癥輔助診斷研究涉及多種類型的數據，大致包括以下3類：（1）腦成像數據。基于該類數據的研究通過訓練一個神經網絡模型來分析腦成像數據，從而實現自動區分自閉癥兒童和正常發展兒童，并期待最終能夠獲得較高的輔助診斷準確率（Hazlett et al.2017）。（2）通過錄像或相關穿戴設備來采集經確診的自閉癥兒童的語言、動作及面部表情等多模態數據，并在此基礎上借助人工智能來識別這類患者的行為特征，從而實現智能輔助診斷，如Hashemi et al.（2014）基于《嬰兒自閉癥觀察量表》（The Autism Observation Scale for Infants），以12名5～18個月大的自閉癥高風險嬰兒為對象，借助計算機視覺工具來自動識別這些嬰兒的視覺注意和注意力游離這兩種行為，并通過與人工判斷相比較，檢驗系統的準確性，從而為后期開展非侵入性輔助風險篩查奠定基礎。（3）基于自閉癥診斷訪談量表（the Autism Diagnostic Interview）和自閉癥診斷觀察量表（the Autism Diagnostic Observation Schedule）這兩個金標準的診斷數據。相關研究采用人工智能算法找出量表中的關鍵項目，試圖解決當前自閉癥人工診斷中診斷項目過多，耗時過長，從而導致診斷資源緊缺的問題。代表性研究如Wall，Dally，Luyster et al.（2012）和Wall，Kosmicki，DeLuca et al.（2012）。前者分析了2867位自閉癥譜系障礙患者的ADI-R訪談診斷數據。研究發現，雖然該量表共包含93個訪談項目，但其中7個項目的訪談結論便能夠預測全量表訪談診斷的結果，且預測準確率高達99%。這7個項目分別為：項目29（能否理解簡單的語言）;項目35（能否進行互動交談）;項目48（是否會玩想象性游戲）;項目49（是否會與同伴玩想象性游戲）;項目50（是否有直接注視）;項目64（是否會與同齡人玩游戲）;項目86（最早出現明顯異常的年齡）。此外，Wall，Kosmicki，DeLucaet al.（2012）使用一系列機器學習算法來研究自閉癥基因資源交流庫（AGRE）和波土頓自閉癥聯盟（Autism Consortium，AC）提供的ADOS Module 1的完整分數，這些分數來自612個自閉癥譜系障礙患者和15個非譜系對照組。分析表明，Module 1中雖有29個項目，但其中8個項目的診斷數據便足以準確判斷個體是否患有自閉癥。這8個項目分別為：朝向他人發聲的頻率、異常眼神接觸、反應性社交微笑、互動中分享樂趣、展示、自發地相互協調注意力、物品的功能性游戲以及想象力/創造力。

（二）提升自閉癥人群多模態交際能力的智能輔助干預研究

除基于人工智能的輔助診斷研究外，由于模態交互技術的進步，近年來基于人工智能的自閉癥人群康復訓練研究也逐漸興起（Porayska-Pomsta 2012）。這類研究重點探討如何將人機互動應用于自閉癥兒童的多模態交際訓練，其中的“機”包含兩大類：一類為非機器人干預設備，包括平板電腦和智能眼鏡;一類為機器人干預設備，包括非人形機器人和人形機器人。

早期非機器人設備所實施的康復訓練以單項交際技能訓練為主，包括自閉癥患者的面部表情識別訓練、情感識別訓練等，如Faja et al.（2008）探討計算機面孔識別訓練能否對自閉癥患者的面孔加工（face processing）策略和能力產生影響。結果顯示，接受過訓練的自閉癥患者在面孔加工方面顯現出優勢。與單項訓練相比，以提高自閉癥譜系障礙人群整體交際能力為目標的綜合訓練近來日益成為研究焦點。這類訓練運用人機交互技術和融合人工智能的虛擬現實技術，所創設的情境更接近真實的生活語境，如Didehbani et al.（2016）探討基于虛擬現實的社會認知訓練對自閉癥兒童社交技能的影響。研究者選擇30名7～16歲，被診斷為高功能自閉癥的患者參與研究。他們在5周內完成10次訓練任務。這些任務包括情感識別、社會歸因、注意力和執行功能。測試結果表明，他們上述各方面的表現均有提升。此外，融合虛擬現實技術的智能眼鏡也被證明有助于自閉癥患者的康復訓練（Liu et al.2017：Keshav et al.2017）。

相對于非人形機器人或普通玩具而言，諸多自閉癥兒童對具有人形外表的機器人更感興趣，不僅對這類機器人動作的反應更快，且表現出更多的交際行為（Diehl et al.2012），因此相關研究探討使用這類機器人教授自閉癥兒童社交技能的方法及效果。這些研究涉及的相關技能包括模仿、識讀面部表情以及眼神交流等。其中，So et al.（2016）以10名6～12歲的低功能自閉癥兒童為研究對象，通過播放機器人做示范的動畫，教授自閉癥兒童使用20個手勢。結果顯示，自閉癥兒童能夠泛化他們習得的手勢?？傮w來看，這類研究中所使用的人形機器人更符合兒童的心理特點，如Shamsuddin et al.（2012）使用既會說話又會跳舞的機器人NAO來訓練自閉癥兒童的目光注視。在陪伴自閉癥孩子的過程中，NAO與孩子一同參與活動，在活動過程中試圖提高他們識讀面部表情和適當進行眼神交流的能力。此外，人形機器人還能對自閉癥兒童的表現進行反饋或鼓勵，以此達到強化行為的康復訓練效果，如在治療中，機器人模仿美式足球里觸底得分的手勢，對兒童的行為提供積極反饋（Villano et al.2011）。

總體而言，基于人工智能的自閉癥人群輔助診斷與干預研究為國外人工智能運用于醫學領域的研究熱點之一，該研究工作具有重要的現實意義。隨著人工智能技術在大數據時代的開發運用不斷深化，可以預見，未來其在自閉癥輔助診斷和干預研究領域的角色將更加凸顯。

四、結語

本文首先從自閉癥人群多模態交際話語研究和他者關涉自閉癥人群話語研究兩方面梳理了現有的自閉癥人群話語研究成果，然后分別介紹了基于人工智能的自閉癥輔助診斷與干預研究的最新進展。相較國外研究，國內無論是自閉癥人群多模態交際話語研究還是他者關涉自閉癥人群的話語研究均處于起步階段，研究成果正陸續面世，如馬博森等（2019 ）基于誘發語料，探討漢語自閉癥兒童如何使用指稱語、指稱手勢和指稱目光這3種模態實施指稱行為;張笛（2019）探討句末語氣詞和韻律在自閉癥兒童理解反語方面的作用;林美珍和馬博森（2019）以國內報刊媒體中有關自閉癥人群的報道為研究對象，考察報道中的話語建構特征，并剖析其存在問題和影響因素。在基于人工智能的自閉癥輔助診斷與干預研究方面，國內研究亦處于初創階段。就我們所知，相關研究項目有廣州中山大學第三附屬醫院與昆山杜克大學計算機系的合作項目和浙江大學自閉癥兒童交際行為智能分析團隊的項目。前者運用人工智能技術分析自閉癥譜系障礙兒童、正常發展兒童和發育遲緩兒童的多模態行為數據，探討基于人工智能的輔助診斷方法;后者采集自閉癥兒童和正常發展兒童的多模態交際數據以及自閉癥兒童的醫學生化數據，運用人工智能技術開展自閉癥兒童的輔助診斷研究。

未來我們希望國內同行能夠積極借鑒國外已有研究成果，通過多學科交叉融合，不斷推進國內在自閉癥人群多模態話語及人工智能輔助診斷與干預領域的研究工作，造福萬千自閉癥人群。

責任編輯：魏曉明