孤獨癥兒童早期社交技能的智能化評估

陳靚影　張如靜　王帆　張坤　王廣帥　王廣海

[摘? ?要] 人工智能技術的發展給孤獨癥評估帶來了新思路，目前智能化評估集中為孤獨癥判別二分類評估，缺乏高效、量化的精細化評估方法。研究設計開發了一款基于人工智能技術的早期社交技能量化評估系統。實驗招募了28名孤獨癥兒童為研究對象，采集了社交技能評估視頻，記錄了評估過程中兒童的頭部轉向活動和面部表情。使用頭部姿態估計、表情識別以及語音識別等技術分析評估過程中的應答性共同注意和應答性社交微笑。結果表明：（1）早期社交技能的智能化評估得分以精確的反應時間和持續時間區分呈梯度分布，評估結果客觀精細;（2）準確性檢驗證明智能化評估得分與人工評分結果具有一致性，驗證了孤獨癥兒童早期社交技能智能化評估的可行性。這種評估方式客觀、準確、易用，為兒童早期社交技能連續性評估提供技術支持，客觀量化的精細化評估結果為孤獨癥兒童的精準干預提供客觀依據，具有很好的應用價值和現實意義。

[關鍵詞] 孤獨癥兒童; 早期社交技能; 應答性共同注意; 應答性社交微笑; 智能化評估

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 陳靚影（1973—），女，湖北武漢人。教授，博士，主要從事教育信息技術、特殊兒童教育、人機交互、機器學習等方面的研究。E-mail：chenjy@mail.ccnu.edu.cn。張坤為通訊作者，E-mail：zhk@mail.ccnu.edu.cn。

一、引? ?言

孤獨癥是一種廣泛性發展障礙，主要表現為社會交往障礙、交流障礙、興趣狹窄和刻板重復的行為方式等癥狀[1]，對兒童身心發展、家庭和社會都會造成不可忽視的危害。據美國疾病控制與預防中心最新統計結果顯示，2018年美國孤獨癥發病率為59個兒童中有1個為孤獨癥，且呈逐年上升趨勢[2]。由于孤獨癥的病因與臨床表現都十分復雜，導致難以從源頭上預防。早發現、早干預尤為重要。能力評估作為孤獨癥兒童干預的客觀依據[3]，一般在兩歲以前進行，通常使用標準化量表來完成，耗時一到兩小時，這種傳統的能力評估方法不僅需經歷漫長的等待時間[4]，容易導致錯過個性化干預的最佳時間，加之量表評估缺乏客觀量化的評價指標而依賴于臨床治療師的專業經驗[5]，越來越多的研究集中于探討一種簡單有效的評估方式。例如：嘗試使用體感技術[6]、計算機游戲[7]、機器人[8]等技術手段實現孤獨癥兒童能力的高效評估，尤其是人工智能的快速發展給孤獨癥兒童能力評估帶來了新啟示。祝智庭、魏非強調計算機的感知智能采集學習者的情緒、眼神等以識別其情感狀態[9]，陳維維論述了運用圖像識別、語音識別等技術對兒童的多元智能進行智能化評估的可行性[10]。在此研究基礎上，研究者借助機器學習通過動作[11]、手勢[12]等區分孤獨癥人群的特征。雖然這些基于智能技術的評估方法取得了一定進展，但主要集中在區分孤獨癥兒童和典型發展兒童的二分類評估，仍缺乏高效、量化的精細化評估工具，精準干預更無法保障。

早期社交技能是兒童語言、情感乃至思維發展的前提條件。作為孤獨癥三大核心障礙之一的社交障礙，一直被認為是孤獨癥兒童最明顯的特征[1]。孤獨癥兒童的社交障礙在語言能力發展之前就已初露端倪，如較少的眼神接觸，較少使用手勢、動作、面部表情等與他人進行交往等。再者，早期社交技能主要包含：同伴互動、親社會行為、精細且富有創造力的獨自游戲[13]，而以上三方面均需要應答性共同注意（Response to Joint Attention，RJA）和應答性社交微笑（Responsive Social Smile，RSS）兩項基本社交技能的支持，它們是完成分享、參與社會互動、實現情感發展的先決條件，因此，在被譽為“孤獨癥診斷金標準”的孤獨癥診斷觀察量表（Autism Diagnostic Observation Schedule，ADOS）中被列出關鍵評估項目。

綜上，研究采集了孤獨癥兒童的技能評估視頻，以應答性共同注意和應答性社交微笑兩項社交技能為例，應用頭部姿態估計、表情識別以及語音識別等人工智能技術綜合探討孤獨癥兒童早期社交技能的量化評估，以期為孤獨癥兒童社交技能連續性評估提供可能，并以客觀量化的精細化評估結果輔助專業人員臨床評估，從而為孤獨癥兒童的精準干預提供客觀依據。

二、智能化評估項目

ADOS量表是半結構化的標準評估工具，通過觀察兒童在游戲中的表現來評估兒童在語言、社會交往以及刻板行為三大方面的能力[14]。其中，應答性共同注意和應答性社交微笑作為社會交往方面的核心能力，前者可用來預測兒童的語言能力和社會認知能力[15]，后者會影響兒童情緒表達甚至是共情能力的發展[16]，因此，應答性共同注意和應答性社交微笑對兒童早期社交技能的評估具有重要意義。

（一）應答性共同注意

應答性共同注意是指當他人用視線、手勢或語言等外界刺激喚起注意時，兒童通過追視等視覺行為作出回應[17]。從本質上來看，應答性共同注意是一種出于分享目的的人、物之間的三元社會互動，其意義在于兒童對外界刺激作出回應從而理解這個人的意圖。這一領悟是兒童對他人心理狀態的最早理解，標志著兒童心理理論能力的一個根本進步[18]，而孤獨癥兒童心理理論發展遲滯，眾多研究證明孤獨癥兒童比發育遲緩兒童或智力年齡匹配的兒童在應答性共同注意技能上受損更嚴重[19-21]，且實驗證明，應答性共同注意與兒童的語言發展、社會認知發展相關性顯著[22]。因此，應答性共同注意通常被看作是孤獨癥兒童社交能力發育遲緩的重要指標[23]。

（二）應答性社交微笑

應答性社交微笑是指兒童在社交互動中作出的微笑回應[24]。1991年，Adrien等[25]人首次使用家庭錄像評估孤獨癥兒童在一歲前后的行為，結合嬰兒行為綜合評價量表得出他們缺乏社交興趣的關鍵行為，包含缺乏適當的面部表情，沒有社交微笑，不能模仿他人等現象。因此，缺乏社交微笑被認為是孤獨癥的早期特征。社交微笑的缺乏，與孤獨癥兒童不能理解他人的面部表情有關，影響了社會參照能力的發展[26]，導致了早期積極情緒反應匱乏、社交能力發展遲滯。

另外，幼兒參與應答性共同注意時，經常會表現出積極情感的面部表情（例如，驚訝地張開嘴，睜大眼睛）。尤其與父母進行應答性共同注意的互動時，父母對物體的評價會引發幼兒的微笑。研究表明，在幼兒一歲左右，社交微笑會融入共同注意[27]，二者通常在社交過程中同時出現，因此，在孤獨癥兒童早期篩查和評估中，應答性社交微笑與應答性共同注意常作為標志性考查項目。

基于以上研究基礎，我們選取了應答性共同注意和應答性社交微笑兩項核心社交能力作為評估項目，嘗試應用人工智能技術對評估視頻進行智能化評估，以探討早期社交技能的量化評估方法。

三、實驗過程與方法

（一）實驗對象

實驗在武漢某特教機構共招募28名被診斷為孤獨癥的兒童為被試兒童，實驗前與家長簽訂了知情同意書。被試兒童年齡在2～6歲之間，均符合美國《精神疾病診斷與統計手冊》第五版（DSM-5）的孤獨癥診斷標準，并且經由發育行為兒科2名副主任雙盲確診，排除兒童精神分裂癥、癲癇及其他神經性障礙，實驗前確定了被試兒童的視覺、聽覺發育正常。

（二）實驗設計

實驗在該特教機構的評估室（約30平方米）進行，實驗范圍用窗簾隔開以減少對被試兒童的視覺干擾。實驗設計基于ADOS量表模塊二中的應答性共同注意和應答性社交微笑項目，評估人員和被試兒童分別坐在評估桌（120cm長×60cm寬）兩側，將能發出聲音的玩具置于桌子中間位置，并用毛巾蓋住。兒童的父母或其他照看人在后方坐著，保持一定距離以免干擾其注意力，相對位置如圖1所示。共三臺攝像機隱藏于評估室內，1號攝像機置于評估桌的垂直平分線上，以確保玩具在畫面的水平居中位置;2號攝像機置于評估人員的正前方偏左位置，以獲取評估人員的面部表情;3號攝像機置于被試兒童的正前方偏左位置，以獲取被試兒童的面部表情。

實驗開始前，評估人員將玩具用毛巾蓋起來以避免引起兒童的興趣，給兒童玩一些其他玩具以適應新環境。待實驗開始后，叫兒童的名字或者撫摸他以吸引其將注意力集中在評估人員臉上。第一步，叫兒童的名字，并說“看！”，目光注視玩具再收回至兒童臉上。該過程持續4秒，如果兒童沒有作出反應，則重復該步驟兩次，每次等待時間為4秒，如果孩子沒有作出正確響應則進入第二步，激活玩具使玩具發出聲音5秒，看兒童是否看玩具。如果沒有響應，則關上聲音開關，暫停5秒，再打開聲音開關并保持聲音持續時間超過5秒。該環節為應答性共同注意評估，隨后將玩具遞給兒童供其玩耍，在兒童玩玩具的過程中，叫他的名字，待他抬頭看評估人員時沖他微笑，等待兒童給予應答性社交微笑，如果沒有回應，則重復該步驟兩次，每次等待時間為4秒，且兒童的嘴角朝上微笑至少1秒為有效微笑，如仍沒有響應，則以語言“笑一個！”請求其微笑，觀察兒童反應。

（三）智能化評估系統

為實現對兒童在社會互動過程中的行為和心理狀態的評估，并避免侵入式設備對兒童的影響，研究設計開發了早期社交技能的智能化評估系統，系統主要包括信息采集、特征提取和評估反饋三個模塊，如圖2所示。其中信息采集模塊主要是通過高清攝像頭采集社會互動過程的視頻和音頻信息;特征提取模塊主要是通過頭部姿態估計、表情識別等人工智能技術識別相關行為特征，結合語音識別技術正確標注包含互動雙方相關情感行為的顯著時間間隔;評估反饋模塊主要是根據ADOS量表的評分標準對提取的孤獨癥兒童的行為特征作出評估判斷，并反饋評估結果。人工智能技術的應用使孤獨癥兒童社交技能的自動量化評估成為可能，本研究以應答性共同注意和應答性社交微笑為例介紹早期社交技能的智能化評估流程。

評估應答性共同注意時，首先檢測評估人員頭部姿態，以評估人員看向目標玩具為判定條件，并讀取該動作結束的時間點，繼續檢測被試兒童的頭部姿態，當被試兒童看向目標玩具時滿足判定條件，并記錄該動作開始及結束的時間點;如果被試兒童未作出響應則進入語音識別環節，語音識別玩具發出的聲音，記錄玩具聲音發出的時間點，并進行被試兒童頭部姿態檢測以判定被試兒童是否在玩具發出聲音時予以響應。最后結合記錄的時間點計算被試兒童的反應時間及持續時間，以得出被試兒童在該技能評估過程中的得分。

同理，評估應答性社交微笑時，首先運用語音識別技術檢測評估人員叫出被試兒童的名字，檢測評估人員的表情，其對被試兒童微笑為判定條件，并讀取該表情結束的時間點，接著檢測被試兒童的面部表情，當被試兒童對評估人員微笑時滿足判定條件，并記錄該表情開始及結束的時間點;如果被試兒童未回應微笑，則語音識別檢測評估人員發出的微笑請求，記錄該聲音發出的時間點，隨后檢測被試兒童的面部表情，結合不同條件下被試兒童是否有社交微笑及相應的反應時間及持續時間，以得出被試兒童在應答性社交微笑評估中的得分。

（四）關鍵技術

1. 頭部姿態估計

頭部姿態估計是理解人類行為的一個關鍵步驟，從計算機視覺的角度來看，頭部姿態估計的原理是根據數字圖像相對于成像傳感器坐標系的距離數據推斷頭部方向[28]。本文采用深度多任務學習方法來估計評估人員和被試兒童的頭部姿態，研究提出了改進的多任務卷積神經網絡（Multi-task Convolutional Neural Network，MTCNN模型）方法，采用三階段級聯框架（P網、R網、O網）實現由粗到細的人臉檢測，并在此基礎上進行精確的人臉框回歸、特征點定位以及頭部姿態估計，得到頭部姿態的三個角度，即偏航角、俯仰角和旋轉角[29]，原理如圖3所示。最后根據結合人臉三維空間位置和人臉朝向姿態計算評估人員和被試兒童的注意力方向[30]（圖4（a）），研究所用的頭部姿態估計算法準確率為91%。

2. 表情識別

面部表情是人類表達自己的情緒狀態和意圖的社交手段。表情識別是對人類心理狀態的解碼過程，它是將外顯的面部表情解釋為人類的情感狀態[31]。本文使用表情識別技術判定被試兒童在評估過程中的社交微笑，該方法提取人臉及嘴巴區域，對6700張微笑圖像和18200張非微笑圖像進行條件隨機森林訓練實現笑臉識別[30]，準確率為94.2%。因涉及被試兒童的隱私問題，僅由圖4（b）呈現研究所用的表情識別算法在公開數據集上的檢測效果。

3. 語音識別

語音傳遞信息是人類最重要、最常用的信息交換方式。隨著人工智能的發展，自動語音識別已廣泛應用于日常生活及科學研究中。本文使用科大訊飛開放平臺提供的Web API檢測評估過程中評估人員發出的語音請求，基于深度全序列卷積神經網絡（Deep Fully Convolutional Neural Network，DFCNN）[32]，將語譜圖直接輸入卷積層，從而降低信息損失，語音識別準確率達98%。

四、實驗結果

研究收集了實驗過程中28名孤獨癥兒童的社交技能評估視頻，采集了評估應答性共同注意和應答性社交微笑時的視音頻信號，1號攝像機的實驗視頻主要用于分析應答性共同注意，2號和3號攝像機經音頻信號檢測完成同步后用于分析應答性社交微笑，采集視音頻信號及相應時間間隔作為特征點，以獲得最終的技能評估得分。

（一） 特征采集

如圖5所示，在實驗視頻中采集相應特征。

1. 人物眼神注視方向

應用頭部姿態估計技術計算人物眼神注視方向，當評估人員看向目標玩具時，即為評估人員發出應答性共同注意的指令;同理，當被試兒童看向目標玩具時，為兒童作出響應。

2. 人物面部表情識別

應用表情識別技術，判定評估人員是否對被試兒童發出社交微笑的指令，同理，當檢測到兒童作出微笑表情時為兒童作出響應。

3. 反應時間

反應時間是從評估人員發起互動請求到被試兒童作出響應的時間。

4. 持續時間

應答性共同注意的持續時間為兒童看向目標玩具出現的時間段;應答性社交微笑的持續時間為兒童作出微笑回應的時間段。

（二）智能化評估得分

根據ADOS量表的評分標準對實驗視頻中的兒童進行打分，應答性共同注意（RJA）的得分范圍為0～3分;應答性社交微笑（RSS）的得分范圍為0～2分。智能化評估系統在判定人物眼神注視方向或面部表情識別滿足判定條件后，結合反應時間和持續時間進行衡量并輸出評估結果。智能化評估結果見表1，表1對幾種不同得分情況進行了代表性匯總，含是否有兩項社交技能的響應，相應的反應時間、持續時間以及最終的技能得分。與傳統評估結果相比，智能化評估方式可給出明確的社交響應情況，以及精確的反應時間、持續時間，技能得分更客觀、精細。

注：1.以“有”和“無”來標記兩項社交技能的評估過程中被試兒童是否作出響應;2.時間以秒為單位，以No.1為例，RJA和RSS兩項技能的反應時間分別為27.76秒和1.48秒，持續時間分別為2.8秒和12.52秒;3.得分為單項技能得分，No.1的RJA和RSS技能得分分別為2分和0分。

（三）準確性檢驗

為驗證實驗結果的有效性，請兩位經驗豐富的ADOS臨床評估專家對實驗過程中采集的視頻錄像中兒童的社交技能進行人工判定打分。在該研究開始之前，這兩位專家都已接受了ADOS量表第二版的臨床使用培訓，且內部一致性信度較好（Kappa=0.94），28位被試兒童的評估得分與智能化評估系統分析所得評分全部一致。

五、討? ?論

本研究以應答性共同注意和應答性社交微笑為例，采用人工智能技術實現對孤獨癥兒童社交技能的智能化評估。通過對實驗過程中孤獨癥兒童的社交技能評估視頻的分析表明，本研究提出的智能化評估方法具有可行性和有效性。與傳統的評估方法相比，本研究具有很大的優勢，主要體現在以下幾個方面：

（一）智能化評估實現精細化

實驗依據ADOS量表制定了評分標準，智能化評估系統采集被試兒童在技能評估過程中的眼神注視方向、面部表情，社交互動中的反應時間和持續時間等特征，應用頭部姿態估計、表情識別及語音識別等技術實現自動化分析，并給出應答性共同注意和應答性社交微笑的評估結果。從表1中可看出，智能化評估所得評分依被試兒童的社交技能水平呈梯度分布，這證明，這種智能化評估方式可提供孤獨癥兒童行為癥狀嚴重程度的量化評估。與同類研究的二分類評估方式相比[11，12，33]，可對每種技能實現精細化評估，協助特殊學校對孤獨癥兒童能力水平精準定位，以期靶向干預。

（二）智能化評估具有可行性

為驗證智能化評估系統的準確性，特邀請了受過美國ADOS量表測評培訓的專業人員對實驗視頻進行技能評分。兩種評分條件下，28名孤獨癥兒童的技能得分全部一致，這代表基于智能識別技術的評估系統在孤獨癥兒童社交技能評估方面具有可行性，為人工智能輔助專業人員臨床評估提供了準確可靠的技術支持。

（三）智能化評估客觀準確

評估方式基于視頻分析，可在自然情境下由父母組織開展，因而避免了評估環境以及評估人員給孤獨癥兒童帶來的潛在壓力，還可避免臨床檢查中醫療設備對兒童的負面影響，從而獲得兒童自然放松的心理狀態，保證評估結果的客觀準確性，這種方式所得結果可輔助醫生對孤獨癥兒童的能力水平作出最客觀的判定。我們前期的研究結果也證明了這一點，采用人機交互游戲等智能化環境進行評估，兒童會有更高的學習動機和參與度，評估結果更加客觀有效[7]。

（四）智能化評估為連續性評估提供可能

智能化評估得分可在兩三分鐘內分析獲取，其易用性方便了特殊學校對孤獨癥兒童的學習進程進行形成性評價，根據評價結果調整學習計劃，開展針對性干預，并階段性地對兒童的能力水平進行評估，給孤獨癥兒童的長期干預提供縱向客觀量化依據。因此，智能化評估的應用為孤獨癥兒童能力的連續性評估提供可能。

（五）智能化評估有望助力醫療均衡發展

智能化評估操作簡單，大大提高了評估效率，使得醫療機構之外的快速評估成為可能，從而縮短孤獨癥兒童獲得診斷及干預的等待時間，惠及醫療基礎設施有限地區的人群，一定程度上有望推動醫療資源的均衡發展。

與其他相關研究相比，本研究設計的智能化評估方法客觀量化、操作簡單，對專業人員依賴度低，有利于評估的實現，研究運用了多種智能識別技術對兩項社交技能的評估過程進行智能分析并呈現了不同技能的量化差異，基本實現了孤獨癥兒童技能的客觀、準確性評估。為檢驗智能分析程序的可行性，研究伊始對30名年齡相匹配的典型發展兒童開展了早期社交技能評估，實驗結果顯示，30名典型發展兒童技能評分均為0分，也就是說，他們已具備這兩項技能，因此，研究僅呈現孤獨癥兒童的智能化評估結果。待后續研究考查其他技能的智能化評估時，可根據技能難度以及典型發展兒童的技能發展特點確定被試人群。

六、結? ?語

研究提出了人工智能技術在技能評估領域中應用的一種新思路，應用頭部姿態估計、表情識別、語音識別等智能技術整合并分析多種視聽線索，研究以應答性共同注意和應答性社交微笑為例，自動分析社交技能評估過程中的行為變化，智能化評估得分以精確的反應時間和持續時間區分以實現精細化評估，評估結果客觀準確且技術的易接受性為兒童早期社交技能連續性評估提供技術支持，另外，這種智能化評估技術綜合了多源數據（頭部姿態、面部表情、語音等），這也為孤獨癥兒童復雜的非語言溝通能力評估提供了有益的補充信息。

基于現有技術限制，研究僅從兩個方面評估兒童的早期社交技能，對于一些復雜的社交技能，如包含肢體動作的主動性共同注意、分享能力、模仿能力等沒有展開探討，未來將進一步深度融入語音識別、體感技術以客觀地評估孤獨癥兒童的語言、動作等外顯行為，并融合心率、皮膚電、腦電等生理信號捕捉技術以精準地觀察孤獨癥兒童的認知心理狀態，以期提供客觀量化的精準評估指標，為孤獨癥個性化干預提供客觀依據;同時，這種客觀量化的智能化評估方式不僅可用來測量孤獨癥兒童的特定內在能力（如認知、社交等），還可用于探討其認知心理狀態如何影響其在特定社會情境下的外顯行為，以探知孤獨癥兒童社會性活動的外在表征與整體社會互動能力的映射機理，從而充實孤獨癥理論，為醫學生物學、神經心理學、特殊教育學等研究領域提供理論支持和技術基礎。

[參考文獻]

[1] American Psychiatric Association. The diagnostic and statistical manual of mental disorders（5th ed.）[M].Washington，DC：American Psychiatric Association，2013.

[2] CDC. Prevalence of autism spectrum disorder among children aged 8 years - autism and developmental disabilities monitoring network， 11 sites， United States， 2014[EB/OL].（2018-04-27）[2019-04-15].https：//www.cdc.gov/mmwr/volumes/67/ss/ss6706a1.htm.

[3] 陳靚影，王廣帥，張坤.為提高孤獨癥兒童社會互動能力的人機交互學習活動設計與實現[J].電化教育研究，2017，38（5）：106-111，117.

[4] FADI T， FIRUZ K， KHAIRAN R. A new computational intelligence approach to detect autistic features for autism screening[J]. International journal of medical informatics， 2018（117）：112-124.

[5] 陳靚影，王廣帥，張坤，等.基于計算機游戲的自閉癥譜系障礙兒童評估研究[J].電化教育研究，2017（11）：80-85，119.

[6] KORHONEN， VESA， R？魧TY， et al. A pilot study： a computer game-based assessment of visual perspective taking of four children with autism with high support needs[J]. Scandinavian journal of disability research， 2017， 19（4）： 281-294.

[7] CHEN J， et al. A pilot study on evaluating children with autism spectrum disorder using computer games[J]. Computers in human behavior， 2019（90）： 204-214.

[8] 于新宇.0-6歲自閉癥兒童社交能力評估系統的研發與應用[D].上海：華東師范大學，2018.

[9] 祝智庭，魏非.教育信息化2.0：智能教育啟程，智慧教育領航[J].電化教育研究，2018，39（9）：5-16.

[10] 陳維維.多元智能視域中的人工智能技術發展及教育應用[J].電化教育研究，2018，39（7）：12-19.

[11] FULCERI F， et al. Motor skills as moderators of core symptoms in autism spectrum disorders： preliminary data from an exploratory analysis with artificial neural networks[J]. Frontiers in psychology， 2019（9）： 2683.

[12] ANZULEWICZ A， SOBOTA K， et al. Toward the autism motor signature： gesture patterns during smart tablet gameplay identify children with autism [J]. Scientific reports， 2016（6）：1-13.

[13] 奎爾. 做·看·聽·說 孤獨癥兒童社會性和溝通能力干預指南[M].何正平，譯.北京：華夏出版社，2015.

[14] HUS V， GOTHAM K， LORD C. Standardizing ADOS domain scores： separating severity of social affect and restricted and repetitive behaviors[J]. Journal of autism and developmental disorders， 2012， 44（10）：2400-2412.

[15] 周念麗. 自閉癥幼兒的社會認知：理論、實驗及干預的研究[M]. 上海：上海教育出版社，2006.

[16] 馬偉娜，朱蓓蓓.孤獨癥兒童的情緒共情能力及情緒表情注意方式[J].心理學報， 2014（4）：528-539.

[17] MEINDL J N， CANNELLA-MALONE H I. Initiating and responding to joint attention bids in children with autism： a review of the literature[J]. Research in developmental disabilities， 2011， 32（5）：1441-1454.

[18] 米勒.心理理論：學齡兒童如何理解他人的思想[M].陳英和，譯.北京：北京師范大學出版社，2015.

[19] PETER M. Joint attention and social-emotional approach behavior in children with autism[J]. Development and psychopathology， 1995， 7（1）：63-82.

[20] DAWSON G， TOTH K， ABBOTT R， et al. Early social attention impairments in autism： social orienting， joint attention， and attention to distress [J]. Developmental psychology， 2004， 40（2）：271-283.

[21] ADAMSON L B， BAKEMAN R， SUMA K， et al. An expanded view of joint attention： skill， engagement， and language in typical development and autism [J]. Child development， 2017，90（1）：1-18.

[22] SCHIETECATTE I， ROEYERS H， WARREYN P. Exploring the nature of joint attention impairments in young children with autism spectrum disorder： associated social and cognitive skills [J]. Journal of autism and developmental disorders， 2012， 42（1）：1-12.

[23] BARBARO J， DISSANAYAKE C. Early markers of autism spectrum disorders in infants and toddlers prospectively identified in the Social Attention and Communication Study[J]. Autism， 2013， 17（1）：64-86.

[24] MESSINGER D， FOGEL A. The interactive development of social smiling[J]. Advances in child development & behavior， 2007， 35（35）：327-366.

[25] ADRIEN J L， FAURE M， PERROT A， et al. Autism and family home movies： preliminary findings[J]. Journal of autism & developmental disorders， 1991， 21（1）：43.

[26] 貝克.嬰兒 兒童和青少年[M].桑標，譯.上海：上海人民出版社，2014

[27] KRSTOVSKA-GUERRERO I， JONES E A. Joint attention in autism： teaching smiling coordinated with gaze to respond to joint attention bids[J]. Research in autism spectrum disorders， 2013， 7（1）：93-108.

[28] 劉袁緣.自然環境下頭部姿態估計方法的研究與應用[D].武漢：華中師范大學，2015.

[29] XU L， CHEN J， GAN Y. Head pose estimation with soft labels using regularized convolutional neural network[J]. Neurocomputing， 2019（337）： 339-353.

[30] LIU Y， CHEN J， ZHANG M， et al. Student engagement study based on multi-cue detection and recognition in an intelligent learning environment[J]. Multimedia tools & applications， 2018， 77（21）：1-27.

[31] GAN Y， CHEN J， XU L， Facial expression recognition boosted by soft label with a diverse ensemble[J]. Pattern recognition letters， 2019，125： 105-112..

[32] 科大訊飛.語音轉寫.[EB/OL]. （2019-03-09） [2019-05-28].https：//doc.xfyun.cn/rest_api/%E8%AF%AD%9F%B3%E8%BD%AC%E5%86%99.html.

[33] 陳小燕，吳婕翎，李明，等. 2～3歲孤獨癥譜系障礙兒童與正常兒童叫名反應的比較[J].中國兒童保健雜志， 2017， 25（9）：931-934.

Intelligent Assessment of Early Social Skills for Children with Autism Spectrum Disorder： Taking Response to Joint Attention and Responsive Social Smile as Examples

CHEN Jingying1，? ZHANG Rujing1，? WANG Fan1，? ZHANG Kun1，? WANG Guangshuai1，? WANG Guanghai2

（1.National Engineering Technology Research Center for E-learning， Central China Normal University， Wuhan Hubei 430079; 2.Department of Developmental and Behavioral Pediatrics， Pediatric Translational Medicine Institution， Shanghai 200127）

[Abstract] The development of artificial intelligence brings new ideas to the assessment of Autism Spectrum Disorder （ASD） while most of intelligent assessments use ASD screening methods， lacking efficient and quantitative refined assessment methods. Thus， a quantitative evaluation system for early social skills based on artificial intelligence is developed. 28 children with ASD are recruited in the experiment， and the videos for the assessment of social skills are collected， in which children's head positions and facial expression are recorded. Techniques such as head pose estimation， facial expression recognition and automatic speech recognition are used to assess their social skills in response to joint attention and responsive social smile. The results indicate that （1） the score of intelligent assessment of early social skills is distributed in gradient with precise response time and duration， and the evaluation result is objective and fine. （2） Accuracy test proves that the score of intelligent assessment is consistent with that of human-rating， which verifies the feasibility of intelligent assessment of early social skills of children with ASD. This method is objective， accurate and easy to use， providing technical support for the continuous assessment of children's early social skills. The precise assessment results， which are objective and quantitative， provide an objective basis for accurate intervention of children with autism， which are of great value for application and practical significance.

[Keywords] Children with Autism Spectrum Disorder （ASD）; Early Social Skills; Response to Joint Attention; Responsive Social Smile; Intelligent Assessment