基于情感計(jì)算的兒童自閉癥早期風(fēng)險(xiǎn)預(yù)測(cè)及實(shí)現(xiàn)路徑研究

梁益?zhèn)? 李潭清

研究背景

本項(xiàng)目源于初中時(shí)參加的全國(guó)青少年機(jī)器人競(jìng)賽，當(dāng)時(shí)設(shè)計(jì)了聾啞智慧手套，幫助殘疾兒童實(shí)現(xiàn)溝通和交互，在項(xiàng)目研究過(guò)程中與自閉患兒零距離的接觸，看到了自閉癥對(duì)兒童健康的威脅，心靈深處受到觸動(dòng)。于是在暑假期間，開(kāi)始深入到合肥市康華殘疾人康復(fù)中心、安徽省特殊中專學(xué)校等部門進(jìn)行咨詢與調(diào)研。通過(guò)發(fā)放問(wèn)卷，結(jié)合專家訪談，進(jìn)一步了解到自閉癥兒童的現(xiàn)狀，大多數(shù)家庭是在發(fā)現(xiàn)自閉癥的顯性癥狀后才開(kāi)始尋醫(yī)治療，滯后醫(yī)療康復(fù)的概率較小，且高昂的費(fèi)用讓很多家庭負(fù)債累累。因此，本項(xiàng)目旨在通過(guò)對(duì)兒童自閉癥早期潛在風(fēng)險(xiǎn)進(jìn)行識(shí)別與預(yù)測(cè)，開(kāi)發(fā)一種成本較低、操作方便、安全適用，能早期預(yù)測(cè)兒童自閉癥的系統(tǒng)軟件，實(shí)現(xiàn)自閉癥兒童早識(shí)別、早治療、早康復(fù)的目的。

研究思路

◇既往的賽事經(jīng)歷為本研究提供了研究思路與創(chuàng)意。

◇通過(guò)文獻(xiàn)梳理與分析，系統(tǒng)回顧國(guó)內(nèi)外關(guān)于自閉癥的現(xiàn)狀及研究動(dòng)態(tài)。利用問(wèn)卷調(diào)研和現(xiàn)場(chǎng)咨詢采集相關(guān)數(shù)據(jù)，獲取本研究所需要的數(shù)據(jù)資料。

◇在研究中期，邀請(qǐng)專家座談，咨詢專家的意見(jiàn)和建議，根據(jù)對(duì)專家意見(jiàn)的梳理，選取自閉癥患兒的聲音和表情2個(gè)關(guān)鍵特征指標(biāo)，設(shè)計(jì)研究方法，確定了產(chǎn)品開(kāi)發(fā)的路徑。

目前國(guó)際通用的自閉癥篩查量表ABC （Autism Behavior Checklist）中列出了57項(xiàng)自閉癥兒童的行為特征，對(duì)應(yīng)了57個(gè)選擇題，包括感知能力、交往能力、運(yùn)動(dòng)能力、語(yǔ)言能力和自我照顧能力。通過(guò)分析ABC量表后，發(fā)現(xiàn)核心題目更適合使用計(jì)算機(jī)技術(shù)進(jìn)行自動(dòng)化測(cè)試。以量表中的第21題為例，使用者在回答題目時(shí)需要識(shí)別出被測(cè)試兒童的面部表情，已有的研究報(bào)告指出，在識(shí)別面部表情時(shí)，基于機(jī)器學(xué)習(xí)的識(shí)別技術(shù)比人工識(shí)別的準(zhǔn)確率更高。基于此，本項(xiàng)目擬采用深度學(xué)習(xí)技術(shù)和web服務(wù)技術(shù)智能化量表中的第21題。

實(shí)現(xiàn)ABC量表測(cè)試的基本思路：首先進(jìn)行ABC量表題目的電子化，將量表實(shí)現(xiàn)為本項(xiàng)目APP的其中一個(gè)模塊;其次是分?jǐn)?shù)統(tǒng)計(jì)的自動(dòng)化，根據(jù)測(cè)試者的選項(xiàng)及項(xiàng)目的分值進(jìn)行自動(dòng)統(tǒng)計(jì);最后是個(gè)別題目的智能化，選取可以用新興計(jì)算技術(shù)實(shí)現(xiàn)的題目，進(jìn)行重點(diǎn)突破。

在實(shí)現(xiàn)智能化時(shí)，首先利用深度學(xué)習(xí)技術(shù)訓(xùn)練表情識(shí)別模型;在獲得滿足精度需求的識(shí)別模型后，將之實(shí)現(xiàn)一個(gè)表情識(shí)別的web服務(wù)，供APP端調(diào)用并自動(dòng)識(shí)別表情。具體地，表情數(shù)據(jù)集擬采用Google運(yùn)營(yíng)的Kaggle平臺(tái)中發(fā)布的fer2013。此數(shù)據(jù)集由58 886張老年人、中年人、青年人、兒童、卡通表情圖片組成，包含生氣、厭惡、恐懼、開(kāi)心、傷心、驚訝、中性7種表情。使用開(kāi)源深度學(xué)習(xí)框架Tensorflow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

此外，自閉癥兒童多數(shù)不善言辭，或有語(yǔ)言障礙，與正常嬰幼兒語(yǔ)言功能相比有鮮明的特征區(qū)別，這些特征在3歲之前就已經(jīng)很明顯了。本項(xiàng)目擬通過(guò)采集大量3歲以內(nèi)低風(fēng)險(xiǎn)患兒、高風(fēng)險(xiǎn)患兒和正常兒語(yǔ)言和發(fā)音，建立情感計(jì)算大數(shù)據(jù)分析模型，根據(jù)嬰幼兒語(yǔ)言或發(fā)聲的聲學(xué)特征與已有的模型進(jìn)行模式匹配，根據(jù)匹配的結(jié)果預(yù)測(cè)自閉癥風(fēng)險(xiǎn)系數(shù)。

◇在研究后期，對(duì)實(shí)驗(yàn)研究進(jìn)行科學(xué)分析與歸納，整理匯編各類研究資料和重要文檔，撰寫項(xiàng)目總結(jié)，完善評(píng)估預(yù)測(cè)系統(tǒng)，形成研究成果。

產(chǎn)品設(shè)計(jì)

系統(tǒng)組成

系統(tǒng)采用互聯(lián)網(wǎng)+模式，前臺(tái)利用手機(jī)移動(dòng)終端APP進(jìn)行面部表情數(shù)據(jù)及語(yǔ)音信號(hào)數(shù)據(jù)采集，所采集的數(shù)據(jù)經(jīng)互聯(lián)網(wǎng)傳送至后臺(tái)云服務(wù)器進(jìn)行數(shù)據(jù)分析，最后將檢測(cè)結(jié)果傳回手機(jī)移動(dòng)終端。

系統(tǒng)的語(yǔ)音處理模塊：嬰幼兒語(yǔ)音或發(fā)聲經(jīng)過(guò)手機(jī)話筒進(jìn)行聲電變換，通過(guò)互聯(lián)網(wǎng)導(dǎo)入后臺(tái)評(píng)估預(yù)測(cè)系統(tǒng)。在后臺(tái)，首先對(duì)嬰幼兒語(yǔ)音或發(fā)聲進(jìn)行預(yù)加重和信號(hào)濾波等預(yù)處理，再利用MFCC技術(shù)進(jìn)行聲音特征提取。聲音特征包括：語(yǔ)音的頻率、時(shí)長(zhǎng)、幅度，以及各種聲音的其他線性系數(shù)及參數(shù)、Mel參數(shù)等。利用這些特征參數(shù)，與情感計(jì)算分析模型進(jìn)行模式匹配對(duì)比，得出最終結(jié)論。

關(guān)鍵技術(shù)

◇ABC量表電子化

將國(guó)際通用的兒童自閉癥行為ABC量表的57道判斷題實(shí)現(xiàn)電子化，結(jié)合評(píng)判的數(shù)據(jù)得分，用戶僅需通過(guò)APP選擇的方式完成答題，即可快速得到評(píng)估結(jié)果。

◇核心甄別指標(biāo)的智能化

利用基于深度學(xué)習(xí)的表情識(shí)別技術(shù)和智能語(yǔ)音技術(shù)實(shí)現(xiàn)了對(duì)ABC量表核心題甄別指標(biāo)的智能化測(cè)試與判斷，即語(yǔ)音與表情。ABC量表中存在主觀判斷，家長(zhǎng)作為普通人一般無(wú)法正確回答，因此通過(guò)智能化手段實(shí)現(xiàn)量表的關(guān)鍵指標(biāo)量化。語(yǔ)音采用訊飛技術(shù)和MFCC算法分析，形成語(yǔ)音模型;表情使用開(kāi)源深度學(xué)習(xí)框架Tensorflow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)表情模型的構(gòu)建。

◇特征提取和數(shù)據(jù)庫(kù)建立

利用移動(dòng)終端采集大量高風(fēng)險(xiǎn)、低風(fēng)險(xiǎn)和正常兒童的語(yǔ)音和表情信息，經(jīng)手機(jī)初步信息處理，再由后臺(tái)對(duì)語(yǔ)音和表情信息進(jìn)行特征提取，進(jìn)而分析、訓(xùn)練、學(xué)習(xí)，不斷完善數(shù)據(jù)庫(kù)，最終建立情感語(yǔ)音和表情數(shù)據(jù)庫(kù)。

◇情感計(jì)算模型的建立

結(jié)合基于深度學(xué)習(xí)技術(shù)及開(kāi)源表情庫(kù)，建立表情識(shí)別模型和基于MFCC算法的新型語(yǔ)音表達(dá)模型，研究構(gòu)建了一種新型的自閉癥兒童復(fù)合情感計(jì)算模型。借助移動(dòng)端對(duì)實(shí)時(shí)兒童表情圖像和聲音信息進(jìn)行特征抽取，利用情感計(jì)算模型對(duì)表情和語(yǔ)音源進(jìn)行算法分析，再通過(guò)與語(yǔ)音和表情數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，最終評(píng)估并反饋兒童潛在自閉癥風(fēng)險(xiǎn)高低，從而初步預(yù)測(cè)兒童早期自閉癥風(fēng)險(xiǎn)狀況。

程序設(shè)計(jì)

自閉癥風(fēng)險(xiǎn)預(yù)測(cè)系統(tǒng)由APP前端應(yīng)用模塊和后臺(tái)情感計(jì)算模塊組成。APP前端應(yīng)用模塊包括：用戶注冊(cè)與登錄、咨詢與服務(wù)、關(guān)鍵語(yǔ)音采集、關(guān)鍵表情采集、ABC量表采集和ASD評(píng)估反饋。后臺(tái)情感計(jì)算模塊包括：語(yǔ)音識(shí)別與分析、表情識(shí)別與分析、語(yǔ)音表情模型、情感計(jì)算模型、ABC量表計(jì)算和系統(tǒng)管理。

創(chuàng)新性

◇研究思路與方法的創(chuàng)新。從兒童自閉癥現(xiàn)狀出發(fā)，引發(fā)深入探究?jī)和蚤]癥早期風(fēng)險(xiǎn)的動(dòng)機(jī)，進(jìn)而運(yùn)用多學(xué)科交叉知識(shí)，凝聚團(tuán)隊(duì)力量開(kāi)發(fā)一種簡(jiǎn)單方便、安全可靠、能走進(jìn)家庭的兒童自閉癥早期風(fēng)險(xiǎn)預(yù)測(cè)系統(tǒng)軟件。

◇提出了新的研究視角。以自閉癥早期風(fēng)險(xiǎn)評(píng)估預(yù)測(cè)的社會(huì)需求為切入點(diǎn)，以問(wèn)卷調(diào)研和專家咨詢的綜合結(jié)果為依據(jù)，以情感計(jì)算及互聯(lián)網(wǎng)+為技術(shù)手段，提出了一種基于情感計(jì)算的兒童自閉癥早期風(fēng)險(xiǎn)預(yù)測(cè)的解決方案。

預(yù)期社會(huì)效益和研究展望

項(xiàng)目通過(guò)與部分醫(yī)院合作，選取了100名正常兒童和20名確診患兒作為數(shù)據(jù)庫(kù)樣本，經(jīng)過(guò)測(cè)試與實(shí)驗(yàn)表明，系統(tǒng)使用便捷、安全性好，風(fēng)險(xiǎn)預(yù)測(cè)的準(zhǔn)確率初步達(dá)到80%，具有良好的技術(shù)可行性、社會(huì)期望性和商業(yè)價(jià)值。

本項(xiàng)目團(tuán)隊(duì)在未來(lái)的研究中，將結(jié)合圖像處理與情感計(jì)算等前沿技術(shù)，研究開(kāi)發(fā)具有肢體動(dòng)作、面部表情和行為特征等多模態(tài)的風(fēng)險(xiǎn)預(yù)測(cè)系統(tǒng)，進(jìn)一步提高風(fēng)險(xiǎn)預(yù)測(cè)的準(zhǔn)確率。

該項(xiàng)目獲得第34屆全國(guó)青少年科技創(chuàng)新大賽創(chuàng)新成果競(jìng)賽項(xiàng)目中學(xué)組行為和社會(huì)科學(xué)一等獎(jiǎng)。

專家評(píng)語(yǔ)

該項(xiàng)目極有針對(duì)性地提出了基于情感計(jì)算的兒童自閉癥早期風(fēng)險(xiǎn)預(yù)測(cè)的解決方案，融合了計(jì)算機(jī)科學(xué)、醫(yī)學(xué)、社會(huì)學(xué)等多學(xué)科知識(shí)，具有鮮明的跨學(xué)科特征，且實(shí)踐深度高，已申請(qǐng)相關(guān)專利，項(xiàng)目成果極具社會(huì)價(jià)值，后期發(fā)展前景廣闊。