基于人工智能的自閉癥兒童情緒識別系統(tǒng)研究

孫宏林 程敬 李茜 彭俊峰 張佳偉

（西安工程大學(xué)機(jī)電工程學(xué)院，陜西 西安 710600）

引言：自閉癥又稱孤獨(dú)癥,是一種腦功能障礙引起的嚴(yán)重的長期發(fā)展障礙的綜合癥，主要表現(xiàn)在言語發(fā)展與溝通、社會交往以及情緒與行為模式等方面的障礙或異常。研究發(fā)現(xiàn)自閉癥患者很難識別出自己的或者是其他人的面部表情以及情緒。這種識別他人情緒表情能力的缺乏影響了他們與他人交往的能力[1]。根據(jù)世界衛(wèi)生組織的調(diào)查顯示，全世界自閉癥患者已達(dá)6700 萬以上，這一上升趨勢還在不斷的加劇，據(jù)全國殘疾人普查情況統(tǒng)計(jì)估算，我國自閉癥患者已超過1000 萬人，自閉癥尤以兒童占比較高，我國0-14 歲兒童患者數(shù)量在200 萬人左右，并且數(shù)量逐年增高。

一、研究背景

自閉癥又稱孤獨(dú)癥,是一種腦功能障礙引起的嚴(yán)重的長期發(fā)展障礙的綜合癥，主要表現(xiàn)在言語發(fā)展與溝通、社會交往以及情緒與行為模式等方面的障礙或異常。隨著自閉癥近年來的增長趨勢，已經(jīng)逐漸的得到廣大人群的關(guān)注，據(jù)2013 年美國精神病學(xué)會的最新診斷標(biāo)準(zhǔn)《精神疾病診斷與統(tǒng)計(jì)手冊》第五版，ASD 的典型特征劃分為3 大特征:社交障礙，語言交流障礙，重復(fù)刻板的異常行為[2]。Baron 等人使用標(biāo)準(zhǔn)的面部表情圖片研究自閉癥兒童對不同情緒種類的識別,發(fā)現(xiàn)自閉癥兒童對他人由外部情境引發(fā)的簡單表情識別得較好,如高興和悲傷,但難以識別由信念和愿望引發(fā)的面部表情如驚奇、窘迫等[3]。他們對于害怕、不安、痛苦等表達(dá)負(fù)性情緒的表情更不敏感[4]。根據(jù)世界衛(wèi)生組織的調(diào)查顯示，目前全球有自閉癥患者約6700 萬人，我國自閉癥患者已超過1000 萬人，自閉癥尤以兒童占比較高，我國0-14 歲兒童患者數(shù)量在200 萬人左右，每59 名兒童中就有1 名為自閉癥患者。

迄今為止，自閉癥病因尚不明確，因此沒有特別有效和有針對性的治療藥物，目前自閉癥治療方案大多采取教育和行為干預(yù)的方法，以藥物為輔助手段，而教育和行為干預(yù)效果并不明顯，而且費(fèi)用高昂，給患者家庭帶來巨大的經(jīng)濟(jì)負(fù)擔(dān)。

二、系統(tǒng)實(shí)施

（一）總方案實(shí)施

實(shí)施方案包括三個(gè)方面：

1.基于腦電信號的自閉癥兒童情緒識別

設(shè)計(jì)出自閉癥患兒易于接受的智能可穿戴設(shè)備，形狀類似日常生活中佩戴的帽子，用來采集自閉癥患兒腦電信號，采用人工智能中深度學(xué)習(xí)的方法對腦電信號進(jìn)行特征提取，構(gòu)建多維情緒分類系統(tǒng)，將特征信號與情緒類型進(jìn)行關(guān)聯(lián)，建立自閉癥兒童情緒識別模型進(jìn)行情緒識別。

2.基于面部表情的自閉癥兒童情緒識別

拍攝自閉癥患兒面部圖像，通過人工智能中機(jī)器學(xué)習(xí)的方法針對不同患兒進(jìn)行面部圖像與情緒對應(yīng)關(guān)系的訓(xùn)練和學(xué)習(xí)，進(jìn)而建立自閉癥兒童面部表情與情緒和需求的對應(yīng)關(guān)系模型。

3.綜合腦電和面部信號的自閉癥兒童情緒識別

將自閉癥兒童腦電信號和面部圖像情緒識別結(jié)果進(jìn)行綜合分析，給出自閉癥兒童情緒類型和建議，并將結(jié)果反饋給家人和交流者，以便準(zhǔn)確把握自閉癥患兒的情緒，滿足其需求和進(jìn)行正確的情緒引導(dǎo)。

方案實(shí)施技術(shù)路線如圖1。

圖1 方案實(shí)施路線圖

（二）面部表情的自閉癥兒童情緒識別

采集自閉癥兒童面部圖像，采用通過人工智能中機(jī)器學(xué)習(xí)的方法針對不同患兒進(jìn)行面部圖像與情緒對應(yīng)關(guān)系的訓(xùn)練和學(xué)習(xí)，進(jìn)而建立自閉癥兒童面部表情與情緒的對應(yīng)關(guān)系模型的方案。

首先收集圖片數(shù)據(jù)，將各個(gè)表情圖片數(shù)據(jù)進(jìn)行標(biāo)注，將“自然”情緒設(shè)置為“0”,將“生氣”設(shè)置為“1”，將“厭惡”設(shè)置為“2”，將“害怕”設(shè)置為“3”，將“高興”設(shè)置為“4”，將“傷心”設(shè)置為“5”。然后，運(yùn)用深度學(xué)習(xí)框架PADDLE 搭建RNN 模型。將圖片放進(jìn)模型里進(jìn)行訓(xùn)練，取參數(shù)較好的時(shí)訓(xùn)練結(jié)束。再將測試集進(jìn)行測試，訓(xùn)練數(shù)據(jù)如圖2 所示，若測試集準(zhǔn)確率合格，則模型訓(xùn)練完畢：若測試集準(zhǔn)確率過低，則進(jìn)行數(shù)據(jù)深度修改和框架改進(jìn)。

圖2 訓(xùn)練數(shù)據(jù)可視化圖

訓(xùn)練合格后，運(yùn)用銳爾威視高清攝像頭模組（銳爾威視IMX322 高清，0.01lux1080P，焦距6mm，視角60°）拍攝面部表情圖像，通過識別面目表情圖像，輸出結(jié)果。

（三）腦電信號的自閉癥兒童情緒識別

所設(shè)計(jì)的頭皮腦電信號采集前端電路主要由帶有斬波調(diào)制器的前置放大器、增益可編程放大器以及外置低通濾波器組成，電路的整體構(gòu)架如圖3。

圖3 整體電路架構(gòu)

前置放大器電路結(jié)構(gòu)，對于極其微弱的頭皮腦電信號，要求前置放大器具有較高的增益、較高的共模抑制比和低噪聲。為了抑制共模信號，前置放大器通常采用全差分結(jié)構(gòu)。

增益可編程放大器和低通濾波器，記錄部位、環(huán)境以及電極的變化都會導(dǎo)致頭皮腦電信號的幅度出現(xiàn)大范圍的變化，因此放置可變增益放大器對前置電路的總增益進(jìn)行調(diào)節(jié)以避免輸出信號發(fā)生飽和現(xiàn)象。

三、設(shè)備設(shè)計(jì)

（一）穿戴式腦電傳感兒童帽

根據(jù)兒童頭部形狀和相應(yīng)腦電波信息采集位置，將腦電傳感器（頭皮腦電信號采集前端電路）設(shè)計(jì)成適合兒童舒適配戴的兒童帽，可以隨時(shí)采集腦電信息。傳感器以條幅交叉的結(jié)構(gòu)覆蓋在帽子內(nèi)壁，與頭部貼合，既滿足了采集腦電信號的功能，又能夠滿足受眾兒童對舒適性的要求。

根據(jù)產(chǎn)品功能的要求，以鴨舌帽為原型設(shè)計(jì)本產(chǎn)品：如圖4 所示，帽頂部分內(nèi)部覆蓋腦電傳感器，在佩戴時(shí)，收集腦電信號；帽檐部分放置微型電池和信號發(fā)送器，為腦電傳感器提供電源同時(shí)將收集到的信號發(fā)送給計(jì)算終端。

圖4 兒童帽透視圖

（二）面部表情識別眼鏡

將面部識別攝像頭安裝在眼鏡上，用戶在觀察自閉癥兒童時(shí)佩戴眼鏡，便能采集自閉癥兒童的面部表情信息，同時(shí)結(jié)合穿戴式腦電傳感兒童帽收集到的腦電信息，綜合計(jì)算出自閉癥兒童此刻的情緒，轉(zhuǎn)化成語音告訴眼鏡佩戴者。

以普通眼鏡為原型設(shè)計(jì)面部表情識別眼鏡：如圖5 所示，在眼鏡橫梁正中放置面部表情識別攝像頭；如圖6 所示，鏡腳處安裝微型播放器，用以將計(jì)算出來的自閉癥兒童情緒信息以語音形式告訴眼鏡佩戴者；在鏡腿處設(shè)計(jì)可充電式微型電源，為面部表情識別攝像頭和播放器供電。

圖5 面部表情識別攝像頭

圖6 鏡腳處微型播放器

四、結(jié)論

人工智能技術(shù)的飛速發(fā)展為改善自閉癥兒童社會功能與生活質(zhì)量提供了可能，此智能可穿戴系統(tǒng)通過將自閉癥兒童腦電信號和面部圖像情緒識別結(jié)果進(jìn)行綜合分析，給出自閉癥兒童情緒類型和建議，并將結(jié)果反饋給家人和交流者，以便準(zhǔn)確把握自閉癥患兒的情緒，滿足其需求和進(jìn)行正確的情緒引導(dǎo)。同時(shí)通過深度學(xué)習(xí)和機(jī)器視覺相關(guān)技術(shù)開發(fā)智能可穿戴設(shè)備，在自閉癥患兒與一般人之間架起一座橋梁，讓一般人擁有“讀心術(shù)”，能讀懂他們的情緒，滿足他們的需求，提升他們溝通和社交能力，提高他們生活質(zhì)量，進(jìn)而改善他們的病癥，減輕他們的痛苦。