面向個別化指導(dǎo)的深度可分離卷積課堂微表情識別研究*

古沐松 高朝邦 汪海鷹 李立 游磊

(成都大學(xué)計(jì)算機(jī)學(xué)院,四川成都 610106)

在課堂教學(xué)實(shí)際過程中,學(xué)生在課堂中的面部表情,直接反映了該生在上課時(shí)的投入程度和學(xué)習(xí)狀態(tài)。通過對學(xué)生課堂微表情的識別和判斷,對學(xué)生的學(xué)習(xí)結(jié)果會有直接和間接的影響。但由于課堂上學(xué)生眾多,教師很難同時(shí)關(guān)注所有學(xué)生的學(xué)習(xí)狀態(tài),并給出及時(shí)的指導(dǎo)和反饋[1]。因此,利用最新的基于深度神經(jīng)網(wǎng)絡(luò)的微表情識別算法在課堂上輔助教師實(shí)時(shí)感知學(xué)生的學(xué)習(xí)狀態(tài),并給予針對性的提示和指導(dǎo)會對提升學(xué)生學(xué)習(xí)效果起到重要的作用[2]。通過將人工智能技術(shù)與課堂教學(xué)深度融合,獲取學(xué)生的微表情數(shù)據(jù),更好地實(shí)時(shí)進(jìn)行監(jiān)測和評價(jià),將大大提高課堂的整體學(xué)習(xí)效果。

1 面向個別化指導(dǎo)的課堂微表情識別中存在的問題

針對課堂教學(xué)中的微表情識別,通常由數(shù)據(jù)預(yù)處理,微表情圖像特征提取以及微表情分類三部分組成。其中最核心的是微表情圖像特征提取,表情特征主要有幾何特征和紋理特征。Li等在文獻(xiàn)[3]提取面部特征點(diǎn)和特征點(diǎn)之間的角度作為面部表情特征進(jìn)行識別。但面部特征點(diǎn)定位的準(zhǔn)確度易受到光照、姿態(tài)等因素的影響,從而直接影響幾何特征的穩(wěn)健性。此后卷積神經(jīng)網(wǎng)絡(luò)成為微表情識別的主要算法,劉汝涵等通過視頻放大的方法,結(jié)合深度學(xué)習(xí)算法在微表情識別上進(jìn)行應(yīng)用,獲得了良好的可視化效果[4]。宋劍橋等提出一種面向時(shí)空神經(jīng)網(wǎng)絡(luò)的潛在情緒識別方法,使用KPCA降維,減少了冗余特征,結(jié)果表明提取的深度特征能明顯增加表情識別能力[5],但仍存在特征維度高,計(jì)算量大,部分區(qū)分度小的微表情識別率較低等問題。簡而言之,目前通過微表情識別的方法還很匱乏,較多難題急需解決,這些難點(diǎn)的攻克對教育質(zhì)量的提升特別是在線教育質(zhì)量的提升具有巨大幫助。

2 基于深度可分離卷積的課堂微表情識別算法

本課題正是針對目前智慧教學(xué)環(huán)境中,學(xué)生微表情識別率較低,識別速度較慢等問題進(jìn)行研究。根據(jù)高效課堂教學(xué)的應(yīng)用需求,結(jié)合現(xiàn)有的智能采集設(shè)備,構(gòu)建智慧學(xué)習(xí)環(huán)境深度感知模型,提出了面向個別化指導(dǎo)的深度可分離卷積課堂微表情識別方法,實(shí)時(shí)多目標(biāo)智能檢測學(xué)生人臉信息并進(jìn)行高效的微表情分析,推導(dǎo)出學(xué)生的聽課狀態(tài)(傾聽、疑惑、理解、漠視、抗拒、不屑等),統(tǒng)計(jì)學(xué)生在課堂教學(xué)中的參與度、關(guān)注度與活躍時(shí)間。通過對每一個學(xué)生的微表情識別輔助教師分析課堂教學(xué)效果,跟蹤及分析教學(xué)過程中學(xué)生的整體狀態(tài),從而讓教師有效地掌控課堂教學(xué)過程。同時(shí)還可指定跟蹤對象,對指定對象在課堂中的狀態(tài)進(jìn)行實(shí)時(shí)分析,以對學(xué)生個體進(jìn)行針對性的個別化指導(dǎo)以及學(xué)習(xí)問題的及時(shí)矯正。這樣的研究對于智慧學(xué)習(xí)環(huán)境中學(xué)習(xí)者的自我監(jiān)管和外部監(jiān)管、以及提高教學(xué)效果等提供強(qiáng)有力的技術(shù)支撐,對開展課堂智慧教學(xué)、促進(jìn)教學(xué)管理具有一定的創(chuàng)新意義和研究應(yīng)用價(jià)值。

對學(xué)生的微表情進(jìn)行識別主要采用傳感器、攝像頭等設(shè)備進(jìn)行監(jiān)測,然后將采集數(shù)據(jù)傳回后臺云端進(jìn)行識別檢測,但由于數(shù)據(jù)運(yùn)算量及存儲量都非常大,原有的云平臺解決方案普遍存在帶寬負(fù)載不足,實(shí)時(shí)性反饋較差,網(wǎng)絡(luò)連接不穩(wěn)定等諸多缺點(diǎn)。在此情況下,我們考慮將邊緣計(jì)算應(yīng)用到以上的物聯(lián)網(wǎng)監(jiān)測及識別系統(tǒng)中[6]。該系統(tǒng)主要由三層組建,最底層為傳感器或攝像頭等終端設(shè)備,中間層為邊緣計(jì)算節(jié)點(diǎn),具備一定的計(jì)算能力和存儲能力,相對于云平臺更貼近終端設(shè)備,能夠及時(shí)提供運(yùn)算、存儲等支持,大大縮短信息反饋的延遲。最上層為后臺的云平臺,主要用于大規(guī)模的模型訓(xùn)練。我們可以將云平臺訓(xùn)練好的模型部署到邊緣計(jì)算設(shè)備上,達(dá)到快速識別學(xué)生微表情的目的。因此,研究主要內(nèi)容有以下幾點(diǎn):

(1)分析目前智慧環(huán)境下課堂學(xué)習(xí)的研究現(xiàn)狀和存在的突出問題,針對人臉微表情識別技術(shù)在智慧學(xué)習(xí)中的應(yīng)用研究現(xiàn)狀和技術(shù)指標(biāo),探索高可靠性指標(biāo)。

(2)建立基于邊緣計(jì)算的人臉微表情識別系統(tǒng)。通過攝像頭獲取實(shí)時(shí)畫面,并在邊緣計(jì)算設(shè)備上識別人臉微表情,及時(shí)反饋檢測結(jié)果,大大提高系統(tǒng)的實(shí)時(shí)性。

(3)研究基于深度可分離卷積網(wǎng)絡(luò)的課堂微表情識別算法,該算法適用于邊緣計(jì)算的輕量級微表情識別。現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)模型由于整體網(wǎng)絡(luò)復(fù)雜度高、數(shù)據(jù)訓(xùn)練量大,整體計(jì)算時(shí)間較長且需要通過網(wǎng)絡(luò)反復(fù)進(jìn)行數(shù)據(jù)傳輸,大大延緩了識別結(jié)果。因此我們需要對原有深度神經(jīng)網(wǎng)絡(luò)算法進(jìn)行合理改進(jìn),研究適合部署于邊緣設(shè)備的輕量級深度神經(jīng)網(wǎng)絡(luò)算法,在保證較高精度的前提下,實(shí)現(xiàn)對微表情的實(shí)時(shí)、快速甄別,達(dá)到及時(shí)對學(xué)生個別化指導(dǎo)的效果。

(4)設(shè)計(jì)基于深度可分離卷積課堂微表情識別的學(xué)生個別化指導(dǎo)策略。為學(xué)生提供不同的指導(dǎo)方案,激發(fā)學(xué)生潛能,促進(jìn)學(xué)生的個性化成長。該個別化指導(dǎo)策略強(qiáng)調(diào)以課堂微表情數(shù)據(jù)為基礎(chǔ)、以微表情統(tǒng)計(jì)數(shù)據(jù)為依據(jù),同時(shí)基于該數(shù)據(jù)做出客觀的分析和評估。教師依據(jù)數(shù)據(jù)得出結(jié)論之后,可以從資源、路徑、評價(jià)等多個角度實(shí)施指導(dǎo)策略。

對于卷積層的梯度計(jì)算,實(shí)際上就是求損失函數(shù)對卷積層權(quán)重和偏置的導(dǎo)數(shù),其權(quán)重的梯度就是卷積層誤差項(xiàng)與池化層輸出的卷積,表示為:

其偏置的梯度就是卷積層所有誤差項(xiàng)之和,表示為:

對于全連接層的梯度計(jì)算,實(shí)際上就是求特征向量與輸出向量之間的權(quán)重和偏置的導(dǎo)數(shù),分別表示為:

得到CNN中各參數(shù)的梯度后,可根據(jù)梯度下降法對各參數(shù)進(jìn)行調(diào)整,使損失函數(shù)最小。

式中, η為學(xué)習(xí)速率,范圍在 (0,1) 之間。

綜上所述,CNN的訓(xùn)練方式也是采用基于誤差反向傳播和梯度下降方法,通過計(jì)算各層相應(yīng)的誤差項(xiàng)從而得出各層參數(shù)的導(dǎo)數(shù),最后采用梯度下降法調(diào)整各層參數(shù)。針對邊緣節(jié)點(diǎn)設(shè)備的有限計(jì)算資源進(jìn)行優(yōu)化,本文利用深度可分離卷積網(wǎng)絡(luò)改進(jìn)該VGG網(wǎng)絡(luò),降低模型特征提取器的參數(shù)量和運(yùn)算量。深度可分離卷積主要采用depthwise和pointwise操作對原卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行構(gòu)造,它可以在基本保證網(wǎng)絡(luò)原有特征信息的同時(shí),減小網(wǎng)絡(luò)參數(shù)、壓縮網(wǎng)絡(luò)結(jié)構(gòu)從而減小計(jì)算量,提高網(wǎng)絡(luò)的運(yùn)行速度。具體結(jié)構(gòu)如圖1所示。

圖1 深度可分離卷積結(jié)構(gòu)圖Fig.1 Structure chart of depthwise separable convolution

我們利用深度可分離卷積的方法改進(jìn)基于標(biāo)準(zhǔn)卷積的VGG-16網(wǎng)絡(luò)。由于深度分離卷積方法極大地降低了模型的大小,而且同時(shí)可以達(dá)到和標(biāo)準(zhǔn)卷積近乎相同的卷積效果,因而可以和大規(guī)模特征提取模型一樣用于完成圖像分類、檢測、分割等任務(wù)。改進(jìn)后核心網(wǎng)絡(luò)為深度可分離卷積神經(jīng)網(wǎng)絡(luò),主要包括分離卷積層(Conv dw,Conv pw)、Max Pool層(平均池化層),輸入圖像大小為224×224,經(jīng)過一系列的分離卷積、再通過最大池化、全連接(Full Connection,FC)和Softmax分類器處理,最終輸出7維特征,作為最終7分類的計(jì)算分析結(jié)果。算法流程圖如圖2所示:

圖2 算法流程圖Fig.2 Algorithm flow chart

3 結(jié)論

本文采用深度可分離卷積的學(xué)習(xí)方法識別課堂學(xué)生的面部微表情。將課堂微表情數(shù)據(jù)導(dǎo)入后臺進(jìn)行大數(shù)據(jù)分析,給予教師實(shí)時(shí)的課堂指導(dǎo)策略,從而打造智慧學(xué)習(xí)環(huán)境,為學(xué)生的個別化指導(dǎo)提供更精準(zhǔn)的數(shù)據(jù)支撐和針對性的指導(dǎo)策略。