基于頭部姿態識別的學習狀態檢測系統的實現

吳麗娟, 梁岱立, 關貴明, 任海清, 黃 堯

(1. 沈陽師范大學 物理科學與技術學院, 沈陽 110034;2. 北部戰區 31441部隊, 沈陽 110001)

0 引 言

20世紀60年代開始, 學者們展開了對人臉檢測技術的研究, 經過幾十年的發展, 目前該技術已經在很多領域中得到了應用[1]。將人臉檢測和頭部姿態識別技術引入教學活動, 了解學生的聽課狀態, 對課堂教學評價具有積極意義。

近年來,基于深度學習的人臉檢測算法有很多,主流算法有兩大類[2]:一類是二階段深度學習算法,主要包括Fast-R-CNN[3], Faster-R-CNN[4], Mask-R-CNN[5]等;一類是一階段深度學習算法,主要包括YOLO系列[6-8]及SSD(single shot multibox detector)[9-11]。后者較前者有更快的檢測速度。SSD網絡結構是2016年由Liu提出的,此網絡結構簡潔明了,提升了模型的精度和運行速度。針對SSD模型對小目標檢測效果較差的問題,FU等[12]提出了DSSD結構,此方法雖然可以提高模型的精度,但是卻以犧牲模型的運行速度為代價,還有學者提出了DSOD模型[13]等,這些算法都表現出了不錯的性能。

對于基于模型的頭部姿態識別來說,準確的前提是能夠快速精準地獲取人臉信息。本文結合SSD算法模型的應用場景,在保證檢測精度的同時,致力于提高檢測的效率,對SSD算法在特征圖的選取和檢測后處理的非極大值抑制(NMS)算法上進行了改進,在基于模型的頭部姿態識別能夠判斷2種頭部動作(點頭和搖頭)的基礎上,設計了4種頭部姿態檢測:向左看、向右看、向上看和向下看,從而判斷出學生的聽課狀態。

1 SSD算法模型架構

SSD算法模型融合不同尺度的特征圖進行網絡提取,分類和定位都被擬合為回歸問題,既保持了YOLO模型速度快的特性,也保證了窗口預測與Faster-R-CNN模型一樣的精度。SSD算法模型主體架構如圖1所示,主要分為基底網絡、輔助卷積層和用于特征圖預測的預測特征層[14]3個部分。SSD算法模型的基底網絡基于VGG-16網絡模型,將VGG-16網絡后面的三層全連接層和Softmax層用Conv6(FC6)和Conv7(FC7)卷積層代替;輔助卷積網絡是在SSD的基底網絡后面增添的卷積層,使特征表示在復雜背景下更加具有魯棒性。SSD算法模型中共有6層預測特征層(detecton& classifier)用于多尺度預測。在檢測后處理過程中,利用非極大值抑制(NMS)算法對預測特征層檢測的結果進行處理,得到最優候選框。

圖1 SSD算法模型架構Fig.1 SSD algorithm model architecture

SSD算法模型使用了6張大小不同的預測特征圖來檢測不同尺度的目標,分別來自conv4_3,conv7,conv8_2,conv9_2,conv10_2和conv11_2卷積層,前端網絡提取的特征圖尺寸大,細節性較好,適用于檢測小物體。隨著特征圖尺寸的變小,細節性也隨之變差,適用于檢測大物體。除此之外,SSD網絡設置了不同寬高比的預測候選框并且使用了放大和縮小2種數據增強方式,可以有更多的訓練樣本參與訓練,使得檢測結果更加準確。

2 目標檢測結果優化及SSD模型架構改進

2.1 非極大值抑制算法的優化

圖2 原NMS算法的檢測結果Fig.2 The detection results of the original NMS algorithm

SSD算法默認候選框的選取機制會導致很多窗口和其他窗口之間存在很嚴重的重疊情況,需要非極大值抑制(NMS)算法[15]來選擇這些相近區域里置信度最高的候選框,同時去除置信度不高的候選框,最后得出檢測結果。SSD算法模型中的NMS算法對候選框的選取不夠精準,仍然存在候選框重疊問題,如圖2所示,本文在原NMS算法的基礎上對其進行了優化。

優化算法設計:以每個候選框左上角的坐標信息為出發點,數組A中存放所有候選框的左上角和右下角的坐標;取數組A中的第1個候選框的坐標信息放入數組B中,將數組A中所有候選框的左上角橫坐標與數組B中的第1個候選框的左上角橫坐標相減,絕對值相差小于40個像素點的候選框坐標存放到數組B中,并將其在數組A中刪掉,此時,數組B中存放的是所有與數組A中第1個候選框相近的候選框坐標;本文選取數組B中左上角橫坐標最小的候選框作為最終候選框,將其左上角和右下角坐標存入數組C中……重復以上步驟直到數組A中為空,數組C為去除冗余后得到的候選框坐標信息。若數組A中只存放了一個候選框的坐標信息,則無需進行優化,直接存入數組C中,作為最后的檢測結果,算法設計如圖3所示。

圖3 對NMS算法的優化流程Fig.3 Optimization process of NMS algorithm

圖4 優化NMS算法后的檢測結果Fig.4 Inspection results after optimizing the NMS algorithm

優化結果如圖4所示,能夠可以看出優化后的NMS算法可以有效地去除冗余候選框。

2.2 SSD架構改進

SSD算法模型的應用范圍較廣,適用于復雜場景下的物體檢測。原SSD模型中的Conv 8,Conv 9,Conv 10和Conv 11這4個卷積的目的是保證檢測效果在復雜背景下依然準確,針對本文而言,應用場景為教室,相對簡單,且待檢測的人臉屬于中等和較小的目標,不需要提取后端網絡的特征圖就可以保證檢測結果的準確性。因此,對SSD算法模型做了如下調整,在進行檢測時,程序將跳過原SSD模型中的Conv8_2,Conv9_2,Conv10_2和Conv11_2這4層輸出的預測特征圖,只在Conv4_3和Conv7輸出的2層預測特征圖上做預測。改進后的SSD算法模型網絡架構如圖5所示。

圖5 改進后的SSD網絡架構Fig.5 Improved SSD network architecture

當只保留第一層預測特征圖時,模型未檢測到人臉;保留Conv4_3和Conv7輸出的2層預測特征圖的結果如圖6所示,6層特征圖全部保留的檢測結果如圖7所示,即原SSD算法模型的檢測結果。

在相同的教室背景及相同的電腦環境配置下,采用平衡樣本進行測試。改進后的SSD算法模型與原SSD算法模型的識別正確率Accuracy和識別速率FPS見表1。其中,正確率Accuracy為檢測正確的樣本數與總樣本數的比值,識別速率FPS為每秒算法可以檢測圖片的幀數。由此可見,改進后的SSD算法模型較改進前在正確率上稍有下降,但沒有太大差別,在檢測效率上提高了16.17%。

圖6 保留2層預測特征圖檢測結果Fig.6 The result of the two-layer feature map

圖7 原SSD模型的檢測結果Fig.7 The result of the original SSD model

表1 SSD改進前后對比Table 1 Comparison of SSD before and after improvement

3 頭部姿態識別算法的設計與實現

學生頭部姿態識別系統共包含4個環節:輸入視頻流、人臉檢測、頭部姿態識別及課堂行為結果的保存環節。首先,對輸入的視頻流進行預處理,每3 min截取60幀視頻圖像。然后,利用改進的SSD算法找到視頻中的人臉并將其裁剪下來;接下來將裁剪好的人臉信息送入頭部姿態識別算法中,對學生的頭部姿態進行判斷;最后,根據學生的頭部姿態分析出學生的學習狀態。其流程如圖8所示。

圖8 學生頭部姿態識別流程Fig.8 Student head posture recognition process

1) 視頻流預處理

由于在教室環境下的學生處于運動之中,利用第一幀視頻進行人臉檢測得到的面部位置會在幾分鐘之后不再適用。因此,本文對輸入視頻流進行等間隔截取操作,每3 min截取60幀視頻,將這60幀視頻作為人臉檢測的輸入,以此來更新學生面部的位置變化。

2) 人臉檢測

學生的頭部姿態識別是建立在學生面部準確檢測的基礎之上,要想實現頭部姿態識別,首先要進行人臉檢測,本文在SSD算法的基礎上,針對應用場景對其進行了修改,在此環節中,不僅要得到每個學生面部的位置信息,還要對每個位置上對應的學生面部進行裁剪。為了匹配視頻流預處理操作,每3 min對SSD算法進行一次更新,得到新的學生面部位置和裁剪后每個學生的面部信息,將每個學生的面部信息作為頭部姿態識別算法的輸入。

圖9 人臉關鍵點坐標Fig.9 Key point coordinates

3) 頭部姿態識別

本文采用的頭部姿態識別的方法是基于模型的方法,即首先獲得人臉關鍵點信息,然后,根據這些人臉關鍵點信息以設定閾值的方式對頭部姿態進行識別。在獲取到每個學生的面部信息之后,利用face_landmark_localization人臉關鍵點檢測模型[16]得到人臉68個關鍵點信息,取其中的19個關鍵點,如圖9所示。然后,根據獲得的19個關鍵點利用PnP算法得到學生頭部旋轉歐拉角,其計算公式為公式(1)。

其中,R為3×3的旋轉矩陣,如公式(2)所示,T為3×1的平移矢量,本文主要利用旋轉矩陣R來獲得頭部旋轉歐拉角。(Xw,Yw,Zw,1)T是頭部標準3D關鍵點坐標,Zc為face_landmark_localization模型預測的19個關鍵點坐標。

(1)

(2)

公式(3)和公式(4)分別為頭部偏航歐拉角θx和頭部俯仰歐拉角θy的求取公式。

通過頭部偏航角和俯仰角信息,以設置閾值的方式判定學生的頭部姿態,本文采取動態的判定方式,以連續的15幀為一個檢測周期,判定規則見表2。其中,Y代表頭部偏航角,P代表頭部俯仰角。

表2 學生頭部姿態判定規則Table 2 Judgment rules of student head posture

4) 將頭部姿態結果保存成視頻

得到學生頭部姿態信息后,為了后續查看校驗方便將識別結果錄制成視頻。

圖10 頭部姿態識別系統識別結果Fig.10 Recognition result of head posture recognition system

學生頭部姿態識別系統的識別結果如圖10所示,本系統沒有對面向前方的頭部姿態進行識別,只對搖頭、點頭、向左看、向右看、向上看及向下看這些疑似沒有認真聽課的動作和姿態進行識別和記錄。誤檢率和漏檢率見表3,是0.008和0.012。這一結果對學生課堂狀態分析的影響在誤差允許的范圍內。

表3 頭部姿態識別系統的誤檢率和漏檢率

4 結 語

本文基于教室的教學環境,對SSD算法網絡架構和檢測后處理中的NMS算法進行了改進,應用改進后的SSD算法模型與頭部姿態識別相結合的方式對教室中學生的頭部姿態進行識別,實現了處于教室背景下在不降低檢測效果的同時提高檢測效率,可以準確地識別學生點頭、搖頭的2種頭部動作及向左看、向右看、向上看和向下看的4種頭部姿態。經過修改的SSD算法與頭部姿態識別相結合,對學生頭部動作和姿態識別準確率較高,為后續實現跟蹤監測每個學生的課堂學習狀態研究奠定了基礎。