基于頭部姿態的學習注意力判別研究

郭 赟， 張劍妹， 連 瑋

(1.山西師范大學數學與計算機科學學院，臨汾 041004；2.長治學院計算機系，長治 046011)

英國教育家洛克在《教育漫話》一書中指出:“教育的技巧就在于能夠很好集中學生的注意力，并且可以持續保持他們的注意力”[1]。任何教學活動都是從注意力開始并伴隨學生記憶內化為認知力的。對于學生來說，注意力在學生的整個心理活動占有很大比重，只有注意力集中才可以進一步思考和記憶，更好地完成學業活動。

在互聯網+教育環境下，各種在線教學資源得到了迅速發展，在線學習方式也達到了廣泛的應用，但傳統課堂教學仍然是向學生傳授知識的主要形式。學習注意力是學生學習效率的一個重要因素，直接影響學生課堂學習效率的提高。當前，對注意力的分析主要有兩種方式：第一種方式是運用可穿戴式設備[2-3]對學生的注意力進行分析，但是可穿戴式設備價格較為昂貴并不能大面積的對學生課堂注意力進行分析研究；第二種方式是運用計算機視覺[4-5]對學習者的面部表情、眼睛和嘴巴的閉合程度進行注意力分析研究，但是在實際運用過程中，由于學生課堂人數眾多且眼睛、嘴巴等區域面積較小存在遮擋等問題，對人體視線方向檢測存在諸多困難，無法精確地對學習者進行注意力分析。

近年來越來越多的研究者開始運用頭部姿態對學習者注意力進行分析研究。通常人體的思維方式是可以根據頭部旋轉方向和運動狀態來表現[6]。例如，當人們在談話時通過利用朝誰點頭來確定和誰說話，對于注視某個目標用戶通常會正視該目標而不會斜視某個目標。人的頭部轉向已經作為一種非語言的標志來傳遞信息，所以可以看出人的注意力與頭部姿態和人眼注視方向是有一定關聯性的，在大多數情況下是可以通過對頭部姿態的研究來分析人的注意力方向的。Stephen等[7]研究發現，在多數情況下用戶的注意目標行為是可以通過分析頭部姿態角度獲得的；陳平等[8]通過隨機級聯回歸樹對人臉特征點進行檢測，并運用N點透視(pespective-n-point，PNP)算法進行頭部姿態估計實現了學生注意力的可視化；董力賡等[9]提出一種推理用戶注意力目標的動態貝葉斯網絡模，并將其應用于智能廚房用戶注意力目標分析中；Smith等[10]、Zhang等[11]等研究通過分析固定位置的多個關注目標和多用戶位置的單個關注目標來監控用戶在戶外環境中的注意目標行為；盧希[12]通過傳感器收集學生的學習行為數據來分析學習者的學習狀態；Masset等[13]運用注意力檢測模型建立了一個人機交互系統，可以有效判斷在多人環境中確定目標人物的位置及頭部姿態等相關信息；余繞東[14]通過收集學習者的面部及眼部信息，開發了一種智能注意力檢測系統來檢測學習者狀態。通過對上述相關文獻的研究發現，大多數的研究方法都對設備有一定的要求。文獻[9]中所提到的需要多個攝像頭和顯示屏，還有的方法則需要Kinect傳感器和眼動儀等，這些設備價格都比較昂貴不適合大規模使用；而文獻[8]提出的低成本學生注意力分析法，則需要對學生的課堂學習情況進行實時監測來及時了解學生的注意力情況，但在實際應用中老師不可能時刻關注學生注意力檢測系統。

基于以上方法的弊端，提出學生課堂注意力檢測方法。通過高清攝像頭對學生課堂學習情況進行采集，并運用卷積神經網絡和比例正交投影迭代變換(pose from orthography and scaling with iteratons, POSIT)算法對學生頭部姿態進行估計，從而對學生課堂注意力進行判別。實驗通過模擬單個學生日常課堂學習行為習慣進行檢測。實驗表明，本文模型可以有效檢測學生的注意力分散情況并對學生整堂課的學習情況進行評價，可以給教師提供學生的學習情況信息，為學生下一階段的學習情況作出預警提示。初步證明了該方法的有效性。下一步將拓展到對多人的學生課堂注意力進行檢測，進一步增加模型的實用性。

1 研究背景

1.1 學生注意力研究場所

為對學生課堂學習注意力進行分析，運用高清攝像頭對學生課堂學習情況進行采集。如圖1所示，教室長和寬分別為9 m和7 m，黑板長和寬分別為4 m和1.5 m，黑板離地高度為1 m。在研究中利用安置在教室正前方的攝像頭(A)對學生課堂學習情況進行采集，通過卷積神經網絡和POSIT算法對學生的頭部姿態進行估計，獲取頭部旋轉信息的俯仰角(θpitch)、偏航角(θyaw)、旋轉角(θRoll) 3個維度的數據，如圖2所示，以實現對學生課堂學習注意力的分析。

圖1 教室布局Fig.1 Classroom layout

圖2 頭部旋轉方向Fig.2 Head rotation direction

1.2 學生學習注意力分析

研究的主要目的是判別學生的注意力，根據頭部姿態估計學生的視線是否集中在黑板區域來確定學生的注意力方向。如圖3所示，當學生的視線集中在黑板內的某一點時，如P1，則認為學生注意力集中；與之相反的是，當學生的視線長時間偏離在黑板區域之外時，如P2，則認為學生注意力分散。一般情況下，人們并不習慣于斜著眼睛注視其關注的目標，因此，可以將頭部姿態的旋轉方向近似地看成學生的視線方向來分析學生的注意力情況。如圖1所示，假設學生坐在教室第1排，當學生在C點注視黑板區域時，頭部幾乎不需要旋轉就可以觀察到黑板區域，此時學生的頭部旋轉范圍最??；當學生在B點注視黑板區域時，頭部向右旋轉即為學生向右觀察黑板區域的最大范圍；當學生在D點注視黑板區域時，頭部向左旋轉即為學生向左觀察黑板區域的最大范圍；當學生依次坐在第2排或者更靠后的位置時，頭部旋轉范圍會逐級減小。選擇黑板邊緣作為學生注意力分散的邊界域。當學生坐在B或者D點時，向黑板左右邊界注視時即為偏航角(θYaw)的旋轉范圍；當學生坐在C點時，向黑板上下邊界注視時即為俯仰角(θPitch)的旋轉范圍；旋轉角(θRoll)為頭部向左或向右偏離，正如學生在學習過程中經常會拿胳膊扶著頭部注視黑板的行為，此時并不影響學生向黑板區域注視的視線范圍。因此本文只關注學生在俯仰角(θPitch)和偏航角(θYaw)方向上的頭部旋轉范圍。

圖3 學生注意力情況Fig.3 Attention of students

依據教室環境建立坐標系，以黑板上沿中心點為坐標原點，以原點水平向右的方向為X軸正方向，以垂直原點方向為Y軸正方向，以垂直XY平面指向學生的方向為Z軸的正方向。根據學生頭部視線到達黑板邊緣作為學生行為異常的判別標準，如圖4所示，α1、α2、β1、β2作為學生頭部偏轉異常的閾值，α1、α2即為學生θYaw方向旋轉范圍；β1、β2為學生θPitch方向旋轉范圍。當頭部旋轉范圍超出閾值時，即可認為學生的視線在黑板區域之外，則判定為注意力分散。假設黑板的長度為h,寬度為d，頭部中心點坐標為F(x,y,z)。當學生坐在教室第1排，學生坐在圖1所示的B和D點向黑板左右邊緣注視時，即為學生在θYaw方向的頭部最大旋轉范圍，記為式(1)；當學生坐在C點向黑板上下邊緣注視時，即為學生在θPitch方向的頭部最大旋轉范圍，記為式(2)。依據實際教學環境，假設頭部中心點和眼睛重合，且成年學生的眼睛離地面的高度為1.2 m，則確定學生的頭部旋轉范圍為θPitch方向[-6°,29°]，θYaw方向[-47°,47°]。

(1)

(2)

圖4 頭部偏轉范圍Fig.4 Head deflection range

2 基于頭部姿態分析的注意力判別過程

2.1 基于頭部姿態的學生注意力判別方法

提出一種基于學生頭部姿態的注意力判別方法，采用學生頭部姿態角度作為學生注意力的判別指標，建立相應的學生注意力判別系統。提出了4個步驟的學生注意力判別流程，即數據的提取、人臉面部特征點的定位、頭部姿態角度估計和注意力判別檢測。本文方法需要事先利用安裝在黑板正上方中心的高清攝像頭(A)對學生的課堂學習情況進行錄像采集，再采用圖5所示的流程對學生頭部姿態進行檢測，并利用學生注意力檢測系統對學生課堂的學習情況進行檢測。

圖5 學生注意力判別方法基本流程Fig.5 Basic flow chart of student attention discrimination method

通過以下4步操作，對學生注意力進行檢測分析。

(1)視頻幀獲取。通過高清攝像頭采集學生日常課堂學習情況，包括認真學習、左顧右盼和低頭看手機等日常學習習慣，并獲取學生學習視頻幀。

(2)人臉特征點檢測。通過級聯卷積神經網絡對學生面部圖像68個特征點進行檢測定位，為運用POSIT算法進行頭部姿態檢測提供二維信息。

(3)頭部姿態檢測。通過求解POSIT獲得 2D/3D 之間的映射關系，得到頭部姿態的旋轉與平移矩陣。

(4)學生注意力檢測。根據學生的頭部姿態信息運用注意力檢測系統對學生整堂課的學習情況進行檢測。

由于在數據獲取階段采用專業處理軟件獲取視頻幀，所以接下來將重點對人臉面部特征點檢測、學生頭部姿態角度計算、學生注意力判別方法等3個方面進行論述。

2.2 基于卷積神經網絡的人臉特征點定位

卷積神經網絡因其對視覺檢測有較好的魯棒性已成為圖像研究領域的熱點。故采用深度卷積神經網絡進行學生頭部姿態研究，參考Zhou等[15]運用的深度卷積神經網絡(deeping convolutional neural network,DCNN)采取4個層級的“由粗到精”特征點檢測，由于第4層級的檢驗誤差較第3層級提升較小，為了提升運行效率采用3個層級的網絡對內部關鍵點和外部關鍵點進行特征點檢測。其中，第1層主要獲取面部器官的內部邊界域，第2層將粗定位出51個關鍵點預測位置；第3層將依據不同器官進行從粗到精的定位，并輸出51個關鍵點位置。同時針對外部輪廓使用一個簡單的網絡級聯，采用兩個層級進行檢測，首先獲得面部外部輪廓邊界，其次在對外部輪廓進行特征點定位，最終面部68個關鍵點由內、外輪廓關鍵點進行相加得到，如圖6所示。

圖6 級聯網絡結構Fig.6 Cascading network structure

圖7 卷積神經網絡結構Fig.7 Convolutional neural network structure

在對內部輪廓和外部輪廓的特征點進行檢測時要把損失函數進行分離，由于背景和局部紋理信息的不同，會導致在定位各關鍵點時存在不平衡。在外部輪廓檢測時，由于背景信息不同可能會提供一些干擾信息；而在內部輪廓的檢測時，每個關鍵點的位置信息和難易程度也各不相同。這將導致內、外輪廓在訓練中存在不平衡，因此需要分別計算損失函數對兩個子系統進行單獨訓練以防止過度擬合。

在輸入網絡模型之前要對圖像進行預處理，把圖像數據歸一為均值和方差分別為0和1，其次把數據映射到[-1,1]區間。為了防止在剪裁時可能漏剪了一部分人臉圖像，所以把剪裁區域擴大了15%，以此來保證全部的信息都可以檢測得到。在訓練網絡中，以DCNN作為基本組成部分，模型把原始圖像作為輸入，并對所需點的坐標進行回歸。圖7所地為基本的深度網絡結構。網絡在卷積層后面連接的是最大池化層，并在高層采用非共享卷積層，不同位置采用不同的參數以確保對五官的特征檢測。

網絡有3個卷積層和3個池化層相連接，輸入的圖像對與每一個卷積層都對應的有多個卷積核，并輸出卷積結果。設輸入的第t個卷積層為It，則根據式(1)計算：其中I為輸入的卷積層，F和B是可調參數，同時運用雙曲正切函數和絕對值函數以保證網絡的非線性。

(3)

同時在每個卷積層后面加一個無重疊區域的最大池化層，用公式表示為

(4)

在卷積層和最大池化層后加一個非共享權值得卷積層，并將輸出結果作為特征，用一到兩個全連接層進行特征點回歸。

(5)

系統運用3種不同的網絡結構，如表1所示，其中網絡1是對內部輪廓關鍵點進行預測，網絡2是對外部輪廓關鍵點預測，網絡3是其余結構點預測。

表1 級聯卷積網絡結構Table 1 Concatenated convolution network structure

2.3 基于POSIT算法求解頭部姿態

采用POSIT算法求解三維空間內的頭部姿態角度。該算法以三維頭部模型，二維面部特征點以及攝像機參數作為輸入來確定三維空間內的頭部姿態角度[16]。POSIT算法有兩部分組成：第1部分先用弱透視投影模型代替透視投影模型，通過對物體旋轉矩陣和平移向量的計算得出頭部姿態的估計值；第2部分用前面的估計值再進行第1部分的計算。這樣不斷重復以上兩步，直到達到要求為止。因此算法選用左右眼角、鼻尖、左右嘴角作為輸入進行頭部姿態估計。首先建立3個坐標系。即圖像坐標系、攝像機坐標系和目標坐標系，設目標坐標系為a=(x,y,z)且以目標為坐標中心；攝像機坐標系為b=(X1,Y1,Z1)且以攝像頭為坐標中心；圖像坐標系為c=(x0,y0)，且圖像中心為(c0,d0)，攝像機焦距為f，攝像機參數矩陣為[fx,fy,c0,d0]，攝像機坐標系可以通過投影M變換表示，其中ΠM表示為三維坐標與二維坐標的轉換關系函數。

(6)

首先建立旋轉矩陣R和平移向量T：

(7)

透視投影變換為

(8)

根據攝像頭內參數矩陣和f與x0、y0的比例關系，設一個像素的位置為(c,d)，則對應得x0、y0為x0=(c-c0)f/fx，y0=(d-d0)f/fy，因為目標坐標系為a=(x,y,z)，則得出：

(9)

式(9)中：w=Z1/TZ,s=f/TZ，假設物體的所有點在同一個深度上，且w=Z1/TZ1≈1，由此可以得出：

(10)

由于(x0,y0)和(X1,Y1,Z1)認為是已知的，因此該方程可以看作是8個獨立方程求解旋轉矩陣R和平移向量T，并通過矩陣R和向量T計算相應三維空間角度為

θYaw=atan2(R32,R33)

(11)

(12)

θRool=atan2(R21,R11)

(13)

2.4 學生注意力判別標準

注意力分散判別是指學生的視線因為某種原因偏離前方黑板區域而進行的注意力判別研究，由于學生的注意力主要集中在前方黑板的視線區域，并且頭部運動集中在俯仰角(θPitch)和偏航角(θYaw)方向上，所以本文只關注在特定區域內的頭部姿態。依據2.2節確定了學生的頭部旋轉范圍為θPitch方向[-6°,29°]，θYaw方向[-47°,47°]。當學生的頭部旋轉范圍超出這個角度時，認為學生的視線偏離黑板區域，即為注意力分散。依據學生實際學習情況，學生偶爾視線偏離黑板區域一兩次，并不能說明學生注意力不集中，只有學生視線偏離黑板區域一定時間時才可以確定為注意力分散。因此設計了分兩步的判別標準。第1步檢測單次視線偏離時長，當單次頭部旋轉角中有一個角超出閾值持續時間>2 s時，則計數并判斷為注意力分散；第2步檢測視線偏離所占總時間比值，當頭部旋轉角中有一個角超出閾值的時間比例大于或等于65%時，則判斷為課堂注意力不集中；當超出閾值的時間比例大于或等于45%且小于65%時，則判斷為課堂注意力一般；否則判斷為課堂注意力集中。根據上述判別規則設計了注意力判別系統，如圖8所示。

圖8 注意力判別系統Fig.8 Attention discrimination system

3 實驗結果與分析

3.1 頭部姿態的實驗分析

為了驗證姿態估計的有效性，采用公開的Biwi Kinect數據集對頭部姿態估計方法進行精度測試。此數據集是通過微軟的Kinect統計得到的，數據集共有1 500張圖像，有20個不同姿態的圖像和24段視頻幀，并且對數據集中每個圖像的位置和角度都做了標定,如圖9所示。實驗在8 GB RAM的Inter(R) Core(TM) i5-7500 3.40GHz處理器和64位Windows10操作系統中實現。開發環境OpenCV庫。

圖9 Biwi Kinect數據樣本庫Fig.9 Biwi Kinect data sample database

提出基于卷積神經網絡和POSIT算法相結合的行頭部姿態分析方法，并運用Biwi Kinect數據集[17]進行頭部姿態旋轉角計算，以獲取俯仰角、偏航角、旋轉角的估計值，把其估計值與數據集中標定值之間的差值絕對值作為估計值的誤差。實驗過程選用1 300張圖像進行模型訓練，200張圖像進行測試。首先進行數據擴增，通過對訓練圖片進行順、逆時針和鏡像的變換，得到了6 500張圖像；在訓練過程中輸入60×60的人臉圖像對人臉輪廓進行剪裁，剪裁后的人臉圖像在對人臉內部關鍵點進行粗定位。粗定位預測到的關鍵點，再通過剪裁出40×40人臉局部圖像，包括雙眼、鼻尖、嘴角和眉毛的4個區域，以關鍵點為中心對剪出的4個局部區域圖進行人臉關鍵點精定位，隨后根據其檢測到的人臉特征點通過POSIT算法對其頭部姿態角度進行計算。如表2[8,18-21]所示，運用本方法所得到的θPitch、θYaw和θRoll的平均角度誤差分別為 3.0°、4.0°、3.9°，準確率為92.7%。實驗表明本文提出的方法對頭部姿態估計有效。為了更好地驗證本文方法的效率，選用BiWi姿態數據庫中連續的一百幀頭部姿態信息和文獻[20]進行對比，圖10所示為連續的一百幀姿態信息表示結果?？梢钥闯?，本文的方法曲線更加的圓滑，更加符合真實的姿態信息，驗證了本文方法的魯棒性較好。

表2 本文算法與當前頭部姿態估計方法的比較Table 2 The algorithm is compared with the current head pose estimation method

圖10 兩種不同算法的比較結果Fig.10 Comparison results of two different algorithms

3.2 學生注意力判別分析

基于以上分析，由學生注意力判別標準來對學生課堂學習注意力進行分析研究。為驗證本方法的檢測效果，設計了由學習者模仿學生傳統課堂學習過程，測試學生無規律的認真聽講、低頭看手機和左顧右盼等學生日常學習課堂行為。選用高清攝像頭，像素1 200萬，作為采集工具，把攝像機固定在學習者正前方的2 m處，通過對采樣視頻的分析來檢測學生學習注意力情況，記錄學習者在普通光照條件下60 s內的學習過程。

算法實現過程：學生坐在攝像機前，攝像頭會記錄學生的學習情況，后通過注意力檢測系統對學生學習過程的每一幀圖像進行檢測，記錄學生的頭部旋轉信息，將其中有一角超出范圍的記為1，沒有超出的記為0。首先記錄2 s內連續為1時，則判定為注意力分散并計數，其次計算單位時間內記錄為1的和占總時間的比值并輸出學生課堂注意力情況。由此可以統計出注意力分散次數和學生單位時間內注意力情況。部分典型行為截圖如圖11所示。

圖11 學習者行為截圖Fig.11 Screenshot of learner behavior

依據上述實驗數據結果，構造了注意力分散曲線圖，如圖12所示。其中縱坐標分散比值為注意力分散檢測時間段內頭部偏離閾值幀數占該時段總幀數的比值。同時與其他算法進行比較，如表3[22]所示。由表3可知，本文方法的學生注意力檢測準確率為88.7%，相較于傳統算法有所提高，但本文方法對于頭部朝下時還存在誤檢的情況，原因在于訓練模型的數據量較少，以后研究有待進一步完善。

圖12 注意力分散檢測比Fig.12 Attention distraction detection ratio

算法注意分散次數檢測錯誤次數準確率/%頭部偏轉檢測[22]16287.5本文結果17288.7

4 結論

提出了一種基于頭部姿態分析的學生注意力判別方法。首先，運用卷積神經網絡對人臉面部特征點進行提取，并基于POSIT算法計算人體頭部姿態角度，最后運用注意力判別標準對學生注意力進行分析研究。通過實驗分析本文提出的方法可以有效監測學生的課堂注意力情況，對學校課堂教學研究有一定的理論意義。下一步將繼續優化本文算法模型，嘗試與其他研究方法相結合對學生注意力進行研究，同時將研究成果推廣到多人課堂學習注意力的分析判別，最大程度提高注意力分析的魯棒性和實用性。