基于視頻監控的高校課堂教學質量評價方法研究

張云佐，張莎莎，孫雅鵬，郭亞寧，韓云星，孫政南

(石家莊鐵道大學 信息科學與技術學院，河北 石家莊 050043)

0 引言

教學質量是一所高校的“靈魂”。20世紀80年代初，美、英、日等發達國家率先開展了高校教學質量評價工作，取得了令人矚目的成就。1999年以來，我國高等教育的管理模式由“國家控制”向“國家監督”轉變，高校對教學質量的重視程度普遍提高，在提升教學質量方面做出了許多創新性的工作。高校課堂教學質量評價是對教學質量進行過程控制的重要手段，有利于提高教師教學能力、優化教師隊伍、全面提升高等教育教學質量[1-4]。

現行的課堂教學質量評價體系取得了可觀的成績，但也存在不足。其中，普遍存在高效課堂數據失真的問題，動搖了教學質量保障的基礎。從外部質量保障來看，課堂教學數據失真導致教育評估機構無法實現對教學過程的精準監控，對課堂教學的質量控制難以落到實處；從內部質量保障來看，課堂教學數據失真扭曲了對師生的激勵機制[5-7]。

本文基于視頻監控研究高校課堂教學質量的評價方法，通過視頻監控進行人臉的定位、檢測與跟蹤，實現了動態人臉檢測、課堂信息實時反饋、課堂狀態分析曲線繪制等功能。可以幫助教師準確、全面掌握所有學生在課堂教學中的學習狀態，提高教學質量。

1 基于Viola-Jones算法的人臉檢測

Viola-Jones人臉檢測算法是一種基于積分圖、級聯檢測器和AdaBoost算法的方法。以下從積分圖、AdaBoost算法、框架的級聯三方面進行介紹。

1.1 Viola-Jones框架的積分圖

基于特征的模式檢測完全優于基于像素的模式檢測，而圖形的矩形特征一般對邊緣、線段等一些線性的形狀較為敏感，而且它一般都只能描述特定的走向，如：水平、垂直，以及對角線的特征結構。所以，針對人臉檢測和面部特征的識別，采用矩形特征可以有較為良好的檢測效果。如：眼睛的顏色明顯深于旁邊皮膚的顏色，鼻梁兩側的顏色深于周邊膚色，嘴巴在面部的顏色較深等。常用的矩形特征有如下幾類：

圖1 Viola使用的4種矩形特征 Fig.1 Four rectangle features of viola

根據上圖，兩矩形特征反映的是邊緣特征，三矩形特征反映的是線性特征，四矩形特征反映的是特定方向特征。特征模板的特征值定義為：白色矩形像素和減去黑色矩形像素和。

Viola-Jones架構采用積分圖的概念，使得計算效率大大提高，算法的執行效率成數量級地上升。總的來說，就是對于圖像中的任何一點，該點的積分圖像值等于位于該點左上角的所有像素之和，表達式如下：

并且積分圖像滿足如下關系：

其中I表示積分圖像，f表示原來的圖像，x, y, x′, y′表示像素的位置。所以一張圖像的積分圖像記錄了這張圖像上每一個像素點其左上角所有像素的和，如果把一張圖像的左上角看做坐標原點，那么上面的表達式就是原點到該像素點之間的所有像素點的離散求和。利用積分圖像，可以計算一張圖像上任意一個矩形區域的像素和。

1.2 AdaBoost算法

a：給定一系列訓練樣本(x1, y1), (x2, y2), …, (xn, yn)，其中yi=0，表示為負樣本（非人臉），yi=1表示為正樣本（人臉）。N為訓練樣本總數。

b：初始化權重w1, i=D(i)；

c：對t=1, …, T

1）歸一化權重：

2）對每一個特征f，訓練一個弱分類器h(x, f, ρ, θ)，計算對應所有特征的弱分類器的加權（qt）錯誤率

3）選取最佳的弱分類器ht(x)（擁有最小錯誤率）

4）按照這個最佳弱分類器，調整權重：

其中ei=0表示xi被正確地分類，ei=1表示xi被錯誤地分類；

d：最后的強分類器為：

1.3 Viola-Jones框架的級聯

級聯強分類器的原則是，將若干個強分類器由簡單到復雜排列，希望經過訓練使每個強分類器都有較高檢測率，而降低誤識率。如：幾乎99%的人臉可以通過，但50%的非人臉也可以通過，這樣如果有20個強分類器級聯，那么總識別率為0.9920=98%，錯誤接受率也僅為0.520=0.0001%，如下圖所示：

圖2 級聯分類器 Fig.2 Cascade classifier

2 系統構成

系統構成如圖3所示，主要包括：圖像采集與預處理、人臉檢測與定位、人臉特征點提取與人臉識別以及人數統計四大功能模塊，以下分別進行介紹。

2.1 圖像采集與預處理

通過matlab接口連接到校園教務系統，讀取教室上課時間和應到人數，當到達上課時間，系統開始通過教室監控攝像頭采集課堂視頻數據。為保證數據的準確性，學生應自覺將臉部正對攝像頭（抬頭聽課），低頭與扭頭都會影響檢測結果。當檢測不到該學生時，系統默認該學生課堂狀態較差。考慮到處理每一幀圖像對處理器性能要求較高，處理速度較慢，而且本系統面向的對象是學校，為使系統具有更好的適應性，我們截取人臉清晰度高且盡可能大的視頻幀[9]。為加快系統檢測速度，進行圖像預處理是必要的，主要是通過消除圖像中無關的信息，濾除干擾、噪聲，恢復有用的真實信息，增強有關信息的可檢測性和最大限度地簡化數據，從而提高特征抽取、圖像分割、匹配和識別的可靠性。常用的人臉圖像預處理方法有： 濾波去噪、 灰度變換（灰度歸一化）、圖像二值化、邊緣檢測、尺寸歸一化等。由于本系統人臉檢測環境為室內，經常會存在光照不均勻的情況，針對這一問題，我們采用直方圖均衡化方法進行預處理。

直方圖均衡化的變換函數為：

其中：rk為輸入圖像的灰度級；Sk為輸出圖像的灰度級；n為總的像素個數；L為灰度級總數；nj為灰度級rj的像素個數。 灰度化處理前后對比如圖4所示，直方圖均衡化前后對比如圖5所示。

圖3 系統構成 Fig.3 Composition of the system

圖4 灰度化處理前后對比 Fig.4 Contrast of the original and grayscale images

圖5 直方圖均衡化前后對比 Fig.5 Contrast of the histograms

由上圖可得出，通過這種方法，亮度可以更好地在直方圖上分布。這樣就可以用于增強局部的對比度而不影響整體的對比度。但是這種方法的一個缺點是它對處理的數據不加選擇，它可能會增加背景雜波的對比度并且降低有用信號的對比度；變換后圖像的灰度級減少，某些細節消失；某些圖像，如直方圖有高峰，經處理后對比度不自然的過分增強。

2.2 人臉檢測與定位

系統篩選出一幀圖像信息后，通過Viola-Jones算法對幀圖像信息進行檢測，確定人臉區域后，將人臉區域用矩形框框出，定位人臉，將幀圖像檢測定位結果播放形成連續的視頻時，間接實現對人臉的追蹤，以便使用系統的教務督導員直觀的看到人臉分布，獲得較好的使用感受。采用Viola-Jones算法可以實現速度提升：利用積分圖像來提取圖像特征值，所以非常快。同時，利用adaboost分類器的特征篩選特性，保留最有用特征，這也減少了檢測時的運算復雜度。準確率提升方面：將adaboost分類器進行改造，變成級聯adaboost分類器，提高了人臉檢測的準確率（降低漏檢率和誤檢率）[8]。

2.3 人臉圖像特征點提取與人臉識別

通過學習tensorflow的卷積神經網絡知識，建立神經網絡對要檢測的學生人臉進行深度學習，當利用Viola-Jones算法檢測出人臉區域后，提取人臉特征值，人數較少的情況下，可以通過神經網絡進行自動人臉識別，將狀態檢測精確到每一位學生[9]。

2.4 人數統計

前面每一幀使用matlab的Viola-Jones算法對人臉進行檢測后，返回檢測到的人臉個數，將這些數據收集分析，繪出折線表，教師可以直觀看到教室內（抬頭聽課）人數變化。當檢測人數低于應到人數（可通過接口從教務網站獲取）不同百分比（可程序自行設置，也可由教務督導員給出）時，系統給予不同等級警告。從而實現檢測課堂狀態的目的。

3 實驗調試及結果分析

本次實驗分為兩部分，第一部分是對課堂監控視頻的分析，第二部分是對課堂拍攝照片的分析，本次實驗進行了三次測試，第一次測試了11人，第二次測試了23人，第三次測試了35人。實驗過程中，在系統工作的同時，也會人工統計課堂到勤人數并觀察記錄上課不同時間段學生的聽課狀態，并得出不同時間段的學生課堂狀態數據，最終將人工統計結果與系統統計結果對比，得出系統實驗準確率在80%以上。

3.1 視頻分析

本系統通過對監控視頻的分析，確定課堂到勤人數，進而判斷課堂狀態是優秀，良好或是較差，輔助教師判定學生平時成績。我們從某小學的課堂監控視頻中截取一段作為系統實驗測試視頻，系統通過檢測人臉判斷課堂到勤人數，每當學生發生低頭或扭頭行為時，系統默認該學生聽課狀態較差，對上課不同時間段人數進行統計分析進而得出課堂狀態數據。

教室考勤過程截圖如圖6，其中，圖片左側為當前時間與實到人數的對應關系，左側中間為課堂應到人數與實到人數的實時反饋，右下角為教室人數的直觀變化折線圖。

由上圖可以看出，左側圖“課堂狀態”框呈綠色，說明此時學生課堂狀態優秀，右側圖“課堂狀態”框呈橙色，說明此時系統對課堂狀態提出預警，若“課堂狀態”框呈紅色，則證明此時課堂狀態較差。通過對圖6的結果分析，發現本系統可以很好地檢測到人臉，實現基于視頻分析的課堂考勤。在上課期間低頭或扭頭的學生被視為聽課狀態較差的學生，將聽課人數與時間的實時反饋結果作為衡量學生課堂狀態的重要標準，同時作為教師了解自身課程情況的重要參考，更好的促進師生共同進步。

圖6 視頻分析效果圖 Fig.6 The effect of video analysis

3.2 照片分析

本系統選用正常光照下拍攝的一組多人臉照片，針對本文中所研究的基于Viola-Jones算法的人臉檢測定位，利用MATLAB軟件進行人臉檢測以及人臉特征的仿真，仿真結果如圖7所示（其中，右圖為提供的原始圖像；左下為人臉檢測定位的效果圖，同時進行人臉的計數和臉部特征識別）

圖7 圖片分析效果圖 Fig.7 The effect of image analysis

通過對圖7的仿真結果進行分析，發現通過本文研究的人臉檢測識別算法可以很好地檢測到人臉并定位面部關鍵特征點，從而，主要的人臉區域就可以被裁剪出來，結合實際的課堂人數，實現課堂考勤，從而準確高效地判斷學生課堂狀態。

3.3 存在的問題及改進方法

（1）在對監控視頻進行分析的過程中，若存在學生低頭或扭頭，易出現檢測不到人臉的情況，因此可能導致課堂考勤人數不準確。

改進辦法：在對監控視頻中檢測到的人臉數進行分析統計時，取本節課檢測到的人臉數最大值作為到課人數，采用這種方式即可降低考勤誤差率，提高考勤的準確性。

（2）由于教室監控攝像頭的角度問題，導致有些人臉難以檢測到，造成課堂人數檢測存在較大 誤差。

改進方法：在上課開始前，硬性要求所有學生抬頭看黑板，那么這一時刻檢測到的人數最為準確，再結合上課過程中的人數檢測進行分析整合，大大提高了考勤的準確率。

4 總結

本系統將人臉檢測技術與高校課堂的監控視頻有機結合，利用有效的視頻分析方法實現課堂人數的精確計算，針對當下高校課堂效率低，學生狀態不積極的問題，提供了良好的解決方案。經過反復的實驗與調試，本系統成功完成課堂考勤功能，并對學生的課堂狀態給出了合理的測評，充分驗證了系統總體設計的可行性。這樣的方式增強了學生管理的便捷度且極大地節約了課堂時間，提高了課堂效率，同時使教師對于學生課堂狀態有了更近一步的了解，便于教師對學生平時成績的評定。因此，基于課堂狀態的視頻分析具有很強的實用性，并且目前的人臉識別算法較為發達，技術比較成熟，可以使得該系統具有較高的可靠性。總的來說，本文對學生課堂狀態的評估提供了有效且便捷的評定標準。