人臉檢測技術在教學評估中的應用

北京工業大學集成電路與系統研究室 侯立剛 王遠陽 張仕爾 范芳文 羅啟明

人臉檢測技術在教學評估中的應用

北京工業大學集成電路與系統研究室 侯立剛 王遠陽 張仕爾 范芳文 羅啟明

人臉檢測作為人臉識別技術中的一項關鍵技術，近年來成為模式識別與計算機視覺領域內一項研究活躍的課題，其應用涉及到安防監控、人機交互、智能城市等各種領域。本文針對人臉檢測技術在某高校教學評估中的應用展開相關研究，詳細闡述了基于Haar-like特征和Adaboost算法的人臉檢測技術的原理，提出了一種將人臉檢測技術運用到學生聽課質量評估中的實現方法，并且利用教室的監控視頻流檢測學生的課堂抬頭率，進一步分析了該方法的可靠性和實用性。

人臉檢測；Adaboost算法；教學評估；學生聽課質量

1. 引言

當今國際競爭越來越激烈，一個國家經濟實力和科技實力的提升必須依靠高水平的人才，這樣才能在競爭中贏得主動權。人才的培養是高等院校的根本任務，高校發展的核心是高等教育的質量。在高校教學質量的評估中，一個重要的環節就是對學生學習質量的評估。學生學習質量的評估包括對學生學習成績的評估和學生學習效果的綜合評估[1]。目前大多數高校都采用課堂考勤和考察學生作業的完成情況等方法來評估學生的綜合學習效果，但由于現在普遍存在課堂上學生低頭刷屏，且作業完成過程中，存在抄襲現象，故這種辦法不能準確反映學生的學習質量。為了更好地了解學生的學習狀況，有針對性地調整教學方案，研究一套高效、可靠和實用的學生學習質量評估辦法勢在必行。

隨著計算機的應用和物聯網的日益普及，信息的收集與處理變得非常方便，人臉檢測技術就是計算機信息處理的一個典型應用，如果能把人臉檢測技術運用到教學評估中，利用教室的監控視頻流信息，實時檢測學生的課堂抬率，分析所得的數據并探究學生的聽課質量，從而反映學生的學習質量，更好地指導高校教學質量的評估研究，促進高校進行教學改革和完善教學體系。

人臉檢測技術的研究起源于20世紀70年代，研究者提出了多種檢測辦法，統計和神經網絡方法的使用也使得在復雜背景和多分辨率中的人臉檢測成為可能[2]。目前國內外對于人臉檢測技術的研究機構很多，MPEG7標準組織已經建立了人臉識別草案小組，人臉檢測算法也是一項征集的內容。隨著人臉檢測研究的深入，國際上發表的有關論文數量也大幅度增長[3]。雖然目前針對人臉檢測問題的人臉庫很多，但由于人臉本身的特征具有復雜性，建立一個權威的人臉檢測測試圖庫是還很困難，并且由于光照強度，人臉遮掩等原因，檢測效果也不太令人滿意。

2. 基于Adaboost算法的人臉檢測基本原理

本文的研究方法主要是實證研究法，首先提出實現人臉檢測技術在某高校教學評估中的應用辦法，然后對人臉檢測技術的實現過程做了系統論述，最后運用統計分析法綜合實驗結果給出合理的結論。利用教室的監控視頻流，對采集到的圖像數據做了Gamma校正、高斯平滑濾波，再經過銳化和直方均衡化增強等方法對其進行預處理，然后檢測圖像中的人臉，統計課堂抬頭率，分析學生上課的聽課質量，以此來反映學生的學習質量，為教學評估提供比較合理、可靠的支撐材料。

人臉檢測就是給定任意的一幅圖像，可以是數字的視頻信號或者掃描進來的照片，要確定其中是否包括有人臉[4]，檢測的方法很多，各有優缺點。Pual Viola和Mihael Jones[5]于2001年提出了基于Adaboost的方法，該方法很簡單、實時性好，檢測速度很快。Adaboost用于人臉檢測時，需要從人臉中抽取大量的簡單特征，如Rainer Lienhart[6]等人提出的擴展的Haar-like特征。

Adaboost是一種分類器算法，其基本思想是利用大量的分類能力一般的簡單分類器（basic classi fi er）通過一定的方法疊加（boost）起來，構成一個分類能力很強的強分類器（stage classifier），再將若干強分類器串聯成分級分類器（classifier cascade）完成圖像搜索檢測，串聯的級數依賴于系統對錯誤率和識別速度的要求。

3. 人臉檢測技術在某高校教學評估中的應用

3.1 實現流程與方法

本文采用OpenCv開源視覺庫的源碼已經實現的基于Haar-like特征和Adaboost算法構成的級聯分類器，對輸入圖像中的人臉做出比較準確地檢測。OpenCv是用來實現計算機視覺及行為識別等相關技術的開放源碼的視覺庫,是計算機視覺、圖像處理、信號處理等相關領域中用較多的工具[7]。首先在上課時利用教室的監控攝像頭對圖像進行采集，獲得視頻流信息，定時截取一幀圖片數據，經過Gamma校正、高斯平滑濾波，再經過銳化和直方均衡化增強等對圖像進行預處理，然后掃描預處理后的圖像，檢測并標記出圖像中的人臉，統計人臉個數并實時顯示課堂上聽課人數的動態變化，最后給出整堂課上學生聽課質量好壞的綜合評估。人臉檢測技術運用到學生聽課質量的評估中的具體實現方法如圖1所示。

圖1 具體實現流程圖

人臉檢測實現的前提是對圖像進行采集，可以通過視頻監控或者拍照的方法得到原始數據，本實驗采用海康威視普通監控攝像頭和CCD攝像機分別采樣，再利用圖像采集卡獲取數字化視頻圖像信息。為了后期數據處理，我們在采集原始數據的時候充分考慮了采集器的質量、拍攝角度、環境亮度的問題。

3.2 Gamma變換法校正圖像

Gamma校正是對輸入圖像灰度值進行的非線性操作，使輸出圖像灰度值與輸入圖像灰度值程指數關系。

為了方便人眼識別圖像，首先需要將攝像機采集到的圖像進行Gamma校正。本實驗分別用γ=0.3和γ=3.0對原圖2（a）進行校正后得到的結果分別如圖2（b）和2（c）所示：

圖2 （a）原圖 （b）Gamma為0.3時 （c）Gamma為3.0時

與原圖相比，Gamma為0.3時校正后的圖像亮度明顯增強，Gamma為3.0時校正后的圖像亮度明顯降低。

3.3 高斯濾波平滑處理

Gamma校正后的圖像亮度雖然有所改善，但是圖像數據采集過程中的的噪聲依然存在，因此，需要對校正后的圖像進行高斯濾波平滑處理。高斯濾波器是一種旋轉對稱的濾波器，在笛卡爾坐標下是可分的，特別是當通過空間卷積實現圖像平滑時，這種可分性對于提高計算速度是非常有效的[9]。

香港的肉和菜基本上都是依靠內地來供應，在這方面，國家質檢總局、廣東省都做了很多工作，現在供港食品的安全率達到了99.999%，這在全世界都是很難得的。如果這方面能應用到國家的內銷方面，也可以對內地的食品安全問題有所幫助。

本實驗用到的離散高斯卷積核H為(2k+1)×(2k+1)維，其元素計算方法為：

把圖像2-（b）轉化為灰度圖，利用經典3*3高斯矩陣模板對其進行濾波，平滑處理后如圖3所示。

圖3 高斯濾波平滑處理

圖4 圖像銳化處理

3.4 圖像銳化處理

為了使圖像的邊緣、輪廓線以及圖像的細節變的清晰，需要對高斯濾波后的圖像進行銳化處理，由于圖像平滑往往使圖像中的邊界、輪廓變得模糊，為了減少這類不利效果的影響，這就需要利用圖像銳化技術，使圖像的邊緣變的清晰[10]。本實驗采用基于拉普拉斯算子的簡單算法遍歷圖像中的像素點，根據領域像素確定其銳化后的值。

把圖像3轉化為RGB圖后，用銳化濾波器對其進行銳化處理，得到的結果如圖4所示。

對比可知，銳化后的圖像輪廓較為清晰。

3.5 直方圖均衡化處理

把圖4轉化為灰度圖后經過圖像直方均衡化處理。

圖5 直方均衡化處理

圖6 檢測并標記出人臉

對比圖3、圖4和圖5可知，直方均衡化處理后的照片無論是輪廓、亮度還是清晰度都比較高。

3.6 人臉檢測

經過以上3.3.1～3.3.4四個步驟對采集到的圖像進行預處理后，加載OpenCv已經訓練好的人臉檢測分類器，對圖5進行掃描，檢測其中的人臉并標記出人臉所在的位置，同時統計人臉個數，得到的標記好人臉的圖像如圖6所示。由圖6可知，圖像中有8個同學，檢測到的人臉個數為9，而正臉看前方的同學有7個，誤檢出2個不是人臉的物體。這7名被檢測到的同學都是正對前方并抬頭看著黑板的；與此形成鮮明對比的是，圖像左下角的那位同學低頭不看黑板就沒有被檢測到。還有兩種情景分別是大部分人都低頭和趴下睡覺時，其檢測結果如下圖7-（a）和（b）所示，顯然，在大部分人都低頭的時候，最后一排的一同學仍然再看黑板，因此被檢測到了，同時誤檢了2個不是人臉的物體；而當大部分人都趴下睡覺的時候，所有人都未被檢測到，此時沒有誤檢。

圖7 （a）大部分人都低頭

（b）大部分人都趴下睡覺

3.7 動態結果的顯示與學生聽課質量的評估

一堂課程持續45分鐘，本實驗按1分鐘讀取一次監控視頻流信息，獲得一幀圖像數據，再對其進行處理和檢測，由于監控攝像頭像素低、教室光照前度弱，拍攝角度不能居中等因素會影響檢測效果，因此，只要檢測到人臉，可認為它是一張正對前方且正在專心聽講的人臉。整個過程中會顯示出一個直觀的動態結果，便于學生聽課裝態的變化分析，如圖8所示：

圖8 45分鐘內人臉個數的動態變化

由圖8可知，從這堂課開始，25分鐘以前大部分人都在認真聽課，到了課堂后半場，大家幾乎都不怎么專心聽講了。由此可推知，這堂課程上半節大家的聽課質量比較好，隨著時間推移，聽課質量慢慢下降，臨近下課的時候是最差的。同時由統計分析得到這堂課的平均課堂抬頭率為23%。這一現象這符合大多數大學生上課注意力集中時間保持在60-80%的規律[12]。

3.8 結論

本文闡述了基于Haar-like特征和Adaboost算法的人臉檢測技術在某高校教學評估中的應用，本實驗采用在上課期間利用教室的監控攝像頭采集圖像數據，獲得視頻流信息，定時截取一幀圖像，經過Gamma校正、高斯平滑濾波，再經過銳化和直方均衡化等增強方法對圖像進行預處理，然后掃描處理后的圖像，檢測并標記出圖像中的人臉，統計人臉個數并實時顯示課堂上人臉個數的動態變化，最后給出學生聽課質量好壞的綜合評估。經實驗論證，相比于通過記錄考勤的方式評估學生綜合學習效果這一傳統的辦法，人臉檢測技術在評估學生聽課質量的應用及實現方法更為可靠、靈活和實用。

4. 總結與展望

4.1 論文總結

本文詳細分析了當今高校需要調整教學評估辦法的重要性，對比學生綜合學習質量評估的傳統辦法的優缺點，提出了一種實現基于Haar-like特征和Adaboost算法的人臉檢測技術在某高校教學評估中的應用辦法，經實驗論證，這種應用辦法具有可靠性、實用性。

4.2 下一步的工作

在實驗過程中發現，基于Adaboost算法實現的人臉檢測級聯分類器相對準確，但還是有一定的誤差，適應性不好。而且由于教室監控攝像頭質量較差、光線相對較弱和拍攝角度不正原因，檢測出來的結果不是非常好，因此，今后可以考慮使用基于膚色分割和AdaBoost算法的人臉檢測方法，首先把彩色圖像轉換到YCbCr空間，接著應用自適應光線補償算法對圖像進行光線補償，再結合形態學、幾何約束等方法排除背景干擾、進行膚色區域分割，從而使人臉檢測更加精確。

致謝：感謝北京市自然科學基金4152004的資助，感謝北京工業大學教改項目（002000514116019 ）的支持。

[1]陳正,褚建德.高校學生學習質量評價方法[C].西安財經學院.2004.09.070,1(1):53-82.

[2]宗欣露,基于Adaboost算法的人臉檢測方法研究[C].武漢理工大學.2006年11月,3(3):262-317.

[3]宗欣露,基于Adaboost算法的人臉檢測方法研究[C].武漢理工大學.2006年11月,3(3):122-212.

[4]孔凡芝,張興周,謝耀菊.基于Adaboost算法的人臉檢測技術[C].哈爾濱工程大學.2005年6月,1(1):1-94.

[5]VIOLA P,JONES M.Robust real time object detection [A].8th IEEE International Conference on Computer Vision[C].Vancouver 2001.

[6] LIENHART R,MAYDT J.An extended set of haar-like features for rapid object detection[J].IEEE ICIP 2002,2002,1:900-903.

[7]汪翠,基于OpenCv的人臉檢測與跟蹤算法[C].哈爾濱工業大學.2014年12月.32(6):1-77.

[8]彭國福,林正浩.圖像處理中Gamma校正的研究與實現[C].同濟大學電子信息與控制工程學院.2006年2月,30(5):1-40.

[9]劉建磊.主動輪廓模型和高斯模型在圖像處理中的應用研究[C].西安電子科技大學.2012年4月,47(4):120-188.

[10]吳海波.基于拉普拉斯算子的彩色圖像銳化處理[C].中南大學信息可與與工程學院.2008年7月,27(3):1-39.

[11]陳永亮.灰度圖像的直方圖均衡化處理研究.安徽大學[C].2014年4月.

[12]楊偉文,蔣月婷.影響大學生上課注意力集中原因的調查和對策[C].廣州醫學院第一附屬醫院.2011年5月.

侯立剛，男，北京工業大學創新創業學院副院長。

The Application of Face Detection Technology in Teaching Evaluation

Ligang Hou，Yuanyang Wang，Shier Zhang，Fangwen Fan，Qiming Luo
(VLSI & System Lab, Beijing University of Technology, Beijing 100124 , China)

Face detection has become a very active subject in the fi eld of pattern recognition and computer vision. Its application involves security monitoring, human-computer interaction, smart city and other fi elds. In this paper, the application of face detection technology in the teaching evaluation of a university is studied, and the principle of face detection technology based on Haar-like feature and Adaboost algorithm is described in detail. We put forward a method to realize the face detection technology in the quality evaluation of students' listening class. Monitoring the rise of students by monitoring video fl ow in the classroom. In the fi nal ,we evaluate the reliability and practicability of the method.

Face detection；Adaboost algorithm；Teaching evaluation；listening class