基于視頻流媒體的人臉識別課堂監控系統

白茹

（西安航空職業技術學院，陜西西安 710000）

課堂考勤與監控是課堂管理中重要的一環，能夠在一定程度上保證學生按時上課，確保學習質量[1]。目前，課堂考勤主要依靠老師或班委人工點名的方式，這種方式不僅浪費時間且不能避免早退、代課等情況的出現，無法對課堂進行全面監督[2]。針對上述問題，文中在分析數據流媒體技術的基礎上，建立了一種基于視頻流媒體的人臉識別課堂監控系統。該監控系統充分發揮數據流媒體的優勢，利用圖像預處理中的灰度化及雙邊濾波算法對視頻流進行處理，使其能夠更優地進行人臉識別。測試結果表明，文中設計的系統除了能夠較好地實現視頻流的發送與接收等基本需求外，還可以較好地完成學生的上課考勤以及課堂的實時監控。該系統為實時監測學生遲到、早退、代課和曠課等現象，對課堂進行全面監督等提供了一種可行性方案。

1 視頻流媒體

視頻流（Video Streaming）是一種基于流體化技術的視頻數據傳輸形式[3]。流體化技術的思想為：服務器在向用戶傳輸視頻文件時，首先按時間順序將其分為不同的片段，再將這些片段依次發給用戶。采用視頻流的傳輸方式，可以實現用戶對已接收部分數據的先期處理[4-6]。這種協同傳輸與處理的方式，保證了監控系統內數據傳輸的實時性，提高了視頻信息迅速處理的能力[7]。

流媒體（Streaming Media）又稱為流式媒體，是一種將視頻、聲音、文本等媒體數據壓縮并通過互聯網進行分段發送，能夠實現數據實時傳輸的一種多媒體傳輸技術[8]。視頻流媒體就是將視頻流進行數據壓縮，并實現實時處理與發送的一種網絡傳輸技術。視頻流媒體綜合了視頻流與流媒體的特征，主要體現在以下幾個方面[9-11]：

1）視頻信號可以不經過任何轉換直接采用流式傳輸的方式進行迅速傳輸；

2）對系統所部署的服務器緩存容量的要求較低，這主要是由于其內部是以傳輸數據包為基礎的異步傳輸；

3）視頻流媒體傳輸的實現依賴于特定的傳輸協議，最大程度保證數據傳輸的實時性、連續性和時序性。

視頻流媒體的傳輸流程如圖1 所示。

圖1 視頻流媒體的傳輸流程

其中，Web 瀏覽器端（客戶端）是一個對視頻流進行操作的可視化界面，負責給用戶提供一個輸入輸出接口[12]；Web 服務器端則用來獲取客戶端中用戶的輸入，并根據輸入請求將獲取到的資源反饋給用戶，這些資源包括視頻流媒體的服務器地址、資源路徑以及數據編碼/解碼方式等；流媒體服務器端與Web 服務器、流媒體播放器端相連接，主要負責處理Web 服務器端的數據獲取請求，并為播放器端提供視頻流數據；流媒體播放器端受客戶端的控制，負責播放用戶所請求的視頻流數據。同時，流媒體播放器與流媒體服務器之間的數據通過傳輸協議進行交換，常用的傳輸協議[13]包括實時流媒體協議（RTSP）、資源預留協議（RSVP）、微軟流媒體服務協議（MMS）以及實時傳輸控制協議（RTCP）等。

視頻流媒體的播放方式總共分為3 種：單播[14]、廣播及組播。其中，單播是指系統每個Web 瀏覽器端與流媒體服務器之間均有一個獨立的數據傳輸通道，每個數據包只能被發送到一個瀏覽器端。對于用戶，這種播放方式能夠滿足其個性化需要，如隨時停止、快進、后退等控制功能。但對于服務器而言，單播會造成數據冗余，極大地增加服務器的運行負擔。尤其當用戶較多時，服務器響應時間較長，甚至停止運行。廣播是用戶被動接收視頻流數據的播放方式，是對單播方式的一種改進，采用該方式系統的所有用戶均接收到了相同的流數據。這種方式雖然減少了系統中流數據的拷貝，但未充分考慮各用戶的需求，有些無用的流數據被發送給用戶，浪費了系統的網絡帶寬。組播是基于單播和廣播可以實現數據有效共享的一種播放方式，該方式允許多個客戶端同時訪問同一數據包，極大地減少了系統中的數據包總量[15]。該方式使得單個服務器能夠同時向幾十萬臺客戶機實時地傳輸視頻流數據，并提高系統使用效率。

2 監控系統設計

設計該系統最重要目的在于通過視頻流媒體及人臉識別技術有效監督高校學生的遲到、早退等考勤情況，保證課堂質量，為實現課堂自動化考勤提供新的思路。下面主要是建立監控系統總體框架，并對其中的關鍵模塊進行分析。

2.1 系統架構設計

針對上述所提到的需求，該文設計的基于視頻流媒體的人臉識別課堂監控系統的總體架構如圖2所示。

圖2 監控系統總體架構

該系統可以分為3 個模塊：監控端、服務器端以及客戶端。其中監控端的功能是實時采集課堂狀況，并將獲取到的視頻流數據實時發送到服務器端，流數據的交換采用RTSP 實時流媒體傳輸協議；服務器端負責接收和處理監控端傳輸來的視頻流數據，同時進行人臉識別；客戶端則是人機交互的界面，包括用戶登錄、監控視頻播放、考勤記錄等。

2.2 RTSP傳輸協議

實時流媒體協議（Real Time Streaming Protocol，RTSP）是TCP/IP 協議體系中的一個應用層協議，該協議規定了如何通過IP 網絡有效地發送視頻流數據[16]。RTSP 為視頻流媒體提供了暫停、快進等功能，但其主要用于實現遠程控制服務器。采用TCP或UDP 中的RTP 協議來完成實際數據的傳輸工作，數據傳輸與控制采用不同協議的優勢在于播放流媒體的客戶機和控制流媒體播放的客戶機可以為不同的計算機。系統流媒體服務協議體系架構如圖3 所示。RTSP 在架構上位于RTP 和RTCP 之上，同時利用TCP/RTP 傳輸協議在IP 網絡上完成視頻等多媒體數據的傳輸。

圖3 流媒體服務協議體系架構

RTSP 與HTTP 的相似之處在于兩者均是通過純文本進行信息傳輸，且兩者的編程語法相近，使得RTSP能夠較好地兼容基于HTTP協議所形成的代碼。兩者的區別在于RTSP協議是有狀態的。在進行一個新的RTSP 命令時，需要了解當前所處的狀態，發送的指令也是按照一定的順序執行的，不會出現連接斷開的情況。而HTTP 每發送一個指令后，連接就會斷開，且各指令之間不存在明顯的依賴關系。同時RTSP協議通常使用554 端口，HTTP 協議則使用80 端口。

2.3 人臉識別技術

人臉識別是整個監控系統尤為重要的一部分，其包括圖像獲取、圖像預處理、特征提取、人臉檢測與識別等過程。在該文的設計中，圖像預處理分為兩步：首先對視頻進行灰度化處理，降低彩色圖像的數據量；然后利用雙邊濾波算法去除圖像噪聲，進而突出圖像特征。人臉識別算法采用基于Haar 特征的Adaboost 算法，對應人臉識別模塊的工作流程如圖4 所示。

圖4 人臉識別模塊工作流程

首先是人臉圖像采集，在該系統中代表接收到的實時課堂視頻圖像；然后利用Adaboost 算法對傳入圖像進行人臉檢測，判斷該幀圖像中是否存在人臉，為了減輕服務器壓力，系統對每10 幀的圖像進行一次檢測操作；若存在人臉，則進行人臉特征的提取并進行特征的比對，確定是否為該課堂中已經錄入的人臉。如果是，則記錄該學生信息，完成考勤并進行監控；如果不是，則記錄該異常信息。其中所用到的基于Haar 特征的Adaboost 算法的人臉識別流程如圖5 所示。

圖5 人臉識別算法流程

該算法的人臉識別流程可以描述為：首先計算系統服務器端接收到的監控視頻流的Haar 特征，Haar 特征在本質上是基于積分圖像的矩形特征，主要用來描述圖像某一區域灰度值在方向和尺度上的差異，是人臉識別和目標檢測領域中最常使用到的一種特征；然后利用提取到的Haar 特征求出Adaboost 算法各弱分類器的參數，通過訓練迭代選取每輪最優的弱分類器，并記錄對應的迭代權值。完成訓練后將得到的所有弱分類器根據加法模型組合成強分類器，強分類器通過級聯的方式產生一個用于人臉檢測的復雜模型。

3 系統測試

為了驗證該文設計的基于視頻流媒體的人臉識別課堂監控系統的有效性與可靠性，文中通過3 個實驗內容對該系統進行測試，包括視頻流發送接收測試、人臉識別測試和課堂考勤測試。

3.1 視頻流發送接收測試

該實驗內容主要測試系統監控端的視頻拍攝與視頻流發送以及服務器端的視頻流接收功能，為進一步處理流數據進行人臉檢測與識別奠定基礎。系統該部分的實驗測試結果如表1 所示。

表1 視頻流發送接收測試

由表1 可以看出，系統監控端能夠較好地完成課堂視頻拍攝與視頻數據流發送。同時，服務器端可以在低延遲的情況下，實現對視頻流的實時接收。

3.2 人臉識別測試

該實驗內容主要測試文中系統對單人臉進行識別的準確程度，驗證所采用的人臉識別算法的有效性。測試利用開源的LEW 數據集、Megaface 數據集以及教室攝像頭實拍的數據集Rtd，其中LEW 數據集中總共包括13 233 幅圖像、5 749 人。所有圖像均來源于現實，涉及到的人物均為公眾人物。Megaface 數據集中的圖像大多數為普通人，更接近真實環境。Rtd 為利用教室攝像頭實拍的課堂視頻集，從中選取了5 000 幀，表2 為對不同數據集的實驗測試結果。

從表2 可以看出，該文系統所采用的基于Haar特征的Adaboost 人臉識別算法準確率均能達到95%以上，充分說明了該算法的有效性以及人臉識別的可靠性。

表2 不同數據集人臉識別準確率

3.3 課堂考勤測試

該項目主要測試系統在真實課堂環境中的表現情況，包括課堂考勤的成功率及學生上課時間統計。其中課堂考勤的成功率是指對正常上課學生的準確識別，同時對旁聽與未選該課的學生進行區分。總共進行了4 組實驗，實驗結果如表3 所示。其中，教室總人數是指該課堂應到的人數與旁聽該課人數之和；課堂考勤的成功率計算則是識別成功人數除以課堂應到人數×100%的結果。

表3 課堂考勤成功率實驗結果

由表3 可知，該系統的課堂考勤成功率較高，能夠達到96%以上，具有較好的實用性。

學生上課時間統計是指通過視頻流確定上課學生出現在監控畫面中的時長，以此判斷學生是否有出現打卡之后逃課的情況，進而完成對學生上課情況的監控。表4 為上課時段中52 個學生的上課時間統計數據。

表4 學生上課時間統計

由表4 可知，52 名學生中有49 名學生能夠滿足課堂要求。同時發現有上課時間不足20 min 的學生，判定這些學生存在逃課行為。

4 結束語

該文通過介紹與分析視頻流媒體技術，開發了基于視頻流媒體的人臉識別課堂監控系統。該系統充分利用視頻流媒體的優勢，同時采用Adaboost算法進行人臉識別。系統視頻流發送接收測試、人臉識別測試及課堂考勤測試，三項測試結果說明，該系統能夠較好地完成學生的上課考勤與課堂的實時監控，驗證了該監控系統的有效性和可靠性。