基于人臉識別的視聽殘障學生教學課堂考勤系統

卓然 高飛 牟遠明 楊初華

摘要：本文基于人臉識別技術，采用人臉識別結合人臉特征匹配的方法，并根據視聽障礙學生的特點，對視聽殘障課堂考勤系統進行探索與設計，設計開發了一款視聽殘障學生的無感知課堂考勤系統并對存在的問題進行了闡述。

關鍵詞：人臉識別;殘障學生教學;無感知考勤

中圖分類號：TP183 ?文獻標識碼：A ?論文編號：1674-2117（2021）07-0101-04

引言

近年來，隨著國家對特殊教育的重視，殘疾人教育公平得到了社會各界人士的關注。教育部等七部門印發的《第二期特殊教育提升計劃（2017—2020年）》的總體要求為：到2020年，各級各類特殊教育普及水平全面提高，殘疾兒童少年義務教育入學率達到95%以上，非義務教育階段特殊教育規模顯著擴大。

在課堂教學中，要保證正常的課堂秩序，課堂考勤是不可缺少的關鍵一環。在各類殘疾障礙學生當中，視力障礙學生和聽力障礙學生的課堂考勤存在的困難比較突出。其中，視力障礙學生在考勤時因為自身視力障礙，不能查看輸出設備上的電子考勤表單，通常采用人工大聲宣讀被考勤人的名單來進行單獨考勤;而聽力障礙學生在考勤時，因自身聽力障礙，不能采用聽讀方式進行考勤，通常通過手語結合投影儀投放考勤表單進行考勤。但這些考勤方式都存在局限性，常常出現被考勤人注意力不集中而錯過考勤的情況，嚴重影響了課堂考勤的效率。為此，采用人臉識別技術進行無感知考勤成為特殊教育領域課堂教學的研究熱點之一。

隨著信息技術的發展，人臉識別技術在各個領域中的應用日漸深入，很多學者開始探討該技術在課堂管理和課堂考勤方面的應用。文獻[6]中，官瑞坤等以人臉識別技術為基礎，以Face++為云平臺設計了Android智能考勤系統，系統簡單易用，但僅支持Android系統;文獻[7]中，金維香等通過OpenCV與Python語言相結合，基于人臉識別技術設計的課堂考勤系統，提高課堂考勤效率;文獻[8]中，牛作東等基于計算機視覺技術，根據MVC架構搭建系統整體結構，設計了基于深度學習的計算機視覺模型進行人臉檢測和識別，通過Web服務實現實時考勤功能;文獻[9]中，朱靖嫻等利用人臉識別技術實現了基于Java的在線考勤系統，存在著一定的考勤錯誤率;文獻[10]中，葉璠等基于MTCNN人臉檢測技術，利用VGG19神經網絡提取出的特征訓練SVM模型，確保識別的可靠性。

上述的考勤方法，有各自的優勢和不足，但是應用到視聽殘障學生的考勤有較大的困難。本文基于人臉識別技術，采用的是虹軟sdk和c#語言，并根據視聽障礙學生的特點，對視聽障課堂考勤系統進行探索與設計。

系統設計

基于人臉識別的視聽殘障學生教學課堂考勤系統功能可描述為：通過人臉注冊模塊對各類殘障學生進行人臉注冊以建立人臉庫;通過人臉識別模塊判斷學生的簡單信息并存儲;通過圖像識別模塊，進行圖片檢測，可識別圖片的年齡、性別等信息，提取人臉特征并添加標記;通過視頻檢測模塊控制攝像頭采集課堂圖像，檢測人臉并與人臉庫進行比對，實現人臉無感知考勤;通過數據庫模塊，存儲人臉特征信息，經過識別與比對過程后，記錄學生考勤的信息。本系統開發成本低，搭設簡單，兼容市面上各類攝像頭;支持離線服務，可在無網絡環境下使用，本地化部署，保證數據的安全;可在正常光線與合適的角度下進行人臉查找和人臉檢測，能有效判斷學生的性別和年齡等信息;能進行RGB活體檢測和IR活體檢測，防止照片考勤。系統界面如圖1所示。

系統主要功能的實現

1.人臉注冊模塊

人臉注冊模塊最重要的功能是對人臉庫圖片進行人臉檢測和提取人臉特征，最后把相關數據保存到數據庫模塊。該模塊需預先導入人臉庫圖片，可手動選擇圖片的路徑，模塊預設圖片的常見格式進行圖片的選擇，可以同時導入多個圖片，導入的同時對圖片格式的適用性進行檢查。人臉檢測之前，需要對圖片進行檢查和處理，對過大的圖片進行剪裁，處理后得到的圖片寬度也有相應的要求，以便于后續的人臉檢測操作。

人臉檢測操作通過虹軟FaceUtil模塊中的DetectFace函數進行檢測，通過循環語句判斷每一張圖片的檢測結果，將檢測的圖片信息存入圖片暫存列表中。人臉檢測使用的語句為：ASF_MultiFaceInfo multiFaceInfo = FaceUtil.DetectFace（pImageEngine， image）。通過如下語句將人臉特征結構體的指針轉換為人臉特征結構：MRECT rect = MemoryUtil.PtrToStructure（multiFaceInfo.faceRects）。

提取人臉特征操作需從圖片暫存列表中讀取圖片，使用虹軟模塊中的ExtractFeature函數進行圖片中人臉特征的提取，若提取成功，則將人臉特征值存入人臉特征列表。提取人臉特征使用的語句為：IntPtr feature = FaceUtil.ExtractFeature（pImageEngine， image， out singleFaceInfo）。

2.圖像識別模塊

圖像識別模塊的主要功能是檢測圖像是否可用，通過虹軟模塊進行人臉檢測，并進行年齡檢測、性別檢測和3DAngle檢測，檢測結束后提取人臉特征，并用矩形框對人臉進行標記并顯示。圖像具體要求為不超過2MB，圖像地址有效，圖像寬度為4的倍數，若圖像尺寸過大可以進行裁剪處理。各種檢測均使用的是虹軟FaceUtil模塊中的檢測函數，如性別檢測使用的語句為：ASF_GenderInfo genderInfo = FaceUtil.GenderEstimation（pImageEngine， imageInfo， multiFaceInfo， out retCode_Gender）。檢測完畢將人臉進行標記的語句為：srcImage = ImageUtil.MarkRectAndString（srcImage， （int）（temp.left * scaleRate）， （int）（temp.top * scaleRate）， （int）（temp.right * scaleRate） - （int）（temp.left * scaleRate）， （int）（temp.bottom * scaleRate） - （int）（temp.top * scaleRate）， ageTemp， genderTemp， picImageCompare.Width）。

3.視頻檢測模塊

視頻檢測模塊按照功能來分可以分為以下三個部分：初始化檢測、RGB攝像頭事件和RGB-IR攝像頭事件。該模塊能實現自動檢測攝像頭并獲取圖像，檢測圖像中的人臉并標注矩形框，進行對應的活體檢測并將信息傳到數據庫。具體如圖2所示。

模塊中，初始化檢測主要檢測的是攝像頭的數量和類型，以確保程序的正常運行。當程序檢測到視頻檢測按鈕被點擊時，開始初始化檢測，以防出現點擊視頻檢測按鈕之前將攝像頭拔掉的情況。若未檢測到攝像頭，則返回相應的提示并返回。若攝像頭已經開啟，則關閉攝像頭以防占用，并將閾值控件、各個按鈕以及各類參數重置。若檢測到RGB-IR攝像頭，則進行RGB-IR攝像頭加載，雙攝標志調為True;若檢測到RGB攝像頭，則加載對應的攝像頭。

若檢測到的是RGB攝像頭，則啟動RGB攝像頭事件。首先確保RGB攝像頭正常運作，得到當前攝像頭下的圖片，獲得格式為Bitmap，檢測人臉，對人臉進行畫框，將上一幀檢測結果顯示到程序頁面上。檢測過程保證只檢測一幀，可防止頁面卡頓以及出現其他內存被占用的情況。通過排入線程池來進行異步處理提取特征值和比對，以防止程序卡頓。先將位圖格式調整為ImageInfo類，然后進行RGB活體檢測，并提取比對結果，將結果顯示在頁面上。

若檢測到的是RGB-IR攝像頭，且攝像頭正常工作，則獲取IR攝像頭的圖片。具體流程與RGB攝像頭的流程基本一致，在檢測人臉框時，可檢測判斷RGB圖片的人臉框與IR攝像頭檢測的人臉庫偏移量是否在誤差允許范圍內，增加檢測的準確率。最后進行的是IR活體檢測，并將結果顯示在頁面上。

其中的RGB活體檢測語句如下：ASF_LivenessInfo liveInfo = FaceUtil.LivenessInfo_RGB（pVideoRGBImageEngine， imageInfo， multiFaceInfo， out retCode_Liveness）。IR活體檢測的語句如下：ASF_LivenessInfo liveInfo = FaceUtil.LivenessInfo_IR（pVideoIRImageEngine， irImageInfo， irMultiFaceInfo， out retCode_Liveness）。

4.數據庫模塊

數據庫模塊的主要功能是保存人臉特征信息，便于與實時視頻中的人臉特征信息進行比對，且相似度大于閾值的視為比對成功。比對成功的學生信息保存入考勤數據庫，記作考勤成功，系統根據課程表事先會設置好時間和日期，本次考勤的結果會自動計入數據庫的下一項，以節省考勤的時間。

存在的問題

本系統在設計時，考慮過視聽障礙學生應用臉部識別的有效性，因為人臉識別技術不同于虹膜識別技術，它是將臉部特征轉換為一組矢量數據，然后通過對該數據比對來確定學生的考勤情況。雖然在實際測試中能順利實現對視聽障礙學生的臉部識別，但因為視聽障礙課堂的特殊性，在實際測試時也出現了一些的問題。

1.視力障礙學生戴墨鏡的問題

在實際課堂教學過程中，有部分視力障礙學生會佩戴墨鏡，究其原因是視力障礙學生佩戴墨鏡能創造無光的學習環境。但是如果佩戴墨鏡，會覆蓋眼睛附近的特征點，造成識別度很低。在實際課堂教學中若要克服這個問題，可以與學生預先協商一個時間段，在此時間段中摘掉眼鏡，等考勤完成后再戴上。

2.視力障礙學生人臉朝向問題

在教學過程中，因為視力障礙學生主要通過聽覺來學習，所以聽課時學生臉部朝向是隨機的。因此，臉部朝向問題造成的系統無法考勤的問題也是存在的。目前解決問題的方法，一是延長考勤的時間，等待學生臉部朝向變換以實現識別考勤，二是提醒學生保持良好的坐姿。

3.學生隱私保護問題

視聽障礙學生對個人隱私十分重視，對于人臉識別這一新興技術和考勤系統容易出現理解偏差，教師必須做好解釋工作。在實行人臉識別考勤之前，要先征求學生的意見，解釋考勤系統運作的原理，并強調該系統只產生考勤數據，不錄像并且不涉及學生的個人隱私，取得學生理解后方可執行后續操作。

結束語

人臉識別技術在視力障礙課堂的應用研究剛剛起步，研究表明，基于人臉識別技術的考勤系統能滿足大部分視聽障礙學生的考勤需求，能有效提高視聽障礙課堂的考勤效率，相較于其他考勤方式有很大的優勢。但是，因為視聽障礙學生本身的特殊性，該系統還有一些問題有待改善。對于這些問題，將在后續的研究中深入探索。

參考文獻：

[1]教育部等七部門.第二期特殊教育提升計劃（2017-2020年）[Z].2017-07-18.

[2]王伯槐.基于人臉識別的高校考勤系統的設計[J].物聯網技術，2017（10）：62-63.

[3]陳明遜.人臉識別學生管理系統的設計[J].電子世界，2018（20）：206.

[4]杜雅林.基于Emgu_CV的人臉識別[J].福建電腦，2015（04）：24-25.

[5]劉瑞歌.基于EmguCV的人臉考勤系統的設計與實現[J].濱州學院學報，2019（04）：65-69.

[6]官瑞坤.基于Face++的“刷臉”課堂考勤系統[J].信息系統工程，2017（03）：99-10.

[7]金維香.基于OpenCV的人臉識別課堂考勤系統[J].浙江水利水電學院學報，2019（6）：58-62.

[8]牛作東.基于計算機視覺的課堂實時考勤系統設計[J].電子測試，2020（4）：60-62.

[9]朱靖嫻.基于人臉識別的考勤系統設計與實現[J].無線互聯科技，2019（3）：61-63.

[10]葉璠.基于人臉識別的課堂考勤系統研究與實現[D].西安：陜西師范大學，2019.

基金項目：浙江省教育廳高等學校訪問學者教師專業發展項目（批準號：fx2019122）。