基于LabVIEW和深度視覺傳感器的課堂智能管理系統①

朱 艷,謝忠志,王 成,覃偉芳,方肅賢

(泰州職業技術學院 機電技術學院,泰州 225300)

隨著社會的發展和教育改革的不斷推進,我國的教育事業取得了巨大的進步,但是在教學管理過程中仍然存在明顯的不足[1,2]. 現有的教學評價方法主要集中在課程考核結果分析方面,即通過學生的考試成績來反映學習和教學效果,而對教學過程的監控和反饋較少. 課堂教學作為教學過程的主要手段,如何有效的記錄學生的學習行為、學習熱情和學習狀態對于教師評估教學效果和提高教學方法異常重要. 近年來,隨著計算機技術和人工智能的快速發展,基于視覺傳感器的人臉識別和人體行為識別應用日益廣泛[3–5]. 如何將視覺識別技術應用于課堂管理中,對于實現自動化、智能化和精準化的教學過程評價具有重要的意義[6,7].

目前,已經出現了一些應用于課堂教學過程管理的系統,主要集中在學生的課堂行為識別上,即通過人臉識別和人體行為識別來反映學生的學習專注度和課堂教學效果. 國內方面,王竑喜提出了基于圖像采集和處理的學生課堂行為識別方法,研究了學生學習專注度與課堂行為之間的關系[8]. 廖鵬等人設計了基于深度學習的課堂異常行為識別系統,通過VGG 模型,對課堂上學生玩手機、睡覺、說話等注意力不集中行為進行了識別,得到了較高的檢測精度[9]. 黨冬利構建了基于機器學習的課堂行為識別模型,對課堂上學生的舉手、站立和聽講3 種動作進行了識別,得到了較高的識別精度[10]. 何秀玲等人從人體骨架數據中提取特征向量,通過深度學習算法進行課堂行為識別,得到了97%的識別精度[11]. 國外方面,Wang 等人提出了一種基于卷積神經網絡的人體動作識別方法,該方法通過生成的深度運動映射圖提取識別特征數據,輸入CNN 識別模型進行動作識別,識別精度達到了85%[12].Shi 等人提出了基于L2EMG 特征融合的學生課堂動作識別方法,對課堂上7 類常見動作進行了識別,得到了82%的識別精度[13]. 綜上所述,首先,現有的課堂管理系統主要以課堂行為識別為目標,沒有將課堂考勤、教師教學管理以及學生自主學習管理融入其中,功能比較單一. 其次,現有的課堂行為識別大多采用RGB 傳感器進行圖像采集,行為特征提取困難,動作識別范圍較窄,識別精度不高. 因此現有的課堂管理系統滿足不了現代教學管理智能化、自動化、精確化和集成化的需求. 本文選用Kinect V2 深度攝像頭作為監控設備,采用LabVIEW 虛擬儀器作為軟件開發平臺,設計了一種集課堂考勤、課堂行為識別和管理、自主學習管理于一體的智能課堂管理系統.

1 系統結構和功能組成

1.1 系統結構組成

系統結構如圖1 所示,課堂智能管理系統主要由硬件部分和軟件部分組成. 硬件部分包括深度視覺傳感器Kinect V2、計算機、移動設備和USB 電纜,其中,Kinect V2 用于實時采集人體彩色和深度圖像,計算機用于安裝系統所需的各種軟件,移動設備用于學生課堂考勤和課外訪問系統數據庫進行自主學習,USB 通訊電纜用于Kinect V2 和計算機的連接. 軟件部分主要包括Kinect developer toolkit、LabVIEW、Matlab 和MySQL. 其中,Kinect developer toolkit作為Kinect V2 傳感器開發工具包,用于完成人臉跟蹤和人體骨架提取. LabVIEW 作為系統軟件開發平臺,用于完成系統的各種功能開發. Matlab 主要用于完成機器學習算法的編制,從而實現人臉識別和學生課堂行為識別. MySQL 作為數據庫開發軟件,用于完成系統所需各種數據的管理. MyEclipse 用于實現移動設備和系統數據庫的連接.

圖1 系統結構組成

1.2 系統功能組成

系統功能如圖2 所示,主要由課堂考勤模塊、課堂行為識別和管理模塊和自主學習管理模塊3 部分組成. 課堂考勤模塊包括人臉識別簽到功能和移動設備定位功能,其中,人臉識別簽到功能可以防止學生找人替代簽到,移動設備定位功能可以防止學生簽到以后中途離場. 課堂行為識別和管理模塊包括課堂行為識別功能和課堂過程分析功能,其中課堂行為識別功能通過識別舉手、起立、低頭、趴桌、聽講等課堂動作來監控和記錄學生的學習狀態,課堂過程分析功能通過對記錄的學習狀態數據進行分析,來評價課堂教學質量和學習效果. 自主學習模塊包括學習資料上傳功能、課后復習預習功能和學生作業管理功能3 部分,其中,學習資料上傳功能用于教師將課件、視頻和習題等資料上傳到數據庫,課外復習預習功能用于課外時間學生根據自身需求自主選擇所需的學習資料,學生作業管理功能用于學生課后作業的提交和批改.

圖2 系統功能組成

2 數據采集程序設計

在電腦上安裝Kinect SDK 和Kinect driver 后,LabVIEW 即可通過調用DLL 文件的方式調用Kinect V2 攝像頭采集到的各種圖像信息. 圖3 為數據采集程序框圖,可以獲取人體25 個骨架節點以及3 個頭部轉角數據. 初始化.vi 為初始化函數,用于初始化外部DLL接口,調用Kinect developer toolkit 中的圖像數據,并返回一個引用句柄. 配置.vi 為采樣配置函數,用于設置圖像類型、分辨率、幀率、平滑類型等. 坐標初始化.vi函數用于建立骨架顯示的三維坐標系. 數據讀取.vi 用于讀取二維彩色圖像和三維深度圖像數據. 骨架重構.vi 為渲染輸出函數,用于更新骨架節點三維顯示. 設備關閉.vi 用于關閉Kinect V2 的外部DLL 調用接口.

圖3 圖像采集程序框圖

3 系統功能設計

3.1 課堂考勤

課堂考勤可以有效提高學生的到課率,幫助班級形成良好的學習氛圍,增強學生的組織性和紀律性. 現有的考勤措施大多采用教師點名的方式進行,這樣不僅會浪費大量的教學時間,而且學生可以通過人員替代或中途離場的方法蒙混過關. 本文采用人臉識別簽到[14,15]和移動設備定位相結合的方式來實現課堂考勤,可以有效解決上述問題.

3.1.1 人臉識別簽到

人臉識別簽到流程如圖4 所示,Kinect SDK 中提供了用于人臉跟蹤的功能模塊(face tracking),該模塊通過AAM 算法可以實現人臉實時跟蹤并提取121 個臉部特征點. 本文選取其中的10 個面部特征點如表1所示,并將10 個點的最大外接矩形用來分割圖像中的人臉部分如圖5 所示,然后采用局部二值式(LBP)方法提取面部局部特征向量,最后輸入最近鄰算法模型進行身份識別. LBP 算子提取面部特征程序和直方圖最近鄰算法識別通過Matlab 軟件編程完成,LabVIEW提供了專門用于和Matlab 通訊的Matlab script 節點,通過該節點可以很靈活的在LabVIEW 中調用Matlab 程序.

圖5 臉部特征點分布和人臉分割效果

表1 用于人臉分割的10 個面部特征點標號和名稱

圖4 人臉識別簽到流程圖

在不同的表情,光照和角度下,攝像頭采集到的人臉圖像變化較大,若直接使用線性方法對原始圖像進行特征提取,則識別精度和穩定性會大大降低. 由于臉部局部特征受外部條件的影響較小,為此本文選取等價模式LBP 算子提取面部識別特征,選取基于直方圖的最近鄰分類算法進行身份識別. 由于圖像中信息的分布不均勻,因此本文選取加權卡方統計方法對直方圖進行度量,這樣可以有效解決圖像信息不均勻造成的影響,提高識別精度. 算法流程如下:

(1)將檢測窗口劃分為16×16 的小區域.

(2)對于任一小區域中的像素,將相鄰的8 個像素的灰度值與其進行比較,若周圍像素值大于中心像素值,則該像素點的位置被標記為1,否則為0. 這樣,3×3 鄰域內的8 個點經比較可產生8 位二進制數,即得到該窗口中心像素點的LBP 值.

(3)計算每個小區域的直方圖,即每個數字出現的頻率.

(4)采用加權卡方統計方法對直方圖進行度量,如式(1)所示,式中,Si和Mi為兩個不同樣本的直方圖,兩個樣本之間的χ2(S,M)越小,那么這兩個樣本之間的相似度就會越高. 計算分塊處理后的測試樣本LBP 直方圖特征和訓練樣本LBP 直方圖特征的χ2(S,M)值,根據最近鄰準則,將其劃分為χ2(S,M)值最小的那一類.

識別結果如表2 所示,可以發現,LBP 算子尺度增大,人臉識別精度變高,但是消耗的識別時間越長. 為同時保證識別精度和系統實時性要求,本文選取尺度進行計算,其識別精度達到97%,識別時間為96.7 ms. 相對于現有識別技術,本文采用的基于深度視覺傳感器的人臉識別方法,可以實現更好的人臉跟蹤效果,更快的跟蹤速度和更高的人臉識別精度.

表2 不同LBP 算子尺度時人臉識別結果比較

3.1.2 移動設備定位

移動設備定位流程如圖6 所示,學生通過人臉識別簽到進入教室后,將隨時攜帶的移動設備(手機)的WiFi 打開,系統開始搜索每臺移動設備的AP 信息,并且獲取無線信號強度值,將獲取的強度值和所設置的閾值大小進行比較,判斷該移動設備是否處于有效范圍內,進而判斷攜帶該設備的學生是否在教室聽課,這樣可以有效防止學生簽到后中途離開教室.

圖6 移動設備定位流程圖

3.2 課堂行為識別和管理

3.2.1 課堂行為識別

現有的課堂行為識別大多是采用RGB 攝像頭來進行圖像采集,圖像質量受光線、視角、距離影響較大,魯棒性和識別精度較差[16,17]. 深度攝像頭可以采集到人體的三維坐標數據,并且提取出人體骨架信息,對光線、視角、距離變化不敏感,而人體骨架數據對于人體動作又具有極好的識別性,因此本文選取深度攝像頭Kinect V2 進行圖像采集,提取到的人體骨架節點分布如圖7 所示.

圖7 人體骨架節點分布圖

由于課桌的遮擋,1 號節點(人體中心)以下的9 個節點不在視野范圍之內,因此忽略掉. 21、22、23、24 號4 個節點為手指節點,對于學生課堂動作識別性不高,因此也忽略掉. 剩下的12 個節點中,相鄰的兩個節點可以組成一個動作結構向量,這樣得到11 個動作結構向量. 相鄰的兩個動作結構向量可以形成一個向量角,這樣得到9 個向量角. 人體的動作變化和這9 個向量角息息相關,因此選取9 個向量角作為學生課堂行為識別特征數據. 11 個動作結構向量的組成節點和9 個向量角的組成向量,如表3 所示.

表3 動作結構向量和向量角的組成

學生上課注意力是否集中很大一部分可以通過頭部動作來體現,但是抬頭、低頭、偏頭和搖頭動作對9 個特征向量角的變化并不明顯,很容易引起誤判. 本文引入face tracking SDK 中提供的頭部轉角識別功能,如圖8 所示,其中Pitch 為低頭和抬頭角度 θP識別,識別角度范圍–45°至45°,Roll 為左右偏頭角度 θR識別,識別角度范圍–90°至90°,Yaw 為左右搖頭角度 θY識別,識別角度范圍–45°至45°. 將 θP、 θR、和 θY作為行為識別特征數據.

圖8 Kinect V2 頭部識別示意圖

如果學生的手部動作和頭部角度變換不大,則很難正確識別出學生處于站立狀態還是坐立狀態,但此時學生頭部節點(3 號)距離地面的高度dh的變化卻非常明顯,因此選取dh作為行為識別特征數據. 由于Kinect V2 不直接提供dh的大小,因此需要自行計算. 人體的左右腳掌骨架節點15,19 和地面接觸,因此將這兩個節點的高度默認為零,并以此建立地面方程. 首先將15 和19 節點的坐標代入式(2),先計算出地面方程和Kinect 之間的傾角θ,進而確定出地面方程.

地面方程確定以后,將3 號頭部節點坐標代入式(3)即可計算出頭部距離地面的高度dh.

構建課堂行為識別特征向量G=(θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8,θ9,θP,θR,θY,dh),并將其輸入基于徑向基核函數(RBF)的支持向量機分類器(SVM)[18],因為RBF 核可以將樣本映射到一個更高維的空間,可以處理當類標簽(class labels)和特征之間的關系是非線性時的樣例,因此非常適用于課堂行為識別這類復雜的非線性分類問題. 核函數可由式(4)表示,式中δ為函數的寬度參數 ,用來控制函數的徑向作用范圍. 對趴桌、低頭、站立、舉手、聽課5 類課堂行為樣本數據進行訓練識別,各類動作樣本個數均為200,訓練樣本所占比例分別為0.2、0.4、0.6 和0.8,其余作為測試樣本. 各類動作識別精度如表4 所示,可以發現隨著訓練樣本所占比例的增大,識別精度會隨之增加,本文方法對5 種動作的識別精度都在92.5%以上,其中站立和舉手動作的識別精度達到100%. 本文采用基于深度視覺傳感器的課堂行為識別,以提取的人體骨架節點和頭部轉角數據為基礎構建行為識別特征向量,通過徑向基核函數的支持向量機構建識別模型,其魯棒性、識別精度和識別速度都優于現有課堂行為識別技術.

表4 不同樣本比例時各種課堂行為的識別精度

3.2.2 課堂過程分析

每個學生的課堂活躍度是衡量課堂教學效果的一個重要指標[19],系統自動記錄每個學生課堂舉手次數fh和起立回答問題次數fa,每次回答問題后,教師會根據回答情況給出滿意度系數 ωa,根據式(5)計算出學生課堂活躍度P,式中,ωp為活躍度加權系數,其值越大表示舉手對于課堂活躍度影響越大. 本文選取ωp=0.4.

課堂整體學習態勢是對每個學生學習專注度進行分析,對于教師評估教學效果具有重要意義. 系統選取10 s 作為一個記錄區間,記錄每個學生趴桌和低頭的時長,如果多于3 s 則認定該生處于非專注狀態,記錄每個學生的非專注時間長度ta. 通過式(6)計算課堂整體專注度C,式中,k表示課堂中學生的個數,t表示每節課時長,表示所有學生的非專注時間總和.

3.3 自主學習管理

自主學習管理[20]包括學習資料上傳、課后復習預習和學生作業管理3 部分. 教師通過學習資料上傳功能,可以將上課所需的視頻或者文檔資料上傳到服務器,并保存到相應目錄的數據庫中,方便學生課前預習或課后復習. 學生可以通過作業管理功能提交老師布置的作業,教師也可以通過該功能實現作業在線批改和答疑. 學習資料上傳功能和作業管理功能中的文件上傳流程如圖9 所示,瀏覽文件選擇需要上傳的文件,通過斷點傳輸方式上傳資料到服務器,如果文件類型為Excel 格式,則系統讀取表格內容并保存至數據庫,如果文件格式為視頻或文檔,則直接保存文件路徑至數據庫.

圖9 學習資料上傳和作業管理功能中的文件上傳流程

課后復習預習功能主要為了滿足課外時間學生自主學習需要,學生可以通過服務器自由選擇系統數據庫中的視頻和文檔資料,自主學習流程如圖10 所示,如果選擇的學習內容為文檔形式,學生可以根據需要選擇在線學習或者離線學習,在線學習直接使用外部應用程序加載文檔內容,離線學習是通過斷點傳輸方式將文檔資料下載到移動設備. 如果選擇的學習內容為視頻形式,則通過移動設備中的多媒體播放器加載并播放視頻內容.

圖10 學生自主學習流程

4 數據庫設計

系統運行過程中涉及到大量數據的查詢和存儲,因此數據庫的設計對系統正常運行起著至關重要的作用,本文設計的MySQL 數據庫中的部分數據表結構如表5 所示,主要包括學生信息字段、學習資料信息字段、考勤記錄信息字段和課堂行為管理信息字段.

表5 系統數據庫結構表

系統通過LabSQL 實現LabVIEW 和MySQL 數據庫之間的連接,LabSQL 是一個免費的、多數據庫、跨平臺的LabVIEW 數據庫訪問工具包,LabSQL 利用Microsoft ADO 對象和SQL 語言來完成數據庫訪問,將復雜的底層ADO 及SQL 操作封裝成一系列的LabSQL VIs,簡單易用. 首先建立與數據庫的連接,然后生成SQL命令,執行命令,最后斷開與數據庫之間的連接.

移動設備端采用Android 平臺進行開發,但是Android 移動客戶端沒辦法直接訪問MySQL 中的數據,因此系統通過MyEclipse 作為“中轉”實現兩者之間的連接. MyEclipse 作為企業級工作平臺,內置所有的Web 開發技術,支持快速添加技術功能到Web 項目中.系統通過MyEclipse 開發Web 程序,通過共用Android SOAP 方法來訪問數據庫.

5 結論

教育的不斷發展對教學評價體系和教學管理體系提出了更高的要求,現有的評價體系和管理體系已成為阻礙教育發展的一大因素. 雖然出現了一些課堂智能管理系統,但是功能比較單一,適應性不強. 本文提出了一種集課堂考勤、課堂行為識別和管理、自主學習管理于一體的課堂智能管理系統. 通過人臉識別和移動設備定位相結合的方式實現了97%的課堂考勤精度. 通過骨架節點數據提取識別特征向量,并輸入SVM 分類器實現了95%以上的課堂行為識別精度,并給出了課堂活躍度P和專注度C的評估方法. 通過MyEclipse 和MySQL 數據庫完成了自主學習功能開發,方便了學生課堂學習和課外學習有機結合,且系統運行穩定可靠. 本文設計的課堂智能管理系統對教學過程的科學評價以及課堂管理的智能化和自動化具有重要意義.