基于流媒體的學(xué)生課堂行為視頻圖像采集和識(shí)別系統(tǒng)研究

王竑熹，史朝群

（湖南省株洲市南方中學(xué)高中部，株洲 412002）

1 引言

現(xiàn)階段，隨著我國(guó)互聯(lián)網(wǎng)技術(shù)呈現(xiàn)出突飛猛進(jìn)的發(fā)展態(tài)勢(shì)，圖像識(shí)別在各個(gè)領(lǐng)域均得到了廣泛的應(yīng)用，并且呈現(xiàn)出非常廣闊的發(fā)展前景。圖像識(shí)別已經(jīng)成為當(dāng)前研究的重點(diǎn)內(nèi)容，它包括了運(yùn)動(dòng)目標(biāo)的檢測(cè)，目標(biāo)分類與提取，目標(biāo)跟蹤與計(jì)數(shù)等方面，涉及到圖像處理與識(shí)別領(lǐng)域許多核心課題[1]。

本論文研究了課堂學(xué)生行為圖像識(shí)別問(wèn)題，在本論文中，介紹了簡(jiǎn)單的課堂學(xué)生人身識(shí)別系統(tǒng)的軟硬件構(gòu)成，通過(guò)軟件識(shí)別課堂學(xué)生聽(tīng)課行為與背景圖像的差別，發(fā)現(xiàn)并掌握學(xué)生在課堂聽(tīng)課時(shí)間中注意力不集中、交頭接耳等不良行為，記錄統(tǒng)計(jì)學(xué)生舉手發(fā)言的次數(shù)等良好學(xué)習(xí)習(xí)慣。

2 基于流媒體的學(xué)生課堂行為視頻圖像采集和識(shí)別系統(tǒng)的硬件架構(gòu)

以流媒體為基礎(chǔ)前提的視頻圖像采集系統(tǒng)，其將流式傳輸技術(shù)與互聯(lián)網(wǎng)技術(shù)兩者有機(jī)統(tǒng)一起來(lái)，實(shí)現(xiàn)視頻的實(shí)時(shí)傳輸。對(duì)于使用者而言，其在互聯(lián)網(wǎng)條件下就可以充分發(fā)揮視頻采集系統(tǒng)的作用保證各項(xiàng)工作穩(wěn)定的、有序的開展，從而對(duì)所捕捉的圖像進(jìn)行智能化分析。目前，流媒體圖像采集主要由視頻采集卡、流媒體視頻服務(wù)器、攝像頭以及分控客戶端等組件所構(gòu)成。基于流媒體的視頻傳統(tǒng)系統(tǒng)可以被比喻為一個(gè)小型的倉(cāng)庫(kù)，其將所采集到的視頻圖像等存儲(chǔ)于該倉(cāng)庫(kù)中，若使用者只需要輸入特定的指令就可以將視頻調(diào)出來(lái)。同時(shí)，視頻緩存過(guò)程中就可以就像調(diào)用，有效節(jié)約時(shí)間。總體而言，傳輸系統(tǒng)的功能原理如下圖所示：

圖1 系統(tǒng)的硬件結(jié)構(gòu)

（1）攝像機(jī)。攝像機(jī)實(shí)現(xiàn)光學(xué)圖像轉(zhuǎn)換為模擬圖像再變?yōu)閿?shù)字圖像，保證畫面清晰和基本無(wú)延遲。攝像機(jī)是基于光的特性開展工作的，其將圖像收錄于芯片上，根據(jù)光比例的差異性，采取不同比例的電荷以時(shí)間序列的方式產(chǎn)生視頻信號(hào)，從而達(dá)到視頻傳輸?shù)母灸康摹?/p>

（2）視頻采集卡。在視頻傳輸系統(tǒng)中，視頻采集卡類似于小倉(cāng)庫(kù)，其可以根據(jù)使用者所需視頻型號(hào)實(shí)現(xiàn)視頻型號(hào)的轉(zhuǎn)化，更好滿足使用者的實(shí)際需求。

（3）流媒體視頻服務(wù)器。流媒體視頻服務(wù)器作為專業(yè)化的網(wǎng)絡(luò)傳輸設(shè)備，其最為重要的功能在于壓縮、處理以及保存視頻，主要由音視頻壓縮編解碼器芯片、網(wǎng)絡(luò)接口、音視頻接口、協(xié)議接口控制、輸入輸出通道、系統(tǒng)軟件等組件所構(gòu)成，其可以將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，可以傳輸相關(guān)的數(shù)據(jù)信息。一般情況下，其已經(jīng)具備網(wǎng)絡(luò)功能，無(wú)需用戶進(jìn)行相應(yīng)的開發(fā)。同時(shí)，部分設(shè)備商可以根據(jù)自己的實(shí)際功能對(duì)該設(shè)備的網(wǎng)絡(luò)功能進(jìn)行升級(jí)改造。

（4）流媒體客戶端。流媒體客戶端是直接面向使用者的，該設(shè)備最為重要的功能在于實(shí)現(xiàn)對(duì)其他子系統(tǒng)的監(jiān)控和調(diào)用。若使用者想要調(diào)用某個(gè)子系統(tǒng)上的某個(gè)視頻時(shí)，只需要在流媒體客戶端中輸入對(duì)應(yīng)的指令，就可以直接調(diào)用該視頻。同時(shí)，由于各個(gè)元件之間具有獨(dú)立性特征，該客戶端的使用對(duì)于其他原件的使用并不會(huì)帶來(lái)干擾。

通過(guò)對(duì)上述硬件結(jié)構(gòu)進(jìn)行分析，可知在選擇以流媒體為基礎(chǔ)的網(wǎng)絡(luò)視頻圖像采集系統(tǒng)時(shí)，可以從集成性、靈活性以及可靠性等方面進(jìn)行考慮。通過(guò)基礎(chǔ)設(shè)備的搭建和視頻采集客戶端的開發(fā)即可將采集的視頻圖像數(shù)據(jù)傳給圖像處理模塊進(jìn)行處理，實(shí)現(xiàn)圖像輸入的功能。

3 學(xué)生課堂行為視頻圖像采集和識(shí)別軟件

通過(guò)上述對(duì)流媒體視頻圖像采集系統(tǒng)進(jìn)行分析，可以將學(xué)生課堂行為視頻采集系統(tǒng)分為以下六大模塊：視頻采集和通信模塊、圖像處理模塊、圖像分析模塊、行為異常分析模塊、學(xué)生專注力分析模塊和教學(xué)效果評(píng)估模塊。系統(tǒng)軟件結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)的軟件結(jié)構(gòu)

（1）視頻采集和通信模塊：充分發(fā)揮光的特性和作用，將捕捉得到的光學(xué)信號(hào)轉(zhuǎn)化為可以識(shí)別的數(shù)字傳輸信號(hào)。

（2）圖像背景處理模塊：對(duì)于攝像頭所捕捉到的區(qū)域，將其分為若干個(gè)小區(qū)域，將其與后續(xù)的動(dòng)作進(jìn)行對(duì)比，從而對(duì)于學(xué)生的動(dòng)作行為進(jìn)行準(zhǔn)確的識(shí)別。

（3）圖像分析模塊：充分發(fā)揮計(jì)算機(jī)程序識(shí)別功能，對(duì)于視頻中人像進(jìn)行相應(yīng)的識(shí)別。

（4）行為異常分析模塊：當(dāng)對(duì)不同幀的視頻圖像進(jìn)行識(shí)別，與圖像背景處理模塊所得到人身輪廓進(jìn)行比對(duì)，對(duì)于在閾值內(nèi)的輪廓移動(dòng)不予記錄，超過(guò)閾值的人身輪廓移動(dòng)對(duì)應(yīng)的學(xué)生編號(hào)進(jìn)行記錄。

（5）學(xué)生專注力分析模塊：對(duì)于行為異常分析模塊中所獲得的信息和數(shù)據(jù)進(jìn)行全面的準(zhǔn)確的分析，對(duì)于學(xué)生的專注力等情況進(jìn)行科學(xué)的、準(zhǔn)確的打分，這為教師開展課堂教學(xué)評(píng)估將會(huì)提供可靠的依據(jù)。

（6）教學(xué)效果評(píng)估模塊：根據(jù)學(xué)生專注力評(píng)分結(jié)果，根據(jù)特定的算法，對(duì)于課堂教學(xué)效果進(jìn)行科學(xué)的、準(zhǔn)確的評(píng)價(jià)。

4 結(jié)束語(yǔ)

本文對(duì)于學(xué)生課堂行為視頻圖像采集和識(shí)別系統(tǒng)進(jìn)行了初步的研究和探索，但是，由于人身識(shí)別存在著較為鮮明的復(fù)雜性特征，因此，該系統(tǒng)仍然存在著較多不完善的地方亟需改進(jìn)，主要表現(xiàn)在以下幾個(gè)方面：

（1）系統(tǒng)在視頻采集過(guò)程中，對(duì)于采集環(huán)境提出了較高的要求和標(biāo)準(zhǔn)。因此，必須要對(duì)特定的角度進(jìn)行捕捉，保持?jǐn)z像頭固定，使得采集效果得到全面的提升。同時(shí)，視頻傳輸過(guò)程中，計(jì)算機(jī)性能會(huì)對(duì)傳輸效果帶來(lái)直接性的影響，視頻的流暢度無(wú)法得到絕對(duì)保障，可能會(huì)導(dǎo)致延遲等情況的發(fā)生，這對(duì)于用戶的體驗(yàn)感將會(huì)帶來(lái)一定的影響。

（2）該視頻采集系統(tǒng)處于發(fā)展的初始階段，識(shí)別準(zhǔn)確率仍處于較低的水平，若學(xué)生動(dòng)作較為頻繁，這方面的問(wèn)題尤為突出。

（3）本系統(tǒng)缺乏學(xué)生專注力的行為學(xué)研究數(shù)據(jù)，需要在實(shí)際應(yīng)用中根據(jù)實(shí)際采集圖像識(shí)別后，靠操作人員積累經(jīng)驗(yàn)，不斷調(diào)整專注力判斷的策略，畢竟無(wú)課堂異常行為并不代表就在專心聽(tīng)課，后續(xù)通過(guò)增加高清攝像頭和人臉輪廓識(shí)別，逐漸將學(xué)生面部表情識(shí)別出來(lái)，這樣才能提高專注力分析和教學(xué)效果評(píng)估的準(zhǔn)確率。

隨著我國(guó)全面進(jìn)入素質(zhì)教育階段，學(xué)生課堂行為視頻圖像識(shí)別技術(shù)將受到越來(lái)越多的重視，相關(guān)的識(shí)別算法也在不斷發(fā)展、完善中，有極為廣闊的應(yīng)用前景。