人體動作自動識別在智能課堂中的研究

蔡瓊 陳鵬慧

摘 要：傳統的教育已經面臨嚴峻的挑戰，智能課堂將慢慢取代傳統的課堂。在智能課堂中，將通過人體動作（體感）自動識別和云端將相應的信息傳遞給學生手中的智能端（手機或平板電腦）。通過藍牙腦電波設備將學生學習的狀態傳送給控制端，實時提醒教師進行課堂干預和管理。

關鍵詞：人體動作;自動識別;智能課堂

中圖分類號：F27 文獻標識碼：Adoi：10.19311/j.cnki.16723198.2021.06.021

現在國內高職教育，每個課堂人數還比較多，教師要兼顧課堂教學進度、教學質量、互動效果，往往做的不那么全面，教學效果也就大打折扣。教師也往往疲于奔命于教師授和學生是否聽這個死循環中。研究者一直在探討下一代的學習會變成什么樣子，有什么樣的可能性。教學活動中教師、學生、輔助工具等因素在教育教育過程中是一個整體，它們相互作用和相互影響制約，它們通過反饋完成。因此教學過程中的反饋的作用很關鍵，在教學中如果忽視教學反饋的作用，學生的學習效果會大打折扣。如何設計一個聰明（Smart）的課堂，通過信息甄別，能夠使得教師更好的接收到學生的信息，高效的進行反饋。目前傳統課堂已經有些無法滿足新時代的學生需求。如何將學生留在課堂且不成為上課低頭族，必須將課程進行創新，高科技融入現代的課堂中成了教育學者一直在思考的問題。因此，智能課堂開始進入大家的視線。目前國內外學者已經做了大量的研究，賽勝公司研發了一套產品，通過互動反饋技術（IRS），使得同學們利用遙控器參與到教學活動中，并將結果以投影實時顯示，并將數據記錄在后臺。使得學生上課的時候不再和稀泥，能有效的提高學生上課的參與度，但它有它的缺點，在布線時候存在一定的困難，不夠靈活。哈佛大學使用了一種IRS系統。這種交互式學習工具箱（ILT）能靈活的將各種手持設備紅外表決器、手機、平板電腦、筆記本電腦等終端設備通過無線網絡連接到一起，實現師生online實時互動，提高了教學效果。本文在研究者的基礎上，研究了一種基于人體動作識別的互動式課堂，將高科技融入了課堂提供了一種可能性。在智能課堂的研究中應兼顧教學互動的同事還兼顧了教育公平，它削弱了師資力量的分配不平衡和地域差異注定了教育的不公。

1 人體動作識別

眾所周知，人類在認知世界獲取信息中最主要的部分來自視覺，他是人類認知世界的關鍵途徑。隨著科技的發展現代生活的智能化、自動化，計算機視覺成了學者研究的熱點問題之一，人體動作識別就是其中最具挑戰領域。近些年來人體動作識別研究取得了較大的發展，在現實生活中這個課題離我們越來越近，已經廣泛應用于人機交互、虛擬實現等領域中。人體動作識別主要涉及計算機視覺、圖像處理、數據挖掘模式識別等。其中在智能游戲中，通過識別人體的動作來代替傳統的游戲手柄，通過感應人的動作（體感），使得游戲更加的逼真好玩;醫院的智能看護系統中，通過攝像頭采集視覺信息，通過識別關鍵動作信息，識別病患的意圖，并將相應信息反饋給護理人員，將潛在危險遏制;在智能監控系統中，在無人值班的情況下，通過視頻中人體動作的識別，自動的預警異常情況的發生，提高監控效率。在客運防疲勞監控系統中，實時監測駕駛司機打哈欠和瞇眼的動作，防止駕駛員打瞌睡，減少交通事故發生的可能性，保障人們的安全。在老齡化嚴重的今天，很多老人獨居在家中，因此研究智能家居服務機器人監控老人在家中跌倒等異常行為的檢測，提高家庭的幸福指數。人體動作識別成了計算機視覺領域圖像識別的熱點研究問題，在人機交互、視頻檢索、智能控制實現中的應用廣泛。已經有學者開始慢慢研究人體動作識別在智能課堂中的應用。一般來說人體動作識別一般分為三步。基于視頻的人體動作識別首先從圖像中檢測運動信息并提取動作的特征信息，該步驟是動作識別中最重要的一步，他直接影響到識別系統的穩定和準確性。然后通過所提取的動作特征信息建立動作模型。最后通過學習分類器建立對應關系，學習分類器表示特征和動作類別高層語義信息。目前人體動作識別率已經比較高，在各種數據集中的典型動作如閉眼、睜眼、接電話、奔跑、抽煙、吃東西、打架、下車、擁抱、揮手、接吻、坐下、起立、靜止站立、旋轉、跳躍等識別率已經比較高。因此可以嘗試將其應用到智能課堂中來檢測教師在進行課堂教學中的各種動作指示，有效的輔助教學，提高課堂的智能化。

2 人體動作自動識別在智能課堂中的研究

教師的差異化一直影響著教育的公平，如何使得教育在小環境下（班級）的公平，使得每個學生都能理解到教師的意圖，單靠學生自己肯定是不行的，這里可通過高科技的設備，構建人體動作識別系統。通過3D傳感器的自動識別出教師的意圖，學生通過智能手機應用程序給出相應的反饋，教師根據控制端實時的情況給出相應的反饋，構建真正意義上的公平的智能課堂。

2.1 傳感器及坐標系選擇

人體動作自動識別的傳感器選擇為微軟旗下的Kinect，這款傳感器還應用于微軟所生產的體感游戲機x-box360等。Kinect共有三個攝像頭，分別為RGB彩色攝影機1個，3D光深度傳感器2個。Kinect底座上有一個馬達會隨著對焦物體移動而自動移動。它還包括四個麥克風，可以進行聲音識別和聲源定位。對于Kinect傳感器微軟公司提供了二次開發平臺，供研究者進行功能拓展。在進行基于3D傳感器Kinect的人體動作識別，建立右手笛卡爾世界坐標系，其中原點為Kinect傳感器安裝的位置，z軸方向為傳感器指向的方向，y軸正向朝上，從Kinect傳感器方向看x軸正向朝左。

2.2 典型動作的確定

在人體動作識別時，需要確定需要識別的動作，創建動作庫。教師在進行教學工作中，上課步驟一般為四步教學法，依次講解、示范、模擬、總結，對于教師來說希望學生做的就是認真聽講、主動思考、參與互動。這里我們可以將它們對應三個典型的動作。認真聽講對應的動作定義為低頭，主動思考的動作定義為靜止，參與互動的動作定義為揮手。系統通過自動識別這三個典型動作，將對應的指令發回到智能手機的同事將對應PPT和教案所涉及的地方進行實時的提醒和定位。若需對學生的要求更多，只需要在典型動作庫中加入識別率較高的動作即可。通過典型動作的識別，學生不需要猜測教師的意圖通過智能手機即可能實時的跟住教師的節奏，提高學習效率。

2.3 反饋

教師通過學生反饋端將狀態實時反饋給教師。通過藍牙腦電傳感器，該腦電波采集模塊分析腦電波。測出學生上課的實時狀態，給出對應的報告供教師分析。根據對應的報告。并在正確的時機運用反饋，提高教學效果使得其達到最優狀態。教學過程的反饋一般分為正時差反饋，同步反饋和負時差反饋，它們是通過反饋的時間點來區別的。正向反饋是指提前預料到的情況，教師在上課已經提前做好的準備;同步反饋是在教學過程中根據教師和學生之間的實時互動獲取的反饋信息;負時反饋則是指在課程結束后，教師通過交流、作業互動等方式獲取的學生學習心理情況。這里通過系統所反饋的學生狀態信息，將對應的反饋加入實時反饋和負時反饋中來。

3 智能課堂的展望

如果教師不改變自己，只是照本宣科講授，未來必將被機器人所取代。工業4.0時代已經到來，傳統教育即將被信息社會所淘汰。未來的課堂必定是智能課堂。新的教育模式成為我國教育目前的迫切研究的問題。如何研究出能培養學生個性、差異化的教育模式。在微軟2015愿景中提到，未來的教和學將變成這樣，在未來的教室里，可折疊的桌椅上有一個觸摸式平板電腦（可彎曲平板）加上3D打印機實時打印所需要的模型，學生通過移動終端學習，教師面對面在課堂中組織一個又一個生動的教學活動。還有教師不會面對面教授而是在所涉及的實景直觀的教授。未來的教師如何適應移動互聯、體感（人體動作識別）、意念識讀等新技術的撲面而來，而不被淹沒的高科技浪潮中，未來教師就跟需要做教的引導者和組織者，通過在工業4.0時代先進的信息技術，改變角色，使其自主學習先進的知識。無論主動還是被動，身處在這個新的時代，教師都必須勇于改變，否則必將被未來的教育革命所淘汰。

參考文獻

[1]徐光祐，曹媛媛.動作識別與行為理解綜述[J].中國圖像圖形學報，2009，14（2）：189195.

[2]李瑞峰，王亮亮，王珂，等.人體動作行為識別研究綜述[J].模式識別與人工智能，2014，31（1）：986992.

[3]郭利，姬曉飛，李平，等.基于混合特征的人體動作識別改進算法[J].計算機應用研究，2013，30（2）：601604.

[4]蔡瓊.判別式BoW分析結合自適應碼本學習的人體動作識別.計算機應用研究，2016，5：15761580.

[5]劉婧.基于人體關節點的多人吸煙動作識別算法[J].計算機工程與應用，2020.