基于.Net平臺的Kinect注意力遠程評估與訓練系統研究

王 磊,王 蔚

基于.Net平臺的Kinect注意力遠程評估與訓練系統研究

王 磊,王 蔚

（南京師范大學，江蘇南京 210097）

為了對注意力障礙者進行評估以及相關的增強訓練，提出了一種基于Kinect體感交互技術的注意力遠程評估訓練方法，該方法采用體感交互方式，讓個體以更加自然的方式與外界溝通。同時為了實現遠程評估的目的，將本系統建立在.Net平臺之下。實驗結果表明該評估手段可以反映被測者真實的注意力水平，同時針對性訓練表現良好。

注意力障礙； Kinect技術；.Net技術；遠程評估訓練

注意力是指人的心理活動指向和集中于某種事物的能力。俄羅斯教育家烏申斯基曾精辟地指出：“‘注意’是我們心靈的惟一門戶，意識中的一切，必然都要經過它才能進來。”，注意力不集中，又稱“注意力障礙”，青少年注意力不集中，對孩子影響巨大，如果不及時進行改善或治療，將耽誤孩子最佳學習時間，影響孩子一生。[1]因此進行一系列的注意力評估，查找自身在注意力方面的不足為后期注意能力的訓練提供參考變得十分迫切。但是傳統的注意力評估方法有著許多詬病，同時不具有評估與訓練的雙重作用。隨著社會網絡化程度的不斷提高，體感交互技術的發展，一種基于.Net 平臺的Kinect注意力遠程評估與訓練系統就應運而生。它不僅保持了注意力評估準確可靠的特性，而且給用戶帶來了全新的交互體驗，同時本系統也可以用于個體的注意力訓練活動之中。

一 Net平臺下的Kinect注意力遠程評估系統研究分析

設計一個新型的注意力評估訓練系統首先要在保持傳統注意力評估方法優勢的基礎上解決當前注意力評估訓練中出現的問題。針對傳統評估中出現的問題以及大量的理論調研和實際考查，并結合開發技術的需要從注意力評估本身出發確定本系統應具有以下功能：

（1）自然的人機交互評估環境，解決傳統評估中人機交互枯燥乏味、對個體具有束縛的問題。

（2）從注意力的四個品質出發、構建可以真實反映注意力狀態的評估內容，同時這些評估的內容應該是生動有趣。

（3）必須具有良好的反饋機制，可以快速的將評估結果反饋給個體，并且盡可能的給出一些意見和建議。

（4）搭建一個網絡化的評估平臺，可以滿足不同時間、地點評估的需要，實現資源共享。

（5）在保證評估的同時也能夠對個體的注意力進行訓練。

（一）理論基礎

自然的交互方式與普通的交互方式有很大的不同，個人不需要刻意的用某種方式去與環境交流，只需利用人們日常生活中最基本的技能與習慣進行交互即可。考慮到評估內容需要具有趣味性，那么如何實現趣味性，一個簡單有效的辦法就是通過游戲的方式了來設計評估的內容。要實現以上功能、設計出更加合理的平臺需要以下面的理論為基礎：

（1）交互理論

交互多指雙方之間發生的聯系，是一種雙方之間進行溝通的過程，既然是溝通，要使雙方之間的溝通更加有效就必須對交互進行設計。交互設計作為一種新興的理論涉及到教育學、心理學、美學等多種學科。從用戶角度來說，交互設計是一種如何讓產品易用，有效而且讓人愉悅的技術。它致力于了解目標用戶和他們的期望，了解用戶在與產品進行交互時彼此的行為，了解“人”本身的心理和行為特點，同時，還包括了解各種有效的交互方式，并對它們進行增強和擴充。人機交互理論作為交互理論的一個分支，從狹義上講其針對的是人與計算機之間使用的某種對話語言，是人與計算機之間信息交換的過程，目的是把計算的長處和人的長處相結合，讓人做人擅長做的事情，而讓計算機做計算機真正擅長的事情。[2]根據交互理論中提到的設計原則：一個良好的交互設計在可視性、可用性、反饋性以及友善性等方面必須有獨到之處。本系統需要構建一個可以實現自然交互的評估與訓練環境，擺脫傳統評估系統的詬病就必須在個體和機器之間的交互方面做到創新。

（2）教育游戲理論

將教育游戲理論運用在本系統之中，以游戲化代替評估化，模糊游戲與評估、訓練之間的界限。教育游戲與普通的游戲有很大的不同，其作為嚴肅游戲的一種，是為了實現某種教學目的、達到某種教學效果而設計開發的，其重要的一個特點是寓教于樂。[3]傳統的紙筆評估很難顧及到學生的真實感受，在很多學生看來紙筆評估是一件很無聊也很無趣的事情，往往是在迫于某種壓力之下必須去做的，這種情況之下學生的評估結果在信度上就大打折扣，實驗者很難得到真實情況，為后續工作帶來麻煩。游戲化的評估方法抓住了學生的心理特點，讓學生在游戲中進行評估，這樣評估過程伴隨著游戲的展開而展開，學生體會不到這是一種測驗，不僅不會有一種逆反心理，相反學生樂于接受。與此同時實驗者也能得到相對真實客觀的數據。本系統主要評估與訓練的是注意力，它是指人的心理活動指向和集中于某種事物的能力，是一個動態的過程，靜態的紙筆評估很難達到效果，通過游戲這種動態化的過程來測量具有很高的效率。

（二）技術思路

注意力本身包涵廣度、穩定性、分配和轉移四種品質，應該是動態的，而傳統的紙筆評估卻將注意力變成靜態的選擇，這也是導致紙筆評估不能很好表現出個體真實注意力狀態的因素。一個良好的注意力評估與訓練系統應該能關注個體肢體動作、情緒狀態等方面的動態變化，同時這些變化應該是直接展現出來，否則會出現誤差。例如在傳統的計算機評估中個體的變化通過鼠標鍵盤等中間層表現出來，這無疑分散了注意力本身，對評估準確性有一定的影響。應用Kinect的注意力評估系統采用了更加自然的人機交互方式——體感交互方式，該方式可以捕捉個體肢體與語言的變化，利用人們日常生活中最基本的技能與習慣進行交互，讓個體擺脫某種壓力或約束，無需把自己的一部分心智和精力放到各種復雜的界面識別與操作過程之中，從而避免個體過多的將關注點放在無關事物上[4]。

應用Kinect的注意力評估過程一般需要個體完成各種動作，需要手、眼、心理、大腦以及其他生理器官的協調，所以在整個過程中對個體的注意力也進行了訓練。當個體在評估完成得到結果之后也可以利用本系統對注意力的某個或多個不足方面進行針對訓練。同時將注意力評估系統建立在.Net網絡平臺下可以滿足不同時間、地點評估訓練的需要，實現教育資源共享，有利于評估與訓練的推廣。而且網絡化的評估可以實現考核評價自動化，快速的將結果反饋給個體。

（三）評估及訓練游戲設計

在搭建了良好的評估平臺之后，怎樣設計合理、有效、有趣的游戲內容變得十分關鍵。游戲的開發主要從注意力品質的四個維度出發，分別設計不同的游戲來評估與訓練注意力。[5]這樣設計更利于個體評估、訓練自身的注意力水平，查找自身注意力問題之所在。因為一個人注意力水平在四個維度上表現是不同的，有的人注意力穩定性好但注意力轉移卻比較低，如果只是給出注意力的整體評價，個體很難找到問題具體出現在那一個維度上，不能制定出針對性的訓練方案，那么注意力評估也僅僅只是評估，不能給個體帶來指導幫助，評估的真正意義也就喪失了。[6]本系統游戲設計得注意以下二個方面的問題：

（1）游戲設計得以實現評估目的為前提，以評估過程的趣味性為標準。

（2）與傳統的計算機游戲設計還是有些區別，不僅要考慮游戲的趣味性還得考慮交互方式的變化，設計出適合應用體感技術的教育游戲。

在綜合了以上問題之后本系統設計出了較為合理的教育游戲，例如在注意力穩定性分項中就設計了“頂足球”的游戲，該游戲模擬了足球運動中運動員頭頂足球的游戲，個體用手指頂住畫面中的虛擬足球，隨著球的變化改變自己的動作，調整姿勢防止“球”從自己的指尖掉下來，在這個過程中系統會自動記錄個體“頂球”持續的時間。每個個體在一次評估、訓練中有三次機會，然后通過計算三次持續時間的平均值來給個體一個評價。

（四）總體框架設計

本系統采用Kinect進行評估與訓練，考慮到Flash與Kinect結合的特殊性：Flash Player安全沙箱的限制，不能直接操作硬件，本系統采用B/S與C/S混合的模式。個體登錄網頁調用下載到本地的客戶端評估項目，然后通過Kinect與客戶端項目之間交互實現個體的評估過程，之后將評估項目數據反饋給網頁，通過網頁提交到后臺的數據庫，最后將評估結果返回給個體。一般情況下客戶端評估項目不直接與數據庫交互，而是通過網頁中間層進行連接，降低耦合性，易于評估項目的擴展。系統的結構層次如圖1所示。

基于.Net平臺下的Kinect注意力評估系統整體功能架構如圖2所示，根據相關內容的關聯性可分為三個模塊，具體為主界面、評估與訓練界面、反饋界面。以三大模塊為支架，以個體的需求為基礎，完善各模塊的功能。

圖1 系統結構層次

二 Kinect注意力遠程評估訓練系統的實現

（一）開發技術與環境

本文中系統開發技術主要涉及到兩個部分，其中網絡評估平臺的搭建是建立在Framework 4.0的ASP.NET服務器腳本語言環境之下，以Visual Studio 2010為開發工具，運用C#開發語言與Access數據庫相結合，基本實現了網絡化的注意力評估環境的搭建。

.NET是微軟公司新一代的開發平臺，該開發平臺采用了面向服務技術，允許應用程序通過Internet 進行通訊和共享數據以此來滿足在復雜的異構網絡環境中需求。因為Kinect也是微軟旗下的產品，所以將.NET平臺作為搭建網絡化測試環境的平臺具有如下的優點：

（1）、都是微軟旗下產品，兼容性比較好，二者之間的對接，以及數據交互方式比較成熟，可靠，實現的函數比較多。

（2）、KinectSDK支持C#、VB.NET、 C++.NET等開發語言來為Kinect這種體感控制器開發新的應用。

評估項目設計中主要是將Flash AIR技術與Kinect體感交互技術相結合。由于Flash能夠支持多種格式的聲音、圖像、視頻文件，所以利用Flash可以實現豐富的畫面，能夠模擬真實的場景，提供嶄新的視覺效果。而且具有交互性優勢，可以更好地滿足不同用戶的需要，同時Flash文件的體積較小，下載速度快，跨平臺性好、有利于網絡上的傳播。最主要的是微軟公司的Kinect開放了Flash接口，這樣開發的工作量及代價小很多，所以將二者結合進行評估內容的開發可以降低開發難度、具有很大的優勢。

（二）評估及訓練項目的實現

一個適用于體感交互技術下的注意力評估與訓練項目應該包括以下內容：呈現場景、幫助系統、捕捉個體動作、呈現個體動作、結果反饋、個體信息及結果提交到后臺數據庫。

（1）評估訓練場景主要是在Flash中設計實現的，通過Flash技術根據具體的評估或者訓練內容設計游戲動作，再由這些游戲或動作來設計所需要的場景。用戶在主界面上選擇項目后，網頁通過單獨設置的函數調用事先下載并安裝好的本地項目，這些項目就開始加載所需的場景。

（2）幫助系統主要是在主界面以及各分項目界面上，以幫助用戶完成評估。主界面上的幫助系統主要是關于評估與訓練前所需的準備信息。各個分項目界面上的幫助系統是輔助完成該項目的信息，如告訴個體做出怎樣的動作表示開始評估（例如雙手上舉）以及提交完成評估等等。這些功能的實現是通過用戶做出相應動作后Kinect檢測到人體骨骼參數的變化，并將這種參數變化傳到項目中，然后觸發相應的函數實現的。這樣可以實現評估與訓練的自主性，不需要他人來輔助，同時一個項目提交后自動進入下一個項目實現了各個項目之間的連貫性。

圖2 系統功能結構

（3）捕捉個體動作同時屏幕呈現個體動作是通過Kinect體感交互技術與Flash技術結合實現的。個體選擇好內容，系統自動調用本地客戶端中相應的項目，然后客戶端與Kinect相連接，在客戶端界面上會展現個體的骨架參數，個體活動一下，骨架的位置就會發生變化，[7]用戶按照客戶端界面上給出的系統幫助，做出相應的動作就可以進入評估了。具體過程是Kinect獲取最近個體作為輸入，然后跟蹤人體的骨架參數，客戶端在偵聽到骨骼參數后一方面在客戶端界面上繪制出骨架，另一方面將這些實時骨骼數據映射到計算機從而識別個體動態行為、靜態姿勢以便發出指令與此同時也可以進行實時對象操控最終實現交互。

將Kinect應用到Flash開發平臺，使Flash可以調用Kinect攝像頭主要有以下兩個方法：1、Flash通過Socket與Kinect攝像頭進行通信。2、Kinect通過Air的本地擴展功能進行通信。在本系統中采用的是第二種方式即采用基于強操控性的、輕量級的Kinect-AIR中間件進行開發。該中間件使得AIR程序開發者能夠通過Kinect for Windows SDK連接到Kinect傳感器，Kinect-AIR是將 Kinect微軟官方SDK做了抽象和簡化，為 Air 程序做的 ANE 拓展。在安裝完 MS 官方Kinect SDK 后，即可以啟動由 Air 編寫的調用該 ANE 拓展的程序。[8]Kinect將獲取到的被測的RGB數據和深度數據傳送給軟件開發工具包的底層API，SDK經過處理得到設備信息、以及各種數據流， AIR Kinect中間件獲取SDK處理后的數據后，再提供給應用程序以調用，中間還采用了一個自由開放的Air-Kinect-Gesture-Lib類庫。具體數據通信圖見圖3。

穩定性項目的幫助系統、以及測試場景和人體骨架圖如下圖4所示

三結論

通過將.Net技術與Kinect體感交互技術結合構建的注意力評估與訓練系統，改變傳統的評估與訓練的方式，使得注意力評估與訓練活動中個體能夠以自然的交互方式和機器進行溝通，保證了個體在評估或者訓練過程中注意力不會因為交互方式的弊病而被分散，同時在網絡的幫助下可以實現遠程評估與訓練，所需的代價不高，有利于學校家庭的推廣。通過試測發現，評估狀況良好，基本能科學的反映注意力水平，符合實際需求，同時交互界面友好，操作簡單，易學易用。當然，系統中還有若干問題有待解決，某些方面不夠完善，有待進一步的改進。

圖3 Kinect與系統數據通信圖

圖4 項目評估界面圖

參考文獻：

[1] 沈蘋.基于2397名學生注意缺陷多動障礙的調查報告[J].江蘇教育研究，2013，4：35-38

[2] JenniferPreece Yvonne Rogers, Helen sharp，劉曉暉譯.交互設計——超越人機交互[M]. 北京：電子工業出版社，2003：6-7

[3] 魏婷，李藝.國內外教育游戲設計研究綜述[J]. 遠程教育雜志，2009，3：67-70

[4] 吳國斌，李斌，閆冀洲. Kinect 人機交互開發實踐[M]. 北京：人民郵電出版社，2013：95-98

[5] 殷恒嬋. 青少年注意力測驗與評價指標的研究[J]. 中國體育科技，2003，39 (03)：51-53

[6] 李永瑞. 注意能力評估方法的初步研究[J]. 應用心理學，2001，7(3)：24-28

[7] 余濤.Kinect應用開發實踐：用最自然的方式與機器對話[M]. 北京：機械工業出版社，2012：89-96

[8] 丁玉倫. Kinect SDK For Air體感開發、人機交互、人工智能［EB/OL］. http://www.dalunzi.com/，2013.07.21

[9] 王蔚.電子游戲的教育性分類和評價體系[M]. 北京：科學出版社，2010:148-169

"江蘇省中小學綜合素質評價指標體系構建". B-b/2013/01/035, 江蘇省教育科學“十二五”規劃2013年度重點課題；國家自然科學基金項目“蜂巢恒溫調控機理研究” （31272511）合作資助

王蔚（1966—），女，漢族，安徽鳳陽人，南京師范大學教育技術系，博士、教授。王磊（1988-），男，漢族，安徽宣城人，南京師范大學教育技術系，碩士在讀。（江蘇 南京 210097）.