基于成熟度模型的教育信息化評估方法研究

　　【摘 要】
　　教育信息化是教育發展的推動力和革新因素，對教育信息化發展水平的評估已經成為教育信息化發展的要點之一。本文分析了國內外教育信息化評估模型和評估方法的優勢和不足，借鑒軟件工程領域的軟件成熟度評價模型建立了教育信息化評估模型e2M2，并且以該模型制定了評估指標，試評估了國內12所大學的網絡教育學院，此后又邀請教育技術專家對指標體系的各個指標項進行討論和修訂。筆者期望在已有研究的基礎上，通過高校間的合作，形成更為完整的信息化成熟度評價體系，為教育信息化的決策和實施提供參考依據和評估工具。
　　【關鍵詞】 教育信息化；評價指標體系；成熟度；遠程教育
　　【中圖分類號】 G420 【文獻標識碼】 A 【文章編號】 1009—458x（2012）10—0025—07
　　一、引言
　　教育信息化是指在教育過程中比較全面地運用以計算機、多媒體和網絡通訊為基礎的現代化信息技術，促進教育的全面改革，使之適應于正在到來的信息化社會對于教育發展的新要求[1]。近十年來，我國的教育信息化建設在硬件設施與軟件資源，以及教育從業人員認識上都有很大的進步。2010年發布的《國家中長期教育改革和發展規劃綱要2011-2020年》更是在政策層面上將教育信息化上升到國家信息化建設的重要組成部分和戰略重點，要求通過教育的信息化帶動教育的現代化。2012年3月教育部又編制和印發了《教育信息化十年發展規劃（2011-2020年）》以落實和推進《綱要》中關于教育信息化的總體部署。雖然我國現階段教育行業在信息化水平上有較大提高，但與發達國家相比還有很大差距。不同地區、不同類型教育信息化的發展水平差異更是顯著。如何科學評價和比較各教育機構的信息化水平和成果，為教育信息化建設的科學決策和實施提供參考，是現階段教育信息化研究的重要課題[2]。
　　傳統的教育信息化評估指標體系往往基于靜態的評價模型和局部數據，如網絡帶寬、計算機臺數、培訓人次等數值。這些模型在教育信息化早期具有一定的意義，但隨著實踐的發展已經不能適應迅速發展和多元化的評價領域。很多高校無法準確評估本單位的信息化建設水平，也就難以對自身信息化建設所處的階段形成正確的認識，進而不能有的放矢、對癥下藥，從而浪費了大量的人力、物力和財力。因此，我們迫切需要引入新的評估模型和評價體系。本文以信息產業內的成熟度模型思想為基礎，介紹一種基于成熟度的教育信息化評估新的方法。
　　二、文獻研究
　　1. 教育信息化調查和評估
　　從國際范圍來看，西方發達國家的教育信息化建設相對較早，教育信息化評估體系也比較完善，評估工作多是以項目的方式進行。美國“信息化校園計劃”每年在全美范圍內選擇600 到800 所大學進行抽樣調查和訪談，定期發布校園信息技術的發展和應用方面的報告[3]。而在亞洲，香港大學發起的“亞洲校園信息化調查”項目對亞洲各大學的信息化建設和發展情況進行廣泛調查，編制并發布亞洲各國家和地區高校信息化建設、發展的動態、案例和成功經驗[4]。我國的教育行政管理部門已經開始關注教育信息化檢查和評估工作。北京大學趙國棟和汪瓊兩位學者受教育部高教司委托，先后組織全國規模的“中國高等教育信息化現狀調查”三次，獲得了國內高等教育信息化狀況的一手資料，為教育管理部門的規劃和決策提供了重要依據。教育部科技發展中心也于2011年開展了高等院校信息化建設與應用現狀調查。
　　2. 評估指標體系研究現狀
　　早在上世紀90年代初，美國和英國等發達國家就已經建立起了系統的教育信息化評估規范，并且隨著信息技術在教育中的應用逐漸完善。從評估指標體系研究和應用現狀來看，目前雖然沒有在教育信息化評估模型構建上達成統一認識，但大部分學者傾向于“微機化加外文化”的評價模型，強調從軟硬件和文化環境等多個角度綜合考察 [5][6]。比較具有影響力的教育信息化評估指標體系：（1）美國的“教育信息化效益評估工具（School Technology and Readiness，簡稱StaR）”，該評價指標體系由全美教育技術CEO論壇提出，依據的模型是克林頓政府提出的中小學信息技術應用和發展的硬件基礎、連通、數字內容和專業發展四大支柱 [7]。該評估指標體系在美國具有較大影響，被一些州評估機構或學校采用，成為評價學區或學校教育信息化發展水平的依據。（2）英國的教育評估機構也發布了相應的學校信息化自我評估指標（Self-review framework，簡稱SRF），該量表主要包括課程、教與學、領導與管理、教師專業發展等八個要素[8]。為促進該量表的應用，英國教育通訊與技術局還專門開發了供學校實施SRF 評估使用的網絡工具。
　　我國教育信息化起步較晚，對教育信息化評價的研究主要集中在指標體系的構建和測評方法兩個方面[9]：“指標構建”是從指標體系本身出發，透過各個角度提供教育信息化評估指標體系的結構和框架。如劉軍躍等人構建了一種高等教育信息化評估指標體系，包括戰略地位、基礎設施、信息化資源、組織機構、信息化人才、信息化應用和管理等共六個一級指標[10]。張進寶分析了信息化評估“六要素”模型的不足，提出基于“CIPO”模型進行教育信息化評估的思路[11]。而對于“測評方法”的研究則主要集中在教育信息化水平的測評模型與體系方面，利用關系數或指數，通過某種評價方法來確定教育信息化發展水平。目前國內外對于評價方法的研究很多，依據理論基礎不同，常用的綜合評價方法有專家評價法、運籌學及數理統計方法、指數法及經濟分析法、混合方法共四類[12]。其中，層次分析法（AHP）、模糊綜合評判法等混合評價方法精度較高、適用范圍廣泛，具有廣闊的應用前景。很多教育信息化評價、測度方法研究方面的研究項目均采用此類方法。如代文峰采用定性分析與定量分析相結合的思路，利用層次分析法確定指標體系及權重給出了高校教育信息化的評價方法，為解決甘肅省高校教育信息化評價問題提供了一種較好的方 法[13]。
　　綜上所述，國內專家學者從不同角度探討并提出比較符合實際的教育信息化評價模型和評價指標。其中大多數評價體系的指標項均源自“國家信息化評估指標體系”，在該模型的六要素（信息技術應用、信息資源、信息網絡、信息技術和產業、信息化人才、信息化法規政策和標準規范）基礎上結合教育特點適當轉化而成，借以描述教育信息化現狀、建設全貌和發展全過程。但這樣做的問題是這類評估模型并不能完全映射到教育領域中，切實反映教育領域內的信息化狀態，而且六要素模型靜態框架難以反映信息化的動態發展。此外，很多評估指標體系在制定流程和方法上依賴于專家意見和經驗賦予各指標權重，受主觀影響很大。
　　3. 成熟度評價模型
　　軟件企業的開發能力是軟件質量保障的基礎，也是軟件行業關注的重點。1987年，美國卡內基梅隆大學軟件工程研究所率先提出了基于軟件開發過程管理的能力成熟度模型（Capability Maturity Model，簡稱CMM）。該模型提供了階梯式改進框架用以評估軟件開發機構的開發能力，將評價對象的開發能力從低到高分為初始級、可重復級、已定義級、已管理級和優化級五個成熟度級別[14]。該模型采用分層的方式按難度來分解軟件開發能力，以適應不同企業的需要。而教育信息化建設所面臨的挑戰和從事復雜軟件系統開發的企業有很多相似之處，所以就有學者考慮借鑒CMM的評價模型解決教育信息化評估的問題。最早引入此方法的是新西蘭維多利亞大學的Marshall教授，他依據CMM的思想提出了e-Learning成熟度模型 （e-Learning Maturity Model，簡稱eMM）[15]，并設計了較為完善的評價流程和指標體系。該模型可用來評估高等院校在e-Learning方面的實踐水平，并可用于進一步改進其e-learning的業務流程。和傳統的CMM五級框架相對，eMM對e-Learning的每一類業務流程均定義了若干項評價指標（通常為6到12個），這些指標項和e-Learning的實踐密切相關。國內對eMM方法的研究較少，僅有周勇和張際平對此進行了研究和解讀，分析了各過程域上的工作流，指出主要活動和各個過程域的關鍵指標之間的映射關系，該工作流模型還可以作為e-learning過程改進的一個參考框架[16]。此外周勇還運用eMM的過程能力基線分析教育機構實施e-Learning的能力水平，并以此進行過程持續改進的監控與評估[17]。
　　三、基于成熟度思想的e2M2評價模型
　　eMM有別于傳統的信息化評估指標體系，在評估方法上雖另辟蹊徑，但仍有很多不足之處。例如，在評價領域方面，eMM僅涉及教學和學習的部分指標，而教育信息化評估范圍要比此大的多，除教學之外還包括教育資源、教學管理、教育評價等方面的信息化。此外，eMM在具體評價指標上也與我國教育信息化的指導思想和具體情況不符合。因此，eMM的評價指標并不能直接適用于我國高校的信息化評估。
　　本項研究參考eMM模型的理念和框架，提出了教育信息化成熟度模型（e-Education Maturity Model，簡稱e2M2）。e2M2基本思想是：高校或者教育機構在特定信息化領域中的大部分優秀實踐具有共性，將這些促使某個高校達成優先實踐的關鍵指標以及典型特征從具體工作實踐中剝離開來，獨立于技術平臺、組織架構和教學模式作為衡量信息化水平的標桿。通過將被測評院校的現狀和行業優秀水平的比較分析，有助于被評測院校了解當前信息化建設進程。而且，教育機構也可以把e2M2模型定義的指標項和能力標桿為基準，規劃自己未來的發展方向和改進措施，通過不斷的努力逐步達到更高成熟度。在核心理念上，e2M2首先界定了“教育信息化”和“信息化教育”這兩個概念，根據教育信息化的要素和研究實踐領域，進一步確定了教育信息化的業務能力層次模型，通過一些關鍵指標的“典型特征”來評定被評機構是否達到該能力級別要求[18]。此外，本模型還在已有eMM的基礎上作了較大改進：
　　1. 擴充了已有eMM的范疇，將e-Learning的實踐分解為信息化教學應用、信息化資源建設、信息化教育評價，并且增加了信息化教學環境、信息化組織建設、管理和服務信息化共六個子領域，對應評價指標體系的六個子集（一級指標）[18]（見圖1）。
　　2. 將已有eMM基于“實踐—證明”評價方式簡化為“目標—實現”評價，注重將用戶對于教育信息化的“基本要求”轉化為“通用實踐”，即在大量實踐基礎上提煉總結出優秀的活動或者經驗，使評價指標更切合客觀實際。
　　3. 在成熟度層次上分為無表現、初始級、管理級、標準化和量化、優化級五個級別。根據國內評價指標體系的習慣添加了0級“無表現”；將在實踐上不易區分的3級和4級合并為1級。
　　4. 開放的評價指標體系。由于評價指標本身就是教育信息化實踐過程中的典型案例和通用實踐，隨著教育信息化的發展和業務水平的提高，該評價指標體系本身也在不斷的修正和擴充。
　　5. 以可視化的方式呈現評價結果，方便評價專家快速識別出被評價對象的強項和弱項，同時有助于決策者全面掌握本單位信息化現狀，提出改進的策略和實施計劃。
　　按照前文所述，e2M2模型中的成熟度分為五級，見圖2。具體實現時應按照教育信息化的具體實踐內容將相關業務表現分組歸類，并按照實現信息化的程度分級。例如，“教育信息化組織建設”一級指標中有一項關于將應用技術標準和規范應用于信息化建設中的二級指標，對于該評價項目，我們將已經收集的相關優秀實踐按照成熟度分為以下五級，見表1[18]。
　　在評價時，當被評院校具備和評價指標中某項業務相對應的特征時，則表示該院校擁有該層級的信息化成熟度。該“成熟度分級模型”提供使教育信息化業務從無序向完善再到持續改進層級變化，并提供了一組用于評定業務水平高低的標桿。同時，該評價指標的高級部分代表了行業的優秀實踐，有助于被評價方明確自己的業務水平，規劃日后改進措施。指標項中各級所具有的考察關鍵特征可進一步抽象為具體的表現特征，如是否有專設人員、是否有專門的規章制度、是否有量化考核機制，具體標準如表2所示（√表示有表現，×為無表現）：
　　相對于傳統的評價模型，基于成熟度思想的模型具有以下的優勢：（1）分級指標來源于優秀實踐，它是教育機構應該具有的水平或是最近發展目標，二級指標項中的業務成熟度分級可以顯示出信息化業務的關鍵指標及優化步驟；（2）該評價方式是非量化的，注重動態的成長過程和發展趨勢，可用來確認被評價單位信息化發展的水平和持續改進的能力；（3）不僅具有評估功能，而且具有診斷功能，對業務的未來發展有指導意義。此外，該模型在技術平臺、教學理念以及組織模式等方面是中立的，鼓勵被評價方參與評價，不斷改進和完善，因而有利于推廣和傳播。
　　四、教育信息化成熟度指標
　　體系的設計和應用
　　1. 評估指標體系的初制
　　課題組經過半年的文獻研究和前期工作，以e2M2模型為基礎，將該評估模型中六個一級指標項分解為8-10個不等的二級指標，每個二級指標又設有0-4級的評價等級，以此來構成評價的具體內容。評價指標體系中的評價項目主要有三個來源：（1）從教育信息化評估相關的國內外文獻中提取；（2）從現有國內外教育信息化調查問卷中抽取；（3）專家座談會頭腦風暴。在此量表初步版本的基礎上，邀請了北京郵電大學和北京大學的五名教育信息化領域專家專家，使用德爾菲法討論并修訂本量表，經過三次大的修改，最終形成“教育信息化成熟度指標體系評價量表（v1.0）”。經過試評估，量表信效度基本達到要求。
　　2. 評估指標體系的試用
　　網絡教育學院是各個大學信息化程度較高、教育信息化業務開展較為全面的機構。為驗證和修訂評估量表，課題組3個多月先后調查了北京大學、上海交通大學、華東師范大學等12所國內知名高校的網絡教育學院或遠程教育學院的教育信息化發展狀況。同時訪談了這些學院的院長，邀請他們作為教育信息化專家評價課題組研制的“教育信息化成熟度指標體系評價量表”。專家對量表中的每個指標項都進行評判。問卷反饋信息顯示，參與評價的所有專家基本認可課題組提出的基于e2M2的教育信息化評估指標體系，評價量表中絕大多數指標項都被認為有必要或是非常有必要的；僅有十分之一的指標項存在爭議，而且爭議內容大多是文本表述方式不當[19]。
　　3. 評估指標體系的修訂
　　匯集整理完成專家意見后，課題組召開了指標體系回饋意見討論會，根據調查反饋結果以及專家對于指標體系的修改意見，將專家反饋意見中有分歧的指標項逐條討論，并對量表作了進一步修訂。
　　以指標項C-3為例，該項評價指標為“使用財務系統和網上銀行等信息化手段進行財務管理，包括收取學雜費，發放獎學金等”[18]。根據專家反饋結果：7人支持，1人中立，3人未表態，他們基本上都認為該指標項有存在的必要。另外有1名專家認為指標項的文本表述不當，網上銀行和財務系統不屬于同一層次概念。課題組接受了該專家意見，將“網上銀行”字樣從描述中刪除，減少了理解上的偏差，使其更加符合實踐。
　　五、總結和反思
　　課題組經過文獻研究、建立模型、制定指標體系、實施評估和反饋修訂五個完整的步驟，以e2M2模型為基礎，以高校網絡教育學院為試評估對象，收集了國內12所網絡教育學院在教育信息化六個實踐領域發展的水平數據，初步制定出基于成熟度模型的教育信息化評價指標體系。
　　由于成熟度思想應用到教育信息化評估領域屬于探索性實踐，尚無成熟方案可以借鑒。因此本指標體系尚存在如下問題：實踐領域之間差異較大，不是所有實踐領域都適合成熟度劃分，而且調查量表雖經過數輪專家使用德爾菲法評議和修正，但個別指標項仍然表述不得當。另外在調查過程中，由于專家不熟悉成熟度思想的評估方式，填寫問卷前需要課題組的說明和指導，同時由于教育信息化內容涵蓋廣，數據量大，有漏填現象。
　　在后面的工作中，我們將依據此次調查的結果，著手開發相應的評估軟件，盡力減少人為因素影響，同時進一步調整和優化“基于成熟度模型的教育信息化評估模型”和評估量表、評估流程細則，使之簡單化、規范化、實用化。本課題還將以現有的e2M2分成模型以及評價指標體系的初步版本為基礎，在未來評估實踐中進一步總結和完善教育信息化關鍵目標及成熟度能力等級，將其擴展為一個更加完善的教育信息化能力成熟度評估體系，更好地服務我國的教育信息化評估工作服務。
　　[參考文獻]
　　[1] 祝智庭. 教育信息化的概念與特征[J]. 山東電大研究動態，2002，（6）.
　　[2] 劉軍躍，徐剛，黃偉九. 高等教育信息化評估指標體系探討[J]. 高教探索，2004，（3）.
　　[3] CCP. The 2007 National Survey of Information Technology in US Higher Education[EB/OL]. [2011-11-24].http：//immagic.com/eLibrary/ARCHIVES/GENERAL/CCP_US/C071029G.pdf
　　[4] 趙國棟，汪瓊. 關于中國、美國及香港地區高校信息化發展狀況比較研究[J]. 現代遠程教育研究，2003，（2）.
　　[5] Wachter，Renee M.；Gupta，JatinderN.D.Distance education and the use of computers as instructional tools for systems development projects： a case study of the construction of expert systems[J].Computers&EducationVolume：29，Issue：1August，1997.
　　[6] 曹少華. 談適應信息社會的江蘇教育信息化[J]. 江蘇教育研究，2000，（6）.
　　[7] 汪瓊，陳瑞江，劉娜，李文超. STaR評估與教育信息化研究[J]. 開放教育研究.
　　[8] 陳吉利. 英國學校信息化自我評估指標述評[J]. 中國電化教育，2008，（6）.
　　[9] 孫德梅. 教育信息化評估指標體系國內外比較研究[J]. 科技信息，2007，（21）.
　　[10] 劉軍躍，徐剛黃偉九. 高等教育信息化評估指標體系探討[J]. 高教探索，2004，（3）.
　　[11] 張進寶. 從“六要素模型”到“CIPO模型”：教育信息化研究思路的再審視[J]. 中國電化教育，2008，（10）.
　　[12] 陽志華. 企業信息化環境下的管理信息系統開發及其評價研究[D]. 重慶大學碩士論文，2005，（4）.
　　[13] 代文峰. 甘肅省高校教育信息化評價模型研究[J]. 教育研究，2009，（6）.
　　[14] 百度百科. 百度百科CMM詞條[EB/OL]. [2012-8-28]. http：//baike.baidu.com/view/8110.htm
　　[15] Marshall，S.，Mitchell，G.An E-Learning Maturity Model.Proceedings of the 19th Annual Conference of the Australian Society for Computers in Learning in Tertiary Education[C]，Auckland，New Zealand，2002.
　　[16] 周勇，張際平. 甘肅省高校教育信息化評價模型研究[J]. 教育研究，2009，（6）.
　　[17] 周勇，張際平. 一種改進的eMM[J]. 電化教育研究，2008.
　　[18] 王瑜. 基于成熟度思想的教育信息化評估模型研究[D]. 北京郵電大學，2012，（3）.
　　[19] 李青，王瑜，劉洪沛，王楠. 網絡教育學院信息化建設現狀調查與研究[J]. 北京郵電大學學報（社會科學版），2012，（2）.
　　收稿日期： 2012-08-25
　　作者簡介：李青，副教授；勾學榮，教授；劉洪沛，講師。北京 郵電大學網絡教育學院（100876）。 王瑜，助理工程師，中國工商銀行股份有限公司數 據中心（北京）（100140）。
　　責任編輯 碧