層次分析法在網絡增強型課程教學評價中的應用

　　【摘 要】
　　針對高校網絡增強型課程的評價，可采用層次分析法來建立評價指標體系。本研究通過研究網絡課程評價指標，建立指標層次模型，同時充分采納評價主體對評價指標的兩兩重要性比較的定量描述，構造判斷矩陣，依據判斷矩陣結果計算出指標的權重賦值。北京建筑工程學院實踐表明，基于層次分析法的網絡增強型課程教學評價指標體系客觀、科學、操作性強。
　　【關鍵詞】 層次分析法；網絡增強型課程；指標體系
　　【中圖分類號】 TP39 【文獻標識碼】 A 【文章編號】 1009—458x（2012）10—0025—07
　　引 言
　　鑒于我國高校學生人數迅速增長及可利用教育資源的相對有限，教育部于2003年全面啟動了教學模式改革，旨在推動基于計算機和網絡的個性化教學模式發展[1]。與網絡教育學院不同，大多數高校的網絡課程是網絡增強型課程，即教師仍然組織正常的課堂教學，而利用網絡作為促進性工具，通過所設計的網絡課程資源以及網絡工具等來完成部分學習任務，增強課程的學習效果[2]。網絡增強型課程是傳統課堂教學的補充和延伸，是將傳統的課堂教學、網絡資源、網絡交流、網絡發表、學生信息管理等結合起來的整體解決方案[3]。
　　網絡課程是網絡教育的基本載體，網絡課程質量是決定網絡教育質量的一個關鍵要素，如何對網絡課程進行合理有效的評價是當前網絡教育發展中的一個研究重點。目前已有許多網絡課程評價標準，如美國高等教育策略研究所《在線教育質量：遠程互聯網教育成功應用的標準》、韓國國家開放大學的教育質量保證的模型、英國開放和遠程教育質量委員會的《開放和遠程學習中的標準》、Training Foundation的《e-learning專業能力框架》以及我國教育部教育信息化技術標準委員會發布的《網絡課程評價規范（標準草案征求意見稿）》、教育部高教司的項目研究成果《網絡課程課件評測（認證）標準》[4]等等。這些評價指標中基本上包含了教學設計、教學內容、技術性和界面設計等幾個一級指標和三十多個二級指標，多是從定性層面進行闡述，主觀性較強，并且沒有專門針對網絡增強型課程教學評價指標體系的研究。網絡增強型課程有其自身的特殊性，如大多數高校的網絡增強型課程都是依托于學校統一的網絡教學平臺開展，技術性和界面設計由教學平臺自身決定，不受使用者的控制，相關的指標不適合用來評價課程的質量。本研究提出基于層次分析法（Analytical Hierarchy Process，簡稱AHP）的網絡增強型課程教學評價指標體系研究方法，通過評價指標體系權重的量化研究，提高網絡增強型課程教學評價的可操作性。
　　層次分析法及其步驟
　　1. 層次分析法概述
　　層次分析法是美國運籌學家T. L. Saaty教授于20世紀70年代初期提出，將定性與定量研究相結合進行分析的一種簡便、靈活而又實用的多準則決策方法[5]。AHP法通過建立遞階層次結構，把人們的判斷轉化為若干因素兩兩之間重要度的比較。其原理是將所研究的問題按其性質，把各種選擇指標、方案進行分類，并劃分為若干層次，使問題轉化為各指標方案相對優劣的排序問題，通過構造判斷矩陣，計算出某一層次因子相對于上一層次各個因素IAXtZ9dBYhLfPpyU7cvfdu0gjLzayZOHWQmMNgKeNAk=的單排序結構和相對于上一層次的總排序權重[6]。運用AHP方法可以對評價指標賦予不同的權值，從而據此確定評價內容的重要程度，使建立的指標體系有據可查，增加評價結果的可信度[7]。
　　2. 層次分析法的基本步驟
　　層次分析法大致可以分為四個步驟[8]：
　　（1）建立層次結構模型：當應用層次分析法時，首先要在深入分析解決問題所要達到的目標及其屬性后，把問題條理化、層次化，構造出一個有層次的結構模型。層次模型可以分為：最高層（目標層）、中間層（準則層）和最底層（方案層或者對象層）。
　　（2）構造兩兩比較判斷矩陣：在建立層次模型后，設計專家調查問卷，每個參與構造權集人員都分別對指標體系的每一層中相關的指標項進行兩兩比較，比較其相對重要程度，一般用數字1-9及其倒數的標度方法，給出用數值表示的判斷結果，寫成矩陣形式，即為判斷矩陣。
　　（3）層次單排序及其一致性檢驗：得到判斷矩陣后，求出判斷矩陣的最大特征根λmax及對應的歸一化特征向量W，它們滿足關系式BW=λmaxW。其中W的分量Wi（i=1，2，……n）就是第i個元素Bi的單排序值。對于每個參評人員的判斷矩陣分別算出的指標優先權重進行層次單排序一致性檢驗，計算公式為：CI=。計算隨機一致性比值CR：CR=，若CR≤0.10，認為該判斷矩陣有滿意的一致性層次單排序有效；若CR>0.10，則需對兩兩比較取值進行修正，直至滿意為止。
　　（4）層次總排序及其一致性檢驗：計算同一層次所有因素對于高層次（總目標）相對重要性的排序，稱為層次總排序。這一過程是最高層次到最低層次逐層進行的。在層次總排序完成后，也要做一致性檢驗。這一步驟也是從高到低逐層進行的。
　　此外在實踐中應用層次分析法時，常常需要請多名專家對評價指標或者評價對象打分。設參加確定權重的人員數為N，則應當有N個判斷矩陣，用經過一致性檢驗的N個判斷矩陣建立一個新的判斷矩陣。新的矩陣中各元素值計算公式為：bij=。
　　上式中b1ij b2ij … bnij分別代表各個判斷矩陣中處于相同位置的元素值。然后用新的判斷矩陣計算各指標優先權重Wi 。
　　網絡增強型課程教學評價指標體系構建
　　1. 評價指標
　　筆者以北京建筑工程學院使用的清華教育在線平臺為例，結合網絡教學平臺的功能模塊，重點評價教學設計和教學內容，確定了網絡增強型課程教學評價的8個維度、16個指標項，如表1所示。
　　2. 層次結構模型的建立
　　根據評價指標，便可以建立網絡增強型課程指標評價體系的層次結構模型，如圖1所示。整個層次模型可分為三層：目標層A，準則層B，指標層C。目標層構建的是網絡增強型課程教學評價指標體系，準則層包括體系構建的8個維度，指標層包括體系構建須考慮的16項指標。
　　3. 指標權重的計算
　　對于上面給出的網絡課程評價層次模型，使用層次分析法來確定權重。首先根據評價指標設計專家調查問卷，構成兩兩比較矩陣形式。針對網絡增強型課程教學評價指標體系，我們分別構建了一級指標的判斷矩陣1個，二級指標的判斷矩陣5個。向參加過網絡課程評審的評委（14人）、參與網絡學堂課程建設的一線教師（20人）、清華大學網絡學堂設計開發者（8人）和北京師范大學教育技術專家（8人）四類群體發放調查問卷50份，回收問卷50份，回收率為100%。
　　其次，按照層次分析法的基本步驟構造兩兩比較判斷矩陣，進行層次單排序和一致性檢驗，形成每一位專家對于網絡增強型課程各個評價指標的判斷矩陣、權重向量和一致性檢驗結果。在一致性檢驗過程中，據清華大學網絡學堂設計開發者和北京師范大學教育技術專家打分結果所獲得的判斷矩陣，經過較少的幾次兩兩比較取值進行修正，基本上都通過了一致性檢驗，有效數據為16份。而網絡課程評審的評委和參與網絡學堂課程建設的一線教師所獲得判斷矩陣大部分沒有通過一致性檢驗，在剔除了一致性差別太大的數據結果后，研究者對其余數據進行了幾輪兩兩比較取值進行修正，選取了16份有效數據。最終構造了32份判斷矩陣，表2為根據某位專家打分結果所形成的A-Bi判斷矩陣。
　　接下來，針對本研究中的32個矩陣，使每個單獨的矩陣都通過了一致性檢驗，按照公式bij=，形成的新矩陣，計算其權重數值，并進行一致性檢驗，得出結果如表3～表8所示。最后，計算出層次總排序值，得到如表9所示的各個評價指標的綜合權重。
　　4. 評價指標體系的構建
　　在上述指標體系的權重確定后，再采用德爾菲（Delphi）法向專家征求意見，以確定評價指標體系中各個指標項的屬性，即是必選指標項、可選項還是鼓勵指標項，網絡課程的總體分數，以及合格課程和優秀課程應達到的分數要求。在征求多位專家意見后，北京建筑工程學院網絡增強型課程教學評價指標體系規定有11個必選項，以“M”標識，參加評審的網絡課程必須達到指標規定的內容，才能合格。本指標體系有4個可選項，以“O”標識，鼓勵網絡課程達到這些選項的要求，必選項和可選項總分值為100分，其中必選項占75分，可選項占25分。本指標體系有一個鼓勵項，以“E”標識，所占分值為20分。對合格課程沒有總分要求，評為優秀的課程總分應不少于90分。每個指標項分值計算公式為：Pi=P總×Wi，其中課程總分為120分，Wi為各個指標項的權重，最終的指標體系如表10所示，其中指標的具體含義略。
　　結 語
　　本研究提出了AHP法在網絡增強型課程教學評價中的應用辦法，并以北京建筑工程學院為例構建了網絡增強型課程教學評價指標體系，本指標體系被山東交通學院等多所高校借鑒使用，并5次在北京建筑工程學院的網絡課程評價中具體實施，通過實際應用，我們可以得出以下結論：
　　第一，北京建筑工程學院網絡增強型課程教學評價指標體系是在層次分析法指導下，通過定性與定量相結合的方法得出，既合理利用了專家的經驗、洞察力和直覺，又克服了專家主觀性的影響，各個指標項的權重科學、合理。指標體系規定了各個指標項為必選項、可選項還是鼓勵項，規定合格課程和優秀課程應達到的分數要求，可操作性強，根據此評價體系可以簡單、快捷、直接地對網絡增強型課程做出評價。
　　第二，在具體的實施過程中，可以根據實際需要對指標體系的必選項、可選項、鼓勵項和權重做出適當調整。北京建筑工程學院指標體系主要用于網絡課程啟動階段，目的是鼓勵教師使用網絡教學平臺開展教學研究，并熟悉教學平臺的所有模塊。因此指標體系設置稍難，必選項要求嚴格，并且教學交互和教學策略方面權重較大。本文重點在于介紹了網絡增強型課程教學評價指標權重的求取過程，在方法上探討了網絡增強型課程教學評價指標體系的建立過程，為網絡增強型課程的評價提供參考和案例。由于專家樣本的選取范圍有限，勢必造成研究結果信度有些低，通過增大調查專家的范圍和數量，將能夠控制本研究的精確性。
　　第三，建立層次結構模型是層次分析法的第一步，也是構造判斷矩陣的基礎，而構造判斷矩陣是層次分析法的重點和特色，因此要求研究者一定要清晰地將研究問題層次化，從而正確建立層次結構模型，以便于在此基礎上科學地構造出判斷矩陣。在專家的選取方面，要考慮到專家對于評價指標和研究方法的理解。在多次修正通過一致性檢驗的過程中，注意避免研究者自身的傾向性對專家判斷的影響。
　　[參考文獻]
　　[1][5] 高霄，劉保春. 基于層次分析法的網絡課堂教學質量評價體系結構[J]. 天津外國語學院學報，2009，16，（6）：73-78.
　　[2] 張建偉，盧達溶. 關于網絡協作探究學習及其影響因素的實證研究[J]. 電化教育研究，2002，（8）：38-43.
　　[3] 王靖，劉志文. 網絡增強型課程的設計[J]. 軟件導刊，2006，（2）：34-35.
　　[4][6] 邢紅宇. 基于AHP法和Delphi法的網絡課程評價體系設計研究[J]. 中國電化教育研究，2006，（9）：78-81.
　　[7] 孫玉榮，彭金波. 基于AHP的課程教學效果評價指標體系研究[J].湖南工業大學學報，2010，24（5）：86-88.
　　[8] 陳敬全. 科研評價方法與實證研究[D]. 武漢大學博士論文，2004：77-83.
　　收稿日期： 2012-06-15
　　作者簡介：王雅杰，碩士，高級實驗師，北京建筑工程學院計 算機教學與網絡信息部（100044