專家視野中的開放課程質量評價指標體系——基于德爾菲法的調查分析

孫傳遠 孫少華

一、引言

基于網絡的學習技術革新為 “開放學習時代”課程的開放學習提供了可能。美國麻省理工學院（MIT）于2001年開始公開發布 “開放課件（Open Courseware）”，對全世界所有人公開、免費使用，標志著 “開放課程”（Open Course）運動的產生。從2002至2012年，麻省理工學院在該校網站上公開了所有的 2150 門課程（MIT,2012a）[1]，其目的在于為全世界的教育工作者、學生和自學者提供免費學習的機會，嘗試為網絡學習建立一個高效的、基于標準的典范，并希望與其他有興趣提供網絡學習課程的院校共同推動課程創新運動。緊隨其后，約翰霍普金斯大學公共衛生學院、猶他州立大學和塔夫斯大學等也加入了這個隊伍。耶魯大學也于2007年通過網絡發布“開放耶魯課程”。其他如國際“開放課件聯盟”（2005年）、日本 “開放課程協會”（2005 年）、中國“開放教育資源協會”（2003 年）等的成立，大大促進開放課程運動的發展。

諸多國際知名高校的開放課程使數以千萬計的教育工作者、學生及自學者獲益。至2012年4月，國際開放課程聯盟已經提供了超過1.3萬門課程供世界各地的學習者免費訪問（D’Oliveira,et al,2010）[2]。麻省理工學院開放課程官方網站的訪問總量至今已經超過1.1億人次，即平均每月有100萬人的訪問量（王立,2012）[3]。盡管麻省理工學院的所有課程材料公開、免費，不需要注冊，但也不授予學位和證書、不承諾提供在線課程的教師指導，不保證網上材料能反映全部的課程內容（MIT,2012b）[4]。其他高校或網站同樣僅限于發布開放課程 （或課件）項目，而沒有完全從課程著眼開放學習者的學習過程。即便一些在線課程內容制定了質量標準，并經過了嚴格的評審過程，然而，更多的資源只是由用戶查找和索引的各種鏈接的大雜燴。因此，要建立一種真正意義上的、有質量保證的“開放課程”還必須作新的探索。

二、研究定位

在當今中國，無論是國家精品課程，還是開放大學的網絡課程，都沒有對所有學習者開放，充其量只能算是一種“體系”內的開放。國外一些知名大學的開放課件也沒有從課程的整體性角度反映學習全過程和學習者的“參與式”體驗。本研究的開放課程質量評價定位于開放世界中的所有學習者，即任何人可以借助于網絡學習技術免費地、靈活地、隨時隨地學習的開放課程。

開放課程學習需要關注其質量問題，開放課程的質量保證需要基于課程的一般結構或本質內涵，在內外結合的整體性評價基礎上制定評價指標體系和質量標準。開放課程質量保證一直是國際遠程高等教育機構十分關注的問題。麻省理工學院的課程因由世界上最杰出的學者設計，音視頻文件和講座也是由 “最睿智、最著名的教授”（柯蒂斯·J·邦克,2011）[5]演示而保證了高質量和贏得了較高聲譽。麻省理工學院同時關注使用者對開放課件的評價，通過反饋信息來分析開放課件的訪問、利用和影響。其他諸如英國的開放大學、牛津大學，美國的哈佛大學、耶魯大學、斯坦福大學、卡內基-梅隆大學等也采用各種辦法保證其開放課程的質量。然而，在網絡學習技術日益革新的背景下，以上學習評價或質量保證并沒有從課程的整體性架構來實施，也就難以反映學習者的學習過程和課程學習的整體面貌。

開放課程的質量及其評價不僅關系到開放課程資源本身能否可持續發展，更直接關系到學習者的開放學習質量和終身持續發展。從課程宗旨及教與學的關系看，開放課程實踐理應包含課程設計、內容呈現、教學交互、反饋評價等多個環節，以及學習者對課程學習資源的創建和體驗。為適應開放遠程教育的持續發展，開放課程的含義需要重新界定，開放課程質量評價標準也需要在網絡學習技術革新的背景下重新構建。隨著我國開放大學的轉型和發展，開放課程的運作作為開放大學架構中的核心要素日益引起人們的關注，開放課程的質量標準問題也逐漸引起關注。基于以上分析，本研究嘗試改變一般開放課件的單一評價形式，構建適應所有學習者學習和發展的開放課程質量評價標準和指標體系。

三、設計思路

對“課程”和“開放課程”的理解和界定是本研究設計的理論基礎。國內外有關課程含義的界定豐富而多樣，但大多基于學校教育環境對課程進行概括性闡釋，如安德森（V.E.Anderson）等認為，課程是學生在學校或教室中與教師、環境、教材等人、事、物交互作用的所有經驗。國內也有學者認為，課程的本質內涵是指“在學校教育環境中，學生獲得的促進其身心全面發展的教育性經驗體系”（黃政杰,1983）[6]。隨著遠程教育技術手段的變革，課程學習不再僅僅局限于學校這個唯一的場所，學習的主體也不再限于青少年學生的范圍。如，國外有學者認為，課程應是為了學習者在多種多樣的學習場所獲得技能和知識而提供的學習經驗的總體（Marsh,2004）[7]。但這一概念還是過于籠統，不能準確地反映學習過程的計劃性。回顧課程演進的歷史，我們發現，對課程含義的理解需要從整體性視角來審視。從課程的宗旨是促進學習者發展的角度看，課程應是“計劃形態的學習活動”，它包括學習目標、學習內容、學習方式和學習評價等四個基本組成部分（丁念金,2007）[8]。這一解釋繼承美國著名課程學者拉爾夫·泰勒 （Ralph W.Tyler）、 哈里·吉爾斯（Harry Giles）等的核心思想，強調了課程的基本要素或組成部分，關注了學習者的整個學習過程或進程。

盡管對開放課程至今還沒有統一的、明確的概念界定，但在一些關鍵特征上人們已經達成了共識：開放課程是免費的，所有學習者都可以隨時瀏覽視頻或下載其開放課件學習；開放課程關注學習者之間的交互以及學習評價和反饋；開放課程學習方式是靈活的，學習場所是不受局限的，學習手段和媒介是多種多樣的；開放課程的學習者通過學習可以獲得明顯的學習成果、進步和發展。例如，有研究者認為，“開放課程和開放課件及開放教育資源的最大區別是除了提供免費的學習資源之外，同時還包括一定程度的教學支持、學習活動的組織和管理以及獲取學分的可能”（馬宏亮,等,2011）[9]。所以，開放課程應該是開放大學或其他遠程高等教育機構在遵守知識共享許可協議的前提下，有計劃的通過網絡向社會免費開放的某門學科的教學內容以及教學活動實施的總和。開放課程是對開放教育資源統整、選擇、編制和利用的過程，開放課件只是開放課程編制的結果形式之一。開放課程不僅指某些開放的課件、內容和資源，還包含教學實施、反饋、評價過程，更是學習者與各種現實的和虛擬的學習環境不斷進行教與學的交互并獲得發展的社會活動。

對“指標體系”概念及模型的認識是研究框架的依據。“指標”指的是衡量目標的單位或方法，“體系”泛指一定范圍內或同類的事物按照一定的秩序和內部聯系組合而成的整體，是不同系統組成的系統。開放課程質量評價的指標體系是提高開放課程質量和促進學習者發展所應達到的一系列相關目標組成的整體。依照國際上通用的三層次結構模型，本研究中的指標體系由三個級別的指標組成，以此形成結構合理、分級細化的、質的描述和量的規定相結合的緊密結構。

對三級指標關鍵要素的確定是本研究的主要內容。本指標體系的二、三級指標參照了美國教學設計與適用專業委員會建立的“在線學習的認證標準”（E-Learning Certification Standards）（何克抗等,2002）[10]、美國國家教育協會、美國高等教育政策研究所和美國黑板（BlackBoard）公司聯合發布的遠程學習評價標準（Quality On The Line）和我國學者研究的《網絡課程課件評測（認證）標準》（董艷,黃榮懷,等,2003）[11]。本指標體系的一級指標根據課程的一般定義及課程學專家的建議構建，主要包括課程的課程理念、課程目標、課程內容、課程實施、課程評價五個方面。二級指標根據每個一級指標所應包含的內容，運用簡短的關鍵詞來描述和確定。如，課程理念主要包括終身性、泛在性、社會性、主體性、共享性、共建性六個方面；課程目標主要包括：明確性、指向性、整體性、具體化、結構化、操作性六個方面；課程內容主要包括科學性、清晰性、趣味性、規范性、合法性、系統性、前沿性、拓展性、支持性、實用性十個方面；課程實施主要包括交互性、開放性、多樣性、技術性、可用性、便捷性六個方面；課程評價主要包括及時性、激勵性、導向性、客觀性、有效性、多元化六個方面。三級指標一般以1-4個項目對應于每個二級指標，每個項目均使用短句描述該指標的主要特征。

對各項指標權重的測定是本研究的關鍵環節。權重一般是指某項指標在同一層指標體系中的重要性程度，可以用分值大小不等來衡量和測定。除參考以上文獻和標準外，各項指標的分值依據其在開放課程設計與學習中的重要性來確定，即必選項分值較高，可選項分值較低；比較重要的分值較高，不太重要的分值較低；部分指標因現有技術和條件限制暫時難以實現的，其分值也略低。在發給專家審核修訂的問卷中，除個別指標本身就已經很明確，無需進一步說明外，其他各項指標后面的備注中均有說明，內容盡可能做到語言簡練、完整準確、描述客觀、通俗易懂。

四、研究方法

本指標體系采用德爾菲法確定各項指標的權重。德爾菲法是利用專家的知識和經驗，在掌握了一定客觀情況和資料信息基礎上，來確定各因素在評判問題或者決策問題中重要程度系數的一種方法（安曉敏,2012）[12]。本研究調查樣本數有23位專家（其中包括4位課程學專家、10位遠程教育技術學專家、9位高等教育學專家；教授8人，副教授15人；普通高校專家9人，遠程教育機構14人），他們均參與了三輪指標體系選項和權重的評估及滿意度評價，最后結合系統綜合評價指標體系構建方法（邵立周,白春杰,2008）[13]編制該指標體系。

在運用德爾菲法的過程中，本研究注意到了其匿名信、可控性和協調性等特點，采用面對面訪談、電話采訪、電子郵件等多種形式進行資料收集。每一輪結束將各個專家的意見匿名反饋給所有專家討論，以便專家相互交流和提出修改建議，最終達成比較一致的意見。本研究設計的問卷中給專家留有發表意見的空間，以最大限度地收取和采納專家的建議和意見，除了每個權重（分值）后面和每個二級指標的下面留有供專家修改的空間外，問卷的末尾還專門設計了供專家填寫評價和建議的開放式問題。第三輪先請專家評定各項二級指標的權重，求出權重系數。同時將指標體系（以一、二級指標為框架）設計成“非常滿意”“比較滿意”、“基本滿意”、“不太滿意”、“很不滿意”五級評分量表請23位專家進行評分， 依次定量分數為 5、4、3、2、1， 運用SPSS13.0軟件對數據進行統計分析，求出穩定性系數。

五、研究過程與分析

本指標體系經過23位專家三輪審定、評分和本課題組成員及其他專家反復商討和修改完成。前兩輪主要以增刪或修改指標為主，第三輪根據專家的評價確定指標權重和、平均數和中位數等。

第一輪專家審閱指標體系于2012年6月進行。一級指標體系包含課程目標、課程內容、課程實施、課程評價四個方面（見表1）。指標選項內容分為兩個部分：必選項（Must）和可選項（Option），分別用字母M、O表示。其中，必選項為必須要達到的指標；可選項為可以達到也可以不達到的指標。指標體系滿分設定為100分，75分為達到標準，其中必選項19項57分，可選項20項43分。每個三級指標均為5分制，分值限制為2分、3分、5分不等。選項要求、分值權重的后面以及每一級指標下面的陰影部分空格供專家修改用，即專家可以直接用文字標明所要修改、增添和刪除的項目。

第一輪23位專家審閱和修改的統計結果表明：（1）沒有需要刪除的指標項目；（2）各項指標體系均達到預期的標準分數要求，專家意見一致性最低的四項二級指標（課程目標的操作化、課程內容的系統性、課程實施的交互性和多樣性）均已達到78.26%，即有18位以上專家同意；（3）在部分指標項目的增減和修改上、指標權重分值的增減上仍然沒有達成一致意見，例如：有專家認為，應盡量體現課程的特點而不要受開放課件或部分網絡學習資源的局限；應充分體現教與學互動的特點并體現學習者的創建機會與共享理念；應盡可能體現泛在學習的特點，即體現學習者的學習、生活與工作的結合。鑒于此，本研究者認為需要進行第二輪專家評議。

表1 第一輪指標體系的選項要求和分值/權重的分配（個）

第二輪專家審閱指標體系于2012年9月進行。根據第一輪統計結果以及本課題組成員的意見，本研究修改和編制了新的指標體系：（1）增加了一個一級指標“課程理念”及其所包含的六個二級指標，以更好地突出開放課程的設計理念和學習者共享共建開放課程學習資源的實踐；（2）為避免分值分配不均或分值過于復雜，根據專家的提議，第二輪每個三級指標設為4分制，分值為1分、2分、3分、4分不等；（3）經過調整，第二輪指標體系中必選項為24項65分，可選項21項35分，滿分為100分，75分為達到標準（見表2）。

依據23位專家第二輪的建議及本課題組成員的反復討論，將指標體系做了如下修改：（1）將課程內容中的二級指標“共享性”移至一級指標“課程理念”中作為二級指標；（2）在一級指標“課程內容”中增加一個二級指標“實用性”，以突顯學習者通過開放課程學習到生活、工作中迫切需要的知識的愿望（見附表）；（3） 將課程實施中的 “多樣性”、“技術性”、“可用性”中各自去掉一個三級指標，使二級指標更加簡明扼要和突出重點。第二輪23位專家審閱和修改建議的結果表明：所有指標項目的專家同意度或一致性均達到82.61%以上 （即每個指標均有19人以上同意）。

表2 第二輪指標體系的選項要求和分值/權重的分配（個）

專家對指標體系的滿意度問卷采用 “中位數”法（鄧恩,2003）[15]處理數據，分別求出專家意見的中位數、均值、上四分位點Q+和下四分位點Q-之間的差距，并使用SPSS13.0軟件統計得出平均分和標準差（見附表，標準差略）。a1、an為填答的最小值、最大值。 如果 Q+-Q-＜a（a1-an），其中 0＜a＜1,可認為數據反映意見集中程度良好。本研究取a=0.35，最大值 an為 5，最小值 a1為 1，a（a1-an）=1.4。 Q+-Q-的值越小，表明集中程度越高，當Q+-Q-≤1.4時，即認為專家意見集中程度良好；當Q+-Q-=0時，即認為集中程度最高；當Q+-Q-＞1.4時，即認為集中程度一般，但尚可接受。從本研究統計結果看，所有的四分位區間均小于或等于1.4，專家意見的集中程度良好。從統計結果看，專家對課程理念的“主體性”（平均值為 3.391，中位數是 3）、“共建性”（平均值為3.174，中位數是3）和課程內容的“前沿性”（平均值為3.435，中位數是3）等幾個二級指標評價的平均值較低，這一方面說明現實中開放課程創建的確缺乏學習者參與，另一方面也反映了專家對未來開放課程的一種期待。

六、研究結論與反思

從專家的問卷和訪談中我們了解到，目前開放課程的質量保證主要依賴于普通高校或遠程教育機構的課程專家或課程開發者對課程的編制與設計，缺少學習者的主體參與和貢獻；對開放課程的學習大多局限于獲取開放課件和網絡學習資源的層次，缺少虛擬學習環境中的教學互動與反饋環節；現有開放課程的課件大多局限于圖文呈現、音頻或視頻課件的播放，沒有提供下載或轉存功能，不利于學習者開展移動學習或泛在學習；現有的開放課程過分強調網絡學習，忽視了現實和虛擬學習環境的有機結合，不利于學習者有效提高混合學習的效果。因此，專家們認為：

（1）開放課程設置應充分體現其開放性，課程宗旨要面向所有學習者的學習和發展，幫助學習者獲取更加優質的課程學習資源；

（2）開放課程實施應充分利用網絡學習技術革新創造更加個性化的學習環境和學習方式，使每個學習者能夠利用自身的技術條件，包括微型移動電子設備開展泛在學習；

（3）開放課程學習應協同創建開放學習社區，為世界各地學習者在學習同一門課程的時候能夠廣泛參與和互動，并能夠為課程的改進做出積極貢獻。

本研究盡力在評價指標體系中體現專家意見。盡管本研究的指標體系以課程的一般結構為指標維度進行設計，有效性和穩定性均較高，且結構合理、完整細致、操作性強。但由于研究條件和水平的局限，本指標體系專家評價還帶有一定的主觀性，對于運用網絡技術或微型移動設備開展靈活多樣的學習形式還缺乏深層次探討。所以，作為開放課程的學習者對課程質量的評價工具，本指標體系還需要在實踐中改進。

目前，我國正處于廣播電視大學向開放大學轉型期，開放大學理念、開放課程制度以及開放教學活動等還還在進一步的探索中，開放課程的質量評價研究也只是一種初步的嘗試，有待今后更多領域的專業研究者參與研究和實踐。不過，隨著開放課程運動的發展、學習者數量的逐步擴大和遠程教育技術的日益革新，人們越來越關注開放課程的質量保證問題，因此，開放課程質量評價的指標體系構建必然是一個動態改進和持續發展的過程。

附表 開放課程質量評價指標體系及專家評價結果

[1]MIT OCW(2012a).MIT Open CourseWare[EB/OL].[2012-02-22].http：//ocw.mit.edu/courses/.

[2]D’Oliveira C.,Carson S.,James K.,et al(2010).MIT Open-CourseWare：Unlocking Knowledge,Empowering Mind[J].Science,329(5991)：525-526.

[3]王立.麻省理工學院開放課程計劃十年回顧與展望[J].高教發展與評估,2012(4)：108-123.

[4]MIT OCW(2012b).Free Online Course Materials[EB/OL].[2012-10-11].http：//ocw.mit.edu/about.

[5][美]柯蒂斯·J·邦克(2011).世界是開放的：網絡技術如何變革教育[M].焦建利,主譯.上海：華東師范大學出版社：151.

[6]黃政杰(1983).課程概念剖析[M].臺灣師范大學教育研究所集刊(第 25 輯)：157-161.

[7]Colin J.Marsh(2004).Key Concepts for Understanding Curriculum,London：RoutledgeFalmer：4.

[8]丁念金(2007).課程論[M].福州：福建教育出版社：24.

[9]馬紅亮,Li Yuan,Stephen Powell,等(2011).引入國外開放課程構建網絡學習新模式[J].電化教育研究,2011(9)：68-74.

[10]何克抗,李文光.教育技術學[M].北京：北京師范大學出版社,2002：61.

[11]董艷,黃榮懷,李曉明，等(2003).《網絡課程課件質量認證標準》的研制與修訂[J].電化教育研究,2003(6)：65-70.

[12]安曉敏.義務教育公平指標體系研究——基于縣域內義務教育校際差距的實證分析[M].北京：教育科學出版社,2012：108.

[13]邵立周,白春杰.系統綜合評價指標體系構建方法研究[J].海軍工程大學學報,2008(6)：48-52.

[14]王景英.教育評價[M].北京：中央廣播電視大學出版社,2004：60.

[15][美]威廉·N.鄧恩.公共政策分析導論[M].北京：中國人民大學出版社,2003：265.