開放教育資源質量管理：研究進展與啟示

萬力勇　杜靜　蔣立兵

摘要：開放教育資源運動作為一種世界性的潮流和運動，其帶給教育發展的驅動力正在逐步顯現。在開放教育資源運動推進過程中，質量問題是阻礙開放教育資源項目可持續發展的關鍵因素之一。有效的質量管理是保障開放教育資源質量的重要手段。該文在對開放教育資源質量進行界定的基礎上，提出了基于信息傳播視角和基于質量管理流程視角的開放教育資源質量分析框架。依據以上兩個分析框架，以質量管理流程為主線，從質量監測與評價、質量控制與保證兩個方面對國內外開放教育資源質量管理研究現狀進行了文獻梳理和述評，對當前研究中存在的局限和不足進行了分析。最后對我國開展開放教育資源質量管理研究提出了三個方面的建議：建立開放教育資源質量監測與預警機制、引入信息資源質量管理領域的研究成果作為借鑒和參考、將用戶滿意度作為我國開放教育資源管理的主要關注點。

關鍵詞：開放教育資源；質量管理；質量評價；質量保證；用戶滿意度

一、引言

開放教育資源（Open Educational Resources，簡稱OER）運動是教育領域國際化、信息化背景下一場重要的潮流和運動。聯合國教科文組織（UNESCO）指出：開放教育資源是縮小教育鴻溝、推動教育公平、增進教育機會、提高教學品質、激發教育創新的重要驅動力。我國的開放教育資源運動先后經歷了精品課程項目、精品開放課程項目（包括精品資源共享課和視頻公開課）、慕課等階段。當前，開放教育資源運動從產生到發展已有10余年，其帶給教育發展的驅動力正在不斷顯現。但與此同時，開放教育資源運動發展的可持續性一直受到業界和學術界的質疑。2009年9月，美國猶他州立大學宣布停止其開放課件項目的實施，除了經費短缺是誘因之外，其背后更深層的原因是開發者不注重建設，資源結構和內容存在很大的問題，資源質量難以保證。再如，我國國家精品課程建設中存在著“重立項，輕建設”“重評審、輕共享”“重專家、輕用戶”等問題，致使運行質量不佳、教學有效性缺失、資源利用率不高，于2012年開始逐步向國家精品開放課程轉型升級；國家精品開放課程項目建設雖然也有一套質量評價標準和質量保證措施，但其質量評價與保證體系還有待完善。

質量是開放教育資源的生命線，是開放教育資源項目可持續發展面臨的最為關鍵的問題之一。有效的質量管理是保障開放教育資源項目質量的重要手段，有助于實時了解當前開放教育資源質量現狀，規范開放教育資源建設行為，提升開放教育資源質量，引導和推動我國開放教育資源運動的可持續發展。當前，一方面開放教育資源本身的獨有特性使一些質量管理的傳統途徑力不從心，另一方面開放教育資源項目的建設主體日益多元化和開放教育資源表現形式日益多樣化使得質量管理過程變得更為復雜。因此，有必要對國內外開放教育資源質量管理領域的研究現狀和研究成果進行梳理和總結，挖掘當前研究與實踐中的新理論、新思路和新方法，同時指出當前研究與實踐中存在的問題和不足，可為后來研究者提供參考，也為實踐操作者提供啟示。

二、開放教育資源質量及其分析框架

（一）開放教育資源質量概述

2001年，麻省理工學院開放課件項目（MITOCW）開歷史之先河，將其課程資源以數字化形式免費向全世界開放。此后，聯合國教科文組織（UNESCO）于2002年正式將開放課件命名為開放教育資源（OER）。對于開放教育資源的定義，目前沒有一個統一的、標準的版本，比較具有代表性的主要有以下兩種：一是UNESCO 2002年的定義，認為開放教育資源是公開提供的基于非盈利性目的、由技術支持的可供使用者參考、使用和修改的教育資源；二是世界經濟合作與發展組織（OECD）2007年的定義，認為開放教育資源是向廣大教育者、學生和自學者免費開放提供，供他們在教學、學習和研究中使用和重用的數字化材料。綜合以上兩個定義，可以認為開放教育資源是指能夠通過互聯網免費獲取的擁有開放許可的數字化教育資源，允許使用者自由地使用、重用、改編和分享，其存在形式有學習對象（Learning Objects）、開放課件（Open Courseware）、開放課程（Open Course）等。

國際標準化組織ISO9000將質量定義為“一組固有特性滿足要求的程度”。固有特性是通過產品、過程或體系設計和開發及其之后實現過程形成的屬性。從產品角度而言，質量反映的是產品某個特定的屬性，該屬性是可以測量的；從用戶角度而言，質量被定義為相對于預期用途的適用性；從價值角度而言，質量被定義為產品的有用性；從生產角度而言，質量被定義為生產制造活動的預期產出。開放教育資源質量是開放教育資源價值的重要體現，是開放教育資源在質和量兩個維度上的優劣程度的總和。

（二）開放教育資源質量的分析框架

1.基于信息傳播視角的分析框架

本研究引入香農（Shannon）和韋弗（Weaver）的信息傳播模型，該模型認為信息傳播過程中包含3個主要要素，即信源、信道和信宿。據此信息傳播過程模型，在開放教育資源的生成過程中，信源就是開放教育資源的生成主體，即開放教育資源發布和傳播的源頭；信道則代表開放教育資源生成與傳播過程中所依托的傳輸媒介和載體；信宿則代表開放教育資源的接收主體，即廣大的教師、學生和自學者；在傳播過程中還有噪聲等干擾因素從負面影響開放教育資源的質量。從資源生成主體、資源和資源接收主體三者分別進行考慮，在對開放教育資源質量的感知上，可以將開放教育資源質量分成三個維度：基于生產的質量、基于產品的質量和基于用戶的質量，具體如圖1所示。生成主體決定了基于生產的質量，主體自身屬性、生產過程和生產規范對開放教育資源質量具有直接影響；我們可以將開放教育資源視為是一種公共知識產品，基于產品的質量是從資源內容本身來對質量進行考量；基于用戶的質量代表了使用者對資源質量的直接感知，即“質量是由顧客的要求來決定”，質量就是滿足或超越使用者的期望。

2.基于質量管理流程的分析框架

朱蘭（Joseph H.Juran）博士是全球公認的質量管理專家，他所提出的“質量計劃、質量控制和質量改進”三過程質量管理框架被稱為“朱蘭三部曲”。朱蘭認為，質量計劃對于建立滿足質量標準化的工作程序是必不可少的；質量控制有助于確定在何時采取何種措施解決已出現或即將出現的質量問題；質量改進的目標在于發現更優且更高效的管理工作方式。本文在借鑒朱蘭質量管理三部曲的基礎上，構建了一個基于質量管理流程的開放教育資源質量分析框架，如圖2所示。

該框架由輸入部分、質量管理部分和輸出部分構成。用戶對資源質量的要求是整個框架的輸入部分。質量管理部分包括質量計劃、質量監測、質量評價、質量控制和質量保證五個部分，并圍繞資源的生產形成一個循環過程。管理過程始于識別和確認用戶的需求，將顧客需求轉化為規范，制定滿足用戶需求的資源特征和標準，對生產過程中的資源質量進行實時監測，采用科學的評價標準和評價方法對資源質量進行評價，對評價結果組織診斷，確認質量問題的產生原因，制定和運用一定的操作方法，對資源生產過程進行嚴格控制，并采取優化和改進措施，以保證資源質量。在輸出部分，資源質量必須能達到用戶需求并使用戶滿意。

三、開放教育資源質量管理研究進展

本文結合基于信息傳播視角的質量分析框架和基于質量管理流程的質量分析框架，以質量管理流程為主線，將國內外開放教育資源管理研究分為兩個大的方面進行述評：一是開放教育資源質量監測與評價研究，二是開放教育資源質量控制與保證研究，而在每個大的方面同時考慮對基于生產的質量、基于產品的質量和基于用戶的質量的分析。

（一）開放教育資源質量監測與評價

從當前國內外已有的研究文獻來看，與開放教育資源質量監測和評價相關的研究主要集中于開放教育資源質量的評價方面，與質量監測相關的研究散見于極少數文獻中，主要是采用元數據采集和數據挖掘等方法對資源元數據和用戶訪問基本數據進行監測。因此，本部分主要對開放教育資源質量評價框架和指標體系以及質量評價方法進行述評。

1.質量評價框架及指標體系

當前國內外對開放教育資源質量評價的研究主要包括兩個方面：一是對開放教育資源客觀屬性的評價，如對資源的基本屬性、資源內容的可獲取性、交互性、穩定性、更新性等客觀屬性指標的評價；二是開放教育資源主觀性使用價值評價，如對資源教學可用性、有效性及利用率、轉化率等與使用效果相關的指標的評價。從國外情況來看，先后有多個研究機構及研究者從不同視角對開放教育資源的質量評價框架和維度進行了探討，并設計出了相應的評價指標體系，具有代表性的評價框架包括OER Rubric、QM、LOEI、LORI、CLOE等，所列大部分框架已被相關資源開發機構和部門所采用，其中LOEI和LORI等主要是針對學習對象和學習對象庫質量進行評價，而OER Rubric和QM等則主要針對開放在線課程質量進行評價，具體如右表1所示。

國內對開放教育資源客觀屬性評價的研究主要集中在對網絡課程或精品課程的評價標準及模型上，如董艷等提出了網絡課件的質量認證標準；詹澤慧等運用焦點小組調查和AHP層次分析法構建了網絡課程質量評價模型；劉路等對歐洲慕課教育質量評價方法進行了綜述和比較；邱均平等建立了慕課質量評價指標體系。在開放教育資源教學可用性、有效性及利用率等主觀性質量評價方面，相應的研究并不多，現有的研究如：尹佑康等等建立了基于三維QOS的精品課程服務質量評價模型；夏洪文等、唐偉志等分別構建了國家精品課程可用性評價指標并進行了實證研究；王佑鎂對現有國家精品課程及其網絡資源的教學有效性和可用性進行了實證研究，發現國家精品課程在教學有效性和可用性方面存在缺失；丁興富等設計了對精品課程質量進行評價的AAIU（獲取、應用、影響、更新）調研模型并對北京市精品課程網上資源質量進行了實證調研。國內具有代表性的評價框架及維度如表2所示。

2.質量評價方法

較為傳統的開放教育資源評價方法包括定性評價法、定量評價法和半定量評價法，側重于從產品視角對資源的客觀屬性進行評價。定性評價側重于個人經驗層面，主要是指評價者使用既定評價標準依據個人經驗對資源質量進行主觀評判。定性評價采用的方法包括問卷法、訪談法、觀察法、比較法和模擬法等。定量評價方法是指按照數量分析方法，從客觀量化角度對開放教育資源質量進行評價，具體包括元數據分析法、鏈接分析法和概率統計方法等。半定量評價方法兼顧定性和定量兩個評價維度，在吸收定性和定量評價優點的同時避免了兩種評價方法的不足。比如在評價過程中以定性方法收集專家評價意見，然后對評價意見進行定量化處理從而得出更為精準的評價結果。常見的半定量評價方法包括層次分析法、模糊綜合評價方法等。

隨著開放教育資源項目的建設主體日益多元化以及社會化和移動網絡環境的深化普及和應用，資源使用者也同時可以扮演資源建設者的角色，由此推動開放教育資源評價方法呈現出多樣性、社會化的特點。評價主體由以往以專家和管理者為主逐步過渡到以同行和用戶為主，各種非正式化的質量評價手段不斷涌現，成為開放教育資源質量評價方法的重要補充。Clements等從政策性、技術性和社會性三個方面對開放教育資源質量評價方法進行分類，政策性側重于從全局、通用、平臺視角對資源質量進行評價；技術性側重于自動化質量監測與評價技術在評價過程中的使用；社會性側重于從多用戶協同評價的視角對資源質量進行評價。通過對文獻進行分析，在社會化和移動網絡環境下涌現出的一些新的資源質量評價方法如表3所示。

（二）開放教育資源質量控制與保證

目前與開放教育資源質量控制與保證相關的研究可以分為學術研究和實踐操作兩大塊，學術研究重在提出與開放教育資源質量控制和保證相關的框架、模型和方法，但其有用性和有效性正在接受實踐檢驗或有待于接受實踐檢驗；實踐操作方面是相關資源開發機構制訂的、已經在實踐中采用的質量控制與保證方法和體系。學術研究與實踐操作均不可或缺，學術研究成果最終要向實踐操作轉化，而實踐操作也需要有學術方面的指導才能不斷完善。

1.學術研究方面

在國外，有關開放教育資源質量控制與保證的研究主要分為三個方向：一是基于已有評價指標體系和標準建立對應的質量保證準則，代表性研究如Kawachi提出了面向學習者認知、情感、元認知、環境和管理等五大領域的開放式教育資源質量保證框架（TIPS框架）。該框架由四個維度組成，包括19個作為子維度的類別，共65條準則；二是從管理機構、開發者和使用者等多個層面建立多主體的資源質量保證框架，代表性研究如Helmstedt等提出了一個面向學習者生成教育資源（LGC）的三層質量保證框架，分別是機構層（Institutional Level）、外部質量保證層（External Q-level）和內部質量保證層（Internal Q-level）。機構層由機構對資源的采納提供質量保證；外部質量保證層由同行評價（教師或學習者）和自我評價提供質量保證；內部質量保證層由同行反思和自我反思提供質量保證。三是從資源生產流程角度，按時間軸順序從開發者和使用者兩個維度建立資源質量控制與保證框架，代表性研究如Clements等提出了一個開放式學習對象庫的質量保證框架LORQAF，如圖3所示。該框架將開放式學習對象庫的質量控制過程分為兩個階段和四大舉措。兩個階段是指資源發布前階段和資源發布后階段，四大舉措按資源生產和發布的時間順序依次為：開發者質量決策、基于技術的自動質量監測、期望評價質量和用戶生成質量。

在國內，有關開放教育資源質量控制與保證的研究在思路和方向上相對較為分散，既有對國外開放教育資源質量保證體系的分析與反思，也有從質量監控保證體系構建、過程管理體系構建及質量控制框架構建等方面提出一些質量保證的相應舉措。在借鑒與反思國外質量保證體系方面，王承冰等從資源建設過程的質量控制、學習者參與資源建設、更新和質量監控、內部審查評估和外部監督體系三方面對英國開放學習項目的質量保證體系進行了探討；歐陽麗紅、袁松鶴等、劉名卓等先后對國內外網絡課程質量保證模型、策略及個案進行了研究；李青等對國外MOOC的質量保證體系進行了研究。在質量控制與保證框架的構建方面，陳以海提出了精品課程網絡資源建設質量監控保障體系，該體系由網絡資源建設質量指揮系統、網絡資源建設過程監控系統、網絡資源建設質量跟蹤評價系統、網絡資源建設質量信息反饋系統四個部分組成，并提出了精品課程網絡資源建設質量監控保障體系的運行機制。王寧等依據管理學中的事前控制、事中控制、事后控制的管理原理，將精品課程質量管理體系分為精品課程建設規劃體系、過程管理體系、質量評價體系三大管理子系統。萬力勇等提出一個普適性的用戶生成性學習資源質量控制框架，該框架共分為4個子系統，依次為質量監測系統、質量評價系統、質量反饋系統和資源更新系統。

2.實踐操作方面

在開放教育資源質量控制與保證的已有實踐中，從國外情況來看，各個機構結合自身特點，做法不一，或側重于以評價促保證，或側重于多主體結合的質量保證，或側重于外部質量保證，形成了多樣化的資源質量保證實施策略。如MIT 0CW采用一套完備的質量評價指標體系對所有0CW課程進行年度評估，以評促建，不斷提高課程質量；0penLearn從資源建設過程的質量控制、學習者參與資源建設、更新和質量監控、建立內部審查評估和外部監督體系三個方面進行資源質量保證；卡耐基梅隆大學（CMU）開放學習創新項目（OLI）在開發過程中采取“往返回饋”開發模式，鼓勵師生使用并參與評價，通過對使用情況的監測和分析來不斷完善課程資源，提高資源質量；英國開放教育資源項目（UKOER）采取基于共同體的資源開發模式，允許合作開發高質量課程材料，引入基于不同社區的課程質量評價過程和第三方質量評價；國際開放式課程聯盟（OCWC）屬于聯盟組織，對加入聯盟成員機構資源建設情況有嚴格要求，主要采取對資源使用情況和使用效果評估的方式對聯盟成員資源質量進行控制；美國萊斯大學Connexions項目采用“用戶評價”和“管理員審核”雙管齊下的質量保證機制，同時提供基于可信任者和知識淵博者的內容審查與評價機制。在國內，我國在精品課程質量控制方面，主要采用“評審+年度自檢”的質量控制機制以保證課程資源的質量。具體如下頁表4所示。

（三）開放教育資源質量管理研究總結

綜合以上開放教育資源項目質量監測與評價、控制與保證等方面的研究與實踐可以發現，目前國內外對開放教育資源質量評價框架、評價指標及標準、評價方法及手段的研究已較為成熟，從政策性、技術性和社會性等視角對開放教育資源評價進行了較為深入的探討；在資源質量的控制與保證方面，國內外多位研究者提出了針對特定應用場景的開放教育資源質量控制與保證框架，并圍繞框架提出了相應的質量控制與保證策略，同時國內外多個開放教育資源項目在實踐中探索和建立了適合各國國情的、本土化的質量控制與保證體系。但同時現有關于開放教育資源質量管理的研究也存在一些局限和不足，主要體現在以下幾個方面：（1）與開放教育資源客觀屬性評價研究較多，而對于其使用價值和使用績效的評價研究偏少；與開放教育資源項目質量評價相關的研究較多，而與質量監測的研究極少，主要是對資源元數據和用戶訪問基本數據的監測，可見開放教育資源質量監測研究尚處于起步階段，并未引起足夠重視；（2）雖然已經有部分研究開始關注用戶體驗和用戶評價在開放教育資源質量評價、控制與保證中的作用，但現有研究中資源管理的主體主要還是資源建設者、管理者、專家、同行等。缺少來自資源使用者的聲音，對于用戶的需求考慮不足，如缺乏開放教育資源用戶具體使用過程的特征分析；缺乏用戶使用后的評價反饋及資源利用率和滿意度方面的研究等；（3）現有的開放教育資源質量評價指標及標準良莠不齊且各自為政，目前國內外與開放教育資源質量評價相關的指標體系及標準多達幾十種，其中既有機構開發的，也有個人開發的；既有針對學習對象庫進行評價的，也有針對開放在線課程進行評價的。由此使得使用某一評價標準的資源評價結果往往具有一定的局限性和片面性，缺乏通用性和公信力。開發和建立一個通用的、普適性的、標準化的開放教育資源質量評價指標體系勢在必行。

四、對我國開放教育資源質量管理研究的啟示和建議

（一）建立開放教育資源質量監測與預警機制

在開放教育資源開發與使用過程中，涉及到復雜的開發流程和大量的使用人群，如果只是依靠開發者或管理者手工發現質量問題并提出解決方案是不現實的。建立有效的開放教育資源質量監測與預警機制顯得尤其重要。統計過程控制（SPC）是目前工業生產領域廣泛采用的實時在線質量監測技術，對實現生產與使用過程的監測預警提供了方法和依據。筆者在參考統計過程控制相關思想的基礎上，建立了一個開放教育資源質量監測與預警模型，如圖4所示。在該模型中，開放教育資源質量監測包括客觀質量數據監測與主觀質量數據監測。客觀質量監測主要是對資源基本屬性、參數、資源內容、用戶訪問等數據的監測；主觀質量監測包括用戶滿意度評價和專家評價數據的監測，其中專家評價數據作為用戶評價數據的補充。其中客觀質量數據的監測主要由系統以數據挖掘的形式自動監測，主觀質量數據的監測主要以用戶評價數據的實時收集為基礎。圍繞以上兩個維度，對主觀質量數據與客觀質量數據設定相應的權重，進行質量綜合評價。在此基礎上建立包含生產層、監測層和預警層的開放教育資源質量監測與預警模型及機制，對開放教育資源整體質量進行評價，能做到對資源質量的動態監測與實時監測。同時，設立開放教育資源質量的預警“臨界點”，啟動“臨界點”預警機制，當監測到的質量低于“臨界點”時，系統會自動報警并提醒資源建設者和管理者對資源質量進行診斷，根據診斷結果對資源生產過程中出現的問題進行糾正和改進，實現對資源質量的控制與優化。

（二）引入信息資源質量管理領域的研究成果作為借鑒和參考

開放教育資源作為數字化教育資源的特殊表現形式，具有信息資源的一般屬性，因此信息資源管理領域的研究成果可以作為開放教育資源質量管理研究的借鑒和參考。這些研究較多地使用了服務管理及信息經濟等領域的理論與方法，可以為開放教育資源質量管理開辟新的研究視野。如謝姝琳構建了信息資源質量控制系統動力學模型、毛凌翔等構建了數字信息資源生產質量監測與控制的粗糙集模型。莫祖英等利用演化博弈理論，分別分析了網絡環境下無監管時的網絡信息資源質量穩定狀態和管理者參與監管時的網絡信息資源質量穩定狀態，并提出了激勵信息提供者提供高質量信息和實現質量控制的相關舉措。

除了傳統的信息資源質量管理研究成果外，一些網絡百科全書平臺的質量控制與保證框架及策略也可以為我們提供借鑒。維基百科作為全世界最大的網絡百科全書平臺，其詞條質量和準確性已可以與《大英百科全書》相媲美。維基百科之所以具有良好的質量和極高的可信度，這都歸功于維基百科嚴格的質量控制原則、質量控制標準和質量控制策略。維基百科的創作與生成建立在海量維基百科注冊會員頻繁、復雜且深入的互動基礎之上，以用戶的協作和討論、用戶的多角色參與和同行評價為基礎的內容生成機制有效保證了維基百科資源的質量。維基百科的成功也吸引了多位信息資源質量研究者的目光，如Stvilia等圍繞維基百科內容的信息質量（IQ）控制過程進行了相關研究。網絡百科全書與開放教育資源在某些屬性上具有異曲同工之處，可以將其質量管理的思想及方法引入到開放教育資源質量管理研究與實踐中。

（三）將用戶滿意度作為我國開放教育資源質量管理的主要關注點

在使用過程中讓用戶滿意的資源才是優質資源，用戶滿意度是開放教育資源質量管理中不可忽視的一個視角。用戶（顧客）滿意度是指用戶在將產品或服務的實際表現與某一比較標準相比后產生的結論。用戶（顧客）滿意度理論在產品質量管理及服務管理等領域取得了廣泛應用，但尚未見到用戶（顧客）滿意度理論在開放教育資源質量管理中應用的研究。在國外，與此較為相關的研究主要集中于信息資源質量滿意度評價方面，側重于研究網站質量與用戶滿意度之間的影響關系。如Hsu等人對網站質量的用戶滿意度進行了研究，發現服務質量是影響用戶滿意度的關鍵因素。Mckinnev等人提出了網站用戶滿意度的九個關鍵要素。在國內，相關研究者開始將用戶滿意度模型應用到教育質量評價及科研學術型數據庫和教育信息資源的質量評價中。在教育質量評價方面，劉武等構建了由高校形象、顧客期望、感知質量、顧客滿意、顧客忠誠和顧客信任等結構變量構成的中國高等教育顧客滿意度指數模型（CHE-CSI）。在科研學術型數據庫質量評價方面，莫祖英等對美國顧客滿意度指數模型（ACSl）進行改進，構建了用戶信息資源質量滿意度概念模型。在教育信息資源質量評價方面，楊文正等構建了教育信息資源質量滿意度概念模型，通過實證驗證與分析，發現教育信息資源的重用性、豐富性、相關性、新穎性、互動性和個性化是影響用戶滿意度的關鍵質量指標。以我國的部分開放教育資源項目為例，無論是之前的精品課程還是現在的精品資源共享課，均是通過專家評價手段進行遴選。雖然有相應的復查體系作為運行質量保障，但是，這種“自上而下”，即政府主導的評價和復評體制，忽略了資源使用者的實際需求和期望。唯有轉化評價主體，引入基于用戶滿意度的質量管理理念，采取適合我國國情的“自上而下”和“自下而上”相結合的評價機制，才能促進我國開放教育資源質量的提升。