教育信息資源專家評價標注模型的構建及仿真*

伍 姚 熊才平,2 葛 軍 熊雅萍

?

教育信息資源專家評價標注模型的構建及仿真*

伍 姚1熊才平1,2[通訊作者]葛 軍1熊雅萍1

（1．華中師范大學教育信息技術學院，湖北武漢 430079；2．華南師范大學教育信息技術學院，廣東廣州 510631）

優質教育信息資源匱乏的一個重要原因，是教育信息資源缺乏準確的質量評價方法。基于網絡平臺的專家標注可以擴大評價主體范圍，節約評價成本，提高評價結果的準確性。文章通過文獻分析，確定了影響資源質量的指標，構建了專家評價標注模型；利用數學方法處理專家標注結果，以優化評價結果；借助MATLAB進行模擬仿真，驗證其合理性和有效性。研究表明，該模型能夠較為客觀、準確地評價資源質量，不僅能為資源開發企業提供合理反饋、促進資源質量的改進，而且能在教育信息資源發布之后為用戶選擇資源提供參考。

教育信息資源；社會標注；資源評價

引言

隨著信息技術的飛速發展和教育信息化的不斷推進，教育信息資源總量呈“爆炸式”增長。與此同時，信息資源內容繁雜、可用性不足、建設標準多樣化等問題不斷凸顯，為此，《國家中長期教育改革和發展規劃綱要（2010-2020年）》提出要加強優質教育資源的開發與應用。優質教育信息資源的匱乏已成為資源開發企業和學習者共同關注的焦點，以準確的質量評價方法評估教育信息資源成為了資源開發面臨的新課題。雖然教育信息資源可以憑借學習時長、在線人數、點擊率等指標數據作為定量評價依據，但更多的資源特征如資源的準確性、易用性、美觀性等依賴于使用者主觀感受的特征[1]，難以通過這類簡單指標獲取。本研究將探索基于網絡的社會標注應用于教育信息資源評價的新方法，構建專家評價標注模型，并通過模擬仿真驗證該模型在教育信息資源開發機制中的作用。

一 社會標注概念及作用

社會標注也稱為用戶標注，于2004年首次提出，被定義為“使用人們自己的詞表描述網絡資源的機制，是群眾自發性定義的平面的非層級結構式標簽分類，是基于用戶的平面化標簽分類機制”[2]；社會標注行為反映了用戶對被標注資源的理解和分類[3]。社會標注在教育領域的應用突破了傳統的學習資源揭示模式，為學習者和資源開發企業提供了一種自下而上的信息資源揭示方式。利用基于網絡的社會標注對資源進行評價，簡化了標注方式。同時，這種評價方式能充分利用互聯網的技術優勢，縮短評價周期，擴大評價樣本，在教育信息資源開發過程中可及時反饋評價結果，降低了人力、物力和財力的消耗。

專家指技藝上有專門技能、學術上專業知識全面的人，具有資深教學經驗的老師亦屬于本研究所指的專家之列。鑒于專家擁有豐富的閱歷、經驗以及知識，因此在基于網絡的社會標注中采取專家標注方式，能夠更好地控制資源產品的質量。專家對專業知識的感知、理解水平和深度解讀能力高，面對不同的教育信息資源，專家能夠挖掘其中隱含的條件和聯系[4]。通過基于網絡的專家標注方式對教育信息資源進行評價，可以為信息組織者提供判斷資源可信度的依據，也可以為主動檢索網絡信息資源的學習者提供鑒別方式，緩解“學習迷航”、“認知過載”等問題。學習者是否選擇、學習某信息資源的關鍵因素之一，在于專家的權威意見或教師同行對該資源的具體評價[5]。因此，對信息資源的評價標簽，可以有效幫助學習者選擇資源進行學習。此外，專家定性、定量、客觀、嚴謹、務實的評估意見可直接展示給資源開發企業，讓其了解資源狀況并進行改進，故對于幫助教師向學習者推薦合適資源也有一定的參考價值。

二 專家評價標注模型的構建與計算辦法

1 評價維度選取的理論依據

關于信息資源評價指標維度的劃分，國內外均以定性指標研究為起點，本文也主要探討教育信息資源質量評價中的定性指標。

國外方面，Ballou[6]將信息資源質量劃分為準確性、完整性、一致性和及時性等四個維度；Wang等[7]從用戶使用數據的過程，將信息資源質量分為可存取性、可理解性、有用性和可信性等四個一級維度（含11個二級維度）。國內方面，廉立軍等[8]將信息資源質量劃分為專業性、系統性、權威性、全面性、新穎性和特色性；査先進等[9]從質量評估角度出發，將信息資源質量劃分為內容質量、表達形式質量、系統質量和效用質量等四個方面，包括信息資源的正確性、完整性、新穎性、準確性、易用性、精簡性、可靠性、資源可用性等16個維度；莫祖英等[10]基于顧客滿意度模型理論，以信息資源內容的權威性、完整性與及時性維度為研究對象，構建了信息資源質量用戶滿意度概念模型。

總之，目前很難找出一個適用于所有信息資源的評價指標和評價標準，但在特定領域內，設計一個較為客觀的評價指標體系仍是有可能和有必要的。

2 評價指標的確定

根據CELTS-22.1（CD1.0）網絡課程評價規范，評估體系的首要評估維度是課程內容，所以應將教育信息資源內容的評價置于首位。基于文獻分析，本研究將相關指標進行歸類匯總，確定教育信息資源分為資源內容和資源形式等兩個一級指標（含8個二級指標），如表1所示。

表1 教育信息資源質量評價指標體系表

3 專家評價標注模型的構建

教育信息資源的價值是潛在的，只有通過專家的使用與評估才能對資源價值進行判定。所以，遵從“以專家為中心”的思想，通過專家評價標注資源并將結果反饋給資源開發企業，如此才具有現實意義。根據前文評價指標的確定，本研究構建了專家評價標注模型，如圖1所示。

圖1 專家評價標注模型

該模型體現了以專家為中心的評價理念，其中，資源的內容和形式是衡量教育信息資源質量的兩大維度。在資源開發的過程中，資源評價標注過程與資源開發企業間是一種循環機制，即資源評價標注結果及時反饋給企業，能夠促進企業對資源質量的持續改進，而改進后的資源可重新由專家進行評價標注；同時，優質資源發布以后，可供廣大用戶進行合理的選擇使用。另外，通過評定專家評價標注的準確度，可以建立專家準確度檔案庫，庫內存放每次評價工作中每位專家的評價結果及其準確度，以確定未來評價標注工作中是否選擇該專家。模型的動態調節使企業與專家之間的交流形成良性循環，深刻地影響著教育信息資源的開發和使用。

4 專家評價標注模型的計算辦法

在評價過程中，先將專家評價標注信息進行量化，轉化為評估數據，再通過數理統計的方法進行處理，得出評價結果。鑒于專家評價是一種主觀行為，存在一定的主觀性，故需要對專家評價結果進行處理。

用數學方法彌補專家評價的主觀性，可提高評價結果的準確性。因此，馮輝等[11]提出了一種基于專家評價準確度的評估數據處理方法，較好地消除了專家評價的主觀性和偶然性。運用該方法可得出專家評價的準確度，并以此作為綜合各位專家評價數據的權重因子。基于此，本研究將此方法作為模型的計算辦法，而為了方便地了解模型的計算辦法及后續仿真，有必要對本研究中所用到的基本符號進行規范和統一，如表2所示。

表2 專家評價標注模型計算符號規范表

經過評估信息預處理（量化）后，由各個專家對某教育信息資源的8個指標打分。打分評價量表有“滿意”、“較滿意”、“一般”、“較不滿意”、“不滿意”等五個等級，對應分值為8～10，6～8，4～6，2～4，0～2。為區別專家評價與普通用戶評價，本研究將評價標注量表中對應分值設定為可精確到小數點后一位，以使評價結果更精確，具體如下：

①采用去除最高分和最低分的辦法，以防止某位專家的評價結果偏離較大。根據N位專家對某單項指標K的評價值X1，X2，X3，……Xn，求得（N-2）個有效評價的均值，并假設該均值比較接近客觀評價值。②將各評價分值與均值逐一進行比較，求得每位專家的評價值與平均值的標準差σ和偏差y。偏差越大，說明此專家評價的準確性越差、可信度越低，因此可把該偏差作為衡量專家評價準確度的依據。③研究選取準確度模型為標準正態分布，則有公式（1）；顯然，專家評價準確度Pi的取值范圍為0～1，而每位專家評價的準確度Pi如公式（2）所示，將Pi作為該專家評價的權重因子。這種方法可以一次評定每位專家評價的準確度。④針對某一指標Kj（j=1，2，3，……8），計算N位專家對某信息資源的評價總分如公式（3）所示；假設上文中8項評價指標權重一樣，則某信息資源R的專家評價總分如公式（4）所示。

公式（1）公式（2） 公式（3）公式（4）

三 專家評價標注模型仿真

仿真實驗模擬了實驗建構系統模型中各變量變化的全過程，可運用一定的編程達到模擬現實的效果。本研究以MATLAB為平臺進行仿真，它是一款以矩陣計算為基礎，把計算、可視化、程序設計有機地融合到一個交互式工作環境中的數學工具軟件。專家在評價過程中會受到各種內外因素的影響，故在一定時期內，專家評價教育信息資源的過程是一個動態隨機化的過程，結果體現為資源得到的標注分值是個動態變化的數值，它在仿真過程中被設為隨機變量。

圖2 專家評價偏差仿真圖

圖3 專家評價準確度仿真

假設現有100個專家，計劃在網上根據專家評價標注模型中的8項指標對500個教育信息資源進行標注。為了得到上述資源的打分情況，編寫的程序需模擬100個專家對500個教育信息資源的8項指標進行隨機打分的過程，這相當于構建一個500×100×8的虛擬空間來存放隨機打分數據。本研究首先構建出基于專家評價標注模型的單一資源的仿真，在此基礎上將教育信息資源數量由1擴大至R，便可看出專家評價標注模型在資源開發中的作用。在單一資源的隨機打分表中，橫軸為8項指標，縱軸為100位專家。根據對表中數據直方圖的觀察及相關數學證明，可得每個指標打分Xi均服從正態分布。通過上述計算過程，可得出每位專家評價值與均值的偏差，如圖2所示。該偏差可以幫助了解專家評價的準確情況，偏差越大，說明該專家評價能力越低；反之，則說明該專家評價能力較強，或趨于平均水平。得到專家評價偏差后，可計算出該專家評價的準確度，準確度值越大，表明該專家評價越可靠，可信度也越高。同樣以某一指標為例，得到的準確度情況如圖3所示。根據上述專家評價偏差和準確度，可得到各指標下100位專家的評價總分SK和資源得分總分S。以500個教育信息資源的仿真為例，得到的資源得分總表如表3所示。而根據資源得分總分，可繪出仿真結果直方圖，如圖4所示。由于專家隨機打分近似于服從正態分布，資源得分總分也可認為近似于服從正態分布。

表3 500個教育信息資源得分仿真

從表3中各欄可以精確地看到各資源在對應指標上的得分。以資源R1為例，對應指標K3上的得分為560.5分，說明R1在適用性方面做得較好；對應指標K7、K8上的得分分別為479.3、475.3分，說明R1在精簡性和美觀性方面明顯不足，需要在資源呈現方式、布局等方面加以改善。表3的最后一欄為各教育信息資源的評價總分，總分的高低可以顯示資源的整體情況——在整個評價范圍內，總分值越高，表明資源的可利用性越強，資源的整體水平也就越高。抽取資源R2與R381進行評價得分對比（如圖5所示），可以看出R2的整體分值相對較高。在R2中，K2的分值最高，說明該資源在資源內容的完整性方面做得最好，能透徹地表達一個主題觀點的特性；K6的分值最低，說明該資源在資源內容的精簡性方面稍顯不足。在適用性K3方面，R2得分為572.3，R381得分為351.6，兩者相差220.7分，這表明R381在適用性方面極為欠缺，要著重改善。圖5反映了資源R2與R381之間的整體水平及單項指標水平差異較大；資源R381需要加以相應改善，才能更好地滿足用戶的需求，并免遭被淘汰的危險。

圖4 仿真結果直方圖

圖5 R2與R381評價得分對比圖

四 討論

專家評價標注模型能夠優化教育信息資源質量評價過程，提高評價的準確度。計算專家評價的準確度并將其與專家原始標注值相結合，對準確度高的評價標注數據賦予較高的權重因子，對準確性低的評價標注數據賦予較低的權重因子，可降低其對最終結果的影響，從而得到較為科學、嚴謹的評價結果[12]。另外，通過評定專家評價標注的準確度，可以建立專家準確度檔案庫，庫內存放每次評價工作中每位專家的評價結果及其準確度。資源評價組織機構在邀請專家時，可以根據檔案庫進行合理篩選——對于歷次評價過程中準確度較高的專家，與其建立長期合作關系，并給予一定的獎勵政策；對于歷次評價過程中準確度較低的專家，則將其從檔案庫中刪除，以促使教育信息資源質量的評定過程更加公正、可信、權威。

專家評價標注模型能夠促進教育信息資源質量的提升，提高企業資源開發效率。教育信息資源建設是一個動態發展的過程，對優質資源應當投入更多的人力、物力，對劣質資源則應減少投入甚至放棄；而介于兩者之間的資源，應該鼓勵優化，并追根溯源，找到需要改進的方面。資源開發企業只有選擇合適的資源類型，遵循一定的規范，才能開發出適合各種教育課程需求的優質資源[13]。專家標注結果可及時反映資源情況，當模型中的某一項或幾項分值較低時，資源開發企業可以采取加強或修改資源的措施，使之成為利用率高的優質資源；或者，選擇不再生產此類教育信息資源，使之逐漸被市場淘汰。若某資源在準確性上得分較低，說明該資源不能客觀地反映知識點內容，應對其進行調整和修改；若某資源總體得分較低，那么該資源就很有可能會被淘汰。長此以往，在“優勝劣汰”的競爭環境下，劣質資源將逐漸被淘汰，而優質資源將得以保留，從而完成教育信息資源的篩選過程、實現教育信息資源的優化。

基于網絡的專家標注方式對教育信息資源進行評價存在很多優勢：①評價組織方面，在傳統的專家評價中，專家們只能通過聘請的方式參與進來，人數相對受限，人力、物力投入成本較高；而這種評價方式可遠程操作，便于邀請更多一線的、有資深經驗的教師參與進來，因此擴大了評價樣本，有助于提高結果的準確性。②評價過程方面，基于網絡的遠程評價方式給予評價專家更多獨立思考的空間，并且能夠反復查看資源，經過充分醞釀后再進行評價；簡潔的打分標注方式也降低了專家的工作負荷，有助于提高工作效率。③資源使用方面，當教育信息資源發布以后，專家的評價標注信息可以與資源一起發布，從而為資源使用者篩選資源提供參考——對教師來說，可以因材施教，根據學生水平選擇適合自身教學策略、教學方式的信息資源；對學生來說，可以根據對教育信息資源的需求，選擇適合自身學習特點的信息資源。

五 結語

隨著信息技術與教育的雙向深度融合，人們對教育信息資源的需求更加多元化、個性化，資源質量必將深刻地影響著未來教育的發展。從理論上來說，網絡上的一切信息資源都可作為標注的對象，這使得教育信息資源的標注工作擁有多個切入點。采用專家標注的理念，可充分利用專家與普通用戶在認知、理解和思維上的不同，對資源進行更加合理的歸類。本研究將基于網絡的專家標注應用于資源評價，構建了涵蓋8個指標維度的專家評價標注模型，優化了標注得分的計算辦法，并在此基礎上進行了仿真實驗。結果表明，專家標注較為真實地反映了信息資源的優勢和不足，能幫助資源開發企業對資源進行有針對性的改進，從而促進優質教育信息資源的篩選及其質量的提高。此外，專家評價標注信息能夠為用戶選擇資源提供有價值的參考。由于仿真實驗是對復雜的現實問題進行抽象化、簡單化處理，與真實世界還存在一定的偏差，因此在后續的研究中，有必要建立相關平臺進行深入的實證研究。

參考文獻：

[1]康曉偉,林波.基于高校的網絡學習資源評價研究[J].電化教育研究,2013,(6):76-79、85.

[2]WalTV. Folksonomy[OL].

[3]李楓林,張景.基于用戶標注行為的相關性分析及重排序[J].情報理論與實踐,2010,(10):57-61.

[4]桑新民.學習科學與技術——信息時代大學生學習能力培養[M].北京:高等教育出版社,2004:77-81.

[5]毛居華,覃文圣,許建華等.數字資源評估體系及其應用研究[J].中國電化教育,2012,(5):71-77.

[6]Ballou D P, Pazer H L. Modeling data and process quality in multi-input, multi-output information systems[J]. Management Science, 1985,(2):150-162.

[7]Wang R Y, Reddy M P, Kon H B. Toward quality data: An attribute-based approach[J]. Decision Support Systems, 1995,(3): 349-372.

[8]廉立軍,葉素萍,龐楠等.高校圖書館信息資源建設質量評價指標體系研究[J].現代情報,2008,(4):57-59.

[9]查先進,陳明紅.信息資源質量評估研究[J].中國圖書館學報,2010,(2):46-55.

[10]莫祖英,馬費成.數據庫信息資源內容質量用戶滿意度模型及實證研究[J].中國圖書館學報,2013,(2):85-97.

[11][12]馮暉,王志中.基于專家評價準確度的評估數據處理方法研究[J].學位與研究生教育,2002,(Z2):59-61.

[13]寇海蓮,萬正剛,高鐵剛.中小學教師對基礎教育優質數字資源質量評價實證研究——基于198名評審專家的調查[J].中國電化教育,2014,(10):70-77.

編輯：小米

Construction and Simulation of an Expert Evaluation Annotation Model for Educational Information Resources

WU Yao1XIONG Cai-ping1,2[Corresponding Author]GE Jun1XIONG Ya-ping1

The absence of high-quality educational information resource is importantly related to the lack of accurate evaluation method for educational information resource. Network-based expert annotation can expand the range of evaluation subject, reduce evaluation cost and improve the accuracy of evaluation result. Firstly, the paper determined the indicators impacting resource quality through literature analysis, and established expert evaluation annotation model. Secondly, the expert results were addressed through mathematical method to optimize the evaluation results. Thirdly, the rationality and effectiveness of this mode were verified according simulation by MATLAB. The results shown that the model can objectively evaluate the resource quality, offer reasonable feedback for resource development companies to improve resource quality, and provide reference for the users to select released resources.

educational information resource; social annotation; resource evaluation

G40-057

A

1009—8097（2016）07—0031—07

10.3969/j.issn.1009-8097.2016.07.005

本文為國家自然科學基金重點項目“基礎教育公平實現機制與服務均等化研究”（項目編號：71433004）、廣東省省級科技計劃項目“基于大數據分析的智慧學習云服務及示范應用”（項目編號：2015B010109003）的階段性研究成果。

伍姚，在讀碩士，研究方向為教育資源管理，郵箱為z5xiaoyao@163.com。

2016年1月31日