基于網(wǎng)絡(luò)信息計量學的網(wǎng)絡(luò)課程評價方法的研究

曲郁生

(四川廣播電視大學 教學處，成都 610073)

基于網(wǎng)絡(luò)信息計量學的網(wǎng)絡(luò)課程評價方法的研究

曲郁生

(四川廣播電視大學 教學處，成都 610073)

利用網(wǎng)絡(luò)信息計量學的原理和方法，借鑒網(wǎng)絡(luò)課程評價規(guī)范標準，對網(wǎng)絡(luò)課程的評價過程進行了研究，提出了一種計量型的網(wǎng)絡(luò)課程評價方法，能較客觀地反映網(wǎng)絡(luò)課程的質(zhì)量，有助于網(wǎng)絡(luò)課程進一步的改進和優(yōu)化。

網(wǎng)絡(luò)計量信息學;網(wǎng)絡(luò)課程;評價;網(wǎng)絡(luò)影響因子;網(wǎng)絡(luò)鏈接分析

隨著現(xiàn)代遠程開放教育的不斷深入發(fā)展，網(wǎng)絡(luò)課程在開放教學中得到了更加廣泛的應(yīng)用。網(wǎng)絡(luò)課程作為支持開放教學的一種重要教學資源，其質(zhì)量對現(xiàn)代遠程開放教育中的課程教學效果具有重要的影響。因此，網(wǎng)絡(luò)課程的質(zhì)量評價就成為一項非常重要的工作。教育部全國信息技術(shù)標準化技術(shù)委員會教育技術(shù)分技術(shù)委員會于2002年制定了網(wǎng)絡(luò)課程評價規(guī)范標準(CELTS-22)，從網(wǎng)絡(luò)課程的課程內(nèi)容、教學設(shè)計、界面設(shè)計和技術(shù)4個方面規(guī)范定義了具體的課程評價指標，為全面、客觀和科學地評價網(wǎng)絡(luò)課程質(zhì)量提供了一個可借鑒的技術(shù)標準，這對網(wǎng)絡(luò)課程的建設(shè)和課程質(zhì)量的保障起到了很好的指導作用。本文借鑒網(wǎng)絡(luò)課程評價規(guī)范標準(CELTS-22)并結(jié)合網(wǎng)絡(luò)信息計量學的基本原理，對網(wǎng)絡(luò)課程的評價過程進行研究，提出了一個計量型的網(wǎng)絡(luò)課程評價方法，探討如何對網(wǎng)絡(luò)課程定向特征質(zhì)量進行評價的問題。

1 研究的基本要素和核心概念

研究用網(wǎng)絡(luò)信息計量學對網(wǎng)絡(luò)課程質(zhì)量進行評價時，針對的對象是網(wǎng)絡(luò)課程，支持研究的基礎(chǔ)是網(wǎng)絡(luò)信息計量學的基本原理和方法，評價中所用的技術(shù)指標，來源于對教育部網(wǎng)絡(luò)課程評價規(guī)范標準(CELTS-22)內(nèi)容進行提取并加工后新生成的量化指標，主要評價方法采用的是網(wǎng)絡(luò)信息計量學中的鏈接分析法，評價的工具選自于搜索引擎、專用研究工具、統(tǒng)計分析包和數(shù)據(jù)挖掘軟件。除此之外，研究工作還涉及到以下5個相關(guān)基本要素和核心概念。

1)網(wǎng)絡(luò)課程。網(wǎng)絡(luò)課程作為研究的主體，是指“基于WEB的、以超媒體形式表現(xiàn)的，以異步學習為主的課程。它是基于WEB傳輸?shù)臑橥瓿赡硨W科或領(lǐng)域的教學目標而設(shè)計、組織起來的相對完整的學習經(jīng)驗體系，它包括圍繞特定學習目標而設(shè)計組織的學習內(nèi)容、為實施課程而設(shè)計的交互性教學活動，以及為評價課程效果而進行的測評等，是學習內(nèi)容與學習活動的復合體。”［1］

本研究只限于對某門制作完成并已在網(wǎng)上運行的網(wǎng)絡(luò)課程進行，評價的質(zhì)量只是涉及課程內(nèi)容、教學設(shè)計和課程影響力這3項。通過計量化評價指標的衡量，對網(wǎng)絡(luò)課程的質(zhì)量進行重點性的評價和分析，為改善和提高參評網(wǎng)絡(luò)課程的質(zhì)量提供客觀的決策依據(jù)和途徑。

2)網(wǎng)絡(luò)信息計量學。網(wǎng)絡(luò)信息計量學是指在互聯(lián)網(wǎng)絡(luò)環(huán)境下，以網(wǎng)絡(luò)計量學和信息計量學理論為基礎(chǔ)，對網(wǎng)上各種信息的組織、存儲、分布、傳遞、相互引證以及功能的開發(fā)利用等，進行定量描述并進行統(tǒng)計分析和研究，以揭示其數(shù)量特征和內(nèi)在規(guī)律的一門交叉性的邊緣學科。它融合了信息技術(shù)、網(wǎng)絡(luò)技術(shù)、計量學和統(tǒng)計學中的技術(shù)方法，廣泛地應(yīng)用在網(wǎng)絡(luò)信息資源的挖掘、評價、管理和應(yīng)用等方面。網(wǎng)絡(luò)信息計量學通過對網(wǎng)絡(luò)信息和網(wǎng)絡(luò)結(jié)構(gòu)單元信息計量問題的研究，能對網(wǎng)站的信息資源與網(wǎng)站的應(yīng)用進行評價，為網(wǎng)站信息資源的合理組織、優(yōu)化配制和有效利用提供必要的定量依據(jù)，以便實現(xiàn)改善和提升網(wǎng)站質(zhì)量和運行效果的目的。

本研究的主要方法為網(wǎng)絡(luò)信息計量學中的網(wǎng)絡(luò)鏈接分析法。它運用網(wǎng)絡(luò)信息檢索技術(shù)和數(shù)據(jù)統(tǒng)計分析工具，通過對采集到的網(wǎng)絡(luò)課程信息進行綜合處理，以“網(wǎng)絡(luò)鏈接”結(jié)點要素為橋梁，對網(wǎng)絡(luò)課程的網(wǎng)絡(luò)鏈接特征、鏈接對象、鏈接空間及方向進行分析研究，以得到的數(shù)量規(guī)律來揭示網(wǎng)絡(luò)課程的影響、教學資源狀況和互動學習程度，從而達到對網(wǎng)絡(luò)課程質(zhì)量評價的客觀性要求。

3)評價標準。網(wǎng)絡(luò)課程作為一種特殊的教育軟件，可適用分析評價法、指標體系評價法、觀察評價法和實驗評價法對它進行評價。因此，評價網(wǎng)絡(luò)課程的標準與所選用的評價方法有著密切的關(guān)聯(lián)。本研究所用的評價方法源于網(wǎng)絡(luò)信息計量學之中，而評價的網(wǎng)絡(luò)課程又屬于軟件產(chǎn)品，由于考慮到指標體系評價法可作為網(wǎng)絡(luò)課程評價的輔助方法之一，所以，在網(wǎng)絡(luò)課程評價標準的量化指標設(shè)計時，將用指標體系法和網(wǎng)絡(luò)信息計量學中的鏈接分析法相結(jié)合生成新的網(wǎng)絡(luò)課程評價標準。

本研究中使用的網(wǎng)絡(luò)課程評價標準，是參照了教育部網(wǎng)絡(luò)課程評價規(guī)范標準內(nèi)容后，借用了網(wǎng)絡(luò)信息計量學中相關(guān)評價方法的計量指標，所設(shè)計出的用于量化網(wǎng)絡(luò)課程質(zhì)量的基礎(chǔ)指標。該類指標只涉及到被評價網(wǎng)絡(luò)課程在某些特定方面的性能質(zhì)量。

4)計量指標。計量指標是指在網(wǎng)絡(luò)信息計量學中，對網(wǎng)站進行定量化評價時所用的一些量化標準值，用它們來衡量網(wǎng)絡(luò)課程的結(jié)構(gòu)、訪問量和覆蓋范圍等情況。這些量化指標可客觀地反映出網(wǎng)絡(luò)課程的局部質(zhì)量問題。其中的網(wǎng)絡(luò)鏈接和網(wǎng)絡(luò)影響因子指標在網(wǎng)絡(luò)課程質(zhì)量的評價中具有非常重要的用途和價值。

5)網(wǎng)絡(luò)影響因子。網(wǎng)絡(luò)影響因子(WIF)是“在某一時間內(nèi)，來源于外部和自身內(nèi)部指向特定國家或網(wǎng)站的網(wǎng)頁數(shù)與該國或網(wǎng)站中擁有的網(wǎng)頁數(shù)之比。”它包括了外部網(wǎng)絡(luò)影響因子、內(nèi)部網(wǎng)絡(luò)影響因子和總的網(wǎng)絡(luò)影響因子3種，是評價網(wǎng)站影響力度的重要度量指標，在網(wǎng)絡(luò)課程質(zhì)量評價指標體系中占有較大的權(quán)重位置。

由于對網(wǎng)絡(luò)課程評價方法的研究是基于網(wǎng)絡(luò)信息計量學原理和方法，在研究時選擇的樣本空間、輔助工具和技術(shù)方法等均應(yīng)符合該研究領(lǐng)域的范疇。所以，對研究過程中用到的基本要素和核心概念，需要作一些必要的拓展，以便滿足研究的基本需求。

2 網(wǎng)絡(luò)課程信息的計量化評價過程研究

網(wǎng)絡(luò)課程信息的計量化評價過程研究，是指在網(wǎng)絡(luò)信息計量學原理的指導下，采用網(wǎng)絡(luò)信息計量學中所提供的特定方法，對在進行網(wǎng)絡(luò)課程評價時，如何解決評價標準、計量方法和軟件工具等基本要素的設(shè)計、選擇和應(yīng)用的問題。力爭實現(xiàn)網(wǎng)絡(luò)課程評價過程的簡便化、客觀化、準確化和自動化。由于網(wǎng)絡(luò)課程評價的一般過程是:制定評價指標體系;確定評價主要方法;選擇評價使用工具;進行評價并分析結(jié)果。所以，研究工作按照評價工作的進程，從以下4個方面來進行。

2.1 網(wǎng)絡(luò)課程評價指標的制定

網(wǎng)絡(luò)課程的評價指標設(shè)計可以從不同的角度來考慮，即能夠全面反映網(wǎng)絡(luò)課程質(zhì)量的總體性指標和體現(xiàn)網(wǎng)絡(luò)課程某些側(cè)面特征的個體性指標。由于研究主要是從網(wǎng)絡(luò)課程幾個不同側(cè)面的質(zhì)量來進行的評價，所以，首先要從教育部網(wǎng)絡(luò)課程評價規(guī)范標準(CELTS-22，2002)中抽取部分相關(guān)的約束性和非約束性指標，規(guī)范出評價網(wǎng)絡(luò)課程質(zhì)量的指標體系所屬范圍，然后再根據(jù)評價課程方法所具備的計量指標，將兩者作一個映射轉(zhuǎn)換處理，并計算出各指標的權(quán)重，最后生成一張具有網(wǎng)絡(luò)信息計量特征的評價表，用它來量化被評價的網(wǎng)絡(luò)課程在某個側(cè)面或具體特征上的質(zhì)量情況。表1為供研究所用的評價表，它列舉出了評價指標的名稱、意義和主要目標。

表1 網(wǎng)絡(luò)課程質(zhì)量評價量化指標

2.2 網(wǎng)絡(luò)課程評價方法的應(yīng)用

網(wǎng)絡(luò)課程從它的組成結(jié)構(gòu)和內(nèi)容來看，其實質(zhì)是一個建立在互聯(lián)網(wǎng)上傳遞教學信息的網(wǎng)站。因此，可以借用網(wǎng)站評價的常規(guī)方法來對它進行評估。如網(wǎng)上問卷調(diào)查法、專家評級法和網(wǎng)絡(luò)信息計量法等。選擇研究網(wǎng)絡(luò)信息計量法中的網(wǎng)站鏈接分析法評價網(wǎng)絡(luò)課程的意義在于:該評價方法具有客觀規(guī)范、量化程度好、可信度高、易于自動化的優(yōu)點，對網(wǎng)絡(luò)課程質(zhì)量的評價能提供較好的輔助決策依據(jù)。應(yīng)用鏈接分析法進行網(wǎng)絡(luò)課程的評價時，要經(jīng)過樣本選擇、原始數(shù)據(jù)采集、網(wǎng)絡(luò)鏈接抽取和數(shù)據(jù)分析整理4個階段。如何在各階段中完成既定的任務(wù)，應(yīng)注重以下的影響因素和相應(yīng)的解決辦法。

1)樣本空間的定位:網(wǎng)絡(luò)課程的樣本空間定位是與課程質(zhì)量評價的規(guī)模和量化指標有關(guān)，參評的指標項目數(shù)越多，指標量化的程度越高，對樣本空間的要求就越嚴格，而評價的難度也就相應(yīng)增大。應(yīng)依據(jù)網(wǎng)絡(luò)課程評價的項目范圍和指標量化度來定位參評網(wǎng)絡(luò)課程樣本空間的大小，使該樣本區(qū)間既能滿足測評數(shù)據(jù)的采集要求，又易于用軟件工具自動地快速進行測評。

2)數(shù)據(jù)采集的方法:原始數(shù)據(jù)的采樣精度將直接關(guān)系到網(wǎng)絡(luò)課程質(zhì)量評價的可信度，應(yīng)選用覆蓋率廣和數(shù)據(jù)采樣性高的搜索軟件來完成網(wǎng)絡(luò)課程原始測評數(shù)據(jù)的采集。在使用這類工具軟件進行數(shù)據(jù)采集時，要掌握運用好搜索策略算法，避免重復采集數(shù)據(jù)的現(xiàn)象出現(xiàn)，盡量達到“突出重點，覆蓋全面”的數(shù)據(jù)采集目標。

3)網(wǎng)絡(luò)鏈接的搜尋:鏈接是網(wǎng)絡(luò)分析的基本元素，由于網(wǎng)絡(luò)課程中鏈接形式的多樣化，很難全部解析和抽取出網(wǎng)絡(luò)課程中各類文件中的鏈接成分，這會給評價網(wǎng)絡(luò)課程質(zhì)量的數(shù)據(jù)分析帶來不利的影響。對于網(wǎng)絡(luò)課程里的靜態(tài)網(wǎng)頁，用“網(wǎng)絡(luò)爬行器”軟件工具可以實現(xiàn)鏈接成分信息的有效搜尋和抽取;但對于網(wǎng)絡(luò)課程里由腳本語言生成的動態(tài)網(wǎng)頁，或是后臺服務(wù)器上存儲的數(shù)據(jù)，需要開發(fā)專用的搜索工具來進行處理。因此，當能獲得一個完整的網(wǎng)絡(luò)課程系統(tǒng)軟件時，可以采用直接從中提取鏈接信息和原始數(shù)據(jù)的辦法;如無法獲得則可借助嵌入到網(wǎng)絡(luò)搜索軟件中的各類文件標識解析插件，在原始數(shù)據(jù)的采集過程中，抽取、過濾和統(tǒng)計網(wǎng)絡(luò)鏈接數(shù)據(jù)信息。

4)數(shù)據(jù)的處理與分析:網(wǎng)絡(luò)課程質(zhì)量評價的實質(zhì)是對采集到的原始數(shù)據(jù)的處理和分析。由于在數(shù)據(jù)采樣中存在誤差，所以必須對采集的原始數(shù)據(jù)先進行凈化處理，清洗過濾掉無關(guān)和冗余的數(shù)據(jù)，然后再作進一步的統(tǒng)計、比對和分析。數(shù)據(jù)分析常遇到對鏈接、行為、關(guān)聯(lián)以及聚類等關(guān)系的分類計算，其結(jié)果常常是作為網(wǎng)絡(luò)課程質(zhì)量評價的重要參考指標。例如:統(tǒng)計訪問網(wǎng)絡(luò)課程用戶的行為數(shù)據(jù)流量，可以分析得出網(wǎng)絡(luò)課程的活躍程度、用戶需求和資源利用率等情況，這在評價網(wǎng)絡(luò)課程的結(jié)構(gòu)和可用性方面具有較高的實用價值。所以，在網(wǎng)絡(luò)課程的評價數(shù)據(jù)處理與分析中，應(yīng)選擇好合適的數(shù)據(jù)處理與分析軟件工具，針對網(wǎng)絡(luò)課程質(zhì)量評價項目的不同，篩選具有代表性的樣本數(shù)據(jù)，并多次地進行數(shù)據(jù)的過濾，這樣才能使分析的結(jié)果和推斷更加準確和客觀。

表2 網(wǎng)絡(luò)課程質(zhì)量評價常用軟件工具

2.3 網(wǎng)絡(luò)課程評價工具的選用

根據(jù)網(wǎng)絡(luò)課程質(zhì)量評價的不同要求，評價的過程可以在線或離線進行。在線評價與離線評價在評價數(shù)據(jù)的采集方式上是不同的。前者要在網(wǎng)上搜尋，而后者則是利用下載軟件，將需要評價的網(wǎng)絡(luò)課程直接下載到客戶機上，然后再進行數(shù)據(jù)的收集。運用網(wǎng)絡(luò)鏈接分析法對網(wǎng)絡(luò)課程進行評價時，除需要有滿足各種不同數(shù)據(jù)采集方法的采集工具之外，網(wǎng)絡(luò)鏈接分析工具、數(shù)據(jù)統(tǒng)計分析工具和數(shù)據(jù)挖掘分析工具也都是網(wǎng)絡(luò)課程評價時必備的軟件工具。因此，在網(wǎng)絡(luò)課程評價工具的選用上，應(yīng)遵循操作方便、功能強大、適用性好的基本原則來進行軟件工具的選擇。表2為研究中常用的軟件工具。

2.4 網(wǎng)絡(luò)課程評價結(jié)果的分析

由于網(wǎng)絡(luò)課程質(zhì)量的評價方法應(yīng)用了網(wǎng)絡(luò)信息計量學的基本原理，所以，評價產(chǎn)生的數(shù)據(jù)結(jié)果也與網(wǎng)絡(luò)信息計量學的計量指標意義關(guān)系密切。通過網(wǎng)絡(luò)信息計量學的方法評價得到的數(shù)據(jù)，主要是從網(wǎng)絡(luò)計量學的角度來反映網(wǎng)絡(luò)課程資源的類型、網(wǎng)絡(luò)課程鏈接的程度、網(wǎng)絡(luò)課程的影響力等方面的價值情況。盡管這些計量指標和教育部的網(wǎng)絡(luò)課程評價規(guī)范標準(CELTS-22)中的指標有所不同，但是從中可以客觀地發(fā)現(xiàn)網(wǎng)絡(luò)課程的可用性、學術(shù)影響力、資源價值和學習行為與需求等問題，從另一個不同的側(cè)面來觀察和評價網(wǎng)絡(luò)課程的質(zhì)量，減少主觀因素對評價結(jié)果的影響，間接地實現(xiàn)了對網(wǎng)絡(luò)課程質(zhì)量的評價。從對最終評價結(jié)果的分析，研究得出以下3點結(jié)論:

1)用網(wǎng)絡(luò)信息計量法來評價網(wǎng)絡(luò)課程的質(zhì)量，主要適合在網(wǎng)絡(luò)課程的可用性、更新率、交互性、權(quán)威性和資源配置等個性化特征面的定量評價上。如果要全面評價網(wǎng)絡(luò)課程的整體質(zhì)量，還需要結(jié)合應(yīng)用其他的定性評估方法。2)在網(wǎng)絡(luò)課程質(zhì)量的評價過程中，網(wǎng)絡(luò)信息計量法具有操作方便、客觀性好、易于自動化和效率高的特點。但是對評價所用原始數(shù)據(jù)質(zhì)量要求較嚴格，數(shù)據(jù)的采集和清洗開銷較大，尤其在有網(wǎng)絡(luò)課程交互性質(zhì)量測評要求下，數(shù)據(jù)的采集與處理更為復雜，因此，目前還不太適應(yīng)結(jié)構(gòu)組織復雜、動態(tài)交互性高的網(wǎng)絡(luò)課程質(zhì)量的評價。3)網(wǎng)絡(luò)課程質(zhì)量評價的數(shù)據(jù)統(tǒng)計分析表明，使用鏈接分析法的效果與搜索引擎的質(zhì)量直接相關(guān)，同時網(wǎng)絡(luò)課程評價的原始數(shù)據(jù)主要由教學網(wǎng)頁的嵌入數(shù)據(jù)和用戶行為信息數(shù)據(jù)兩大類組成，所以，在原始數(shù)據(jù)的采集地點上，應(yīng)從日志文件和Cookies內(nèi)獲取更豐富的分析數(shù)據(jù)。

3 網(wǎng)絡(luò)課程計量化評價研究的應(yīng)用實踐

為了進一步論證用網(wǎng)絡(luò)信息計量學方法評價網(wǎng)絡(luò)課程質(zhì)量研究的可行性，筆者以四川廣播電視大學制作的網(wǎng)絡(luò)課程“美學原理”為對象模型，進行了模擬化的階段性研究工作。應(yīng)用網(wǎng)絡(luò)信息計量學的方法，在獲得該網(wǎng)絡(luò)課程質(zhì)量評價所需的原始數(shù)據(jù)基礎(chǔ)上，階段性地評價了該網(wǎng)絡(luò)課程的部分質(zhì)量情況，并根據(jù)評價產(chǎn)生的量化數(shù)據(jù)指標做出了相應(yīng)的結(jié)論。研究的主要步驟是:

1)用在線搜索引擎ALTRA Vista和離線瀏覽器Offline Explorer采集網(wǎng)絡(luò)課程中的部分數(shù)據(jù)。2)用鏈接分析工具WebStat抽取和分類統(tǒng)計課程鏈接數(shù)據(jù)。3)用統(tǒng)計分析軟件SPSS對獲取的數(shù)據(jù)進行綜合處理，得到初評結(jié)論。4)用數(shù)據(jù)挖掘工具SAS Mine作相關(guān)分析，建立輔助的決策模型。5)初評結(jié)論的終審和網(wǎng)絡(luò)課程質(zhì)量評價結(jié)論的撰寫。

目前，筆者正對階段性的研究成果進行分析總結(jié)，為今后該研究項目的繼續(xù)深入推進做技術(shù)上的預測評估和全面論證。

4 結(jié)語

客觀和準確地對網(wǎng)絡(luò)課程質(zhì)量進行量化性的評價，是網(wǎng)絡(luò)課程資源建設(shè)中的一個重要的工作環(huán)節(jié)。在網(wǎng)絡(luò)課程質(zhì)量的評估工作中，研究一種科學化、標準化、自動化的有效評估方法，能準確地發(fā)現(xiàn)網(wǎng)絡(luò)課程制作和運行中所存在的問題，及時地對網(wǎng)絡(luò)課程資源進行更新替換，為開放課程的學習提供更多優(yōu)質(zhì)的學習資源和更佳的支持服務(wù)，保證電大現(xiàn)代遠程開放教育的教學質(zhì)量。

［1］教育部教育信息化技術(shù)標準委員會.CELTS-22(WD1.0)網(wǎng)絡(luò)課程評價規(guī)范［S/OL］.(2002-09-05)［2011-12-01］.http://www.celtsc.edu.cn/680751c665875e93/680751c665876863/7f517edc8bfe7a0b8bc44ef7-celts-22/?searchterm=網(wǎng)絡(luò)課程評價規(guī)范.

［2］龐景安.網(wǎng)絡(luò)信息資源的計量與評價［M］.北京:科學技術(shù)出版社，2007.

［3］段宇峰.網(wǎng)站鏈接分析與網(wǎng)站評價研究［M］.北京:北京圖書館出版社，2005.

［4］王滿，徐朝軍.網(wǎng)絡(luò)課程資源自動化評價研究［J］.現(xiàn)代圖書情報技術(shù)，2010，9(1):88-93.

［5］滕霞，段崇江，張建偉，等.網(wǎng)絡(luò)課程評價標準的研制［J］.現(xiàn)代教育技術(shù)，2003(1):5-11.

Research on Evaluation Method of Web-Based Courses Based on Webmetrics

QU Yusheng
(Teaching Affair Office，Sichuan Radio and TV University，Chengdu 610073，China)

The evaluation of web-based courses is studied in this paper.The method and concepts of evaluation is reviewed briefly.The focus is then concentrated on quantitative evaluating process of webbased courses，including evaluation indexes and methods，result analysis and application case.The presented results are beneficial to optimizations and improvements of web-based courses.

Webmetrics;web-based course;evaluation;web impact factor;web link analysis

G434

A

1008-5440(2012)01-0057-04

2011-12-05

曲郁生(1954-)，男(漢族)，重慶人，副教授，學士，研究方向:計算機信息管理與教育技術(shù)。