基于德爾菲法的高校精品在線開放課程評估體系構(gòu)建研究

吳嵐艷，李 潔

(1.黃山職業(yè)技術(shù)學(xué)院 國際護(hù)理學(xué)院，安徽 黃山 245900；2.安徽理工大學(xué) 經(jīng)濟(jì)與管理學(xué)院，安徽 淮南 232007)

2011年，教育部正式出臺《教育部關(guān)于國家精品開放課程建設(shè)的實(shí)施意見》后，我國各高校掀起了在線開放課程風(fēng)暴，至今形成了資源共享課、視頻公開課、MOOC和SPOC等多種類型的中國特色在線開放課程體系。2020年，受新冠疫情影響，在線開放課程短時(shí)間內(nèi)激增，同時(shí)，出現(xiàn)質(zhì)量參差不齊的問題。質(zhì)量評價(jià)是解決這一問題的關(guān)鍵。然而，我國在線開放課程質(zhì)量評價(jià)缺乏通用、科學(xué)的評價(jià)方法，亦未形成全面、有效的評價(jià)體系。因此，筆者應(yīng)用德爾菲法(又稱“專家調(diào)查法”)構(gòu)建了高校精品在線開放課程評價(jià)體系，為更好地建設(shè)精品在線開放課程提供參考。

一、資料與方法

1.初步構(gòu)建指標(biāo)體系。本著科學(xué)、全面、客觀和實(shí)用性原則，筆者以“CELTS-22.1”(網(wǎng)絡(luò)課程評價(jià)規(guī)范)為藍(lán)本，根據(jù)高校精品在線開放課程的特點(diǎn)，結(jié)合學(xué)習(xí)者的評價(jià)，初步構(gòu)建了精品在線開放課程評價(jià)體系，其中一級指標(biāo)6個(gè)、二級指標(biāo)35個(gè)。

2.函詢專家。考慮到失訪/無效率，筆者最終從北京、山東、安徽、上海等省市的高校中選取專家20人納入本研究。

3.專家函詢表。專家函詢表包括三方面內(nèi)容：(1)封面信：包括函詢背景、目的、要求及注意事項(xiàng)；(2)專家基本情況表：包括姓名、性別、年齡、工作年限、職稱、對函詢內(nèi)容的熟悉程度及選擇的判斷依據(jù)等；(3)高校精品在線開放課程評價(jià)指標(biāo)體系：對體系中每個(gè)維度的指標(biāo)都根據(jù)Likert5級評分法進(jìn)行評分，并設(shè)置修改、刪除和增加意見欄。

4.函詢過程。2019年8—11月，采用當(dāng)面發(fā)放咨詢表或E-mail方式進(jìn)行了兩輪德爾菲專家函詢。第一輪問卷回收后，及時(shí)根據(jù)專家的意見及建議對指標(biāo)體系進(jìn)行修訂，形成第二輪專家函詢問卷，以同樣的方式反饋給專家。第二輪專家函詢意見出現(xiàn)集中趨勢，由此，初步構(gòu)建高校精品在線開放課程評價(jià)指標(biāo)體系。

5.指標(biāo)篩選。根據(jù)專家對指標(biāo)的重要性評分，計(jì)算均值和變異系數(shù)(CV)，篩選標(biāo)準(zhǔn)為重要性評分均值小于4分，CV大于0.30的指標(biāo)。[1]同時(shí)，對專家提出的刪除、增加、修改要求的指標(biāo)，經(jīng)研究小組集體討論后確定。

6.評分標(biāo)準(zhǔn)。重要性根據(jù)Likert5級評分法進(jìn)行評分，非常重要=5分、重要=4分、中等=3分、不太重要=2分、不重要=1分；熟悉程度按非常熟悉計(jì)1.00、很熟悉計(jì)0.80、比較熟悉計(jì)0.60、不太熟悉計(jì)0.40、不熟悉計(jì)0.20；判斷依據(jù)中，實(shí)踐經(jīng)驗(yàn)按判斷依據(jù)的大、中、小分別計(jì)為0.50、0.40、0.20分，理論分析按判斷依據(jù)的大、中、小分別計(jì)為0.30、0.20、0.10分，參考國內(nèi)外文獻(xiàn)、同行了解、直覺分別計(jì)為0.10、0.05、0.01分。

7.統(tǒng)計(jì)學(xué)方法。采用Excel 2007進(jìn)行數(shù)據(jù)錄入；采用SPSS17.0統(tǒng)計(jì)學(xué)軟件進(jìn)行數(shù)據(jù)分析，其中計(jì)數(shù)資料計(jì)算構(gòu)成比，計(jì)量資料計(jì)算均數(shù)、標(biāo)準(zhǔn)差及變異系數(shù)；采用Yaahp10.3層次分析法軟件計(jì)算評價(jià)指標(biāo)的權(quán)重。

二、結(jié)果

1.函詢專家積極性。專家函詢表的有效回收率代表了專家積極性。本研究兩輪函詢均發(fā)放專家函詢表20份，第一輪回收函詢表19份，第二輪回收函詢表18份，回收率分別為95%和90%，有效回收率均為100%。

2.函詢專家權(quán)威性。權(quán)威系數(shù)主要取決于專家對函詢內(nèi)容的熟悉程度和判斷依據(jù)，權(quán)威系數(shù)=(熟悉程度+判斷依據(jù))/2，[2]兩輪函詢中，專家權(quán)威系數(shù)均大于0.70，說明專家的權(quán)威性高(見表1)。

表1 函詢專家權(quán)威系數(shù)

表2 函詢專家權(quán)威系數(shù)

4.高校精品在線開放課程評價(jià)指標(biāo)體系的確定。第一輪專家函詢后，根據(jù)指標(biāo)刪除標(biāo)準(zhǔn)及具體專家建議，將一級指標(biāo)“建設(shè)環(huán)境”改成“網(wǎng)絡(luò)技術(shù)”，刪除了3個(gè)二級指標(biāo)“內(nèi)容再生性”“界面可視性”和“資源共享”。將二級指標(biāo)“輔助性學(xué)習(xí)資料”具體化為“考試題庫”和“實(shí)訓(xùn)指導(dǎo)”，形成6個(gè)一級指標(biāo)、33個(gè)二級指標(biāo)的高校精品在線開放課程評價(jià)指標(biāo)體系(第2版)。第二輪專家咨詢后，專家無刪除、修改及增加指標(biāo)。最終建立了包含6個(gè)一級指標(biāo)和33個(gè)二級指標(biāo)的精品在線開放課程評價(jià)指標(biāo)體系(見表3)。

表3 高校精品在線開放課程評價(jià)指標(biāo)體系

三、討論

1.專家的選擇是應(yīng)用德爾菲法建立全面、科學(xué)評估指標(biāo)體系的關(guān)鍵。本研究選擇了20名從事高等教育教學(xué)工作的專家，平均工作年限25年，碩士以上學(xué)歷占比70%以上，高級職稱占比80%以上，綜合考慮函詢專家的地域因素，從而保證了函詢結(jié)果的可靠性。兩輪函詢中，專家的積極性、權(quán)威性和協(xié)調(diào)系數(shù)均較高。綜上所述，本研究建立的高校精品在線開放課程評價(jià)指標(biāo)體系是較為可靠的。

2.在高校精品在線開放課程評價(jià)指標(biāo)體系中，課程內(nèi)容權(quán)重最高，其作為課程傳遞知識的主要載體，權(quán)重較高也在預(yù)期之內(nèi)。然而，一項(xiàng)基于扎根理論的在線開放課程評價(jià)研究顯示，[3]從用戶角度出發(fā)，很多在線課程的內(nèi)容與學(xué)習(xí)者的期望并不一致，學(xué)習(xí)者選擇在線課程的目的更多是輔助學(xué)習(xí)，而非獲取基礎(chǔ)知識。因此，在制作精品在線開放課程教學(xué)視頻時(shí)，應(yīng)考慮學(xué)習(xí)者的實(shí)際需求。教學(xué)資源權(quán)重僅次于課程內(nèi)容排名第二，特別是教學(xué)視頻，研究表明，操作錄制類教學(xué)視頻不僅學(xué)習(xí)效果要明顯好于圖文解說類視頻，而且能給學(xué)習(xí)者帶來更好的學(xué)習(xí)體驗(yàn)，[4]同時(shí)，教學(xué)視頻中教師圖像呈現(xiàn)方式也會對學(xué)習(xí)效果產(chǎn)生影響。[5]因此，精品在線開放課程教學(xué)資源的評價(jià)中，教學(xué)視頻的權(quán)重最高。教學(xué)設(shè)計(jì)的權(quán)重排名第三，傳統(tǒng)教學(xué)設(shè)計(jì)是將教學(xué)諸要素有序安排，確定合適的教學(xué)方案，一般包括教學(xué)目標(biāo)、教學(xué)方法、教學(xué)組織等內(nèi)容。精品在線開放課程教學(xué)設(shè)計(jì)的評價(jià)在傳統(tǒng)之余加入了媒體設(shè)計(jì)、交互方式的內(nèi)容。師資隊(duì)伍排名第四，教師是決定課程質(zhì)量的關(guān)鍵因素，這不僅取決于教師的知識水平，也與教師的語言素養(yǎng)、教學(xué)風(fēng)格和態(tài)度息息相關(guān)。課程應(yīng)用權(quán)重排名第五，精品在線開放課程的應(yīng)用為優(yōu)質(zhì)教育資源共享貢獻(xiàn)了力量，因此，本研究將課程應(yīng)用相關(guān)指標(biāo)，如課程點(diǎn)擊率、用戶活躍度、學(xué)習(xí)完成度和考試通過率作為課程應(yīng)用的二級評價(jià)指標(biāo)。網(wǎng)絡(luò)技術(shù)權(quán)重最小，這可能與網(wǎng)絡(luò)技術(shù)在在線開放課程中只起到輔助作用有關(guān)。事實(shí)上，網(wǎng)絡(luò)技術(shù)中系統(tǒng)特性、課程導(dǎo)航、可控性、交互性、內(nèi)容檢索都嚴(yán)重影響學(xué)習(xí)者的學(xué)習(xí)興趣。比較突出的是學(xué)習(xí)者在網(wǎng)上觀看課程需要較長時(shí)間的緩沖和下載，不利于精品在線開放課程的學(xué)習(xí)。[6]目前，國內(nèi)精品在線開放課程在網(wǎng)絡(luò)硬件環(huán)境和支持服務(wù)等方面還存在一定欠缺。

3.本研究構(gòu)建的高校精品在線開放課程評價(jià)指標(biāo)體系，目前還只是指標(biāo)體系框架，尚處于探索階段，需要在實(shí)踐中逐步完善，形成具體化、可操作的指標(biāo)內(nèi)容并形成初始量表。本研究計(jì)劃對高校已建成的精品在線開放課程進(jìn)行預(yù)評估，并根據(jù)出現(xiàn)的問題進(jìn)一步完善。