基于區(qū)間層次分析法和專(zhuān)家群決策的MOOC適切性評(píng)價(jià)

岳進(jìn) 郭輝

[摘 要] 針對(duì)目前采用AHP對(duì)MOOC作適切性評(píng)價(jià)時(shí)所忽視的評(píng)價(jià)指標(biāo)權(quán)重不確定性問(wèn)題，通過(guò)以區(qū)間標(biāo)度代替點(diǎn)值的方法，設(shè)計(jì)多層次的MOOC適切性評(píng)價(jià)指標(biāo)體系，提出MOOC適切性評(píng)價(jià)等級(jí)和區(qū)間數(shù)等級(jí)，利用區(qū)間層次分析法確定MOOC適切性評(píng)價(jià)指標(biāo)的區(qū)間數(shù)權(quán)重，結(jié)合區(qū)間數(shù)理論與群決策方法構(gòu)建基于區(qū)間層次分析法和專(zhuān)家群決策的MOOC適切性評(píng)價(jià)模型。最后結(jié)合評(píng)價(jià)實(shí)例對(duì)某課程的適切性進(jìn)行評(píng)價(jià)，并驗(yàn)證了該綜合評(píng)價(jià)模型的合理性和有效性。

[關(guān)鍵詞] MOOC； 區(qū)間層次分析法； 評(píng)價(jià)； 專(zhuān)家群決策

[中圖分類(lèi)號(hào)] G434 [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 岳進(jìn)（1976—），女，河南臨潁人。副教授，碩士，主要從事英語(yǔ)教學(xué)法研究。E-mail：2368959000@qq.com。

一、問(wèn)題的提出

大力發(fā)展具有我軍特色的軍事職業(yè)教育是新時(shí)代構(gòu)建三位一體新型軍事人才培養(yǎng)體系的關(guān)鍵，全面推動(dòng)基于網(wǎng)絡(luò)在線為主的多樣化方式的學(xué)習(xí)是軍事職業(yè)教育改革的重中之重。早在2015年5月于青島召開(kāi)的國(guó)際教育信息化大會(huì)上，便舉行了以“有關(guān)包容性和適切性的終身學(xué)習(xí)”為主題的部長(zhǎng)級(jí)圓桌會(huì)議[1]。由于MOOC可以為官兵提供優(yōu)質(zhì)、便捷、高效的在線教育資源，因而目前全軍院校正如火如荼地開(kāi)展各專(zhuān)業(yè)學(xué)科的MOOC建設(shè)。當(dāng)下日益常態(tài)化的中外聯(lián)演聯(lián)訓(xùn)、南海戰(zhàn)巡、東海警巡、繞島巡航，對(duì)航空英語(yǔ)提出了更高的要求，迫切需要開(kāi)展“軍事航空英語(yǔ)”MOOC的開(kāi)發(fā)建設(shè)，以切實(shí)提高航空兵部隊(duì)飛行員的英語(yǔ)水平。而為保證MOOC建設(shè)的質(zhì)量效果，適切性評(píng)價(jià)的問(wèn)題則亟須更深入的探究。

MOOC的適切性問(wèn)題實(shí)際上是關(guān)于MOOC的評(píng)價(jià)問(wèn)題，目前國(guó)內(nèi)學(xué)者對(duì)MOOC的評(píng)價(jià)研究主要分為三類(lèi)，即MOOC自身的質(zhì)量評(píng)價(jià)、MOOC學(xué)習(xí)過(guò)程及學(xué)習(xí)結(jié)果的評(píng)價(jià)和MOOC滿(mǎn)意度的評(píng)價(jià)。部分學(xué)者對(duì)MOOC的適應(yīng)性和可用性進(jìn)行了研究，其中較有代表性的是刊發(fā)于2015 年4月《教育發(fā)展研究》的《MOOC本土化的適切性研究》和《教學(xué)對(duì)接MOOC的適切性策略》兩篇論文，針對(duì)MOOC的適切性研究進(jìn)行了有益的探索。國(guó)外學(xué)者也對(duì)MOOC的適切性開(kāi)展了廣泛而深入的研究，不僅對(duì)MOOC自身適切性問(wèn)題進(jìn)行了研究，并利用適切性的原則和結(jié)論進(jìn)行教學(xué)設(shè)計(jì)開(kāi)發(fā)。適切性是開(kāi)展教學(xué)活動(dòng)的基本原則和提高教學(xué)效果的重要前提。MOOC作為一種新型的教學(xué)形式或教學(xué)資源，同樣需要遵循適切性原則、開(kāi)展適切性評(píng)價(jià)研究。

國(guó)內(nèi)學(xué)者對(duì)于MOOC適切性或質(zhì)量評(píng)價(jià)問(wèn)題的研究方面，確定評(píng)價(jià)指標(biāo)權(quán)重大多采用AHP、熵權(quán)法或改進(jìn)的AHP來(lái)進(jìn)行判斷。如邱均平等[2]采用層次分析法和模糊綜合評(píng)價(jià)法對(duì)MOOC質(zhì)量的評(píng)價(jià)問(wèn)題進(jìn)行研究，姚凱等[3]基于 Vague集的相似度量方法建立 MOOC 評(píng)價(jià)模型，童小素等[4]依據(jù)《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22）》建立MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，李五洲等[5]基于模糊綜合評(píng)價(jià)法對(duì)MOOC的適切性評(píng)價(jià)問(wèn)題進(jìn)行探索。上述學(xué)者的評(píng)價(jià)模型中，都是通過(guò)剛性的點(diǎn)值來(lái)對(duì)不同權(quán)重和評(píng)價(jià)等級(jí)進(jìn)行定性，這樣導(dǎo)致的結(jié)果就是無(wú)法兼顧不同評(píng)價(jià)專(zhuān)家知識(shí)結(jié)構(gòu)、經(jīng)驗(yàn)閱歷和能力水平之間的差異，從而忽視了指標(biāo)權(quán)重和指標(biāo)值的不確定性因素。

基于上述學(xué)者的既有成果，本研究擬采用區(qū)間數(shù)理論和區(qū)間層次分析法（Interval-based AHP，IAHP）對(duì)MOOC的適切性評(píng)價(jià)問(wèn)題進(jìn)行改進(jìn)，即通過(guò)區(qū)間標(biāo)度來(lái)代替點(diǎn)值的柔性策略以充分考慮評(píng)價(jià)專(zhuān)家的經(jīng)驗(yàn)和偏好，有效彌補(bǔ)傳統(tǒng)的AHP在模糊決策上的缺陷，使專(zhuān)家群決策的機(jī)制具有更好的容錯(cuò)性，確保評(píng)價(jià)模型的判斷更客觀、普適。

二、MOOC適切性評(píng)價(jià)指標(biāo)體系構(gòu)建

開(kāi)展MOOC適切性評(píng)價(jià)的基礎(chǔ)和前提是構(gòu)建科學(xué)、合理的MOOC適切性評(píng)價(jià)指標(biāo)體系。影響MOOC適切性的因素是多方面的，既與授課內(nèi)容、授課方法、教學(xué)組織、教學(xué)設(shè)計(jì)、媒體技術(shù)運(yùn)用和教學(xué)資源等因素息息相關(guān)，又與評(píng)價(jià)主體、評(píng)價(jià)形式和課程管理等因素有關(guān)，需要構(gòu)建多維多層次的評(píng)價(jià)指標(biāo)體系。姚凱等在研究MOOC評(píng)價(jià)模型過(guò)程中，將課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)、媒體技術(shù)和課程管理作為一級(jí)評(píng)價(jià)指標(biāo)，下設(shè)23個(gè)二級(jí)評(píng)價(jià)指標(biāo)[3]，二級(jí)指標(biāo)數(shù)量偏多；童小素等構(gòu)建的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系中，將課程內(nèi)容、教學(xué)設(shè)計(jì)和學(xué)習(xí)支持作為一級(jí)評(píng)價(jià)指標(biāo)，下設(shè)26個(gè)二級(jí)評(píng)價(jià)指標(biāo)[4]，二級(jí)指標(biāo)數(shù)量過(guò)多、計(jì)算復(fù)雜，且部分二級(jí)指標(biāo)有相關(guān)性；邱均平等在研究MOOC質(zhì)量評(píng)價(jià)中，將教學(xué)內(nèi)容、教學(xué)資源、教學(xué)效果和教學(xué)技術(shù)作為一級(jí)評(píng)價(jià)指標(biāo)，下設(shè)14個(gè)二級(jí)評(píng)價(jià)指標(biāo)[2]；馮雪松等在研究MOOC評(píng)價(jià)體系中，將內(nèi)容的組織、內(nèi)容的呈現(xiàn)、講授方法和課程的執(zhí)行與推廣作為一級(jí)評(píng)價(jià)指標(biāo)，下設(shè)18個(gè)二級(jí)評(píng)價(jià)指標(biāo)[6]。綜上可知，不同的學(xué)者從不同的角度出發(fā)構(gòu)建了不同的評(píng)價(jià)指標(biāo)體系，但課程內(nèi)容或教學(xué)內(nèi)容始終是評(píng)價(jià)指標(biāo)體系中的重要組成部分；通過(guò)MOOC建設(shè)實(shí)踐可知，教學(xué)方式和技術(shù)手段的合理運(yùn)用是提高M(jìn)OOC質(zhì)量的重要前提，此外，評(píng)價(jià)方式是否科學(xué)合理直接影響學(xué)習(xí)的積極性、公平性和學(xué)習(xí)效果檢驗(yàn)的有效性，進(jìn)而影響MOOC建設(shè)質(zhì)量，與課程管理和教學(xué)效果具有一致性。通過(guò)對(duì)比分析現(xiàn)有評(píng)價(jià)指標(biāo)體系的優(yōu)缺點(diǎn)，并咨詢(xún)多位MOOC開(kāi)發(fā)專(zhuān)家和學(xué)者的意見(jiàn)建議，本研究擬從教學(xué)內(nèi)容、教學(xué)方式、評(píng)價(jià)方式和技術(shù)手段4個(gè)維度評(píng)價(jià)MOOC的適切性，最終構(gòu)建如圖1所示的多層次的MOOC適切性評(píng)價(jià)指標(biāo)體系。

進(jìn)行MOOC適切性評(píng)價(jià)，需要確定適切性評(píng)價(jià)等級(jí)，本文將適切性?xún)?yōu)劣劃分為5個(gè)等級(jí)，分別為：“好”“較好”“一般”“較差”和“差”，為了適于區(qū)間層次分析法評(píng)價(jià)MOOC適切性，需要采用區(qū)間數(shù)方法對(duì)適切性等級(jí)進(jìn)行量化，“好”“較好”“一般”“較差”和“差”5個(gè)適切性等級(jí)對(duì)應(yīng)的區(qū)間數(shù)分別為：[0.8，1.0]、[0.6，0.8]、 [0.4，0.6]、 [0.2，0.4]和[0，0.2]。

三、基于IAHP確定評(píng)價(jià)指標(biāo)區(qū)間數(shù)權(quán)重