基于AHP和排序比的高校本科教學(xué)質(zhì)量評價(jià)方法

鄧曉衡，劉鐵雄,鄭靜益,沈海瀾

（1.中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙 410083；2.中南大學(xué) 本科生院，湖南 長沙 410083）

0 引 言

教學(xué)質(zhì)量是高等學(xué)校的生命線。教學(xué)質(zhì)量評價(jià)是高等學(xué)校實(shí)現(xiàn)高校教學(xué)科學(xué)管理的重要保證。然而高校教學(xué)系統(tǒng)涉及主體多，影響因素多，具有開放性、復(fù)雜性等特征，給建立科學(xué)、有效的高校本科教學(xué)質(zhì)量評價(jià)方法帶來了難度。用哪些指標(biāo)去評價(jià)，以及用什么樣的方法去評價(jià)是教學(xué)質(zhì)量評價(jià)的基本問題。學(xué)者針對教學(xué)質(zhì)量評價(jià)從不同角度已經(jīng)展開了許多有效的研究[1-4]。

1 總體方案

AHP層次分析法由美國著名的運(yùn)籌學(xué)家、匹茲堡大學(xué)薩迪( T.L.Saaty) 教授提出[5]，其基本思想是通過對系統(tǒng)的多個(gè)因素的分析，劃出各因素間相互聯(lián)系的有序?qū)哟危γ恳粚哟蔚母饕蛩亟o出相對重要性的定量表示，進(jìn)而建立數(shù)學(xué)評價(jià)模型，計(jì)算出每一層次全部因素的相對重要性的權(quán)值。AHP層次模型主要包括目標(biāo)層、中間層和方案層。

利用AHP層次方法研究本科教學(xué)質(zhì)量評價(jià)問題的總體方案是：第一步，對專家通過座談、問卷調(diào)查的方式確定本科教學(xué)質(zhì)量評價(jià)指標(biāo)，建立指標(biāo)體系層次化框架；第二步，利用AHP方法，結(jié)合專家自身經(jīng)驗(yàn)和專業(yè)知識(shí)，基于1-9標(biāo)度法[6]分別對每一層內(nèi)各項(xiàng)指標(biāo)進(jìn)行兩兩比較和重要性評價(jià)，建立判斷矩陣；第三步，對判斷矩陣進(jìn)行一致性檢驗(yàn)，計(jì)算得到每一層評價(jià)指標(biāo)相對于上一層評價(jià)目標(biāo)的量化權(quán)重；第四步，綜合考慮指標(biāo)的權(quán)重和被評目標(biāo)的相對優(yōu)勢，建立綜合考慮指標(biāo)權(quán)重和相對排序的評價(jià)模型。

2 評價(jià)方法和過程

2.1 構(gòu)建評價(jià)指標(biāo)體系

在對專家進(jìn)行問卷調(diào)查的基礎(chǔ)上，依據(jù)AHP層次化模型，建立本科教學(xué)質(zhì)量評價(jià)指標(biāo)體系，見表1。其中包括一級指標(biāo)6個(gè)（B1～B5），二級指標(biāo)18個(gè)（C1～C18）和三級指標(biāo)44個(gè)（D1～D44）。按照AHP模型，將本科教學(xué)質(zhì)量G定義為目標(biāo)層，一級指標(biāo)、二級指標(biāo)、三級指標(biāo)分別定義為準(zhǔn)則層1、準(zhǔn)則層2和準(zhǔn)則層3。

2.2 計(jì)算評價(jià)指標(biāo)權(quán)重

根據(jù)AHP方法，首先采用1-9標(biāo)度法分別對每一層內(nèi)各項(xiàng)指標(biāo)進(jìn)行兩兩比較和重要性評價(jià)，建立判斷矩陣。然后對判斷矩陣進(jìn)行一致性檢驗(yàn)，計(jì)算該矩陣的最大特征值和其對應(yīng)的特征向量。一致性檢驗(yàn)通過，特征向量即為該層指標(biāo)相對于上一層指標(biāo)的權(quán)重；一致性檢驗(yàn)沒有通過，需要重新構(gòu)造判斷矩陣。以目標(biāo)層G與準(zhǔn)則層B的判斷矩陣G-B表構(gòu)造為例，見表2。

表1 高校本科教學(xué)質(zhì)量評價(jià)指標(biāo)體系層次框架

表2 目標(biāo)層G與準(zhǔn)則層1的判斷矩陣G-B

計(jì)算該矩陣的最大特征值λmax和其對應(yīng)的特征向量，得到λmax=6.11，特征向量w=（0.083 0.083 0.333 0.083 0.333 0.083）。

根據(jù)公式（1）和（2）以及平均隨機(jī)一致性指標(biāo)R.I.的取值[6]（表3）計(jì)算得到C.I.=0.000,C.R.= 0.000。

表3 平均隨機(jī)一致性指標(biāo)R.I.的取值

由于C.R.=0.000＜0.1表明判斷矩陣具有可接受的一致性，所以最終優(yōu)化后準(zhǔn)則層1中各指標(biāo)的權(quán)重為w=（0.083 0.083 0.333 0.083 0.333 0.083）按照上述方法依次計(jì)算出各層指標(biāo)對其上一層指標(biāo)的權(quán)重。各層指標(biāo)相對于目標(biāo)層G的權(quán)重則為該目標(biāo)每一層的權(quán)重之積，如C1對B1的權(quán)重為0.333，B1對G的權(quán)重為0.083，則C1對G的權(quán)重為0.333×0.083=0.028。

2.3 建立考慮權(quán)重和排序比的綜合評價(jià)模型

經(jīng)典的加權(quán)平均模型如公式（3），其中k為評價(jià)指標(biāo)個(gè)數(shù)，xi為F在指標(biāo)qi上的指標(biāo)值，φi為指標(biāo)qi對應(yīng)的權(quán)重系數(shù)，S為個(gè)體F在加權(quán)平均模型下的綜合評價(jià)值。

加權(quán)平均模型考慮了評價(jià)指標(biāo)的重要性和被評價(jià)單位在該指標(biāo)上的評分兩個(gè)因素，但是加權(quán)平均模型無法體現(xiàn)出被評價(jià)個(gè)體在群體中同一指標(biāo)上的相對優(yōu)劣情況。

比如：兩個(gè)被評價(jià)單位F1和F2在權(quán)重相同的兩個(gè)評價(jià)指標(biāo)B1和B2上的評分均為90分，利用加權(quán)平均模型在綜合評分中看不出兩者區(qū)別。但是F1的90分位于100個(gè)評價(jià)個(gè)體中的前1%，而F2的90分位于100個(gè)評價(jià)個(gè)體中的后1%。如何在加權(quán)平均模型基礎(chǔ)上體現(xiàn)出被評價(jià)個(gè)體在全體中的相對表現(xiàn)情況，我們引入一個(gè)排序比因子，并將排序比因子、權(quán)重和評分3個(gè)因素綜合考慮構(gòu)建評價(jià)模型。

定義1（排序比因子）：設(shè)被評價(jià)群體個(gè)體總數(shù)為N，待評價(jià)個(gè)體為F，F(xiàn)在指標(biāo)q上的得分值為s，群體中指標(biāo)q上得分值低于s的個(gè)體個(gè)數(shù)為N(F,q)，則F在指標(biāo)q上的排序比因子Q(F,q)為：

綜合考慮權(quán)重和排序比因子的綜合評價(jià)模型如公式（5）：

其中Snew為個(gè)體F在綜合模型下的綜合評價(jià)值，k為評價(jià)指標(biāo)個(gè)數(shù)，xi為F在指標(biāo)qi上的指標(biāo)值，φi為指標(biāo)qi對應(yīng)的權(quán)重系數(shù)，Q(F,qi)為個(gè)體F在指標(biāo)qi上的排序比因子值，λ為排序比因子對評價(jià)結(jié)果的影響程度參數(shù)，由人工設(shè)定。當(dāng)λ=0時(shí)，綜合模型等價(jià)于加權(quán)平均模型。

以表4的數(shù)據(jù)為例，共有F1～F4四個(gè)參評單位，q1～q4四個(gè)評價(jià)指標(biāo)，F(xiàn)1～F4 在q1～q4的評價(jià)結(jié)果分為A、B、C、D四個(gè)等級。q1～q4四個(gè)評價(jià)指標(biāo)的權(quán)重分別為0.2、0.3、0.3、0.2，λ設(shè)為0.2，等級A～D對應(yīng)的分值分別為100、80、60、40。則加權(quán)平均模型下F1的綜合評價(jià)值為

S=0.2×80+0.3×80+0.3×100+0.2×60=82 ；綜合權(quán)重和排序比模型下F1的綜合評價(jià)值為

類似地，可以計(jì)算出F2～F4在兩個(gè)模型下的綜合評價(jià)值，見表4。

表4 兩個(gè)評價(jià)模型的評價(jià)結(jié)果

從表4中可以看到，利用權(quán)重和排序比綜合模型可以進(jìn)一步獲得個(gè)體在群體中的相對表現(xiàn)，比如個(gè)體F1和F3，雖然兩者的加權(quán)平均值相同，但是F1的綜合模型值更高，表明F1在某些指標(biāo)上具有更好的相對表現(xiàn)。同時(shí)，利用兩個(gè)模型評價(jià)值之差，也可以判斷出個(gè)體在群體中的相對表現(xiàn)的整體情況。差值越大，表明相對表現(xiàn)越好。

3 方法實(shí)現(xiàn)和應(yīng)用情況

根據(jù)上述定義的指標(biāo)體系和評價(jià)模型，實(shí)際應(yīng)用中開發(fā)了本科教學(xué)狀態(tài)數(shù)據(jù)采集平臺(tái)，完成數(shù)據(jù)采集和質(zhì)量評價(jià)。數(shù)據(jù)采集平臺(tái)框架見圖1。

數(shù)據(jù)來源于兩個(gè)方面：一方面與學(xué)校教學(xué)管理系統(tǒng)對接，由系統(tǒng)自動(dòng)收集各二級學(xué)院各年度的客觀性教學(xué)狀態(tài)基礎(chǔ)數(shù)據(jù)，比如四級率、畢業(yè)率等；另一方面，需要專家評定打分的數(shù)據(jù)，由專家在平臺(tái)在線進(jìn)行評分。最后依據(jù)本文模型進(jìn)行二級學(xué)院本科教學(xué)質(zhì)量的綜合評價(jià)。

圖1 教學(xué)基礎(chǔ)數(shù)據(jù)采集平臺(tái)框架

我們所提方法在我校已經(jīng)進(jìn)行了實(shí)際應(yīng)用，對教學(xué)管理發(fā)揮了較好的支持作用。方法有如下優(yōu)勢：①評價(jià)指標(biāo)體系比較完整地概括了學(xué)校的主要教學(xué)質(zhì)量監(jiān)測點(diǎn)，也受到被評價(jià)單位的認(rèn)可。層次化的指標(biāo)體系與專家的指標(biāo)設(shè)定習(xí)慣相符，易于擴(kuò)充和變更，1-9標(biāo)度法的定性比較適合以專家經(jīng)驗(yàn)為基礎(chǔ)的初值設(shè)定。②利用AHP評價(jià)方法將定性和定量結(jié)合起來的優(yōu)勢，在專家定性比較的基礎(chǔ)上給出量化的權(quán)重值，能夠既充分發(fā)揮專家的宏觀判斷優(yōu)勢，又能彌補(bǔ)專家精確數(shù)值量化評價(jià)的困難，適合教學(xué)這樣復(fù)雜系統(tǒng)的特性。③在加權(quán)平均模型的基礎(chǔ)上引入排序比因子構(gòu)建評價(jià)模型，評價(jià)人員不僅能獲得個(gè)體的總體表現(xiàn)，同時(shí)能夠獲得更多的個(gè)體在群體中的相對表現(xiàn)信息。

4 結(jié) 語

高質(zhì)量的本科教學(xué)評價(jià)對提高教學(xué)質(zhì)量至關(guān)重要。我們結(jié)合高校本科教學(xué)質(zhì)量評價(jià)的關(guān)鍵問題，構(gòu)建基于AHP和排序比的高校本科教學(xué)質(zhì)量綜合評價(jià)方法。隨著收集數(shù)據(jù)的增多，下一步的工作中，我們將引入機(jī)器學(xué)習(xí)方法，研究基于機(jī)器學(xué)習(xí)的教學(xué)質(zhì)量評價(jià)方法。