高校信息化項(xiàng)目實(shí)施績效的模糊評價(jià)研究

李文全，徐素萍，彭新東

（韶關(guān)學(xué)院 信息工程學(xué)院，廣東 韶關(guān) 512005）

高校信息化項(xiàng)目是以促進(jìn)信息技術(shù)與教育教學(xué)深度融合為理念，以現(xiàn)代信息技術(shù)為手段，旨在全面促進(jìn)高校教學(xué)改革和教育發(fā)展的新建、擴(kuò)建的工程項(xiàng)目［1］.由于高校信息化項(xiàng)目建設(shè)過程中存在機(jī)構(gòu)改革、需求變更、資源調(diào)整等風(fēng)險(xiǎn)因素，常常導(dǎo)致項(xiàng)目進(jìn)度超期和成本超支，難于達(dá)到預(yù)期效果，造成資源浪費(fèi)和大量的重復(fù)建設(shè)［2］.開展高校信息化項(xiàng)目實(shí)施績效評價(jià)，找出制約教育信息化發(fā)展的因素，為信息化建設(shè)提供改進(jìn)依據(jù)和發(fā)展導(dǎo)向，是當(dāng)前高校教育信息化工作的核心內(nèi)容.

信息化項(xiàng)目績效評價(jià)的重要性已經(jīng)引起了關(guān)注，并提出了相關(guān)的信息化績效評價(jià)體系［3］.但研究多是側(cè)重于企業(yè)信息化項(xiàng)目的評價(jià)，沒有結(jié)合高校教育領(lǐng)域特點(diǎn)，存在評價(jià)指標(biāo)不明確、結(jié)果難量化的問題，不能直接運(yùn)用于高校信息化項(xiàng)目實(shí)施績效的評價(jià).筆者在詳細(xì)分析信息化項(xiàng)目建設(shè)各階段的特點(diǎn)基礎(chǔ)上，找出影響項(xiàng)目績效的關(guān)鍵因素，構(gòu)建了基于項(xiàng)目立項(xiàng)、項(xiàng)目過程、項(xiàng)目成效、項(xiàng)目發(fā)展的高校信息化項(xiàng)目實(shí)施績效的評價(jià)模型，并采用了層次分析法確定了各評價(jià)指標(biāo)權(quán)重，利用模糊綜合評價(jià)法對評價(jià)結(jié)果進(jìn)行了量化，最后通過具體實(shí)例驗(yàn)證了模型的有效性.

1 模糊綜合評價(jià)模型

高校信息化項(xiàng)目實(shí)施績效評價(jià)的目的是通過科學(xué)的方法，客觀地評價(jià)項(xiàng)目實(shí)施績效，使決策者及時(shí)掌握項(xiàng)目實(shí)施的成效，為優(yōu)化教育信息化發(fā)展策略提供依據(jù).高校信息化項(xiàng)目實(shí)施績效評價(jià)過程分為兩步：一是構(gòu)建科學(xué)的評價(jià)指標(biāo)體系；二是采用模糊數(shù)學(xué)方法綜合評價(jià).

1.1 評價(jià)指標(biāo)體系的構(gòu)建

1.1.1 評價(jià)內(nèi)容

高校信息化項(xiàng)目實(shí)施過程分為項(xiàng)目立項(xiàng)、項(xiàng)目過程、項(xiàng)目成效、項(xiàng)目發(fā)展等4個(gè)階段.評價(jià)項(xiàng)目實(shí)施的績效需要對每個(gè)階段進(jìn)行科學(xué)合理地評價(jià).

（1）項(xiàng)目立項(xiàng).項(xiàng)目立項(xiàng)是項(xiàng)目實(shí)施之前的階段，需要評價(jià)項(xiàng)目的來源和項(xiàng)目的意義，包括項(xiàng)目必要性、程序規(guī)范性、需求充分性.項(xiàng)目必要性指當(dāng)前信息化項(xiàng)目建設(shè)的重要性和開發(fā)任務(wù)的迫切性；程序規(guī)范性指項(xiàng)目立項(xiàng)流程的合規(guī)性，主要評價(jià)立項(xiàng)依據(jù)，專家評審意見、招投標(biāo)流程；需求充分性指項(xiàng)目用戶對信息化項(xiàng)目需求的明確程度，包括功能的完整性和技術(shù)的可行性.

（2）項(xiàng)目過程.項(xiàng)目過程是指項(xiàng)目開始到正式投入使用的過程，需要評價(jià)項(xiàng)目的實(shí)施質(zhì)量，包括投資控制、質(zhì)量控制、進(jìn)度控制.投資控制指在項(xiàng)目投資預(yù)算條件下，評價(jià)各種費(fèi)用開支的合理性；質(zhì)量控制指在達(dá)到項(xiàng)目目標(biāo)的要求下，評價(jià)采取的技術(shù)措施和管理措施的有效性；進(jìn)度控制指對工作進(jìn)度進(jìn)行時(shí)間的控制，評價(jià)項(xiàng)目計(jì)劃執(zhí)行的合理性.

（3）項(xiàng)目成效.項(xiàng)目成效是指項(xiàng)目投入使用后，分析項(xiàng)目運(yùn)行的關(guān)鍵指標(biāo)監(jiān)測數(shù)據(jù)，評價(jià)項(xiàng)目的應(yīng)用效果，包括用戶滿意度、系統(tǒng)性能、業(yè)務(wù)集成、決策輔助、穩(wěn)定性和安全性.用戶滿意度是評價(jià)項(xiàng)目對流程優(yōu)化、效率提高、成本節(jié)約、服務(wù)改進(jìn)、工作條件改善而使用用戶滿意的程度；系統(tǒng)性能是評價(jià)項(xiàng)目的響應(yīng)時(shí)間、可靠性、易用性、技術(shù)成熟性和硬件利用率；業(yè)務(wù)集成是評價(jià)項(xiàng)目與內(nèi)外部業(yè)務(wù)系統(tǒng)的協(xié)同程度，包括數(shù)據(jù)采集規(guī)范性和數(shù)據(jù)共享的便利性；決策輔助是評價(jià)項(xiàng)目輔助各層決策的科學(xué)性和準(zhǔn)確性；安全性是評價(jià)項(xiàng)目的安全等級、數(shù)據(jù)災(zāi)備和數(shù)據(jù)加密情況.

（4）項(xiàng)目發(fā)展.項(xiàng)目發(fā)展是指項(xiàng)目的可持續(xù)性發(fā)展的能力，需要評價(jià)項(xiàng)目運(yùn)行維護(hù)、可擴(kuò)充性、組織保障和廠商質(zhì)量.運(yùn)行維護(hù)是根據(jù)項(xiàng)目日常運(yùn)行情況，評價(jià)項(xiàng)目可維護(hù)性，主要包括日常運(yùn)行的穩(wěn)定性、維護(hù)的及時(shí)性、工作日志的規(guī)范性和項(xiàng)目文檔的完整性；可擴(kuò)充性是評價(jià)項(xiàng)目適應(yīng)新環(huán)境和新業(yè)務(wù)的能力，包括功能擴(kuò)展、技術(shù)擴(kuò)展和業(yè)務(wù)擴(kuò)展；組織保障是評價(jià)項(xiàng)目管理機(jī)構(gòu)的完整程度和人員配置的健全程度；廠商質(zhì)量是評價(jià)實(shí)施項(xiàng)目廠家的質(zhì)量，包括廠家資質(zhì)、響應(yīng)時(shí)間、問題解決能力.

1.1.2 構(gòu)建評價(jià)指標(biāo)體系

在詳細(xì)分析影響各階段績效關(guān)鍵因素的基礎(chǔ)上，遵循科學(xué)性、全面性和可操作性原則，提出了高校項(xiàng)目實(shí)施績效的評價(jià)指標(biāo)，并通過信息化項(xiàng)目管理者和使用者的訪談和調(diào)研，修正與完善了指標(biāo)體系，見表1.

表1 高校信息化項(xiàng)目績效評價(jià)指標(biāo)體系

1.2 綜合評價(jià)指標(biāo)體系權(quán)重

為了科學(xué)、全面地評價(jià)高校信息化項(xiàng)目實(shí)施績效，需要確定各指標(biāo)的權(quán)重.評價(jià)指標(biāo)權(quán)重的合理與否很大程度上影響綜合評價(jià)的正確性和科學(xué)性［4-6］.

1.2.1 基于層次分析法的指標(biāo)權(quán)重方法

層次分析法是一種定性與定量相結(jié)合的系統(tǒng)分析和決策的方法，它將影響項(xiàng)目實(shí)施績效的各指標(biāo)，劃分為相互關(guān)聯(lián)的層次結(jié)構(gòu)，并對每一層次的各指標(biāo)進(jìn)行相對重要性的比較，計(jì)算出各層次指標(biāo)的權(quán)重，進(jìn)而得到相對目標(biāo)的權(quán)重［7-8］.其基本步驟主要有幾個(gè)方面［9-10］.

（1）根據(jù)指標(biāo)屬性分類，建立評價(jià)指標(biāo)的層次結(jié)構(gòu).

（2）構(gòu)造各層成對比較矩陣.采用兩兩比較法，在同一目標(biāo)下評價(jià)兩個(gè)指標(biāo)之間的重要性，并用1~9分制標(biāo)示重要度，從而構(gòu)造各層成對比較矩陣A=（aij）n×n，其中各標(biāo)度含義為（同等重要、稍微重要、明顯重要、強(qiáng)烈重要、極端重要），對應(yīng)的標(biāo)度值為（1、3、5、7、9），標(biāo)度2、4、6、8表示重要性介于兩奇數(shù)之間的中值.

（3）計(jì)算層次權(quán)重；采用和積法，分別計(jì)算各個(gè)成對比較矩陣的最大特征根和對應(yīng)特征向量.計(jì)算步驟如下：

Step1：將成對比較矩陣按列進(jìn)行歸一化處理，得到矩陣B：

Step2：將歸一化處理后的矩陣B按行相加，得到向量元素ri：

Step3：對向量R=（r1，r2，…rn）T歸一化處理，得到向量元素wi：

其中，向量W=（w1，w2，…wn）T即為成對比較矩陣的特征向量.

Step4：計(jì)算最大特征根λmax：

Step5：為了減少不同人員對重要性的評判差異，確保評判結(jié)果與實(shí)際相符，需要對結(jié)果進(jìn)行一致性檢驗(yàn)，其檢驗(yàn)公式為：

其中，RI為平均隨機(jī)一致性指標(biāo)，它與矩陣階數(shù)n有關(guān)，當(dāng)n為3，4，5時(shí)，對應(yīng)的RI值為0.58，0.89，1.12.當(dāng)CR＜0.1時(shí)，則檢驗(yàn)通過；否則修正成對比較矩陣.

1.2.2 確定綜合評價(jià)指標(biāo)體系權(quán)重

采用多輪匿名調(diào)查方式，利用層次分析法計(jì)算出了高校信息化項(xiàng)目實(shí)施績效評價(jià)指標(biāo)的層次權(quán)重和相對目標(biāo)層權(quán)重，具體結(jié)果見表1.在相對評價(jià)目標(biāo)的權(quán)重中，用戶滿意度（0.218）、投資控制（0.152）、系統(tǒng)性能（0.096）、項(xiàng)目必要性（0.088）、決策輔助（0.087）是權(quán)重最大且最重要的5個(gè)評價(jià)指標(biāo)，是影響高校信息化項(xiàng)目績效的關(guān)鍵指標(biāo).為了提高信息化項(xiàng)目實(shí)施績效，可重點(diǎn)加強(qiáng)關(guān)鍵指標(biāo)內(nèi)容的管理，優(yōu)化關(guān)鍵指標(biāo)的實(shí)施水平.

1.3 模糊綜合評價(jià)

模糊綜合評價(jià)是以模糊數(shù)學(xué)為基礎(chǔ)的綜合評價(jià)方法，能較好地解決指標(biāo)難于量化的問題，比較適用于高校信息化項(xiàng)目實(shí)施績效涉及到的非確定因素［11-12］.主要步驟如下：

（1）建立評價(jià)對象指標(biāo)集U，假設(shè)當(dāng)前評價(jià)對象的指標(biāo)有m個(gè)，則指標(biāo)集U＝｛U1，U2，…，Um｝.

（2）建立評價(jià)等級集V＝｛V1，V2，…，Vn｝＝｛高，較高，一般，較低，低｝，各等級對應(yīng)的測量標(biāo)度為G＝｛5，4，3，2，1｝.

（3）確定各層指標(biāo)的模糊隸屬度矩陣D=（dij）m×n，表示第i個(gè)指標(biāo)評為第j個(gè)等級的隸屬程度，即：

（4）綜合評價(jià)：根據(jù)各指標(biāo)層的模糊隸屬矩陣右乘權(quán)重向量，得到各級指標(biāo)的模糊綜合評價(jià)集：Mi=（mij）1×n=W1×mDm×n.

（5）量化結(jié)果：將模糊綜合評價(jià)集與等級標(biāo)度值相乘，得到指標(biāo)的量化結(jié)果S=MiGT.

2 模型應(yīng)用

2.1 評價(jià)過程

為了驗(yàn)證高校信息化項(xiàng)目實(shí)施績效評價(jià)模型的有效性，以某高校辦公自動化項(xiàng)目實(shí)施為例，邀請了3名項(xiàng)目管理者、3名行業(yè)專家和4名學(xué)者共10人，對項(xiàng)目實(shí)施績效進(jìn)行打分，得到二級指標(biāo)的模糊隸屬度，見表2.

表2 指標(biāo)的模糊隸屬度表

根據(jù)公式Mi=（mij）1×n=W1×mDm×n計(jì)算一級指標(biāo)的模糊隸屬度，其中項(xiàng)目立項(xiàng)的隸屬度為（0.437，0.289，0.174，0.1，0），項(xiàng)目過程的隸屬度為（0.397，0.279，0.145，0.1，0.079），項(xiàng)目成效的隸屬度為（0.479，0.266，0.157，0.098，0），項(xiàng)目發(fā)展的隸屬度為（0.382，0.255，0.2，0.163，0）.同樣方法，計(jì)算出目標(biāo)層的模糊隸屬度為（0.443，0.272，0.159，0.104，0.022）.最后，根據(jù)公式S=MiGT，得到最終評價(jià)結(jié)果為4.010 4.

2.2 評價(jià)結(jié)果分析

針對評價(jià)結(jié)果進(jìn)行分析，首先，該校辦公自動化項(xiàng)目實(shí)施績效綜合評價(jià)得分為4.010 4，達(dá)到“較高”水平.同時(shí)，目標(biāo)層的模糊評價(jià)為“高，較高，一般，較低，低”的隸屬度分別為0.443，0.272，0.159，0.104，0.022，根據(jù)最大隸屬度原則，該項(xiàng)目實(shí)施績效評價(jià)結(jié)果為“高”水平，因此，綜合分析可以得出該高校辦公自動化項(xiàng)目實(shí)施績效達(dá)到“較高”等級，但還有優(yōu)化空間；其次，影響目標(biāo)層的項(xiàng)目立項(xiàng)、項(xiàng)目過程、項(xiàng)目成效、項(xiàng)目發(fā)展的綜合評價(jià)得分為4.064、3.815、4.127、3.855，說明項(xiàng)目立項(xiàng)和項(xiàng)目成效階段的績效水平達(dá)“較高”等級，而項(xiàng)目過程和項(xiàng)目發(fā)展的績效水平則處于一般和較高等級之間；最后，根據(jù)綜合評價(jià)結(jié)果可知，該項(xiàng)目實(shí)施偏弱環(huán)節(jié)在于項(xiàng)目過程，如需進(jìn)一步提高信息化項(xiàng)目實(shí)施績效，應(yīng)著重提高項(xiàng)目過程管理，尤其是要加強(qiáng)具有較大權(quán)重的投資控制環(huán)節(jié)的管理.

3 結(jié)語

開展高校信息化項(xiàng)目實(shí)施績效評價(jià)，有利于準(zhǔn)確把握信息化項(xiàng)目的應(yīng)用現(xiàn)狀和存在問題，找出制約信息化發(fā)展的關(guān)鍵因素，對促進(jìn)高校教育信息化發(fā)展具有重要意義.在分析高校信息化項(xiàng)目實(shí)施的特點(diǎn)的基礎(chǔ)上，構(gòu)建了模糊綜合評價(jià)模型.采用層次分析法確定了評價(jià)指標(biāo)的權(quán)重，采用模糊評價(jià)方法，實(shí)現(xiàn)了評價(jià)結(jié)果的量化.最后結(jié)合具體實(shí)例開展評價(jià)，結(jié)果表明，該模型簡單實(shí)用，不僅能夠評價(jià)高校信息化項(xiàng)目的各階段實(shí)施績效水平，還能夠?yàn)閮?yōu)化高校信息化建設(shè)提供指導(dǎo)建議.