基于用戶視角的教學管理信息化建設(shè)績效評價

黃波 朱昌平 黃健元 李峰

摘要：教學管理信息化建設(shè)是高校數(shù)字化校園建設(shè)的重要組成部分，作為建設(shè)對象的教學管理信息系統(tǒng)是師生使用最頻繁、登錄人數(shù)最多、涉及面最廣的教學管理業(yè)務(wù)平臺，體現(xiàn)了高校教學管理信息化水平。在教學管理信息化建設(shè)的立項招標、實施管理、結(jié)項驗收、升級維護等各個環(huán)節(jié)，如何控制風險，提高效率，實現(xiàn)建設(shè)項目綜合績效最大化，是用戶最關(guān)切的問題。運用層次分析法，從用戶視角構(gòu)建了教學管理信息化建設(shè)績效評價指標體系，建立了綜合績效評價模型，分析了教學管理信息化建設(shè)績效評價結(jié)果。通過對教學管理信息系統(tǒng)立項招標階段的績效評價案例應(yīng)用分析，表明該指標體系和評價模型在教學管理信息化建設(shè)績效評價過程中簡單易行，可靠有效。該評價指標體系和模型為高校在教學管理信息化建設(shè)過程中實現(xiàn)風險控制、進行綜合績效評價和科學決策提供了理論依據(jù)。

關(guān)鍵詞：教學管理信息化；績效評價；教學管理信息系統(tǒng)；層次分析法

中圖分類號：CJ434

文獻標識碼：A

2018年4月教育部發(fā)布的《教育信息化2.0行動計劃》中指出， “完善教育管理信息化頂層設(shè)計” “提高教育管理信息化水平” “優(yōu)化教育業(yè)務(wù)管理信息系統(tǒng)，深化教育大數(shù)據(jù)應(yīng)用，全面提升教育管理信息化支撐教育業(yè)務(wù)管理、政務(wù)服務(wù)、教學管理等工作的能力”。中國電化教育事業(yè)奠基人南國農(nóng)先生早在2002年就指出，教育管理信息化建設(shè)是我國教育信息化建設(shè)的三大領(lǐng)域之一，主要任務(wù)是建立和完善學校教育管理信息系統(tǒng)，實現(xiàn)各級教育管理目標[1]。在《教育信息化2.0行動計劃》中，將教育管理信息化作為“教育治理能力優(yōu)化行動”的主要內(nèi)容，體現(xiàn)了新時代教育管理信息化對提升高校教育管理水平、提高綜合治理能力、促進教育現(xiàn)代化的重要作用。

眾所周知，教學管理是高校教育管理的重要部分，是進行人才培養(yǎng)的主要管理職能。教學管理工作具有專業(yè)性強、數(shù)據(jù)量大、關(guān)聯(lián)度高和重復勞動多等特點，早期的教學管理事務(wù)全部或部分依賴人工操作，隨著高校辦學規(guī)模的擴大，教學管理要求的提高和教育教學改革的推進，面對成倍增加的教學管理數(shù)據(jù)和信息，傳統(tǒng)的人工操作或低水平信息化管理模式，已無法實現(xiàn)教學管理大數(shù)據(jù)對教育教學改革的保障和決策作用。因此，從上世紀八十年代開始，信息技術(shù)（Information Technology）與教育教學開始融合，由最初的工具和手段，逐漸融入到人才培養(yǎng)和教育教學的全過程[2]。

教學管理信息化將高校教學管理人員從大量繁瑣、復雜的數(shù)據(jù)處理和報表展示等工作中解放出來，同時，通過教學管理數(shù)據(jù)挖掘為決策層制訂政策提供參考和依據(jù)。相對其他業(yè)務(wù)管理，高校教學管理信息化建設(shè)具有周期長、環(huán)節(jié)多、與校內(nèi)其他業(yè)務(wù)系統(tǒng)對接和數(shù)據(jù)共享頻繁等特點，建設(shè)過程中容易出現(xiàn)業(yè)務(wù)功能無法實現(xiàn)，系統(tǒng)安全系數(shù)偏低，建設(shè)經(jīng)費超預算等風險源[3]，因風險失控極易導致教學管理信息化項目建設(shè)任務(wù)無法按期完成、建設(shè)目標無法全部實現(xiàn)、結(jié)項驗收無限延期、售后服務(wù)沒有保障等問題。因此，科學有效的教學管理信息化建設(shè)績效評價，是管控建設(shè)風險、保障教學管理信息化可持續(xù)發(fā)展的基礎(chǔ)和前提。

國內(nèi)外大量的機構(gòu)和專家、學者對教育信息化評價的框架、方法和指標進行了研究，如世界銀行信息項目促進發(fā)展項目組（infoDev）、聯(lián)合國教科文組織（UNESCO）、英國的學校信息化自我評估組織（The Self-review Framework.SRF）和美國的高校信息化項目組（Campus Computing Project，CCP），以及R.L.Nolan（1993）[4]、W.R.Synnott（1987）[5]、Mische（1999）[6]等，主要針對教育信息化項目中的硬件設(shè)備、信息資源和發(fā)展階段模型等提出了評估辦法，其中美國高校信息化項目（CCP）的評價框架根據(jù)學校信息化建設(shè)的重點不同而適時調(diào)整。近年來，隨著國內(nèi)信息技術(shù)的發(fā)展，以及信息技術(shù)與教育教學的深度融合，教育信息化績效評價已成為當前教育技術(shù)研究領(lǐng)域的前沿和熱點。國內(nèi)的教育信息化評價模型主要有“六要素模型”[7]、CIPO模型[8]和平衡記分卡模型[9]等。在評價指標方面，聯(lián)合國教科文組織（UNESCO）應(yīng)用績效評價指標，從定性和定量兩個方面、三個層次對世界各國教育信息化應(yīng)用情況的評價指標進行了分析，美國的STaR評估量表[10]、英國的SRF[11]分別從四個維度、六個要素對學校信息化進行評價。國內(nèi)學者魏理豪（2014）[12]、謝幼如（2015）[13]、田生湖（2018）[14]、岳洪江（2016）[15]等分別從不同視角、多種維度，采用各種方法構(gòu)建了教育信息化建設(shè)和應(yīng)用績效評價的指標體系。

根據(jù)信息化發(fā)展階段理論模型[16]，教學管理信息化是一個動態(tài)的過程，一般可分為系統(tǒng)建設(shè)和系統(tǒng)應(yīng)用兩個階段。綜合文獻整理和調(diào)研情況發(fā)現(xiàn)，信息化績效評價是當前信息化領(lǐng)域的研究熱點，但大部分研究成果都集中在信息系統(tǒng)的應(yīng)用績效評價上，對建設(shè)績效評價不多，專門針對教學管理信息化建設(shè)的績效評價研究極少。在評價指標方面，大而全、宏觀層面的指標體系居多，小而精、中（微）觀層面、針對性強的教學管理信息化建設(shè)績效評價指標體系和模型缺乏。通常情況下，教學管理信息化建設(shè)常見的有三種模式：高校自主開發(fā)建設(shè)模式（簡稱“自主模式”）、軟件供應(yīng)商提供標準版教學管理信息系統(tǒng)模式（簡稱“標準模式”）和高校和軟件供應(yīng)商聯(lián)合建設(shè)模式（簡稱“共建模式”）。為找出影響教學管理信息化建設(shè)績效的主要因素和一般規(guī)律，通過對三種模式的利弊分析，選擇大部分高校采用的“共建模式”開展績效評價研究。

通過構(gòu)建教學管理信息化建設(shè)績效評價指標體系和綜合評價模型，為用戶在教學管理信息化建設(shè)過程中實現(xiàn)風險控制、開展績效綜合評價和科學決策提供理論依據(jù)。

一、教學管理信息化建設(shè)績效評價的內(nèi)涵及特點

（一）績效評價與教學管理信息化績效評價

績效評價（Performance Measurement.PM）的概念最早源自西方工業(yè)社會，指基于目標對過程、結(jié)果的評判與衡量。在管理學中，績效評價的過程為：根據(jù)評價指標體系，綜合運用數(shù)理方法，開展定性定量分析，對過程和效果作出綜合評判[17]。新時代教育信息化的內(nèi)涵是，將信息技術(shù)作為教育系統(tǒng)性變革的內(nèi)生力量，促進信息技術(shù)與教育深度融合，推動教育現(xiàn)代化發(fā)展。教學管理信息化建設(shè)是教育信息化建設(shè)的組成部分，與教學管理信息化應(yīng)用共同組成教學管理教育信息化的主要內(nèi)容。教學管理信息化建設(shè)績效評價是指，信息技術(shù)與教學管理深度融合過程中，借助于教學管理信息化建設(shè)績效評價指標體系，對建設(shè)實施過程中所產(chǎn)生的效益進行客觀、公正和準確的綜合評判。

根據(jù)層次分析法建模原則，在調(diào)研和專家打分的基礎(chǔ)上，依次得到準則層，以及“系統(tǒng)性能”“服務(wù)質(zhì)量”“經(jīng)濟因素”的一致性檢驗情況（如表2所示）。

再次，進行層次單排序。在本評價指標體系中，即為計算3個一級指標Bl，B2，B3對總目標A重要性次序的權(quán)值，以及7個二級指標Bll，B12，…，B17對一級指標Bl，5個二級指標級B21，B22，…，B25對一級指標B2，4個二級指標級B31，B32，…，B34對一級指標B3重要性次序的權(quán)值。

最后，進行層次總排序。通過上述從上到下的逐層計算，已得出相鄰兩層中下層對上層的相對重要性排序值，通過公式3構(gòu)建的綜合績效評價模型，可計算出二級指標B_ij二級對于總目標A的相對重要性總排序（如表3所示）。

公式3中，Wi為Bi對應(yīng)的相對權(quán)重，Wij為Bi中第j個評價指標Cij對應(yīng)的相對權(quán)重。

（五）結(jié)果分析

從教學管理信息化建設(shè)績效評價的指標體系二級指標對總目標的合成權(quán)重及排序結(jié)果可以看出：

通過層次總排序可看出，在一級指標中， “系統(tǒng)性能B1”和“服務(wù)質(zhì)量B2”所占權(quán)重遠超“經(jīng)濟因素B3”，說明隨著高校對信息化工作的重視，愿意加大信息化建設(shè)投入。同時，各信息化建設(shè)單位，對教學管理信息系統(tǒng)的性能、軟件供應(yīng)商的服務(wù)質(zhì)量提出了更高要求，要求軟件供應(yīng)商提供性能更優(yōu)越、服務(wù)質(zhì)量更高的教學管理信息化產(chǎn)品。

排序前50%的二級指標依次為“系統(tǒng)架構(gòu)Cll” “固定技服C25” “響應(yīng)時間C21” “數(shù)據(jù)并發(fā)C12”“報價總額C31”“開發(fā)方式C22”“系統(tǒng)安全C13”和“用戶體驗C14”，權(quán)重之和達總權(quán)重的84%，說明在教學管理信息化建設(shè)中，這些因素是影響教學管理信息化建設(shè)效果的核心因素，用戶應(yīng)重點關(guān)注，并采取必要的措施降低建設(shè)風險，提高建設(shè)效率。

排序后50%的指標為影響教學管理信息化建設(shè)效果的主要因素，是經(jīng)過調(diào)研、案例實踐和專家論證篩選出的，針對不同教學管理信息化建設(shè)項目或隨著技術(shù)進步，有的指標重要性將進一步加強。如排序第11的“訂制功能C15”指標，隨國家“雙一流”建設(shè)的實施，許多學校都相繼推出了“一流本科行動計劃”或“一流人才培養(yǎng)計劃”，吹響了新一輪教育教學改革的號角，對高校教學管理信息化提出了新要求。為滿足這些新要求，標準版的教學管理信息系統(tǒng)功能必須進行改進、優(yōu)化甚至訂制開發(fā)，因此， “訂制功能C15”指標重要性提升也是教學管理信息化發(fā)展的必然趨勢。

三、案例應(yīng)用與分析

H高校因信息化建設(shè)需要，需進行新綜合教學管理信息系統(tǒng)立項建設(shè)，經(jīng)用戶前期市場調(diào)研、項目可行性分析等流程，現(xiàn)進入軟件供應(yīng)商招標采購環(huán)節(jié)，經(jīng)初步審核，共有3家軟件公司（A、B、C）符合應(yīng)標條件。3家公司都是國內(nèi)知名的教育信息化軟件供應(yīng)商，在國內(nèi)市場占有較大份額，其中A公司是近幾年來發(fā)展迅猛的綜合性的教育信息化軟件供應(yīng)商，除教學管理信息系統(tǒng)外，業(yè)務(wù)范圍覆蓋數(shù)字化校園多個業(yè)務(wù)領(lǐng)域，B公司和C公司以教學管理信息軟件為主，有多年的教學管理信息系統(tǒng)研發(fā)經(jīng)驗。招投標之前，3家公司業(yè)務(wù)人員均向用戶介紹了各自研發(fā)的教學管理信息系統(tǒng)產(chǎn)品。招標過程中，由用戶代表、信息化專家組成的招標專家考評組，根據(jù)投標文件及現(xiàn)場質(zhì)詢，對3家公司進行了綜合測評。對每個指標的評價分為5個等級，用“5分” “4分”“3分” “2分”“1分”分別對應(yīng)“好”“較好”“中等”“較差” “差”。由多名專家對每家公司的每個指標進行評分后取平均值。綜合評價得分為：

公式4中，F(xiàn)為該公司綜合得分，Wi為每個評價指標對應(yīng)的權(quán)重，為專家對該評價指標打分的平均值，n為評價指標的數(shù)量。通過綜合評價可以看出，B公司的綜合績效評價得分高，建議B公司承擔該校的教學管理信息管理信息化建設(shè)（如表4所示）。

除了上述的立項招標環(huán)節(jié)，在教學管理信息化建設(shè)實施、運行管理、升級維護的各個環(huán)節(jié)，都可以參考此流程進行績效綜合評價。在建設(shè)實施過程中，可以通過對照建設(shè)目標和實施實況，進行績效評估后控制項目的建設(shè)風險，改變項目尾款的支付方式和結(jié)項驗收時間，提高項目建設(shè)效率。在運行管理過程中，通過分析績效評價指標體系中各指標的權(quán)重值，明確項目運行管理的重點，制訂有針對性的教學管理信息系統(tǒng)運行管理方案。在教學管理信息系統(tǒng)升級維護等后續(xù)建設(shè)管理過程中，能參考教學管理信息化建設(shè)項目實際建設(shè)的績效評價情況，確定教學管理信息化升級維保單位。

四、結(jié)語

教學管理信息化建設(shè)伴隨著高校教育教學改革的不斷推進，系統(tǒng)的架構(gòu)將越來越復雜，功能越來越繁多，與其他業(yè)務(wù)系統(tǒng)進行數(shù)據(jù)共享和系統(tǒng)對接將是未來教學管理信息化發(fā)展的主流趨勢。從用戶視角對教學管理信息化建設(shè)階段的綜合績效評價構(gòu)建科學指標體系和模型，可以實現(xiàn)建設(shè)過程中的風險控制和科學決策，對提高高校教學管理水平、保障教學改革順利進行奠定了基礎(chǔ)。

參考文獻：

[1]南國農(nóng).教育信息化建設(shè)的幾個理論和實際問題（上）[J]電化教育研究，2002，（11）：3-6.

[2]王正青.唐曉玲.信息技術(shù)與教學深度融合的動力邏輯與推進路徑研究[J]電化教育研究，2017，（12）：59-65.

[3]餞冬明，羅安妮等.教育信息化項目風險評估指標體系的構(gòu)建[J]中國電化教育，2017，（1）：94-100.

[4] Nolan R L_croson D C，Seger K N.The Stages Theory：A Frame work forIT Adoption and OrganizationaILearning[M].Bos[on：Harvard.BusinessSchool Puhling，1993.

[5] Synnott William R. The Information Weapon： Winningcuslomers andMarket With Technology[M].New York：Wiley，1987.

[6] Mische Michael A. Reengineering：System Integration Success[M].JohnWyzalek，1999.

[7]呂新奎中國教育信息化[M].北京：電子工業(yè)出版社，2002.

[8]張進寶.從“六要素模型”到“CIPO”模型：教育信息化研究思路的再審視[J].中國電化教育，2008，（10）：5-9.

[9]顧小清，林陽等.區(qū)域教育信息化效益評估模型構(gòu)建[J]中國電化教育，2007，（5）：23-27.

[10] TheCEO forum school technology and technology report[DB/OL].http：//www2.uca.es /lace/documentos/99report.pdf，2018-03-20.

[11]王煒，黃黎兇.國內(nèi)外基礎(chǔ)教育信息化評估述評[J]中國信息技術(shù)教育，2008，（12）：13-15

[12]魏理豪，王甜等基于層次分析法的信息系統(tǒng)實用化評價研究[J]科技通報，2014，30（2）：143-146.

[13]謝幼如，常亞潔.績效導向的教育信息化評價模型的構(gòu)建[J]中國電化教育，2015，（1）：56-60.

[14]田生湖，姚建峰等.高校教育信息化治理績效評價研究[J]電化教育研究，2018，（3）：29-34.

[15]岳洪江，徐歡基于期望一滿意測評的高校信息系統(tǒng)績效評價研究[J]現(xiàn)代情報，2016，36（7）：51-57.

[16]張聰.高校教育信息化評估的成熟度模型建構(gòu)及其應(yīng)用研究——以河南省高校為例[D]上海：上海外圍語大學，2017.

[17]楊杰，方俐洛等.關(guān)丁績效評價若干基本問題的思考[J].自然辨證法通訊，2001，23（2）：40-50

[18]徐建，吳砥等區(qū)域教育信息化發(fā)展水平評估系統(tǒng)設(shè)計與實現(xiàn)[J]現(xiàn)代教育技術(shù)，2018，28（2）：120-126.

[19]謝幼如，鄭云翔.引領(lǐng)與推動：教育信息化績效評價[M]北京：高等教育出版社，2016：5.

[20] Saaly T L Analytic Hierarc，hy Process[M].New York：John Wiley&Sons，L[d，2001.19-20.

[21]杜棟，龐慶華等.現(xiàn)代綜合評價方法與案例精選[M].北京：清華大學出版社，2013.14-24.