構建國家開放大學信息化評價體系

文/孫雨 鮑赟力 王楠

隨著信息技術不斷發展，信息技術已滲透到各行各業，并產生重大影響，尤其近幾年對教育行業的影響日益凸顯。國家開放大學作為一所技術與教育深度融合的新型大學，不斷探索新技術在教育行業的應用。近年來，國家開放大學不斷探索云平臺、云教室以及學習平臺等各種信息化項目的建設，每年投入信息化項目建設的費用預算占比逐年增大。經過多年信息化項目的建設和開展驗收試用，收集用戶對驗收后平臺使用意見，雖然國家開放大學一直在探索研究信息化項目立項和驗收的流程規范并落地，但隨著學校信息化建設項目規模日漸增大，項目的建設進度、項目質量難以滿足實際業務需要。

信息化項目出現進度、質量和成本等問題是各單位信息化項目管理發展歷程中必然階段。項目存在延期交付、預算超支或質量不達標的情況，分析其原因發現，70%項目失敗不是技術問題造成的，而是項目管理不到位引起。國家開放大學在信息化項目建設過程中同樣存在項目延誤、項目質量難以達到用戶滿意以及成本失控等項目管理的諸多問題。

信息化項目進度、質量、成本和建設內容等在項目推進中存在的問題，究其原因主要是是信息化建設項目推進過程中缺乏過程監控與評價。探索研究建設評價體系，強化項目管理，規范項目推進工作，總結項目經驗，提升項目取得成效。通過建立評價體系，不僅能夠改善當前信息化項目進度、質量和進度不可控的問題，減少項目需求頻繁變更。信息化項目評價從項目的可行性分析到最終交付的全過程評價，既包括研究項目本身可行性分析，也包括分析項目建設的發展意義和戰略的價值。

體系的價值與意義

信息化項目管理為保證項目能夠按照客戶預期交付，而針對進度、質量、成本等方面進行的管理與控制。設計國家開放大學信息化項目評價體系的主要目標是規范項目管理、加強項目過程控制、提升項目質量，保證信息化項目保質、按時、按需完成。評價指標體系的價值與意義：

1.縮短信息化項目工期

分析項目工期延長原因，改善工期延長的現狀，針對項目進度設立合理的進度評價指標。監控跟蹤項目完成情況，對比項目計劃之間，按照項目里程碑分析項目推進落實計劃情況，及時規避延期的風險。不斷分析總結信息化項目進度評價數據，實現縮短項目工期。

2.提升信息化項目質量

通過建立信息化項目質量評價指標，及時了解信息化項目存在的質量缺陷，分析、識別項目存在的質量風險。如信息化項目出現偏離質量指標要求，進行風險防控，有助于項目質量的改善、提升。

3.加強信息化項目成本控制

建立信息化項目成本評價指標，分析信息化項目經濟可行性、預算及實際費用進行分析，根據分析結果對項目成本進行相應調整，項目推進中有效控制成本，建立項目成員的項目成本意識，嚴格按照項目預算支出項目的成本費用。

通過建立信息化項目評價指標體系，反映信息化項目建設需求、進度、成本及質量等各個要素之間相互聯系、相互制約的指標，用來檢查、監督信息化項目建設情況。構建信息化項目評價指標體系，對信息化項目進行多維度考核評價，并根據評價情況總結項目建設經驗，分析不足，提出改進意見，進一步做好信息化項目管理。建立信息化項目評價指標體系，需采用簡單易行、可用、好用的評價方法，對信息化項目進行科學合理的評價，以便于項目評價體系的采納和推廣應用，切實促進學校信息化項目工作高效有序推進。

設計原則

信息化項目評價體系設計與實現需統籌考慮項目推進過程中的人為主觀因素以及已有技術條件和環境等客觀因素，從定性與定量兩方面科學嚴謹進行評價信息化項目。建設項目平臺指標體系，遵循科學、可操作和可評價等設計原則。為使國家開放大學信息化項目評價系統能夠全面、客觀、科學地衡量和評價項目，在研究和設計評價指標體系時，應遵循以下原則。

1.整體性原則

項目管理中十個重要管理方面，其中進度、成本、質量是最為重要的三個方面，其相互制約，不能孤立、片面進行考量，單一評價任何一個方面都是片面的、不科學。單一控制項目進度，而不考慮項目的成本與質量，往往容易造成項目雖然按期完成，但是項目成本超支嚴重，項目質量難以達標等問題。信息化項目評價整體統籌設計、系統考量，使評價體系設計更合理，避免顧己失彼。

圖1 信息化項目評價指標體系

2.科學性原則

評價指標體系在設計理論、方法和指標等方面均體現科學性，在評價指標的構建理論參考項目管理理論知識，考慮評價指標的科學合理性，指標體系細分避免重復和交疊，具體指標的定義避免二義性，獨立而不沖突，能夠科學真實評價信息化項目整體情況。

3.可操作性原則

評價體系具有可操作性才存在設計的價值和意義。可操作性要求評價指標定義易懂、簡單而不繁瑣，從實際出發，可切實指導信息化項目。評價指標簡單要求而不繁瑣，過于簡單達不到評價的意義，而過于繁瑣會讓評價指標流于紙面難于應用。信息化項目指標設計既要考慮設計的可行性，更為重要考慮指標的可操作性。

體系的構建

1.設計思路

梳理信息化項目推進中存在的問題，針對項目管理中的建設內容、進度、質量和成本等核心要素建立評價體系。構建國家開放大學信息化項目評價體系，逐步確定評價范圍、構建評價指標以及確定指標數據源：確定評價范圍，包括項目評價階段、領域等整體評價范圍；構建評價指標，針對信息化項目建設內容、進度、成本、質量等評價內容設立相應的考核指標，并保證各個評價指標可考核、可度量，能夠客觀對信息化項目進行客觀評價。針對評價指標的數據源進行分析與確定，保證信息化項目執行過程中評價數據源的有效獲取與收集。

2.指標內容

依據信息化項目評價指標體系的設計原則，結合國家開放大學信息化項目現狀進行分析研究，嘗試提出信息化項目評價指標體系。該體系自頂向下劃分為指標項分層劃分三層:頂層稱為目標層，第二層稱為準則層，第三層稱為指標層，具體如圖1所示。

體系的準則層由項目范圍、項目進度、項目成本、項目質量和項目團隊五個準則指標構成，每個準則內容又由具體指標項構成。指標體系中各指標具有含義及評價內容。

項目范圍是項目整個建設的內容，由四個指標組成，其具體的評價內容為：可研分析是評價項目是否進行可行性研究以及可研報告完成的內容是否完整、可研報告是否進行專家論證；需求分析是項目是按照項目需求要求進行分析、是否有需求分析報告、需求分析報告內容是否完整、準確以及需求分析是否經過需求評審等內容；項目設計是項目是否按照需求分析報告進行概要設計和詳細設計、設計是否合理可行以及設計是否通過評審等；控制范圍是項目是否進行需求確認、項目范圍是否進行變更管理以及項目是否防止需求蔓延等。

項目進度是評價項目推進進度的完成情況，由四個指標組成，其具體的評價內容為：項目立項是評價項目是否符合立項要求、是否進行立項審批以及立項審批具體意見進行完善；項目執行是項目是否按照項目計劃執行、完成相應的階段性工作要求；項目驗收時評價項目是否開展相應的驗收組織、是否邀請業務部門參與驗收以及驗收材料是否完整等；控制進度是評價是否對項目進度出現的問題采取有效的措施、是否進行進度風險分析和控制。

項目成本是評價項目推進成本的完成情況，由四個指標組成，其具體的評價內容為：項目預算是評價項目是否進行項目預算申請、是否通過預算審批；項目估算是評價項目是否按照需求進行詢價、是否進行項目費用估算以及估算結果是否合理；項目結算是評價項目是否及時進行項目費用的結算、項目費用結算是否準確無誤；控制成本是評價項目是否按照預算費用、費用增加是否進過變更審批流程、增加費用是否在合理范圍等。

項目質量是評價項目推進以及項目產品完成情況，由三個指標組成，其具體的評價內容為：管理質量是評價整個項目推進過程管理水平如何；功能質量是評價項目產品是否滿足功能要求；性能質量是評價項目產品是否滿足安全性要求、可靠性要求、可維護性要求以及快速訪問要求等。

項目團隊是評價項目推進中項目團隊人員情況，由三個指標組成，其具體的評價內容為：團隊組建是評價項目是否安排合適的人員到項目中、項目人員是否都及時按需到位、人員是否承擔項目的工作；團隊建設是評價是否開展團隊管理提高團隊效率、是否開展相應的培訓提高團隊人員工作能力；項目溝通是評價項目團隊成員之間是否建立溝通機制、項目匯報是否有明確的方式和要求、項目成員之間溝通是否暢通。

2.權重分配

信息化項目評價指標涉及項目內容、成本、質量和進度等多方面，評價指標因素涉及定量和定性兩方面的數據來源。指標體系中各個指標的權重系數是設計項目評價指標體系的重要組成部分，設計權重系數是設計項目評價指標體系的重要環節。結合信息化項目涉及定性和定量雙重因素，其指標權重分配采取層次分析法(AHP：The analytic hierarchy process)。層次分析法是上個世紀美國薩蒂教授提出的一種權重決策方法，被廣泛應用到評價方法中。

（1）構建判斷矩陣

薩蒂教授對層析分析法中兩兩元素對比重要程度劃分了9個標度，根據標度構建指標元素的判斷矩陣，即指標i對比指標j的標度為判斷矩陣aij值。層次分析法按指標因素的重要性9個標度詳見表1。

表1 層次分析法標度及含義

通過德爾菲法確定每個元素之間的比較系數。德爾菲法（Delphi method），別名專家意見法。在項目評價的過程中，確定專家小組，指定調查問卷，各專家間避免相互干擾，采用背對背評價的方式，各自提交專家意見。組織者匯總統計專家意見，調整形成新一輪調查問卷，再次征集專家意見。通過多輪調查、反饋，使每位專家能夠給出相似的結論，并進行匯總。因為專家為獨立評價，因此，德爾菲法可充分采納個人的意見，能夠有效規避被調查人之間相互的影響。

采用德爾菲法，設計信息化項目評價指標重要性調查問卷，聘請校內外信息化相關專家對指標的重要性進行打分，專家數量必須為單數，不宜人數太少，以9位或11位專家為宜。匯總專家打分情況，并對專家打分加權平均，逐一兩兩對比指標的重要性，分別構建評價體系的各層判斷矩陣。

表2 判斷矩陣A 及其相對權重向量

表3 判斷矩陣B1 及其相對權重向量

表4 判斷矩陣B2 及其相對權重向量

表5 判斷矩陣B3 及其相對權重向量

表6 判斷矩陣B4 及其相對權重向量

表7 判斷矩陣B5及其相對權重向量

（2）計算判斷矩陣權重

評價指標體系各層的判斷矩陣權重系數借助Excel自帶函數計算得出，分別利用Product函數、Power函數計算出判斷矩陣“按行相乘”、“開n次方”兩個值，用“開n次方”除以所有“開n次方”之和得出“權重Wm,n”，“權重Wm,n”所在矩陣行與權重列分別相乘之積為“AWm,n”，“權重Wm,n”除以“AWm,n”之商為“Awm,n/Wm,n”。逐一得出判斷矩陣及權重向量，具體參數分別見表2～7。

表8 隨機一致性指標R I

表9 判斷矩陣一致性檢驗結果

表10 信息化項目評價指標體權重分配

（3）判斷矩陣的一致性檢驗

國家開放大學信息化項目種類多，項目評價體系指標涉及面廣泛，雖然在構建判斷矩陣的賦值中采用德爾菲專家意見法進行加權平均，減少不少人為因素干預，仍不可避免在判斷矩陣的評價指標重要性的判斷上存在一些偏差。根據層次分析法推算步驟要求，需對判斷矩陣進行一次性檢驗，以判斷權重分配的合理性。根據判斷矩陣Awm,n/Wm,n的平均值（λmax：最大特征根），利用CI=(λmax-n)/(n-1) 公式中計算一致性參數CI。當CI=0時，判斷矩陣具有完全一致性，而CI 越小，矩陣的一致性越好，反之越差。

進一步判斷一致性參數是否在合理滿意的范圍，通過一致性比率進行檢驗。通過CR= CI/ RI公式計算出一致性比率CR，其中RI為平均隨機一致性指標，表8給給出了平均隨機一致性指標RI 的值。通過CR值檢驗判斷矩陣一致性是否在接受合理范圍內，當CR＜ 0. 1 時，具有滿意合理的一致性，判斷矩陣合理可接受，否則需對判斷矩陣進行重新賦值推導。

根據CR計算公式以及各個判斷矩陣的CI值，分別計算每個判斷矩陣的CR值。從表9看出計算結果CR值均小于0.1，判斷矩陣具有合理的一致性要求，表明信息化項目指標表體系設計過程邏輯正確，設計指標參數合理有效。

根據表2～7計算各層的權重值，計算出各指標合成權重，并將合成權重轉化為百分制，以方便用于評價信息化項目。利用層次分析法推導得出國家開放大學信息化項目評價體系各指標和權重，見表10。

國家開放大學雖已規范信息化項目建設及運維，起草信息化項目管理規范、流程和工具。但是，規范制度是否執行落地，以及執行是否到位需要監督評價機制。通過剖析國家開放大學信息化項目中的問題，避免歷史問題重蹈覆轍，以項目管理中范圍、進度、成本和質量四個項目管理核心要素以及項目團隊因素，基于定性和定量的分析方式，采取層次分析法形成國家開放大學信息化項目評價指標體系，期望以體系評價促使信息化項目建設逐步趨勢形成“多、快、好、省”的理想狀態：高質量、高效率、低成本超額完成項目。信息化項目評價指標體系側重在項目執行和后期評價，做好信息化項目需調動項目關系人的積極性、規防項目風險等諸多方面的探索研究。