基于模糊層次分析法的學科建設項目后評價指標體系

金 賽，魏法杰，張所鵬

北京航空航天大學，北京 100191

0 引言

學科建設就是指通過合理的規劃，對學科隊伍、基地、環境進行改善，促進學科發展，提升學科水平。加強學科建設不僅有利于調整和優化學校的學科結構和學科方向，充實師資隊伍，加強科研基地與科研環境建設，更有利于提高高層次創新型人才的培養質量，增強所在高等學校的整體實力，帶動高等教育整體水平的提高。

1993年2月13日，國務院啟動“211工程”，概括來說就是面向21世紀，重點建設100所左右的高等學校和一批重點學科點。通過“九五”“十五”期間的建設，“211工程”的學校在辦學條件、隊伍建設、人才培養、科學研究和服務社會等方面的能力得到很大的提升。目前，“211”工程已步入三期階段，一些大學的重點學科已基本形成特色，一些還正處于起步和建設階段，總結和借鑒前期的經驗教訓是當前工作的重中之重。

項目后評價起步于20世紀30年代，現在已廣泛應用于西方發達國家以及一些發展中國家的政府國會、國際金融組織和多邊機構，但其應用于“非工程項目”還處于探索階段。雖然國內外均有機構對學科進行排名和評估，教育部也從1994年開始對部分工科院校進行本科教學工作合格評價，國家自然科學基金也在一定程度上對科研項目進行了后評價，但在適合我國國情的學科建設方面，尚無統一權威機構或相關法規文件對學科建設項目進行后評價。

本文擬結合國內“211”工程一期二期開展情況構建學科建設項目后評價體系，旨在深入剖析項目活動實踐的過程，透視項目預期目標的達成情況，檢驗項目的合理合法性，解讀項目成敗的關鍵，系統科學地總結經驗，提出改進建議，從而有效避免失誤，為學科建設新項目建設提供可資借鑒的啟迪。

1 學科建設項目后評價指標體系構建原則

學科建設項目后評價指的是在學科建設項目已完成預定的建設計劃、接受審查驗收之后3～5年內，對學科建設的目的、建設過程、社會及環境影響、可持續性所進行的系統的客觀的分析。構建學科建設項目后評價指標體系需要把握一致性、科學性、可行性和動態性的原則，具體分述如下：

1）一致性

項目后評價有別于項目前評估，主要由于在項目開始前已經有了既定的標準，所以在進行學科建設項目后評價工作時，需要保持與項目目標的一致性。

2）科學性

學科建設項目有別于其他工程項目，許多產出價值無法用經濟值來衡量，也就無法計算經濟效益。因此，在進行評價時，需要科學設置評價指標，系統分析因果關系，使后評價結果全面客觀。

3）可行性

為保證學科建設項目后評價工作的切實開展，在指標選取時需考慮是否能定量賦值，數據采集是否方便可行；在制定實施及操作流程時需考慮是否能據此正常開展工作。

4）動態性

學科建設是一項復雜的系統工程，不可能一蹴而就，且基于原有學科基礎之上不斷投入建設。因此，學科建設項目后評價工作應該體現該學科通過一段時間的建設所取得的進展，既要立足于高校學科當前的實際，同時又要有開放、超前和創新意識。

2 后評價指標體系

2.1 建立三級層次結構

根據學科建設項目后評價體系的原則和邏輯框架，本課題采用三級層次型指標體系對學科建設項目進行后評價。將指標體系分為目標層、準則層和指標層3個層次，其中目標層指標即為學科建設項目后評價，指標層圍繞準則層進行設置。結合學科建設項目的特點，根據邏輯框架分析的結果，通過大量搜集和整理與學科建設項目的有關的評價指標設計案例，以及相關項目的后評價指標設計案例，確定8個二級指標：1）人才培養。碩、博士生培養質量，從目的角度進行后評價；2）師資隊伍。學術帶頭人和主要學術骨干的科研水平，從目的角度進行后評價；3）學科結構。學位、學科點設置，教材、課程改進情況，從目的角度進行后評價；4）條件建設。科研基地、大型精密貴重儀器設備建設情況，從目的角度進行后評價；5）科學研究。重大科研項目及對應經費，科研成果及其轉化情況，從實施過程角度進行后評價；6）學術活動。舉辦、參加重大學術會議情況，從實施過程角度進行后評價；7）社會經濟影響。項目對社會、經濟、科技發展的影響；8）可持續發展：項目的可持續發展情況。

在三級指標的選取時采用定性和定量相結合的分析方法。首先，根據現有資料結合確定的二級指標和邏輯框架，主觀確定三級指標，形成初步完整的指標體系；其次，利用德爾菲法將該指標體系以問卷調查方式問詢領域專家或其他實踐經驗豐富的相關人員，得到豐富的三級指標庫；第三，進行指標的相關性分析，去除相關程度高的指標，保持指標之間的相對獨立性，同時保證該二級指標下三級指標群的完備性，從而篩選出較為合理的三級指標；最后，將該指標體系再次問詢專家，得出較為一致的結果，結合共性和差異化因素形成最終的學科建設項目評價指標體系如表1所示。

表1 學科建設項目評價指標體系

2.2 設定權重

1）列寫判斷矩陣

判斷矩陣表示針對上一層的某因素，本層次有關因素之間的相對重要性。判斷矩陣的元素反映了各因素間的相對重要程度，通常采用德爾菲法咨詢專家意見，采用1～9的標度方法（見表3），構建出各級指標的判斷矩陣。

以準則層為例：

（1）構造初級判斷矩陣（aij）n×n，n為該層指標的個數。

（2）將初級判斷矩陣歸一化，得到新的判斷矩陣（bij）n×n。

2）計算權重

（1）各行元素相加求和得。

（2）歸一化向量得權重ω。

3）一致性檢驗

（1）計算最大特征根。

（2）進行一致性檢驗，平均一致性指標RI見表4。

當一致性檢驗通過時，設定的權重有效。其他各層指標按照這個方法計算可得，由此得出學科建設項目后評價項目指標體系的權重表。

2.3 方案評價

每個指標的當量主要參考項目前評估確定的指標、不同學科的行業標準，以及專家意見的統一結果。

采用問卷調查法，讓專家依據標準給各指標賦值，得到該方案的模糊互補判斷矩陣R，將各指標值加權計算，即可得到學科建設項目后評價結果S，在實例運用時，最好同時評估兩個不同高校的相同學科，以此來排除外界因素，總結出學科建設的實際成效。

3 結論

本文將項目后評價理論及方法引入學科建設中，結合我國學科建設項目的特點，通過分析邏輯框架，采用模糊層次分析法建立后評價指標體系。該體系可以用于對“211”工程一期、二期中已完成的重點建設學科進行后評價，找出實際情況與預期目標間的差異及其原因，以便提出應對策略，為三期工程更好地開展指引方向。