國內外典型教學研究項目評估方法比較分析

盧冰 屈芳

摘 要：本文針對教學研究項目的特點，進行了國內外項目評估方法的現狀分析，比較分析了國內外進行科技評估以來的主要的經典評估方法及其優缺點，為今后的教學研究項目評估工作中選擇適用的評估方法提供參考。

關鍵詞：教學研究項目；評估方法；對比分析；優缺點

中圖分類號：G724 文獻標識碼：A

一、引言

隨著全國科技創新大會的勝利召開，科技創新呈現在更加突出的位置。各大繼續教育機構也越來越重視通過開展教學研究創新來提升自身的綜合競爭力。采用教學研究項目評估，可提高資源的使用效率，為教學創新決策系統調整，學科布局提供科學依據和建議，使之更加適合機構事業發展的需要。

教學研究項目評估要遵循一定的原則、程序和標準，運用科學、規范的方法，對項目的執行過程以及目標實現程度、經費的使用管理、項目成果價值、項目社會影響與效益等方面進行綜合評價考核。如何選擇適用的項目評估模型和數據處理方法成為教學研究項目研究的重點。目前國內外科技評估的評估方法研究較為完善，本文總結了國內外在科技評估中形成的一些經典的評估方法，希望對教學研究項目評估方法的研究提供參考。

二、國內外典型科技評估方法的比較研究

國內外在科技評估方面采用的方法很多， 但就評估而言并沒有通用的方法庫。每種方法都有一定的使用范圍，而解決一個具體問題又常需結合多種方法。評估者在評估的實踐中， 應根據不同目的、對象確定不同方法或方法組合。這些方法通常可以劃分為定性評估方法和定量評估方法。

定性評估方法主要依靠評估者的洞察、分析能力，借助于以往的經驗和邏輯推斷能力來進行評估。定量評估主要以評估指標的統計數據為依據，建立評估數學模型，用數學運算求得評估結果，并以數量表示出來的一類評估方法。定性評估方法本身也包含需要量化的部分，而單純的定量評估方法得出的評估結果往往沒有意義。本文將目前比較常用的定性和定量的評估方法分為三類：專家評估方法（定性/定量）、文獻計量分析方法（定量）、數學分析方法（定量）。表1中對可參考的科技評估常用方法及其優缺點進行了總結。

（一）專家評估方法

專家評估方法是專家根據其多獲得的信息對評估要素（尤其是難以用客觀數據表示的因素）直接打分或做出定性判斷，包括同行評議方法、特爾斐（Delphi）法等。

1.同行評議法

英國是使用同行評議方法最早的國家，后來被逐漸引入政府投資的機構進行項目選擇。 同行評議法可以定義為“由從事該領域或接近該領域的專家來評定一項研究工作的學術水平或重要性的一種方法”。這種方法常常被科學界用來判斷工作程序的正確性，確認結果的可靠性以及對有限資源分配的公認性和特殊榮譽。

優點：一是應用最頻繁，經發達國家的實踐證明，效果較好、可信度較高。二是適用不同階段的評估。三是充分依靠科學家群體進行民主管理，在科學研究資源的分配中引入競爭機制，使得知識生產的要素優化配置。同行評議為科學共同建立了內部審查體系和榮譽機制，成為科學發展的一大動力源泉。

缺點：一是其假設條件是評議專家具有崇高科學的敬業精神和客觀、公正、務實的職業修養。這種假設條件卻容易缺乏有效的監督和控制。美國科學技術委員會的一項研究認為，同行評議像其他依賴于人的判斷方法一樣，受自己利益，特別是朋友關系和偏見的影響，容易形成“熟人關系網”，“老朋友網絡”。二是專家的選擇也存在難以避免的局限性。

2.特爾斐法

特爾斐法最早于20世紀50年代末由美國著名的咨詢機構蘭德公司提出并使用的。特爾斐法本質上是一種專家匿名反饋征詢法，它是對所評估的問題以問卷的方式征得專家的意見之后，進行整理、歸納以及統計，再匿名反饋給各專家，再次征詢意見，再進行整理、歸納以及統計，經過多輪反饋后，直到得到比較一致的意見。特爾斐法是一種群體決策技術，能夠有效的征求和提煉群體的意見，由于其可信度高，已迅速傳播到世界各國。

特爾斐法的基本程序大致分為4步：一是提出問題。二是選擇專家。三是開始多輪征詢程序，每輪都基本按照制定發放本輪調查問卷，手機問卷，統計歸納，形成下一輪調查問卷的程序循環進行。四是準備最后的結果分析報告。

優點：一是匿名：采取“背靠背”的方式，征詢過程不暴露專家的名字，每位專家也不知道共有多少位專家，哪些專家參與咨詢。在提意見時，沒有心理壓力，可暢所欲言。二是定量：能夠對大量非技術性的無法定量分析的因素做出概率估算。三是反饋：特爾斐法在每輪征詢中作出概率估算后會將概率估算結果反饋給專家，充分發揮了信息反饋的作用。四是趨向：特爾斐法經過多輪的征詢反饋，也充分發揮了信息控制的作用，將分散的評估意見逐次收斂，趨向一致。

缺點：一是費時：由于需要采取多輪征詢程序才會使得評估意見趨向一致，當輪次較多時，得到最后的結果分析報告相當費時。二是局限：當評估意見分散程度較大時，雖經過多輪反饋，仍可能出現意見不收斂的情況。

（二）文獻計量方法

文獻計量法用于分析科學研究活動始于19世紀末和20世紀初。文獻計量法是指利用出版物、專利、引文等科技評估指標進行評價的一種定量評估方法。在此，出版物和專利被認為是衡量產出能力的尺度，引文數則是衡量其工作結果影響力的尺度。基于文獻計量的科技評估是目前比較被認可的方法之一，具有客觀、量化、易于比較等特點，并能夠對科技產出能力等重要指標有較為直觀的評估。文獻計量法常采用的方法主要有出版物數量計量、著者數量計量、引文分析等。

優點：一是用客觀的數據取代了主觀判斷。二是它對所有的引證都基本做到公平公正。

缺點：一是作為研究成果發表的文獻數量與項目研究質量并不必然正相關。二是文獻被引用可能是因為個人關系、人為的自引等因素，很難表征質量上的差異。三是不同學科的引文率有差異。四是因存在期刊本身質量的差別，發表在不同期刊的論文質量可能具有極大差異。五是文獻計量法僅限于就論文、專著、專利等成果進行定量分析，不能全面度量科技產出的質量及影響。

（三）數學分析方法

科技不同階段的評估都是多屬性決策的問題， 既要對科技做出定性的評價， 又需要結合科學的評估方法得出定量的分析。在科技的評估實踐中，單純的專家評估或文獻計量方法往往不能滿足評估的要求，還需要進行量化處理，引入一些數學分析的方法，對科技做出全局性、整體性的評估。目前常用的數學分析方法主要有層次分析法、主成分分析法、效用函數法、模糊綜合評估法、灰色綜合評判法等。

1.層次分析法

層次分析法（Analytic Hierarchy Process 簡稱AHP）是美國匹茲堡大學運籌學家托馬斯？塞蒂（T.L.Saaty）于20世紀70年代初，在為美國國防部研究"根據各個工業部門對國家福利的貢獻大小而進行電力分配"課題時，提出的一種層次權重決策分析方法。它本質上是一種決策思維方式，它把復雜的決策問題分解為各個組成因素， 并將這些因素按支配關系分組，形成有序的遞階層次結構，通過兩兩比較的方式確定層次中諸因素的相對重要性， 然后綜合人的判斷以決定決策諸因素相對重要性總的順序。同時層次分析法能把決策過程中定性與定量因素有機地結合在一起，用一種統一的方式進行處理，既能保證模型的系統性、合理性，又能使決策管理專家充分運用其有價值的經驗與判斷能力。它是將決策者的思維過程實現數量化，從而解決多目標、多層次、多準則決策問題的方法。AHP體現了人們決策思維的基本特征，即分解、判斷、排序、綜合。此方法是20世紀70年代初期美國匹茲堡大學運籌學家托馬斯？塞蒂（T.L.Saaty）創立的。

使用層次分析法建立數學模型可分為5步：一是建立遞階層次結構模型；二是構造兩兩比較判斷矩陣；三是層次單排序；四是層次總排序；五是層次總排序一致性檢驗。

優點：層次分析法是一種定性定量分析相結合的決策方法，對主觀判斷作定量描述，加之其所具有的系統性、靈活性、綜合性、簡便性和準確性的特點，使其成為非常實用的決策方法，并得到了廣泛應用。層次分析法十分適用于具有定性的或定性、定量兼有的決策分析，其核心功能是對方案進行排序選優，為管理者提供定量形式的決策依據。

缺點：層次分析法得出的結果是粗略的方案排序。在適用過程中，無論是建立層次結構還是構造判斷矩陣，人的主觀判斷、選擇對結果的影響較大，使得該方法主觀成分較大，應用上存在局限性。

2.主成分分析法

主成分分析（Principal Component Analysis，PCA）是由卡爾（Karl）和皮爾遜（Pearson）最早在1901年提出，只不過當時是應用于非隨機變量。1933年霍蒂林（Hostelling）將這個概念推廣到隨機向量。PCA也被稱為主分量分析， 是多變量的分析技術之一，用于分析數據和建立數理模型。它是利用原變量之間的相互關系，用較少的新變量代替原來較多的變量，利用降維的思想， 在保留原有指標所包含信息的基礎上，通過統計分析把多指標轉化為少數幾個彼此不相關的綜合指標的一種統計分析方法。

優點：一是避免了評價過程中權重確定的主觀性和隨意性，評價結果比較符合實際情況；二是可消除評估指標之間的相關影響；三是可減少指標選擇的工作量；四是計算比較規范，便于計算機實現。

缺點：一是主成分的解釋其含義一般多少帶有點模糊性，不像原始變量的含義那么清楚、確切，這是變量降維過程中不得不付出的代價。二是主成分分析法中，需首先保證所提取的前幾個主成分的累計貢獻率達到一個較高的水平（即變量降維后的信息量須保持在一個較高水平上），其次對這些被提取的主成分必須都能夠給出符合實際背景和意義的解釋（否則主成分將空有信息量而無實際含義）。

3.效用函數法

效用函數的研究最早可追溯到18世紀數學家丹尼爾？伯努利（Danniel Bernoulli）關于“圣彼得堡悖論（St.Petersburg Paradox）”的研究。科技項目評估指標眾多，需要用到多指標體系下的評估方法。對于多指標綜合評價，簡單的思想是：將多個評價指標進行同度量化，然后再按照一定得合成模型加權求得總評價值。多指標體系下的各指標同度量化一般采用效用函數評價方法。所謂效用， 是對總目標的效能價值或貢獻大小的一種測度。在風險決策的情況下， 可用效用來量化決策者對待風險的態度。通過效用這一指標， 可將某些難以量化、有質的差別的事物（ 事件） 給予量化，將要考慮的因素折合為效用值， 得出各方案的綜合效用值，再進行決策。

優點：方法簡單和可操作性強。

缺點：科技評價指標體系中，不同類別的科技指標的重要程度有所不同，而效用函數法中的權重是由評估人員主觀確定的，因此科學性有所欠缺，往往評估結果與實際狀況出入較大。

4.模糊綜合評估法

模糊綜合評判最早是由我國學者汪培莊1980年提出的，這一應用方法深受廣大科技工作者的歡迎和重視，并且得到廣泛的應用。模糊綜合評價法（Fuzzy Comprehensive Evaluation，簡稱FCE）是以模糊數學為基礎，應用模糊關系合成的原理，對受到多種因素制約的事物或對象， 將一些邊界不清的、不易定量的因素定量化， 進行綜合評價的一種方法。即把待考察的模糊對象以及反映模糊對象的模糊概念作為一定的模糊集合，建立適當的隸屬函數，并通過模糊集合論的有關運算和變換，對模糊對象進行定量分析。

優點：一是數學模型簡單，容易掌握；二是所得結果為一向量，克服了傳統數字學方法結果單一的缺陷，結果包含的信息豐富；三是較好地解決了評估指標和評估標準模糊性的問題， 克服了人的主觀臆斷， 增強了評估結果的說服力和準確性；四是能較全面地匯總各評價主體的意見，綜合反映被評對象的優劣程度。

缺點：一是各因素權重的確定帶有一定的主觀性； 二是不能解決評價指標間相關造成的信息重復的問題；三是在某些情況下，隸屬函數的確定有一定困難，過于繁瑣。

5.灰色綜合評判法

1982年，中國學者鄧聚龍教授創立的灰色系統理論，是一種研究少數據、貧信息、不確定性問題的新方法。灰色系統理論以“部分信息已知，部分信息未知”的“小樣本”“貧信息”不確定性系統為研究對象，主要通過對“部分”已知信息的生成、開發，提取有價值的信息，實現對系統運行行為、演化規律的正確描述和有效監控。灰色綜合評判法就是基于灰色系統理論，在已知信息不充分的前提下，評判具有模糊因素的事物或現象的一種方法，在某一時段所處的狀態， 針對預定的目標，通過系統分析，做出一種介于定性與定量之間的評價與描述， 以便在更高的層次上，對系統的綜合效果與整體水平形成一個可供比較的概念與類別。

優點：一是不需要大量的樣本；二是從等級的不明確性出發，具有較高的分辨力；三是最大程度的綜合考慮了每一個樣本數據對最終評價結果的影響，得出的結論在理論上更符合被評對象的本原屬性；四是可以用于評定等級，也可用于排序選優。

缺點：一是現在常用的灰色關聯度量化模型不能全面反映事物之間的關系；二是不能解決評價指標間相關造成的評價信息重復問題，指標的選擇對評判結果影響很大。

綜上所述，每種方法各有利弊，項目評估應針對不同評估階段，選擇一種或多種方法進行全方面的綜合評估。而對繼續教育機構的教學研究項目而言，不僅要評估項目本身，還要評估項目對教學的成效以及對繼續教育機構的貢獻度，做出定性評價的同時，也應根據具體指標情況、結合各種方法的優缺點開展定量分析。

三、結語

近十多年來，國內外也出現了一些新的評估模型和方法，因其理論上無重大突破，未能完全克服經典方法中存在的局限性，故近十幾年的評估實踐中，仍然還是這些比較經典的評估方法和模型起主導作用。

評估是事物價值在人的意識中的反映，其本身具有主觀性。本文通過對可參考的國內外經典的科技評估方法梳理，對比研究發現，教學研究項目評估工作中，首先應制定規范的評估程序，針對不同的評估對象、不同的評估指標體系，選用適用的評估模型和數據處理方法，也可對經典的評估方法加以修正改造，盡量縮小評估中的差異性，使評估方法具有減弱或消除主觀因素成分的功能，以期獲得更加可靠的評估信息，適應特定的評估對象，提高評估的科學性。

參考文獻

[1]吳述堯.同行評議方法論[M].北京：科學出版社，1996.

[2]周琳，殷學平.科研項目評估方法的研究[J].解放軍醫院管理，2002（1）.

[3]趙煥臣等.層次分析[M].北京：科學出版社，1986.

[4]陳挺.效用函數法.決策科學與系統工程[M].北京：中國國防科學技術出版社，1990.

[5]郭齊勝，郅志剛，楊瑞平.裝備效能評估概論[M].北京：國防工業出版社會，2005.

[6]吳健峰.基于模糊規則的現代教學評價的研究與實現[D].上海：華東師范大學，2007.

[7]張麗娜.AHP-模糊綜合評價法在生態工業園區評價中的應用[D].大連：大連理工大學，2006.

[8]陳海素.基于AHP和模糊評判法的土地利用總體規劃實施評價研究[D].福州：福建師范大學，2008.

[9]杜棟，龐慶華，吳炎.現代綜合評價方法與案例精選[M].北京：清華大學出版社，2011.