王淑慧 戴菁菁
(北京化工大學經濟管理學院,北京 100029)
基礎研究一般有三種類型:以認識自然現象、揭示客觀規律為主要目標的探索性研究工作;以解決社會發展以及科學自身發展產生的重大科學問題為目的的戰略導向性研究工作;系統地對基本科學數據、資料和信息進行考察、采集,并進行綜合評價和分析,以探索科學基本規律的基礎性工作。近年來,基礎研究科技項目作為科學探索、技術進步活動的主要載體,對于我國的社會經濟發展有著重要的戰略意義。隨著我國與世界各國對基礎研究的財政投入逐年增加,如何科學地評價基礎研究科技項目投入產出的績效成為各國科技管理部門重點關注的核心問題。
基礎研究科技項目績效評價的理論研究的起步階段開始于從20世紀50年代到70年代,在評價目標上注重項目效益,科技項目績效評價方法上以同行評議為原型的定性評議方法為主,如Delph i法。20世紀70年代到90年代是科技項目績效評價理論的豐富發展階段,出現一些定量評議方法,包括文獻計量和成本—效益法,為科技項目績效評價的實踐提供新的思路。20世紀90年代中后期到21世紀初,隨著知識經濟、信息技術的快速發展形成了科技項目績效評價方法創新的浪潮,如應用較為廣泛的AHP法、模糊綜合評價法、熵權法等。評估重點也由效益轉向公平和質量,突破了傳統評價模式的單一價值取向,納入了多元的價值準則。在評價指標方面,有關質量和顧客滿意度指標在評估指標體系中大幅度增長。21世紀初至今以來,不同學科的交叉應用對于科技項目績效評價的發展提供了新的契機。如與信息科學、系統控制學、認知科學等新興領域的結合使評價技術不斷成熟,科學化程度提高。
基礎研究科項目績效評價其中最為經典的邏輯模型,也叫邏輯框架法,其核心思想是事物層次間的因果邏輯關系,即項目工作的活動過程、產出、最初結果、中間結果和未來結果的邏輯關系排列起來的結果鏈。一些學者諸如Millar和Julian把它運用于政府計劃以及績效評價中。McLaughlin和Jordan通過對科技計劃的投入、活動、產出、結果與影響進行綜合分析而實現科技計劃績效評價的目的。從微觀層面,Grilinches研究基礎研究的社會回報率,對美國10130多家大公司研究開發績效產生的影響進行分類研究,這些公司的研究開發投資實際上可以視為一種投入過程。我國學者張鳳珠等基于邏輯模型,對受政府資助的科技項目進行了系統分析。
目前,基礎研究科技項目績效評價采用多指標綜合評價方法。設置指標之前首先應明確指標設置的原則,為后續的指標分解做出導向,Bao在構建科技創新能力評價指標時提出以下五個原則,科學性、綜合性、導向性、實踐性和動態持續性。Erik A rnold和Katalin Balazs等總結了國際上科學同行評估基礎研究績效所參考的績效標準原則主要有適當性、經濟性、效力、效率、效能、科研性能、科研質量、影響、增加收益、轉移收益、方法改進以及計劃發展戰略等12個方面。在確定指標設置原則后,必須進行指標的進一步細化篩選工作。績效評價體系初步構成時,對應于具體方法,應首先把復雜問題分解成稱之為元素的各組成部分,以形成不同層次。研究表明,最合理的指標體系的層次為3~4層,即:目標層、準則層、因素層。
當前常用的績效評價方法可分為三類:第一類是定性評價方法,例如同行評議法等;第二類是定量評價方法,如熵權法、因子分析法等;第三類是定性與定量評價方法組合評價方法。
在定性評價方法研究中,章磊、閻波等在明晰國家自然科學基金資助內涵的基礎上,選取了1986~2008年國家自然科學基金委信息科學部面上項目作為分析對象,用同行評議法從資助過程和結果兩個方面評價其資助績效狀況。為了克服人為因素的干擾,對于同行評議時的主觀性,楊亮,杜紅梅將投影尋蹤評價模型應用于科技項目評審專家績效評價中,根據投影值的大小對專家績效進行評價分析。這種方法規避了同行評議的主觀性,為科技項目評審專家績效評價提供了一種新的思路。定量評價方法應用方面,DEA法是學術界使用較為廣泛的一種方法,運用DEA方法對科技項目進行績效評價,操作較為簡便,但是需要的數據量較大。如張利華以海淀區科技計劃項目為例,找出影響科技項目績效水平的因素,運用DEA法對科技項目進行了績效排名。由于基礎研究科技項目績效評價的樣本數據較少,對績效評價的研究開展造成一定阻礙,賴迪輝認為支持向量機(SVM)算法最為適合解決這個問題。
定性與定量評價方法組合,是依照一定的數學思想將定性評價結果和定量評價結果組合起來,運用一定的數理算法計算得到一個綜合的評價結果。該過程體現定性評價和定量評價方法的結合。如王艷芳、劉云等對于不同的指標分別采用了熵權法和專家調查法確定權重。層次分析法(AHP)是目前在科技項目績效評價中使用最廣泛的方法之一,在績效指標的權重賦權時一般將德爾菲法和層次分析法結合起來,對指標進行科學的測度。Wang使用AHP法評價了制藥行業的科技創新能力。在此基礎上,我國一些學者對AHP法進行了改進。尹航結合具體指標的特點和數據特征,引入粗糙集信息熵理論,建立了基于AHP-Entropy方法的科技成果轉化績效評價模型,之后又建立了基于AHP-灰色定權聚類分析方法評價模型。
通過分析上述理論和實證研究的國內外文獻,本文發現,隨著對基礎研究科技項目績效評價研究認識的不斷深入,盡管相關文獻在績效評價模型、指標體系設計依據、指標選取、評價方法選擇、指標權重確定和案例研究等方向取得了一定的研究成果,仍存在如下問題:
在基礎研究科技項目績效評價模型與指標體系構建方面,現有科技項目績效評價文獻,缺乏針對基礎研究,尤其基礎研究科技項目績效評價的理論模型構建研究。大多數文獻并未針對基礎研究科技項目的特點進行指標體系構建并選取指標,僅評價其創新性成果的科學價值,未評估其廣泛的社會影響價值。
雖然基礎研究科技項目績效評價指標賦權與評價方法的研究文獻較多,但是多為理論性探討,未考慮賦權與評價方法應用過程中的相關技術問題。現有研究文獻中評價方法的主要不足是,定性評價方法有一定的主觀隨意性,基礎研究科技項目績效評價涉及多行業、多政府部門,由不同行業領域、部門的專家形成的專家組客觀存在背景差異,采用定性評價法可能導致評價結果的合理性難以形成廣泛認可。定量評價方法計算出來的實際結果有時與預期結果差異較大,同時評價結果易受所選指標樣本隨機誤差的影響。定性與定量評價方法組合不能完全規避定性賦權及評價方法的主觀性;同時績效評價定性與定量方法組合時一般都使用已有方法的組合,創新性不足;幾種評價及賦權方法的相容性未得到進一步驗證。
在績效評價指標選取與測評方面,基本為理論探討,缺乏結合科技項目案例的應用與驗證。大部分研究并未將相關項目案例的績效評價作為試點,將研究結果加以應用,在應用過程中進行總結、分析,以發現指標選取、模型構建方面的問題,并改進、調整相關指標,因而其研究成果不能達到修正完善科技項目績效評價模型的目的。
針對當前基礎研究科技項目績效評價政策的發展沿革和對基礎研究科技項目績效評價研究的文獻研究,本文認為:
第一,現有研究主要以歐美發達國家的科技項目評價體系研究為參照,尚未考慮我國科研管理的環境適用性與政策特殊性。的確,績效本身是一個不斷發展變化的動態過程,對我國的科技項目進行績效評價也是一個主觀對客觀的認識過程。因此,深入挖掘并選擇全面體現國家利益的相關指標,探求適合我國國情、政策環境的基礎研究科技項目績效評價模型與指標體系原創性研究范式,對探索性與戰略性基礎研究分別設置不同側重目標進行研究。促使不同性質的基礎研究科技項目良性發展。
第二,在評價方法方面,學術界需要現有通過不同賦權和評價方法的比較和組合,才能探索出適用于我國科學研究現狀的基礎研究科技項目績效評價的指標賦權和評價方法,為開展基礎研究科技項目績效評價提供理論與技術支持,為政府進行科技評價和決策提供可供選擇的方法與路徑。
第三,采集權威、大量相關科學數據,構建包括科技項目、科技機構、科技成果等方面的基礎研究績效評估完備數據庫,對基礎研究科技項目指標的科學性與合理性進行案例驗證,也應是該領域研究的發展新機遇。在利用基礎研究績效評估的結果方面,基礎研究科技項目績效評價與財政預算資金分配、信用管理體系健全等方向的結合也值得深入探索。