摘要:文章時人文社會科學成果評價的環境與條件進行了思考。認為:無論是用科學計量學方法進行定量評價,還是用同行評議方法進行定性評價,都應該重視評價信息源的建設;從學術成果發表開始,凈化學術環境;構建社會科學成果查新體系,參與成果創新性測評等等。關鍵詞:人文社會科學;評價信息;學術環境;成果查新中圖分類號:03
文獻標志碼:A
文章編號:1008-5831(2010)01-115-04
人文社會科學成果評價的復雜性,決定了這是一個永恒的討論話題。也是一個難于使研究結果盡如人意的探索領域。但它又是一個現實中非常需要的研究課題。社會科研人才隊伍的建設需要成果評價,科研資源的合理分配需要成果評價,科研機構改革也需要成果評價。凡涉及到人才評價、項目評價、機構評價的各種問題,都繞不過科研成果評價這一關鍵環節。由此可見,做成果評價這一課題不可存有絲毫一蹴而就的心理,需要對這一課題涉及到的各種因素進行長期的觀察與思考。盡管有些問題令人百思不得其解,但總可以提出供大家一起探討。
最近幾年,筆者一直在關注與思考中國的人文社會科學評價問題,期間感觸最深的就是評價的環境問題。今后的研究中,既需要不斷完善成果評價的指標與評價體系,更需要在評價實踐中繼續優化人文社會科學研究的評價環境。這樣才能在評價條件的具備、評價數據的獲取及評價工具的使用方面,為評價指標與評價體系的具體實踐提供操作上的支持。具體來說,引起筆者思考最多的問題有如下幾個方面。
一、重視評價信息源建設。兩類數據庫同時加強
信息哲學告訴我們,任何評價活動都離不開評價信息這一評價中介,只有它才能將評價主體與評價客體相聯系。無論是用科學計量學方法進行定量評價,還是用同行評議方法進行定性評價,都是如此。
科學計量學方法是以各種文獻信息(此時可以叫文獻計量學方法)、網絡信息(此時可以叫網絡計量學方法)與科學研究活動有關的各種信息(此時可以叫科學計量學)作為評價信息,對其中的可用信息進行統計分析后,發現規律并得出評價結果。科學計量學方法所用的評價信息,實質上是一種間接評價信息。因此,各種文獻數據庫的收錄范圍、引文數據庫來源期刊的選擇與覆蓋面,以及數據加工過程中的信息損失率,等等,這些因素在建庫之初就決定了將要進行的評價會出現哪種結果。只要評價信息的源頭不變,無論你采用什么科學先進的計量學方法都無法從根本上改變評價結果。所以,當我們看一份評價報告時,一定要先搞明白它用的評價信息源是什么,采用的是哪個機構的數據庫,這個數據庫的數據來源與加工程序大致如何。這一點對正確認識與客觀對待評價結果是非常必要的。同時,為了增強評價結果的可信度,對評價信息的數據庫建設需要提出更高的要求與更大的支持。
同行評議方法是通過評議專家的主觀判斷來得出評價結論的。那么,評議專家判斷時依據的是什么?仍然是信息,一方面是評價客體即參評成果所反映出的信息,另一方面是評價專家即評價主體儲存在大腦中的學術信息與經驗信息。這兩種信息在專家的責任心與職業道德指引下,進行復雜的信息匹配與價值判斷,從而得出或評語或打分各種形式的評價結論。然后,再用科研管理方法與程序對專家的評價結果加以整合匯總,最后得出結論,從而完成對研究成果的一次評價活動。從此可以看出,在參評成果的評價信息充分呈現的前提下,決定評價結果的關鍵是評價專家,這里對評價專家的選擇,類似于科學計量學方法中對來源數據庫的選擇。從評價信息來源的角度解釋,就是參評成果的信息要充分,評價專家的選擇要嚴格。比如諾貝爾評獎的組織就是一個很好的例子,組織中既有諾貝爾委員會,又有諾貝爾研究所;諾貝爾委員會成員有權參加授獎的討論和表決,諾貝爾研究所的職能在于協助相應科學的諾貝爾委員會對評獎項目進行調查研究,并從事相應學科的科學研究活動。諾貝爾委員會必須決定,對哪一個項目應該予以特別的調查研究,并為這樣的調研做出安排。凡是沒有提交專門調研的項目和候選人,均不列入評獎范圍。
但是,對于“人情”很重的中國來說,評價專家的選擇與專家作用的發揮是最容易出問題的一個環節。這里有技術層面的問題,但更多的是文化層面與制度層面的問題。由于制度改革與文化環境的改善需要長期的歷史性積淀,短期內不易見到實際效果,所以解決問題的途徑應該是社會推薦機制與信息技術互相配合比較可行。首先,在目前實行的推薦機制下,結合信息檢索技術與文獻數據庫建立專家成果信息庫。然后,以此為核心建設評價專家系統,系統中設定一定的年代閾值和成果(包括成果的數量、質量及所屬學科)閾值,對多年沒有新成果發表的專家,系統會自動將其剔除;對不斷有高質量新成果出現的學者,只要在數據庫中對其設有相關字段,系統就自動將其納入某一領域的專家庫;曾經被剔除的專家,如果又達到既定閾值,可以及時被轉入相應領域的專家庫。評價系統中的專家數據庫是動態的、自動更新的。
因此,在中國的現階段,更多地借助信息技術、數據庫系統、科學規范等硬性管理工具,對定量評價方法與定性評價方法來說都有可行之處,是可以提倡使用的。這是一種矯枉過正的做法,但也是進行社會科學成果評價不得已而為之事。
二、從學術成果發表開始,凈化學術環境
在中國學術界看來,學術不端的盛行,似乎都是評價惹的禍。當前,社會上論文買賣已形成產業,成果造假、學術腐敗成風,媒體不斷曝光各式各樣的“學術丑聞”,如果把板子完全打在評價指標上,這既有失公平,也無助于問題的解決。建立科學合理的評價體系固然重要,但根源卻在學術體制與整個社會環境。
書刊編輯這一評價主體,既是學術成果質量的第一道“把關人”,同時也是凈化學術環境的關鍵環節。評價方法的改進是必須的,但如果僅僅注重評價方法的改進,也很難達成根治學術不端頑癥的效果。面對這樣的情景,學術書刊是可以有所作為的。學術評價與學術期刊有著直接關系,在很多學者眼中,評價機構正是通過期刊而起作用的。事實上,幾乎所有與論著相關的學術不端行為要達到獲取不當利益的目的,不經過發表或出版這一環節是很難實現的,而學術書刊則是公開發表的主要渠道。因此,如何使期刊如“看不見的學院”還原其知識交流載體的本來面目,需要期刊人員的自律,對愈演愈烈的學術不端之風的制造者來說,也是一種他律和監督。如果所有的學術期刊都能負起責任,嚴格遵循同行評議制度,規范審稿程序,對凈化學術環境定會起到明顯作用。
與此同時,如果從學術成果評價的角度看此問題,則應該追本溯源,從期刊發表論文時的同行評議機制與審稿程序開始研究。因為無論定性評價還是定量評價,都要以優質的學術成果的生產環境為假設前提。深入調研學術期刊審稿程序的執行情況,將其作為定量評價結果的附加信息,也可以將其作為一個可信度分析的參數。這樣,既客觀呈現評價結論,又發揮評價體系的導向作用,為凈化學術環境做出積極的貢獻。
三、構建社會科學成果查新體系,參與成果創新性測評
構建社會科學研究成果的評價體系,必須以創新性為起評點。在以往的成果評價方法中,創新程度也一直作為重要的評價指標,如國家社會科學基金項目優秀成果評選中,就將“創新性”作為評價的重要依據。但是,這里的“創新性”還是以學科專家的主觀判斷為主。除采用專家主觀定性評價方法之外,還應該向自然科學取得借鑒,利用情報學理論與方法,探索利用其他客觀指標,參與人文社會科學成果的創新性測評。中國的自然科學研究對成果查新工作的重要性早有認識,已建立起了一套查新的工作制度和工作方法,而社會科學研究至今還沒有一套查新體系和查新方法。
科技查新是國家科技部為避免科研課題重復立項和客觀正確地判別科研成果的新穎性而進行的一項工作,由具有科技查新資質的查新機構承擔完成。查新機構根據查新委托人提供的需要查證其新穎性的科學技術內容,按照科技查新規范操作,有償提供科技查新服務。中國在科技成果評獎及課題立項時,往往以科技查新機構為依托,先做一個科技成果查新的工作,以此作為創新性評價的參考依據。要實現社會科學創新,同樣需要社會建立起對科學創新的監督機制和激勵機制,而監督與激勵的前提是對社會科學成果的新穎性、唯一性、獨創性作出客觀的評價。從理論上說,這種評價可以采取專家評定、用戶評定等多種形式,但對照中國科技成果鑒定體系,最可行、最客觀的方法還是利用已經發表的文獻,通過對社會科學文獻的檢索、解讀、主題分析或引文分析,達到評價的目的。這就要求盡快構建社會科學查新體系。
科技成果查新體系的建設和發展得益于政府的積極推動,社會科學查新體系的構建,同樣需要發揮政府的政策導向功能。一是國家要盡快認定一批“社科成果查新中心”,如可以以中國社科院文獻信息中心和高校文科信息中心基地為依托,建立若干社科成果查新中心,賦予其證明社科成果的創新性的職能。二是要盡快出臺相關政策,如制定《社會科學成果查新咨詢管理方法》,明確規定社科成果查新中心的工作性質、任務、范圍、鑒定方法、收費標準和相應的權利、義務等;規定重點社會科學研究課題的立項結項、成果評優必須附查新報告等,為社會科學查新體系的構建提供良好的政策環境。
關于構建社會科學成果評價體系的觀點與建議,幾年前就有學者提出過。2000年《社會科學管理與評論》雜志就“摘登”了周永華的《建立“查新體系”是社會科學信息資料工作的迫切需求》一文,文章提出:“通過查新體系的查詢之后,我們可以不用召開什么評審會議,便可以對某一研究成果價值的評估,有了某種客觀的依據。建立起社會科學查新體系之后,還可以對在此之前所取得的各項社會科學成果進行‘清理式’的查詢,以便確認過去取得的成果當中,到底有哪一些是屬于當時的新發現、新理論、新觀點、新對策、新方法。”但也有不少人認為,自然科學界的成果查新尚且問題重重,較之復雜得多的社會科學成果查新,還是免提為好。可見,社會科學成果查新體系的構建,需要做的工作還很多。至今未構建起一套可行的社會科學成果體系,也許是由于我們對成果查新寄予了過高的期望值。
我們知道,“成果查新”就是檢索成果的新穎性,讓檢索結果參與成果的創新性測評。所以,我們不應該把“成果查新”解讀為“核查成果的創新性”,期望成果查新能解決成果創新性評價問題。這樣,才能以一顆平常之心對待、接納自然科學成果查新體系,并構建社會科學查新體系,把成果創新性測評積極地向前推進。
四、深化社會科學文獻計量學方法研究。細化評價指標與評價數據獲取方法
專家定性評價一直是進行成果評價時的國際通行做法,但自從文獻計量學與科學計量學興起之后,定量評價方法與定性評價方法就開始處于搖擺與博弈之中。對于中國,客觀評價方法的參與對專家定性評價的輔助與制約尤其必要。大量的國內外研究與實踐表明,文獻計量學方法可以對科學評價做出自己的貢獻,但前提是要深化社會科學文獻計量學方法研究,細化評價指標及評價數據獲取方法。今后,一方面要探索利用社會科學文獻計量學方法細化評價指標,一方面要加強各種評價數據庫的建設,為指標數據的獲取提供權威可信的評價信息源。
目前,社會科學研究的繁榮發展與研究論著的數量激增,中國社會科學引文數據庫建設也在逐漸規模化,如果能合理使用數據,在計量分析方法上細化研究,正確運用定量評價結果,文獻計量學是能夠在評價方面有所作為的,從而減少人情因素與不必要的評價成本。
五、倡導學術思想的網絡交流,促進專家庫與評價信息庫建設
隨著信息網絡的普及,學者已經習慣于用電子文件寫作、網上投稿,網絡逐漸成為學術交流的平臺。學術論文通過網絡發表,一方面可以擴大讀者面、縮短發表時滯,還可以為學術成果評價的信息采集提供很大的方便。如果能解決好知識產權問題,學術論文網絡發表將成為學術交流的主渠道,而網絡發表論文的評審與質量把關也是今后學術成果評價研究的一項新的內容與重要課題。網絡上的學術交流,更有利于通過網絡技術與檢索工具查找某領域學科專家并建立專家庫,全面采集學術信息,實現評價專家與學術成果的評價匹配。
六、注重成果評價的引導功能,著眼未來構建評價體系
目前,中國的學術環境離成熟的評價體系與高效的評價方法之間還有一定差距,但是,評價體系的構建不能遷就于目前中國的社會科學研究現狀,滿足于當前操作上的便利。因為評價本身具有較強的引導功能,整個評價指標、評價方法與評價程序的構建應該著眼于發展,適當地超前與多元化,才能達到“以評促建”的目的。今后,相關研究將從理想方案、優選方案、現實方案多個層面構建中國人文社會科學研究成果的評價體系,以便供科研管理者與決策者根據不同的評價需求來選擇不同的操作方案。
七、分析科研規律,探索科研績效評價與科研資助模式
由于科研成果評價問題與科研管理、科研資源的分配密切相關,所以,成果價值判斷中應適當吸收“價值工程”理論,價值含量指標中應包含投入產出的比率因素。對人文社會科學的研究是一個探索未知的過程,優秀研究成果具有自身獨特的產生規律。因此,分析科研成果的價值含量與科研資助力度之間的關系、課題資助與成果獎勵之間的互動規律,探索基于科研績效評價的科研資助與資源配置優化模式,等等,這些都是現實中迫切需要解決的重要研究課題。