學術圖書評價實證研究

張艷麗+蔡繼輝

【摘要】對人文社會科學類學術圖書的評價因其學科及成果形式的多樣性、差異性造成評價對象具有較強的復雜性，從而受到國內外學界的廣泛關注。本文以社會科學文獻出版社應用性研究成果皮書的內容評價為案例，對皮書的評價指標、評價方法進行分析，提出可依據學術圖書的表現形式進行分類評價、對專家的信度進行實證評估、學術出版社可作為第三方評價機構等建議。

【關鍵詞】學術圖書；學術評價；同行評議；皮書；應用性研究成果

【作者單位】張艷麗，社會科學文獻出版社；蔡繼輝，社會科學文獻出版社。

對人文社會科學類學術圖書的質量進行評價一直是國家行政主管部門、出版機構以及學者關注的焦點，采用完善的學術圖書質量評價指標、方法和流程，對人文社會科學類學術圖書的學術價值進行綜合評判，對提升學術成果的影響力、促進學術繁榮、推動學術研究的健康發展具有重要作用。根據學術圖書的功能，人文社會科學類學術圖書可以分為基礎性研究和應用性研究兩類。

社會科學文獻出版社出版的系列研究成果皮書是典型的人文社會科學領域的應用性研究成果。在新的時代下，皮書被賦予了新的功能定位。目前，我國出版的人文社會科學類學術圖書總量在逐年增加，但總體水平不高幾乎是公認的事實[1]。在此大環境下，社會科學文獻出版社通過對皮書評價指標、評價方法和評價程序的實踐，對我國人文社會科學領域應用性研究成果評價進行了積極的探索。

皮書評價從2009年開始，參評皮書的數量逐年遞增，在這個過程中，社會科學文獻出版社對皮書的評價工作不斷摸索，得到了課題組和社會各界的認可。目前，皮書評價已經成為某些科研機構進行資助與人員考核的重要標準。

一、人文社會科學類學術圖書評價方法綜述

1.國外人文社會科學類學術圖書評價方法綜述

同行評議法是國外對人文社會科學類圖書廣泛采用的評價方法，在17世紀中葉英國皇家學會刊物的創刊時期開始使用，隨即在其他國家的出版社也得到了廣泛的應用。牛津、劍橋等大學出版社都有一套匿名評審、同行評議的規范流程對圖書的準入進行評價。

同行評議本是國外一種被普遍采用，并獲得廣泛認可的方法，但在實際操作中，往往因為多種原因導致過多的人為干擾使評審失去公允，很難保證評價的客觀性。因此，國外人文社會科學界普遍呼吁更為客觀的評價標準。科學計量學是19世紀60年代開始興起的，普賴斯在其發表的學術專著中首次提出“引文分析”，學術圖書評價也逐漸開始采用引文評價。隨著引文評價被廣泛采用，學者對引文評價提出了質疑，Mohammadi和Thelwall認為引文評價受讀者人數的影響[2]。

同行評議存在結果差異大、缺乏公平性等問題，引文評價在全面判定一個學術成果的品質時也存在一定的局限。因此，國外一些學者認為可以采用引文評價與同行評議相結合的評價方式。Kousha和Thelwall對人文社會科學類的圖書評價進行了專業性的研究，認為可以采用引文指標和通常的學術評價指標同時對人文社會科學類圖書進行評價[3]。Kayvan等強調了引文評價方式可以為同行評議提供更多的參考信息[4]。

2.國內人文社會科學類學術圖書評價方法綜述

國內人文社會科學類成果評價的發展，經歷了從較為單一的同行評議到同行評議與文獻計量分析相互補充的綜合評價演變過程。20世紀80年代，同行評議機制被正式引入國內，此后，同行評議被大量應用到人文社會科學成果的評價中，國內一些著名的圖書評獎，如中國出版政府獎的“圖書獎”、“五個一工程”獎的“一部好書”獎、中華優秀出版物獎的“圖書獎”均采用了同行評議的方式。

我國自20世紀80年代引入引文分析并開始用于期刊評價，隨后引文評價期刊的方式逐漸被引入對學術圖書的評價中[5]。蘇新寧等運用引文分析對中國人文社會科學圖書的學術影響力進行了分析[6]。

國內學者認為，不論是引文分析還是同行評議，均不能夠客觀、公正地對學術圖書進行評價[7]，引文分析與同行評議的有效結合才是最佳的評價方式。劉建輝認為，對學術成果評價的方法可以采用多種方式，既要完善引文分析法的應用，又要鞏固同行專家評價方法的主體地位[8]。在面對復雜的評價對象和評價問題時，既需要定性評價，又需要定量評價，因此綜合評價成為科學評價的首要選擇。

二、皮書作為智庫報告在當下中國被賦予新的功能定位

1.皮書的起源與發展

皮書最早是以白皮書的形式出現在18世紀的英國，而皮書作為一種出版形態，最早是由社會科學文獻出版社社長、中國社會學會秘書長謝壽光提出并踐行的，是從該社出版的藍皮書、黃皮書、綠皮書綜合演化而來的，由一系列權威研究報告組成。1991年，國內經濟藍皮書作為正式出版物公開出版發行[9]。隨著皮書在國際、國內影響力的日益增大，皮書這一稱謂在社會上得到廣泛流傳，分為藍皮書、綠皮書、黃皮書系列，內容涉及經濟、社會、文化、行業、國際問題、地方發展等多個領域。

2.新時代賦予皮書新的功能定位

智庫是國家軟實力的重要組成部分，隨著社會形勢的演變，智庫在政府決策、引導理論、傳遞中國話語等方面發揮著重要的作用。皮書作為一種專題性研究報告，以定期連續發布的方式，通過媒體的話語轉換和傳播引導社會輿論，引起決策者的關注和吸納，最終影響決策，基本上涵蓋了智庫的主要功能和作用方式。目前，皮書研創出版已經成為中國特色新型智庫建設的重要抓手和智庫成果重要的發布平臺。

三、皮書發展回顧及評價作用凸顯

1.皮書發展回顧

1996年11月，社會科學文獻出版社出版了第一本經濟藍皮書，即《1997年：中國經濟形勢分析與預測》。近20年來，皮書的社會知名度不斷提升，皮書的種類也不斷增加，從原來的幾種發展到目前的300余種。目前，皮書系列不僅發展成為社會科學文獻出版社的核心品牌，更是中國社會科學界的知名品牌。

2.皮書評價的作用愈發凸顯

隨著皮書作為社會科學研究成果權威出版平臺地位的凸顯，越來越多的科研團隊加入皮書的研創與編撰。皮書是應用對策類研究報告中影響力比較大、出版數量比較多的年度性研究報告。然而，皮書并非一般的應用型研究成果，它對時效性、前沿性、實證性的要求很高，這種出版周期短的特點對研創團隊提出了更高的要求。隨著出版周期逐漸縮短，少數皮書的學術圖書質量逐漸出現了一系列的問題，包括內容質量不高、主題與上年重復、學術規范有待加強、重復率過高等，有價值的研究報告所占比重不斷下降。皮書存在的質量問題，也是大背景下人文社會科學類學術圖書存在的普遍問題，對皮書進行評價對提升皮書質量具有重要的促進作用。

鑒于大環境下人文社會科學類學術圖書的學術質量以及皮書的出版狀況，對皮書內容質量進行系統評價的作用進一步凸顯。皮書評價工作自2008年開始，至今已連續開展了10年。為了更加專業、持續地對皮書進行評價，社會科學文獻出版社于2009年成立了皮書評價研究中心，于2014年更名為皮書研究院。皮書評價得分及排名在2008年“第九次全國皮書工作會議”上首次發布以來，參評的皮書數量逐年遞增，截至2015年，皮書參評數量達308種。一方面，皮書評價通過找出問題供課題組參考，為下一年度的皮書研創提供改進思路；另一方面，皮書的評價結果得到了廣泛的應用。目前，不僅皮書評價是皮書能否進入中國社會科學院創新工程的關鍵指標，皮書分級資助的最主要標準也是皮書評獎與淘汰的重要衡量依據。

四、評價指標的演變發展

皮書的評價指標體系從最初的設立，到經過多年的摸索和修正，目前已經形成一套比較完整的評價指標體系。如圖1所示。

五、皮書內容評價的特點

一個成熟的評價體系不是理論思辨的結果，而是在實踐互動中逐漸摸索、修正形成的。社會科學文獻出版社的皮書評價正是在多年不斷對人文社會科學類應用性研究成果評價的探索中形成一套比較完善的指標體系。

1.依據皮書特點分類設置皮書的評價指標

在皮書內容評價指標的設置中，依據皮書學科領域的特征進行了分類設置。皮書按照學科領域分為經濟、社會政法、文化傳媒、行業、地方發展、國際問題等類別，依據皮書的不同類別，在指標設置時也有所差異。例如，對原創性指標的設置在地方發展類皮書中進行了弱化，對實證性指標在國際問題類皮書中進行了弱化。

自2015年起，皮書的評價做了兩個方面的調整：第一，考慮不同的學科特點，加分項部分設置了評價評級、社會調查以及模型分析與預測三項內容；第二，將科學計量方法引入皮書的評價中（科學計量包括多種指標，其中引文是最常用的一種），計算引文量的前提是在時間上有一定的積累，評價的是當年度的皮書，采用引文的方式顯然不夠合理，因此采用皮書數據庫的下載率作為科學計量的指標。同行評議能充分發揮專家的特長和優勢，文獻計量則給專家評議的主觀判斷提供了客觀數據參考，皮書的內容評價將同行評議與文獻計量進行了比較好的結合。

2.依據皮書的特色更加注重同行評議的細節設計

皮書的主觀評價指標采用同行評議的方式完成，在現實中很容易失去公正性和客觀性，且評審結果不易被量化和比較。因此，對評價皮書的同行專家，社會科學文獻出版社更加注意細節設計，具體包括：第一，成立皮書學術評審委員會保證同行專家的延續性。在組織專家對皮書內容進行評價的同時，針對皮書具有連續性的特征，自2010年起，設立了皮書學術評審委員會，每兩年一屆，這樣確保同行專家對皮書的研創特點比較熟悉；第二，依據專家的學科進行分組評價，保證評價的專業性；第三，同行評議專家包括相關學科學者、學術期刊資深編輯、資深媒體人等，不同領域的專家對皮書的認知、掌握的信息量不同，對皮書的評價視角亦不同，保證了評價結果的客觀性。

六、皮書評價實踐中對人文社會科學類學術圖書評價的思考

1.學術圖書按照表現形式進行分類評價

對圖書進行分類的《中國圖書館圖書分類法》是我國目前通用的圖書分類工具，主要是依據學科的內容對圖書進行劃分，但此種分法并不適合對人文社會科學類學術圖書的評價。評介人文社會科學類學術圖書，建議依據表現形式對其進行劃分。任全娥將人文社會科學研究成果分為論文類、研究報告類和著作類，并依據不同類型的研究成果設計了評價指標[10]。葉繼元按照成果形式對學術圖書進行了劃分，包括學術著作、學術專著、學術論文匯編/論文集、某學科百科全書等工具書和學術隨筆等[11]。

2.對專家的信度可進行實證評估

同行評議容易受到各種非學術因素的影響，進而影響評價信度。卜衛等認為評估者的信度包括整體信度和評委個人信度。其中評估者整體信度可以采用肯德爾系數來估計，測試評委的態度是否一致。對評委個人信度分析方法比較多，包括計算同質性系數、相關系數、建立回歸方程以及因子分析法[12]。皮書評價不僅對評價指標進行不斷的完善，在多年的探索中，對同行專家的評價方式、評價流程也在不斷摸索和改進，以期能夠提升同行專家的評價信度。從實證的角度對同行專家的信度進行評價，也是今后努力的方向。

3.出版社作為第三方評價機構更具客觀性

皮書評價結果目前得到了課題組普遍的認可，一些課題組把評價結果作為當年度考核的依據，也有課題組對社會科學文獻出版社的皮書評價指標和方法進行適當調整，運用到本單位的科研評價中。在目前的學術評價中，中介機構作為專業的獨立評價機構，其最大的優勢在于專業性和獨立性，而學術出版機構更具有第三方評價機構的特征：第一，數據資源基礎。在學術產品生產過程中，學術出版機構積累了大量的內容資源，這些數據構成了學術出版機構建立學術評價體系的基礎資源；第二，學術出版機構是學術作品加工者（編輯）的組織者，創作者、消費者和加工者的集合使得出版機構擁有了堅實的同行專家基礎。

[1] 謝壽光.中國學術出版：現狀、問題與機遇[J].出版發行研究，2013（5）.

[2] Mohammadi E.， Thelwall M. Mendeley readership altmetrics for the social sciences and humanities： research evaluation and knowledge flows[J]. Journal Of The Association For Information Science And Technology，2014（8）.

[3] Kousha K.，Thelwall M. The web impact of open-accesssocial science research[J]. Library and Information Science Research，2007（4）.

[4] Kayvan K.， Mike T.，Somayeh R. Assessing the citation impact of books： The role of Google Books， Google Scholar， and Scopus[J]. Journal of the American Society for Information Science and Technology， 2011（11）.

[5] 邱均平，王菲菲.社會科學研究成果綜合評價方法研究[J] .重慶大學學報（社會科學版），2010（1）.

[6] 蘇新寧等.中國人文社會科學圖書學術影響力報告[M] .北京：中國社會科學出版社，2011.

[7] 葉繼元，袁曦臨.中國學術評價的反思與展望[J].中國社會科學評價，2015（1）.

[8] 劉建輝.社會科學學術成果評價方法探析[J] .湖南大學學報（社會科學版）（3）.

[9] 蔡繼輝，張靜鷗.皮書2012：價值與評價望[J] .中國圖書評論，2013（2）.

[10] 任全娥.文社會科學研究成果評價指標體系研究[J] .大學圖書館學報，2009（5）.

[11] 葉繼元 .學術圖書、學術著作、學術專著概念辨析[J] .中國圖書館學報，2016（1）.

[12] 卜衛，周海宏，劉曉紅.社會科學成果價值評估[M] .北京：社會科學文獻出版社，1998.