基于文獻計量開展高?？蒲性u估的探索與思考

趙飛　艾春艷　游越　劉素清

摘要：從科研評估現有的問題與困難出發，探討如何基于文獻計量建立更為科學合理的高?？蒲性u估體系，并以北京大學圖書館2011年進行的北京大學科研競爭力評估為實例，進行相應的改進嘗試并討論進一步完善的可能性。

關鍵詞：學科評估 科研評估 文獻計量

1 引言

學科建設是高等院校提高教學質量和科研水平的重要基礎，如何更為合理地完善自身的學科體系、加強重點學科的優勢將成為各高校增強科研競爭力及國際影響力的關鍵之一。而學科發展策略的制定首先需要對自身的學科發展情況進行客觀準確的評估和分析，因此，國內高校也越來越重視各種類型的學科評估，以便準確把握自身的學科發展態勢。通過系統、科學的客觀評估，可以更為準確地了解本學科的優勢和劣勢所在，并為制定學科將來的發展策略、重點研究方向、資源分配方案等提供重要依據，從而對高校的學科發展戰略起到指導意義。

學科評估中較為重要的一個部分就是科研評估，即對本學科的科研競爭力和影響力進行客觀評估。而基于文獻計量的科研評估是目前較被認可的方法之一，具有客觀、量化、易于比較等特點，并能夠對科研產出能力等重要指標有著較為直觀的評價。本文將以國內外權威數據庫中的客觀數據為基礎，從文獻計量學的角度出發建立高?？蒲性u估體系和方案。

2 科研評估中的問題與困難

雖然無論從國家層面還是各高校自身都在逐步加強和改進科研評估工作，但是由于科研成果的多樣性、復雜性以及科研成果提交的不規范，目前科研評估仍然存在著一些問題和困難需要解決：

2.1 評估周期的確定

由于各學科科研過程和成果發表的習慣各不相同，利用文獻計量方法對其進行評估時，評估周期的選擇就成為十分重要的問題。如果評估周期過短，則對于科研周期和成果有效期較長的學科（如人文學科）來說，就無法準確評估其學科內科研成果的學術價值和影響力，同時也會導致科研過程中的急功近利現象；如果考核周期過長，則又會降低評估的時效性，無法及時發現學科發展中的問題并予以糾正或是發現優勢予以推進；而如果針對不同學科類別設定不同的評估周期，其學科間的可比性又無法保證。因此，綜合考慮各學科特點，恰當地選擇較為合理和統一的評估周期是完成科研評估的重要任務之一。

2.2 評估數據的來源選擇

在以往進行科研評估時，除院系提交的成果數據外，通常會選擇統一的數據來源對全學科進行分析，例如WOS、ESI數據等。然而，對于不同學科而言，其科研成果的發表形式以及學科內刊物整體被數據庫收錄的情況并不相同，因而這種綜合的數據來源雖然可以保證各學科間的公平對比，但對于一些英文發文量小或是相應期刊被綜合型參考數據庫收錄量小的學科，則存在著數據量小、區分度低等問題。所以對于這些學科還應增加更符合其特點的數據來源，從而既保證各學科間的統一評估標準，也可以在本學科內進行更準確的縱向和橫向對比評估。

2.3 交叉學科的評估

隨著各學科的逐步發展，學科間的相互交融現象不僅越發頻繁，同時也變得越發重要，因為學科交融通常意味著新的科研增長點的誕生。而現有的評估指標體系中，對于學科間的交融和交叉學科發展的重視程度還遠遠不夠。如何更為有效地對學科間交融情況、對學校交叉學科發展態勢進行分析，將成為推進科研評價進一步完善所要解決的重要問題之一。

2.4 定量與定性的結合

客觀而全面地評價高等學校的科研實力，是一個需要嚴肅對待的科學問題。通過數據庫數據和文獻計量方法可以在一定程度上保證評估的客觀性，但在數據來源的完備性和數據統計結果的解讀方面還有著一定的不足?？茖W、合理的科研評估離不開客觀的定量分析與各學科領域專家的定性分析之間的有效結合，需要多方面的共同配合才可能完成。

2.5 評估結果的實際作用

基于數據的文獻計量分析是對過往事實的總結和評價，然而這只是進行科研評估的目的之一，更重要的是如何通過對數據的統計和分析，為今后學科的發展和布局提供有效的信息。然而很多學校雖然都在不斷進行科研評估，但是每次評估工作僅限于總結為止。如何將科研評估與科研管理關聯起來，使報告中發現的問題和分析出的建議真正得到重視，切實對學校統籌學科結構、優化學科布局起到參考作用，也是目前科研評估面臨的困難之一。

3 科研評估方案設計思路

3.1 數據來源的選擇

對于如何實現基于文獻計量的高校院系層面科研評估，一般來說有兩種思路：

1）以高校院系提交的科研成果列表為來源數據

即通過院系提交的科研成果數據為基礎，對其科研產出情況進行統計分析。其優勢在于可以涵蓋各類型的科研成果，且出現明顯錯誤的幾率較小。其缺點在于：

·由于各院系提交情況相對復雜，無法保證整體數據的完整性；

·因原始數據均由個人提交，因此數據格式和重要字段的完整性無法保證；

·由于提交有一定的時間跨度，成果數據的時間范圍無法準確界定。

2）選擇具有一定評判性的權威數據庫抓取原始數據

通過制定檢索式，在較為權威的大型數據庫中檢索和抓取出學校整體數據，并在此基礎上進行統計分析。其優勢在于數據信息較為完整、數據時間范圍較易掌控、數據具有更好的橫向可比性等。而其缺點在于：

·科研成果形式受到限定（如只包含期刊論文、會議論文等）；

·較易出現漏檢、錯誤記錄等情況；

·數據需要進行院系歸并，其工作量較大。

因而，選擇數據來源時可以兩種方法相結合，以其中一種方式為主，并用另一種方式加以完善和補充。同時，考慮到學科的差異，尤其是人文社科方面的論文發表習慣，建議對于人文社科方面增加中文數據庫的數據作為補充。

3.2 評估體系的構建endprint

首先，基于科研評估的主要目標之一是客觀評價學校內各學科的科研情況和發展態勢，應對各學科構建一個較為統一的評價體系，這樣才能保證評估在各學科間具有一定的橫向可比性。其次，評估應包含學校整體、學科（或院系）、人員等多種層次，以便能夠了解學校從宏觀到微觀的科研發展態勢。其三，除學校內的評估比較外，還應收集國內外知名高校的相應數據并進行比較，以更為準確地了解自身的優勢與劣勢。其四，對于人文社科方面的學科，應增加專門的評估數據和評價指標，以適應其科研產出特點。最后，還應加強對交叉學科和學科交融情況方面的重視，制定專門的指標來對學校在此方面的科研發展態勢進行評估。

3.3 評估流程的制定

科研評估涉及大量的數據收集與統一分析工作，如果沒有一個清晰明確的工作流程與分工審核機制，將很難保證數據的準確性和統計工作的順利進行。因此，應從數據來源選取、數據導出格式規范、數據匯總整理、數據清理、數據聚類統計、統計結果分析等科研評估的各個階段出發，根據實際情況制定相應的流程機制。

4 評估方案的實施與結果分析

北京大學圖書館2011年受學校科研管理部門委托，基于文獻計量方法進行了北京大學科研競爭力評估。本次評估從實際需要出發，針對學校亟待解決的學科規劃布局問題，較為系統地對北京大學10余年來（2000-2011年）的整體及各學科科研實力進行了分析。

1）數據來源的選擇

由于此次評估的年限范圍較廣，所以選擇以權威數據庫中檢索導出的數據為主要數據來源，包括WOS數據庫里的SCI、SSCI、A&HCI數據庫、ESI數據庫、JCR期刊引證報告、Nature、Science的部分數據。同時，對于人文社科方面的學科，還以中國社會科學引文數據庫（CSSCI），中國期刊網（CNKl）中的數據作為補充。

2）數據的收集與清理工作

經過多次試檢和調整，此次評估共從WOS數據庫中檢索到2.5萬余篇北京大學從2000年到2011年的論文、從CSSCI中檢索到1.9萬余篇、從CNKI中檢索到2.3萬余篇、從ESI中提取近300篇文章。隨后，根據記錄中的作者地址字段，對數據進行了進一步的識別和清理工作，剔除非北京大學的文獻記錄。同時，也檢索收集了國內外知名高校的相關數據以作評估比較之用。

3）評估內容與體系

本次評估兼顧了學校、學科（院系）、人員三個層面的分析，既涉及宏觀層面的北京大學逐年科研產出與影響力趨勢分析以及與國內外知名高校的對比分析，也包含了各個學科的科研發展態勢和影響力情況，同時也從微觀層面對具體人員的科研實力進行了評估。此外，還著重對人文社科領域的學科進行了針對性的評估，考慮其論文發表特點，綜合了中外文數據庫中的數據進行分析。而對于科研合作情況的分析，也是本次評估的重要組成部分，其中不僅涉及北京大學的國際間科研合作情況，也通過院系間合作情況的統計，分析了學科間交融的情況。

最終的評估體系構建如下表1。

4）評估結果分析

此次評估通過對數據的統計分析，客觀評價了北京大學近十年的整體科研產出情況及發展趨勢，并通過橫向對比，給出了北京大學科研實力在國內外所處的位置及與國際知名高校間的差距所在。此外，通過學科、院系和人員層面的統計，識別出學校的優勢學科和表現突出的院系及科研人員，并對交叉學科院系的科研發展情況進行了重點評估，為學校進一步制定學科發展策略提供參考。同時，評估也分析了北京大學的國際科研合作變化趨勢與重點合作國家、各院系間的合作情況以及合作較為緊密的院系群體，從另一側面反映出學校的學科交融情況。

5 總結與思考

通過此次北京大學科研競爭力評估的嘗試，北京大學圖書館針對當時科研評估中存在的問題和實際需求進行了一定的改進和探索，為學校的科研管理部門制定學科發展規劃和布局提供了急需的客觀數據參考。不過，對人文社科學科和交叉學科的評估還只是初步的嘗試，有待進一步總結和改進。此外，評估也總結出不少需要思考和完善的地方：

1）署名地址規范的重要性

權威的數據庫是獲取原始數據重要的來源之一。在實際的數據獲取過程中，我們常通過作者地址字段對論文進行識別，而在數據庫的數據中存在著相當數量的作者地址字段不規范問題，如機構名拼寫錯誤、機構英文名未使用通用翻譯、郵編錯誤、濫用簡寫、過于簡略缺少必要信息等。這些問題有些是由于作者自身不夠謹慎，有些是因為學校和院系沒有統一明確的署名格式，還有些是綜合的因素造成的（如國家重點實驗室的署名問題）。因此，建議學校和院系都應規范自身的署名地址規則，并加強對機構內人員的相關培訓。

2）數據的局限性

評估所用數據大部分均為學術論文方面的信息，包括期刊論文、會議論文等，對于其他科研成果形式，如專著、專利、調研報告等則基本沒有涉及。然而對于部分學科領域，這些形式的科研成果同樣具有重要的意義，如專著、學位論文對于人文社科的評估來說就較為重要。因此，如果想要更為全面地評估相應學科的科研產出和影響力，則應在評估中與科研管理部門的統計數據相結合，補充其他形式科研成果的信息。

3）國內外的學科間映射

無論是學科還是院系，國內外高校在其定義和結構建設上都有些許的差別，目前的學科對應關系還處于比較粗糙的階段。如何能夠在國內外學科間建立更為精準的映射，將成為加強科研評估的準確性和說服力、增強校際間橫向可比性的重要因素之一。

4）深入內容層面的評估與分析

現有評估方法對于科研態勢的揭示主要還是基于文獻數量的統計層面，而未能深入到對文獻內容的統計與分析。前者對于科研管理者而言固然非常重要，因為高校的科研管理者可以通過文獻數量上的變化趨勢和對比分析，從宏觀層面了解各學科科研發展的大致情況，從而有助于下一步學科布局與規劃的制定；然而對于教師和科研人員而言，他們更希望得到的則是基于文獻內容的統計分析（比如關鍵詞統計等），以從大量內容文本的信息統計中探尋出學科的某些發展規律和內在聯系，從而為其科研工作提供參考和思路。

因此，目前基于文獻計量的高?？蒲性u估還存在諸多需要完善和改進的地方，只有通過不斷地嘗試，總結經驗和問題，思考完善方案，科研評估才會越來越貼近學?？蒲泄芾碚吆涂蒲腥藛T的需求，其準確性、客觀性、全面性、認可程度等才會進一步提高，最終使科研評估成為科研管理者和科研人員不可或缺的參考信息，為高校的學科發展起到重要作用。endprint