言 十
ESI(essential science indicators,基本科學指標)[1]是建立在科睿唯安(Clarivate Analytics,原湯森路透知識產權與科技事業部)旗下數據庫Web of Science?(SCI/SSCI,涵蓋全球12 000多種期刊)的論文計量分析工具,于2001年推出。
ESI?針對22 個專業研究領域,利用最近10年的數據,每2個月更新一次,分別對國家、研究機構、期刊、論文、科學家進行統計分析和排序,主要指標包括論文數、引文數、篇均被引頻次。對研究機構而言,可以產生學科領域的排名;對學者個人,則可以得到高被引科學家(highly cited researchers)、高被引論文(highly cited papers)、熱點論文(hot pagers)。ESI試圖從引文分析的角度,“分析機構、國家和期刊的論文產出和影響力,發現自然科學和社會科學領域中的重大發展趨勢,按研究領域對國家、期刊、論文和機構進行排名,評估潛在的合作機構和具有潛力的人才”。
2009年,上海交通大學李明祿教授在全國高校計算機系主任/院長論壇上做了“基于ESI淺析兩岸三地大學計算機學科”[2]的報告,ESI開始進入國內學術界大眾視野。隨后,ESI指標得到教育主管部門的高度重視,并逐步成為國內高校評價學科水平的重要標準,甚至,有多少學科進入ESI前1%(或者1‰)成為主管部門和地方政府衡量大學辦學水平的重要條件。
應該看到,作為論文客觀計量指標,ESI指標不只考慮發表論文數,還考慮了學術界比較重視的論文引用情況,比以前國內論文評價只考慮SCI論文數和期刊影響因子,確實顯得更加合理,因此,在評價研究機構、學者、論文的學術影響方面,的確可以起到一定的參考意義。ESI指標被國內學術界引入后,對高校科學研究,特別是學術論文,起到了一定的促進作用。
然而,凡事皆有度。當ESI指標被行政部門采用作為重要標準之后,行政指揮棒的巨大威力使其對于大學和學科的重要性被無限提高,與此同時,其片面性也得到了放大。大學逐步明白,通過各種形式的資源投入、激勵措施甚至造假,ESI指標可以在短期內快速提升。ESI指標的官方背書,為大學不顧一切提高ESI指標提供巨大的誘惑。目前,高校追求ESI指標,已經演變成一場亂象。
某個研究機構某學科領域(目前劃分為22個)排名參照指標為總被引次數(citations)、論文數(papers)和篇均被引次數(citations per paper)。
高被引論文是指同學科領域同年度中被引次數排在前1%的論文。數據是基于最近10年的引文數據。高被引論文反映某篇論文在某年度中在本學科領域的相對引用數。需要注意到,在同一學科領域,不同的研究方向有時很難進行比較。此外,綜述性的文章容易形成高被引。
熱點論文是指同學科領域最近兩個月內被引次數排在前0.1%的論文,其依據的是某一學科領域最近兩年發表的論文數據。
高被引科學家是基于ESI數據庫中的高被引論文數據,于過去10年間在相應學科領域發表高被引論文數量最多的科研人員。
ESI數據庫在一定程度上為研究機構和研究人員發表論文和論文被引用情況提供了方便的查詢和統計,在衡量研究機構和學者發表論文以及論文的影響力方面,有其合理性的一面,因此,被使用是可以理解的。然而,目前國內從主管部門、地方政府到相當一部分大學領導,未能科學、全面地看待ESI指標,過于放大ESI指標的作用,形成了一定的認識誤區。
誤區一:ESI是國際公認的學科評價標準。實際上,所謂公認的國際標準,是一個以訛傳訛的錯誤說法。發達國家的大學從來不存在這樣一個標準。為了證實這個問題,筆者專門咨詢了來自多個歐美發達國家近20所不同大學的教授,他們反饋的信息幾乎一致,國外大學根本沒有這樣一個標準,有的教授甚至還不清楚ESI是什么。所謂的國際公認標準實際上是一個誤區。
誤區二:進入ESI前1%的學科屬于國際領先學科,或者國際公認的世界高水平學科。這是一個更大的誤區。一個學科的水平,如果有公認標準,一定是由師資隊伍水平、學科作出的科學貢獻、培養的人才質量等方面所構成。ESI指標只是體現了學術論文中的一部分(如果沒有造假的話)。誠然,國際上領先的學科在ESI上的表現可能也會不錯,但反之亦然并不成立。
本質上,ESI指標僅僅是一個論文計量工具,而論文僅是科研成果的一方面。科研評估需要多元化的體系,ESI指標只能是科研評估體系的一部分內容,無法體現科研成果的全部,更無法承擔評價學科水平的任務。
還需要注意到,ESI劃分的22個學科領域和我們國家對一級學科的劃分并不對應。例如,其工程學包括了我們若干一級學科;所有的社會科學各學科則被ESI的一個社會科學總論所包括。計算機科學所收錄的主要期刊則和計算機科學領域公認的期刊/會議有很大偏差[3]。例如,計算機領域由于其自身發展迅速的特點,產生了一批聲譽很高的高水平學術會議,但這些會議論文都不在ESI指標框架里。因此,把ESI指標套用到國內的一級學科并不合理。
在近年教育主管部門和地方政府相關政策中,ESI指標直接或間接得到充分的重視和體現,甚至被片面拔高地位。這些政策包括:①ESI指標成為“雙一流”學科的重要遴選依據,如進入ESI 1‰可以作為入選一流學科的充分條件;②ESI大學綜合排名(一所高校入選ESI前1%的學科數、入選ESI前1‰的學科數、ESI學科排名位次)決定“一流大學”建設的層次;③ESI指標進入教育部學科評估體系;④ESI被部分省份作為對高校重大學科建設項目的立項和驗收條件或建設目標[4-5]。
政府政策對大學是個指揮棒。在政府相關政策的引導下,追求在ESI指標上的突破成為許多大學的學科建設規劃中的具體目標(典型的是在學校學科建設規劃中明確提出多少學科進入1%)。不少大學把提升ESI指標作為一項工程來落實,采取的措施包括出臺ESI獎勵政策[6]、召開ESI動員會(啟動會)、舉辦ESI專題講座(熟悉游戲規則)、制訂某些學科進入1%的時間表、定期出ESI通報(公布各學科離1%的距離)。學科建設從一項長期而復雜的任務,演變成了一套角逐性的游戲。某大學的ESI啟動會甚至有這樣的發言:“……都已經醒悟,開始熟悉游戲規則……”。對于國家高等教育來說,這是多么令人擔憂的現象!
為了快速提升ESI指標,一些大學制訂出臺具有強烈刺激作用、不符合科研規律甚至學術規范的ESI獎勵政策。典型做法如下:①學校明文規定研究生畢業發表的論文必須引用本單位ESI期刊論文一定次數,如某大學規定博士答辯需要“所發表SCI期刊論文引用本院計算機學科ESI論文累計10次”;②學校以金錢方式鼓勵校外同行引用本單位ESI期刊論文,按引用次數計算報酬,如某學校規定“引用本單位SCI論文的,給予獎勵”,甚至有學校規定引用本單位學科的論文,按次數付酬金;③學校以聘任短期訪問教師的名義,對論文和引用進行變相購買。不少學校為了提升本學科的ESI指標,無所不用其極。這些所謂的“措施”,大多數實際上是拿不上臺面的低級伎倆,對大學學術生態的破壞作用是顯而易見的。
大學的政策對基層教學科研單位和科技工作者個人又造成了誘導。在追求ESI指標巨大的利益驅使下,除了利用上述單位政策外,一些學者采用了不符合學術規范甚至造假的辦法提高引用數,制造高被引論文、熱點論文。例如,同行、朋友間采取利益交換的互相引用,建立互相引用利益共同體(微信群等),用隱蔽甚至公開的形式要求同行引用自己的論文,利用審稿人的權利要求作者引用等。一時,學術論文引用怪狀迭出。一些論文的參考文獻數量令人驚奇,一些引用毫無邏輯聯系,甚至出現風馬牛不相及的跨領域引用……
在上述不符合學術規范的政策、拿不上臺面的造假手段共同作用下,一些學校某一學科發表論文數、被引數、ESI高被引論文數、熱點論文數突飛猛進。以計算機學科為例,一些原本名不見經傳的學校ESI指標進步之神速令人目瞪口呆。筆者以5年作為統計區間檢索發現,有的學校計算機學科這些指標和10年前相比,增長超過100倍。作為參照,國內計算機學科力量比較強的清華大學、北京大學、浙江大學等(在教育部學位與研究生教育發展中心組織的全國第四輪學科評估中均評為最高等級A+),則只增長幾倍。那些突飛猛進的進步背后所隱藏的含義,對學術界而言都是心知肚明的。
誠然,ESI作為一種論文指標工具,對于以發表論文為主要目的的研究的促進作用是明顯的,但是ESI指標僅著眼于論文發表在哪里、被多少人引用,并不能全面反映研究機構、學者、論文的科學貢獻;另一方面,ESI指標客觀上方便作假。從科學的角度,這樣的指標是不宜賦予很高的權值的。
ESI指標官方化給大學帶來了顯而易見的負面影響。從目前的情況來看,對已經出現的負面影響可以作如下概括。
從國家層面,不僅造成了國家資源錯配和人力、物力、財力的巨大浪費,更主要的是敗壞了學術風氣。科學研究有其自身的規律。科學研究成果也有多種展示形式,論文僅僅是其中一種,ESI更只是論文的某個方面。過分強調論文甚至某個論文指標,必然會貶低科學研究成果的其他展示形式,對科研工作形成錯誤導向。長期下去,國家的科技就要出問題。
從大學層面,將大學從服務國家需求、服務社會發展引導到片面追求某個論文指標的道路上。由于采用各種手段追求ESI指標可以在短時間內起到立竿見影的效果(特別是對于許多原本實力不夠強的大學,ESI指標更是提供了一種“彎道超車”的可能),許多大學不再遵循科研規律,而是采取運動式抓ESI指標,營造ESI大干快上的氣氛,各種ESI新聞、ESI政策、ESI動態充斥校園,使得科研工作越來越功利化,和大學應有的學術氛圍背道而馳,長此下去對于大學科學研究乃至于整個大學功能的破壞作用是巨大的。
從學科層面,將學科建設引入歧路。學科綜合實力的提高,是一個漫長而艱難的過程。學科建設也有極其豐富的內涵。用ESI指標衡量學科水平,使人們以為學科建設就是提升ESI指標,這對學科建設起到一個錯誤的導向作用。采用造假的方式提高ESI指標,則從根本上破壞了學科聲譽。
從學者個人層面,誘導了學術不端行為,影響了學者個人聲譽。作為學者個體,期望多發表論文、論文被引數多、高被引論文和熱點論文多無可非議,也能提高學者個人在學術同行中的影響力,但采取不符合學術規范甚至是學術腐敗的手段提高這些指標,違背了科研工作者應有的學術道德;況且,不符合學術規范的引用總是會留下蛛絲馬跡,在信息化社會是難以隱形的。做得越多,敗露的可能性也越大,因此這實際上是一件風險很大的事情。
國內追求ESI指標所產生的亂象以及給學術環境帶來的弊端,需要引起有關部門的重視和深思。為了扭轉當前的亂象,筆者建議與呼吁:
(1)從教育主管部門、地方政府、高校到教師,客觀看待ESI等論文評價指標,消除當前部分存在的將ESI和學科水平畫等號的錯誤認識。去偽存真,回歸科學,扎扎實實做好學科建設。
(2)落實教育部清理“五唯”文件,建立科學的高校教學科研與人才評價體系。高校科學研究的政策應該著眼于鼓勵真正的創新,為創新研究提供良好的環境和氛圍。一切的科研評價方法均應圍繞這一目標。科研評價是一個高度復雜的過程,不能指望用少數幾個數量化指標客觀反映。國際上高水平大學所采用的“同行評價”,給我們提供了有益參考。
(3)呼吁教育主管部門、地方政府與高校糾偏由于ESI等指標帶來的謬誤現象,停止當前高校這場轟轟烈烈的追求ESI指標運動,努力給科技人員營造一個寬松而安靜的科研環境。建議主管部門和地方政府將各類官方建設規劃、評估、學科遴選等相關文件和辦法中單列的ESI指標剔除;建議高校取消各種不符合學術規范的ESI指標激勵政策和措施。
(4)呼吁學術界與教育界共同努力,努力營造風清氣正的學術氛圍;呼吁廣大教師和科技工作者追求科學,樹立良好學風,進行真正的創新研究,把論文寫在中國大地上。
最后,讓我們重溫一下古德哈特定律(Goodhart's law[7]):當一項指標變成目標,它將不再是一個好的指標(When a measure becomes a target,it ceases to be a good measure)。