摘要:最近,教育部、科技部等部門出臺(tái)了多個(gè)破除“五唯”不良傾向的政策文件,特別強(qiáng)調(diào)要破除學(xué)術(shù)成果評價(jià)中的“五唯”導(dǎo)向。那么,我國學(xué)術(shù)成果評價(jià)究竟存在哪些問題、原因何在、如何解決?梳理已有文獻(xiàn)發(fā)現(xiàn):目前我國學(xué)術(shù)成果評價(jià)容易受到作者個(gè)人和單位級別的影響;學(xué)術(shù)成果評價(jià)與個(gè)人利益、單位利益相聯(lián)系;單位的學(xué)術(shù)成果評價(jià)制度受到各級政府部門出臺(tái)的政策文件影響;交叉學(xué)科學(xué)術(shù)成果評價(jià)存在盲區(qū)。分析認(rèn)為:全球各評估機(jī)構(gòu)發(fā)布學(xué)術(shù)評估指標(biāo)的導(dǎo)向作用,國家、省部級及各級教學(xué)科研單位制定的學(xué)術(shù)成果評價(jià)制度,按照學(xué)科專業(yè)細(xì)分學(xué)術(shù)成果的相關(guān)制度等,均是造成不良評價(jià)傾向的誘因。為此,筆者借鑒發(fā)達(dá)國家學(xué)術(shù)成果評價(jià)的成功經(jīng)驗(yàn),結(jié)合我國學(xué)術(shù)成果評價(jià)的目的,建議重新審視我國學(xué)術(shù)成果評價(jià)制度,不唯論文不是不要論文,進(jìn)而完善我國學(xué)術(shù)成果的評價(jià)方法,鼓勵(lì)創(chuàng)作出有價(jià)值、高水平的原創(chuàng)學(xué)術(shù)成果。
關(guān)鍵詞:學(xué)術(shù)成果;學(xué)術(shù)評價(jià);破“五唯”;唯論文;評價(jià)制度;評價(jià)方法
中圖分類號(hào):G322"" 文獻(xiàn)標(biāo)志碼:A"" 文章編號(hào):1008-5831(2021)04-0060-11
2020年2月17日科技部印發(fā)《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)的通知》,要求科研單位在科研成果評價(jià)中,破除重論文數(shù)量,輕論文質(zhì)量,重論文影響因子,輕論文社會(huì)貢獻(xiàn)的不良傾向。此后,教育部、科技部又聯(lián)合印發(fā)了《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹立正確評價(jià)導(dǎo)向的若干意見》,要求各科研單位建立科學(xué)評價(jià)體系,注重學(xué)術(shù)成果的實(shí)效。根據(jù)《2020年中國科技論文統(tǒng)計(jì)結(jié)果》發(fā)布的數(shù)據(jù),2010—2019年,我國發(fā)表SCI論文301.91萬篇,排名世界第二,僅2019年發(fā)表SCI論文49.59萬篇,比2010年的12.15萬篇高出37.44萬篇,近三年我國發(fā)表SCI論文數(shù)量正在快速增長。又據(jù)世界知識(shí)產(chǎn)權(quán)組織和美國康奈爾大學(xué)等機(jī)構(gòu)聯(lián)合發(fā)布的近三年《全球創(chuàng)新指數(shù)》統(tǒng)計(jì),20162019年間我國創(chuàng)新指數(shù)全球排名分別為第25位、22位、17位和14位,與之相應(yīng)的我國全球創(chuàng)業(yè)指數(shù)也快速上升。中國電子學(xué)會(huì)2020年12月份數(shù)據(jù)顯示,我國科技成果的轉(zhuǎn)化率僅為6%,而西方發(fā)達(dá)國家為50%左右。由此,引發(fā)我們思考:我國學(xué)術(shù)成果到底該怎么評價(jià)?現(xiàn)存學(xué)術(shù)成果評價(jià)體系存在哪些問題?存在問題的根源在哪里?有無可借鑒的相關(guān)經(jīng)驗(yàn)?換言之,如何破舊立新重構(gòu)我國的學(xué)術(shù)成果評價(jià)指標(biāo)體系,實(shí)現(xiàn)教育部、科技部提出的破“四唯”“五唯”目的。
一、學(xué)術(shù)成果評價(jià)及其文獻(xiàn)梳理
近年來,關(guān)于學(xué)術(shù)成果評價(jià)研究的文獻(xiàn)主要集中在兩個(gè)方面:一是學(xué)術(shù)成果的評價(jià)方法,二是學(xué)術(shù)成果的評價(jià)制度。
(一)學(xué)術(shù)成果評價(jià)方法研究
1.從學(xué)術(shù)成果被引數(shù)量,判斷學(xué)術(shù)成果的社會(huì)影響
目前,主張以成果的被引數(shù)量判斷學(xué)術(shù)成果價(jià)值的代表性文獻(xiàn)有:Aversa[1]從學(xué)術(shù)論文的視角分析學(xué)術(shù)論文的被引數(shù)量與論文老化之間的關(guān)系,認(rèn)為低被引論文的老化速度明顯快于高被引論文;Smith amp; Presser[2]首次采用H指數(shù)方法測評學(xué)者與學(xué)術(shù)成果質(zhì)量之間的關(guān)系,認(rèn)為學(xué)者的H指數(shù)越高,其學(xué)術(shù)成果質(zhì)量越高;Bornmann[3]采用引用行為研究方法分析學(xué)術(shù)成果的引用行為,發(fā)現(xiàn)對學(xué)術(shù)成果的引用行為會(huì)受到外在因素的影響,比如學(xué)術(shù)成果展現(xiàn)平臺(tái)、作者所在單位和作者自身影響力;Egghe[4]對H指數(shù)方法進(jìn)行改進(jìn),增加了高被引學(xué)術(shù)成果的被引頻次,認(rèn)為該方法更能夠反映學(xué)術(shù)成果的創(chuàng)新程度;張凌云等[5]以旅游學(xué)科學(xué)術(shù)成果為例,從數(shù)量型和H指數(shù)方法對學(xué)術(shù)期刊與學(xué)術(shù)論文質(zhì)量之間關(guān)系進(jìn)行評價(jià)。
2.運(yùn)用替代變量評價(jià)方法,分析學(xué)術(shù)成果的綜合質(zhì)量
隨著網(wǎng)絡(luò)化、數(shù)字化的快速發(fā)展,可以采用學(xué)術(shù)成果的下載量、瀏覽量、收藏量、粉絲量、推送量、點(diǎn)贊量、評論量、置頂量、轉(zhuǎn)載量等替代變量來評價(jià)學(xué)術(shù)論文的質(zhì)量。代表性研究有:Priem amp; Hemminger[6]采用Web2.0服務(wù),在學(xué)術(shù)論壇平臺(tái)檢查學(xué)術(shù)成果的使用和引用情況,如書簽、微博等,試圖通過網(wǎng)絡(luò)社交平臺(tái)來評價(jià)學(xué)術(shù)論文的質(zhì)量;Piwowar[7]認(rèn)為,隨著網(wǎng)絡(luò)社交平臺(tái)的發(fā)展,可以通過學(xué)術(shù)成果在社交平臺(tái)上的下載量、瀏覽量、書簽量、討論量等數(shù)據(jù)來評價(jià)學(xué)術(shù)成果的質(zhì)量;王軼[8]認(rèn)為,學(xué)術(shù)成果的學(xué)術(shù)影響力和社會(huì)影響力可以通過學(xué)術(shù)成果被四大文摘(《新華文摘》《高等學(xué)校文科學(xué)術(shù)文摘》《中國社會(huì)科學(xué)文摘》和中國人大報(bào)刊復(fù)印資料)的轉(zhuǎn)載次數(shù)和微信、微博等瀏覽次數(shù)來衡量。
3.評價(jià)學(xué)術(shù)成果內(nèi)容,判斷成果等級
代表性文獻(xiàn)有:Yogatama[9]以學(xué)術(shù)論文為例,研究學(xué)術(shù)論文作者、研究主題和發(fā)表期刊等指標(biāo)來預(yù)測學(xué)術(shù)論文的引用,進(jìn)而分析學(xué)術(shù)論文的質(zhì)量;Livne[10]采用機(jī)器學(xué)習(xí)技術(shù)分析數(shù)百萬篇學(xué)術(shù)論文的質(zhì)量,識(shí)別的特征包括:期刊社會(huì)聲譽(yù)、論文作者、作者機(jī)構(gòu)、引文特征和論文內(nèi)容等指標(biāo),根據(jù)這些指標(biāo)建立模型分析學(xué)術(shù)論文的未來被引數(shù)量,以此評價(jià)學(xué)術(shù)論文質(zhì)量;索傳軍等[11]基于認(rèn)知計(jì)算的學(xué)術(shù)成果評價(jià)方法,從該領(lǐng)域的學(xué)術(shù)語義內(nèi)容的視角對學(xué)術(shù)成果的內(nèi)容進(jìn)行評價(jià);趙鎮(zhèn)等[12]基于SCI學(xué)術(shù)期刊的學(xué)科分類和分區(qū),通過最高系數(shù)、基準(zhǔn)系數(shù)計(jì)算他們的p值系數(shù),這樣的計(jì)算方法有助于消除不同學(xué)科學(xué)術(shù)期刊之間影響因子的差異,為客觀評價(jià)學(xué)術(shù)成果價(jià)值提供參考。
4.采用學(xué)術(shù)成果綜合評價(jià)方法,評價(jià)學(xué)術(shù)成果質(zhì)量
對學(xué)術(shù)成果質(zhì)量采用定量與定性相結(jié)合的評價(jià)方法。代表性文獻(xiàn)有:Van Raan[13]采用論文被引數(shù)量和同行評價(jià)的方法來評價(jià)學(xué)術(shù)論文的質(zhì)量;賀穎、邱均平[14]認(rèn)為,同行評議與科學(xué)計(jì)量相結(jié)合,建立遴選系統(tǒng),是評價(jià)學(xué)術(shù)論文質(zhì)量的另一種有效方法;張積玉[15]以S大學(xué)為例,分析該大學(xué)在教師學(xué)術(shù)評價(jià)方面的探索,包括評價(jià)制度的改革、對不同教師群體采用不同的評價(jià)方法,在評價(jià)方法選擇方面,要主觀與客觀相結(jié)合、學(xué)術(shù)水平評價(jià)與學(xué)術(shù)貢獻(xiàn)評價(jià)相結(jié)合等;劉俏[16]將Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)(即論文的被引頻次)結(jié)合起來,計(jì)算學(xué)術(shù)論文的社會(huì)影響力和學(xué)術(shù)影響力。
5.運(yùn)用社會(huì)網(wǎng)絡(luò)分析方法和同行評價(jià)方法,評價(jià)學(xué)術(shù)成果質(zhì)量
部分學(xué)者采用社會(huì)網(wǎng)絡(luò)分析的結(jié)構(gòu)指標(biāo),通過逐級提取方法,提取學(xué)術(shù)成果中心度指標(biāo),據(jù)此對學(xué)術(shù)成果的質(zhì)量進(jìn)行評價(jià),評價(jià)的方法有:網(wǎng)絡(luò)節(jié)點(diǎn)、學(xué)派論等(Mcnamara[17];Upham[18];高錫榮,楊娜[19])。還有部分學(xué)者采用由同一領(lǐng)域?qū)<覍υ擃I(lǐng)域內(nèi)的學(xué)術(shù)成果進(jìn)行評價(jià)的方法(賀穎等[20]),這種評價(jià)方法在學(xué)術(shù)論文評價(jià)中應(yīng)用廣泛。
(二)學(xué)術(shù)成果評價(jià)制度研究
對學(xué)術(shù)成果評價(jià)制度的研究,已有成果相對較少,主要原因在于學(xué)術(shù)成果評價(jià)制度往往會(huì)受到科研單位管理體制的影響。代表性文獻(xiàn)有:Smith[21]認(rèn)為,目前高校存在很多校區(qū),不同校區(qū)發(fā)展定位存在差異,那么學(xué)術(shù)評價(jià)就應(yīng)該采取差異化評價(jià)方法,這樣既有利于學(xué)校的發(fā)展,也有利于教師的成長;馬永霞、仇笳熙[22]以國家社科基金成果鑒定為例,強(qiáng)調(diào)學(xué)術(shù)成果的階段性評價(jià)與同行評價(jià)等兩項(xiàng)評價(jià)制度在提升學(xué)術(shù)成果質(zhì)量中的關(guān)鍵作用;李法惠[23]認(rèn)為,在我國學(xué)術(shù)論文評價(jià)制度中,存在過度引用與抄襲之間的關(guān)系、過度引用與高質(zhì)量論文之間的關(guān)系;劉明[24]認(rèn)為,學(xué)術(shù)論文不能“以刊評文”,而是強(qiáng)調(diào)學(xué)術(shù)論文的質(zhì)量,建議完善我國學(xué)術(shù)評價(jià)制度,構(gòu)建以學(xué)術(shù)界和讀者為共同基礎(chǔ)的評價(jià)機(jī)制;葉青、彭輝[25]認(rèn)為,目前學(xué)術(shù)成果評價(jià)制度存在不完善之處,建議在定量和定性評價(jià)基礎(chǔ)上,采用代表性學(xué)術(shù)成果作為評價(jià)學(xué)術(shù)論文(或著作)的一項(xiàng)指標(biāo);Lamont amp; Mallard[26]通過比較美國、英國和法國社會(huì)科學(xué)與人文學(xué)科的學(xué)術(shù)評價(jià)方法,認(rèn)為人文社科學(xué)術(shù)成果的評價(jià)不能注重形式,需要學(xué)術(shù)評價(jià)委員會(huì)設(shè)立不同的專家委員會(huì),加強(qiáng)同行評價(jià)及其加強(qiáng)對已有成果社會(huì)影響力和學(xué)術(shù)影響力的評價(jià)等;白如江等[27]基于學(xué)術(shù)論文的外在因素和內(nèi)在因素,分析了學(xué)術(shù)論文評價(jià)的未來發(fā)展趨勢;李立國[28]認(rèn)為,學(xué)術(shù)評價(jià)制度就是牛鼻子,什么樣的學(xué)術(shù)評價(jià)制度就會(huì)產(chǎn)生什么樣的學(xué)術(shù)評價(jià)結(jié)果,因此評價(jià)制度具有極端重要性。
通過文獻(xiàn)梳理發(fā)現(xiàn),已有學(xué)者主要關(guān)注學(xué)術(shù)成果的評價(jià)方法,包括H指數(shù)法、社會(huì)網(wǎng)絡(luò)法、同行評價(jià)法等;在評價(jià)制度方面,國外文獻(xiàn)偏重于在學(xué)術(shù)自由、學(xué)術(shù)自治背景下探討學(xué)術(shù)成果的評價(jià)制度,國內(nèi)文獻(xiàn)側(cè)重于在理論層面探索學(xué)術(shù)成果的評價(jià)制度。上述研究成果為本研究提供了有益借鑒,但也存在不足需要回答,主要體現(xiàn)在:我國學(xué)術(shù)成果評價(jià)存在哪些不良傾向?其根源在哪里?結(jié)合科技部、教育部破“五唯”“四唯”文件精神,我國高校和科研機(jī)構(gòu)在學(xué)術(shù)成果評價(jià)方面應(yīng)該怎么做?回答和解決這些問題正是本研究的目的所在。
二、學(xué)術(shù)成果評價(jià)的不良傾向分析
(一)學(xué)術(shù)成果評價(jià)與作者個(gè)人社會(huì)影響和個(gè)人利益掛鉤
1.學(xué)術(shù)成果評價(jià)容易受作者學(xué)術(shù)身份的影響
在學(xué)術(shù)研究與評價(jià)實(shí)踐中,學(xué)術(shù)成果評價(jià)往往受到學(xué)術(shù)成果作者學(xué)術(shù)身份的影響。主要存在下面兩類影響:一是已經(jīng)在業(yè)界公認(rèn)、有很多知名頭銜的學(xué)者,其署名的學(xué)術(shù)成果一般很容易被認(rèn)定為高質(zhì)量的學(xué)術(shù)成果,主要原因在于這類人群已經(jīng)在學(xué)術(shù)界樹立了相對權(quán)威。另外,評價(jià)該類學(xué)術(shù)成果的專家都有可能與知名學(xué)者有著密切關(guān)聯(lián),如師生關(guān)系、同一師門關(guān)系等連帶關(guān)系,所以知名學(xué)者的學(xué)術(shù)成果即使沒有太多新意,其學(xué)術(shù)成果也很容易被認(rèn)定為高質(zhì)量學(xué)術(shù)成果。對于是否真正屬于高質(zhì)量學(xué)術(shù)成果,目前國內(nèi)的評價(jià)指標(biāo)體系很難認(rèn)定。當(dāng)然,這里并不能否認(rèn)上述知名學(xué)者曾經(jīng)發(fā)表過、出版過有思想、有創(chuàng)新性的高質(zhì)量學(xué)術(shù)成果。二是熟悉高水平期刊寫作套路的高產(chǎn)作者。有這么一批熟知國內(nèi)學(xué)術(shù)評價(jià)中被認(rèn)定為高水平學(xué)術(shù)期刊寫作范式的作者,他們熟知這些期刊的偏好和范式,且與這些期刊形成了良好默契,其學(xué)術(shù)成果很容易在這些認(rèn)定的高水平學(xué)術(shù)期刊上發(fā)表,發(fā)表后的論文在國內(nèi)很自然地被界定為高水平的學(xué)術(shù)成果。如國內(nèi)一些學(xué)者熟知SCI期刊的寫作套路,且與SCI期刊形成了良好的默契關(guān)系,他們的文章很容易在SCI期刊上發(fā)表,發(fā)表后的SCI論文很容易在國內(nèi)被認(rèn)定為高質(zhì)量學(xué)術(shù)成果。針對上面兩類學(xué)者的學(xué)術(shù)成果,該如何評價(jià),值得高校和科研單位深思。
2.過于強(qiáng)調(diào)學(xué)術(shù)成果評價(jià)與個(gè)人利益之間的關(guān)系
作為科研激勵(lì)的一種手段,學(xué)者發(fā)表的學(xué)術(shù)成果級別越高,獲得的科研獎(jiǎng)勵(lì)越多,這是可以理解的,但是如果學(xué)者把學(xué)術(shù)成果的評價(jià)與個(gè)人利益完全掛鉤,那么學(xué)術(shù)成果的評價(jià)就容易失去其本質(zhì)的公正性,就容易功利化。過于功利化的學(xué)術(shù)成果評價(jià)不利于科學(xué)研究,特別是基礎(chǔ)科學(xué)。現(xiàn)在國內(nèi)各高校及科研單位,普遍將學(xué)者的學(xué)術(shù)成果等級直接與其職稱、獎(jiǎng)勵(lì)、職務(wù)晉升、住房、人才引進(jìn)、學(xué)術(shù)頭銜等個(gè)人利益捆綁在一起,導(dǎo)致的結(jié)果是容易滋生學(xué)術(shù)腐敗,學(xué)術(shù)成果商業(yè)化,學(xué)術(shù)創(chuàng)作短視化,直接影響了學(xué)術(shù)成果的創(chuàng)作環(huán)境,影響了學(xué)術(shù)成果評價(jià)的公正性。
(二)學(xué)術(shù)成果評價(jià)與作者所在單位級別、單位利益掛鉤
1.學(xué)術(shù)成果評價(jià)與作者所在單位級別掛鉤
目前,國內(nèi)學(xué)術(shù)成果評價(jià)機(jī)構(gòu)在評價(jià)學(xué)術(shù)成果的質(zhì)量時(shí),如果學(xué)術(shù)成果的質(zhì)量差異不大,作者所在單位的行政級別越高,其學(xué)術(shù)成果被評定的級別就越高。主要表現(xiàn)在兩個(gè)方面:一是學(xué)術(shù)論文發(fā)表方面。在國內(nèi)高水平學(xué)術(shù)期刊上(如中國社會(huì)科學(xué)院中國社會(huì)科學(xué)評價(jià)中心發(fā)布的頂級權(quán)威期刊),一般都刊發(fā)“211”“985”“雙一流”高校或者省部級科研院所科研人員的文章,非上述科研單位人員很難在上述頂級權(quán)威期刊上發(fā)表文章;甚至有部分期刊明確規(guī)定,不發(fā)表非“211”“985”“雙一流”高校及地級市科研單位作者的論文,無論這些學(xué)術(shù)論文質(zhì)量高低。二是學(xué)術(shù)成果評獎(jiǎng)方面。上報(bào)省部級或國家級獎(jiǎng)項(xiàng)的學(xué)術(shù)成果可能都在同一出版社出版,或者是在同一學(xué)術(shù)期刊上發(fā)表,就因?yàn)樽髡咚趩挝坏男姓墑e不同,獲獎(jiǎng)的級別和難易程度存在明顯差異。單位級別越高,越容易獲得高級別獎(jiǎng)項(xiàng)。
2.學(xué)術(shù)成果評價(jià)與作者單位利益關(guān)聯(lián)
目前社會(huì)上的各種高校綜合排名、學(xué)科排名都與高校、科研單位產(chǎn)生的學(xué)術(shù)成果級別掛鉤,掛鉤的結(jié)果就是,高校和科研單位盡可能鼓勵(lì)本單位人員多產(chǎn)出高質(zhì)量學(xué)術(shù)成果,出重金招聘能產(chǎn)出高質(zhì)量學(xué)術(shù)成果的學(xué)者。同時(shí),學(xué)術(shù)成果掛靠單位也會(huì)動(dòng)用單位資源去影響學(xué)術(shù)成果的評價(jià),推動(dòng)本單位多產(chǎn)出高質(zhì)量學(xué)術(shù)成果。一般而言,被評價(jià)學(xué)術(shù)成果的級別越高,各單位動(dòng)用本單位資源的可能性就越大。學(xué)術(shù)成果評價(jià)的結(jié)果不再僅僅取決于學(xué)術(shù)成果質(zhì)量的高低,而是部分地取決于學(xué)術(shù)成果作者所在單位干預(yù)的程度和單位社會(huì)影響力的大小。學(xué)術(shù)成果的評價(jià)在某種程度上變成了單位之間的利益之爭,這種競爭必將導(dǎo)致學(xué)術(shù)成果評價(jià)的不公平、不公正。
(三)學(xué)術(shù)成果評價(jià)容易受到各級政府政策文件的影響
1.制度層面規(guī)定以學(xué)術(shù)成果的級別代替學(xué)術(shù)成果質(zhì)量的評價(jià)
(1)以學(xué)術(shù)期刊的等級代替學(xué)術(shù)論文質(zhì)量的評價(jià)。目前我國高校和科研院所大都用學(xué)術(shù)期刊的級別來代替學(xué)術(shù)成果質(zhì)量的評價(jià)。高校及科研機(jī)構(gòu)要么根據(jù)南京大學(xué)中國社會(huì)科學(xué)研究評價(jià)中心發(fā)布的CSSCI來源期刊目錄排名,要么根據(jù)北京大學(xué)圖書館發(fā)布的《中文核心期刊要目總覽》中的期刊排名,要么根據(jù)中國社科院中國社會(huì)科學(xué)評價(jià)中心發(fā)布的《中國人文社會(huì)科學(xué)期刊評價(jià)報(bào)告》將期刊分成不同等級,依據(jù)期刊等級來評價(jià)學(xué)術(shù)論文質(zhì)量。上述以學(xué)術(shù)期刊等級代替學(xué)術(shù)論文評價(jià)的結(jié)果是,少量發(fā)表在最高級別期刊的短評文章,可能只有1—2頁,也被認(rèn)定為高質(zhì)量的學(xué)術(shù)論文。還有一些發(fā)表在最高級別期刊的論文,發(fā)表以后卻是“零”下載量,這就意味著該學(xué)術(shù)論文沒有被所有學(xué)者瀏覽,這類學(xué)術(shù)論文認(rèn)定為高質(zhì)量學(xué)術(shù)論文值得商榷。
(2)以學(xué)術(shù)成果的獲獎(jiǎng)級別代替學(xué)術(shù)成果質(zhì)量的評價(jià)。目前,科技領(lǐng)域和人文社科領(lǐng)域設(shè)置了不同級別的獎(jiǎng)項(xiàng),包括國家級、省部級、市級、單位級等,還有一部分是行業(yè)、學(xué)會(huì)、協(xié)會(huì)組織的獎(jiǎng)項(xiàng)。如果認(rèn)真分析一下某一級別獲獎(jiǎng)?wù)叩拿麊尉蜁?huì)發(fā)現(xiàn),各個(gè)級別的獎(jiǎng)項(xiàng)幾乎總是被相同的一群人占有。如果我們再研究一下這些獲獎(jiǎng)?lì)}目還會(huì)發(fā)現(xiàn),本次獲獎(jiǎng)?lì)}目與上一次獲獎(jiǎng)?lì)}目存在很高的關(guān)聯(lián)性。那么,評價(jià)各級、各類學(xué)術(shù)成果獎(jiǎng)項(xiàng),是因人設(shè)獎(jiǎng)還是因?qū)W術(shù)成果質(zhì)量而設(shè)獎(jiǎng)呢?顯然,各類學(xué)術(shù)成果獎(jiǎng)項(xiàng)不能完全反映該級別學(xué)術(shù)成果的真實(shí)學(xué)術(shù)質(zhì)量。
2.以科研項(xiàng)目級別代替學(xué)術(shù)成果質(zhì)量的評價(jià)
目前,國內(nèi)部分高校及科研機(jī)構(gòu)科研人員即便產(chǎn)出了高質(zhì)量學(xué)術(shù)成果,但成果折算成科研分?jǐn)?shù)卻并不高,而高級別科研項(xiàng)目的科研分?jǐn)?shù)卻可以折算成10余篇,甚至是20余篇高質(zhì)量學(xué)術(shù)論文的科研分?jǐn)?shù)。另外,國內(nèi)大多數(shù)高校及科研單位明確規(guī)定,科研項(xiàng)目是科研人員晉升職稱的硬性標(biāo)準(zhǔn)。在某個(gè)職稱聘期內(nèi),科研人員如果沒有國家級科研項(xiàng)目,即使有再多、級別再高的科研論文,也沒有資格申報(bào)高一級的職稱。部分高校及科研單位甚至將科研項(xiàng)目的等級視為學(xué)者學(xué)術(shù)成果的水平,包括現(xiàn)在高校和科研單位引進(jìn)人才,一般也以學(xué)者所承擔(dān)科研項(xiàng)目的級別來認(rèn)定學(xué)者的學(xué)術(shù)水平。
顯然,以科研項(xiàng)目級別代替學(xué)術(shù)成果水平的做法值得思考和總結(jié)。
(四)交叉學(xué)科學(xué)術(shù)成果評價(jià)存在盲區(qū)
隨著社會(huì)融合發(fā)展,跨學(xué)科綜合研究越來越多,我國原有的按照學(xué)科劃分學(xué)術(shù)成果的模式已經(jīng)難以適應(yīng)社會(huì)發(fā)展的需要,有些交叉學(xué)科的成果很難劃分到某些具體學(xué)科中。例如,人工智能與教育結(jié)合形成的人工智能教育學(xué),神經(jīng)學(xué)、會(huì)計(jì)學(xué)結(jié)合形成的神經(jīng)會(huì)計(jì)學(xué),互聯(lián)網(wǎng)、人工智能、汽車制造業(yè)結(jié)合形成的基于5G網(wǎng)絡(luò)人工智能的汽車駕駛技術(shù)等。交叉學(xué)科產(chǎn)生的學(xué)術(shù)成果往往也是全新的領(lǐng)域,或是多學(xué)科知識(shí)融合的結(jié)果。如果按照現(xiàn)有學(xué)術(shù)成果歸屬模式來劃分成果的學(xué)科,那么新興學(xué)科和交叉學(xué)科的原創(chuàng)學(xué)術(shù)成果很難歸屬于某個(gè)學(xué)科,這類交叉學(xué)科的學(xué)術(shù)成果很難被認(rèn)定。成果不能得到認(rèn)定或評價(jià),意味著這類學(xué)術(shù)成果很難被認(rèn)定為高質(zhì)量的學(xué)術(shù)成果。即使是這類交叉學(xué)術(shù)成果去報(bào)獎(jiǎng)、評獎(jiǎng),成果的學(xué)科歸類、專家遴選等都會(huì)遇到同樣的問題。
三、形成學(xué)術(shù)成果評價(jià)誤區(qū)的原因診斷
(一)全球各學(xué)科評估機(jī)構(gòu)發(fā)布學(xué)科評估指標(biāo)的導(dǎo)向作用
近年來,全球最大的學(xué)科評估機(jī)構(gòu)——國際高等教育資訊機(jī)構(gòu)QS(Quacquarelli Symonds,簡稱QS)每年發(fā)布全球?qū)W科評估結(jié)果,評估學(xué)科涉及社會(huì)科學(xué)、自然科學(xué)和工程技術(shù)等五大學(xué)科,評估結(jié)果作為全球?qū)W科評估、學(xué)科專業(yè)國際認(rèn)證、留學(xué)生留學(xué)指南的重要依據(jù),評估指標(biāo)中最重要的指標(biāo)之一就是該大學(xué)發(fā)表的SCI、SSCI學(xué)術(shù)論文數(shù)量和引用次數(shù)。正是由于全球?qū)W科評估機(jī)構(gòu)制定的學(xué)科評估指標(biāo)存在較強(qiáng)的導(dǎo)向作用,導(dǎo)致了我國各高校及科研單位把SCI、SSCI學(xué)術(shù)論文的數(shù)量作為本單位科研人員科研考核的主要指標(biāo)。正是在各單位科研考核指標(biāo)的指引下,科研人員把發(fā)表SCI、SSCI學(xué)術(shù)論文作為其科研主攻方向。
(二)各級政府制定的政策文件引導(dǎo)各高校、科研單位制定相應(yīng)的學(xué)術(shù)成果評價(jià)制度
目前教育部制定的學(xué)科評估制度、雙一流學(xué)科評選方法等,在評估指標(biāo)中,明確列舉了“中國版ESI高被引論文”(自然科學(xué)學(xué)科)或“A類期刊論文”(人文社會(huì)學(xué)科),并列舉了一定數(shù)量的SCI、SSCI學(xué)術(shù)期刊的數(shù)量作為評價(jià)的指標(biāo)。在獲獎(jiǎng)方面,按照國家級和省部級等獲獎(jiǎng)數(shù)量來衡量各教學(xué)科研單位的科研水平,評估結(jié)果直接與高校、科研單位的發(fā)展密切聯(lián)系。正是在上述政策文件的引導(dǎo)
下,高校、科研單位制定了相應(yīng)的學(xué)術(shù)成果評價(jià)標(biāo)準(zhǔn)來要求本單位科研人員執(zhí)行,導(dǎo)致了各教學(xué)科研單位以學(xué)術(shù)成果獎(jiǎng)勵(lì)的級別、學(xué)術(shù)期刊的等級來認(rèn)定學(xué)術(shù)成果水平。為了激勵(lì)本單位科研人員產(chǎn)出不同級別政府部門所制定的評估指標(biāo)中羅列的A類成果,各單位便在制度層面規(guī)定了A類成果的獎(jiǎng)勵(lì)機(jī)制,進(jìn)而激勵(lì)科研人員為了個(gè)人利益發(fā)表更多的A類學(xué)術(shù)成果。這些A類學(xué)術(shù)成果的學(xué)術(shù)貢獻(xiàn)有多大,對社會(huì)的發(fā)展貢獻(xiàn)有多大值得懷疑。而在評價(jià)指標(biāo)中沒有涉及的內(nèi)容,自然也不是學(xué)者關(guān)心的內(nèi)容。
(三)學(xué)術(shù)成果按照學(xué)科專業(yè)細(xì)分制約了交叉學(xué)科學(xué)術(shù)成果的評價(jià)
按照學(xué)科專業(yè)設(shè)置科研項(xiàng)目、開展學(xué)術(shù)研究的確是國內(nèi)外通行做法,然而社會(huì)發(fā)展推動(dòng)了交叉學(xué)科的誕生,多學(xué)科交叉便產(chǎn)生交叉學(xué)術(shù)成果,交叉學(xué)術(shù)成果很難歸屬于某個(gè)學(xué)科專業(yè),自然就很難在以學(xué)科專業(yè)來設(shè)置欄目的學(xué)術(shù)期刊上發(fā)表,不能發(fā)表意味著學(xué)術(shù)成果很難被認(rèn)定和評價(jià),其結(jié)果阻礙了交叉學(xué)科學(xué)術(shù)成果的評價(jià)和發(fā)展,進(jìn)而可能影響學(xué)術(shù)成果的創(chuàng)新。上述分析不難發(fā)現(xiàn),目前國內(nèi)外高校、科研機(jī)構(gòu)的學(xué)科專業(yè)設(shè)置在一定程度上制約了跨學(xué)科、交叉學(xué)科學(xué)術(shù)成果的產(chǎn)生與評價(jià)。
四、發(fā)達(dá)國家學(xué)術(shù)成果評價(jià)的經(jīng)驗(yàn)借鑒
(一)英國學(xué)術(shù)成果評價(jià)標(biāo)準(zhǔn)
英國科研機(jī)構(gòu)特別是英國大學(xué),關(guān)于學(xué)術(shù)成果評價(jià)的依據(jù)可以概括為四個(gè)方面:(1)學(xué)術(shù)成果能否促進(jìn)學(xué)術(shù)交流,即學(xué)術(shù)成果被引用的情況,以及學(xué)術(shù)成果能否對政府的政策制定產(chǎn)生影響;(2)學(xué)術(shù)成果能否提高本領(lǐng)域的學(xué)術(shù)交流水平;(3)學(xué)術(shù)成果內(nèi)容是否規(guī)范,主要包括學(xué)術(shù)論文的邏輯層次是否清晰,學(xué)術(shù)內(nèi)容是否規(guī)范,專業(yè)術(shù)語是否規(guī)范等;(4)學(xué)術(shù)成果能否促進(jìn)知識(shí)傳承,即論文發(fā)表后對本學(xué)科的知識(shí)是否有承前啟后作用,與已有學(xué)術(shù)研究是否存在連續(xù)性等[29]。
根據(jù)上述四方面評價(jià)指標(biāo)對學(xué)術(shù)成果質(zhì)量進(jìn)行評價(jià),其結(jié)果一般分為五個(gè)等級:最高一級為四星級,即學(xué)術(shù)成果在世界范圍內(nèi)屬于原創(chuàng)性,對本學(xué)科的研究有重要推動(dòng)作用,學(xué)術(shù)成果嚴(yán)謹(jǐn)規(guī)范,比如學(xué)者的學(xué)術(shù)成果獲得了諾貝爾獎(jiǎng);三星級指學(xué)術(shù)成果在世界范圍內(nèi)得到了認(rèn)可,有一定的原創(chuàng)性,但還達(dá)不到國際上公認(rèn)的原創(chuàng)性標(biāo)準(zhǔn);二星級指學(xué)術(shù)成果的質(zhì)量達(dá)到或基本達(dá)到國際公認(rèn)的標(biāo)準(zhǔn)或水平,學(xué)術(shù)成果有一定原創(chuàng)性,學(xué)術(shù)成果較為嚴(yán)謹(jǐn);一星級指學(xué)術(shù)成果在國內(nèi)屬于原創(chuàng)性,在本國本學(xué)科得到認(rèn)可,學(xué)術(shù)成果內(nèi)容較為規(guī)范;無星級指學(xué)術(shù)成果原創(chuàng)性存在不足,尚未達(dá)到本國或本學(xué)科認(rèn)定標(biāo)準(zhǔn)。通過對上述評價(jià)指標(biāo)和評價(jià)方法的分析發(fā)現(xiàn),英國科研機(jī)構(gòu)對人文社科科研成果的評價(jià)雖然注重定量與定性結(jié)合,但顯然更注重定性評價(jià)。
(二)德國學(xué)術(shù)成果評價(jià)方法
德國科學(xué)委員會(huì)成立于1957年,20世紀(jì)80年代開始就著手完善學(xué)術(shù)成果的評價(jià)體系,并試圖通過學(xué)術(shù)成果評估、學(xué)術(shù)成果排序和創(chuàng)新評估方法等進(jìn)一步完善學(xué)術(shù)成果評價(jià)體系。20世紀(jì)90年代,德國科學(xué)委員會(huì)進(jìn)一步完善學(xué)術(shù)成果評價(jià)程序,評價(jià)過程更加透明。據(jù)此,德國科學(xué)委員會(huì)發(fā)布了《科研成果評價(jià)與監(jiān)督建議》。根據(jù)建議,德國學(xué)術(shù)成果評價(jià)方法及內(nèi)容主要包括以下五方面:(1)同行評議。這是學(xué)術(shù)成果質(zhì)量評價(jià)的必須環(huán)節(jié),在學(xué)術(shù)成果質(zhì)量評價(jià)、教師資格晉升、學(xué)術(shù)成果獲獎(jiǎng)、學(xué)術(shù)機(jī)構(gòu)研究能力評價(jià)等方面都采用同行評價(jià)方法。(2)量化指標(biāo)。經(jīng)常使用的量化指標(biāo)包括:學(xué)術(shù)成果有無項(xiàng)目資助、成果作者數(shù)量、成果參考文獻(xiàn)數(shù)量、學(xué)術(shù)成果被引次數(shù)、H指數(shù)等。(3)排序。德國從20世紀(jì)80年代開始就采用不同形式的排序評價(jià)方法,專家根據(jù)學(xué)術(shù)成果的質(zhì)量指標(biāo)和數(shù)量指標(biāo)標(biāo)準(zhǔn)進(jìn)行排序。排名將充分考慮學(xué)術(shù)成果之間的差異,包括同類型學(xué)術(shù)成果縱向和橫向的比較,這種比較主要是確定該學(xué)術(shù)成果的創(chuàng)新性在國內(nèi)外同類研究中所處的位置,確定創(chuàng)新性的程度。(4)項(xiàng)目資助。評價(jià)學(xué)術(shù)成果質(zhì)量一般會(huì)考慮學(xué)術(shù)成果是否獲得項(xiàng)目資助、項(xiàng)目資助級別、學(xué)術(shù)成果與所資助項(xiàng)目之間的關(guān)系。(5)學(xué)術(shù)不端行為。主要檢測該學(xué)術(shù)成果是否存在剽竊、學(xué)術(shù)造假、學(xué)術(shù)成果抄襲、研究方法不當(dāng)、研究邏輯不嚴(yán)謹(jǐn)、不合法署名、學(xué)術(shù)不規(guī)范、一稿多投、一稿多發(fā)等,對學(xué)術(shù)不端行為的要求極為嚴(yán)格,基本實(shí)行一票否決制[30]。
(三)美國學(xué)術(shù)成果評價(jià)實(shí)踐
美國早期關(guān)于學(xué)術(shù)論文的評價(jià)主要模仿英國,第二次世界大戰(zhàn)以后,學(xué)術(shù)概念悄然興起,科研激勵(lì)機(jī)制逐步建立,學(xué)術(shù)出版物(包括學(xué)術(shù)論文)成了科研人員樹立學(xué)術(shù)地位的重要抓手。特別是Boyer[31]發(fā)表“Scholarship reconsidered: Priorities of the professoriate”以后,美國高校及科研機(jī)構(gòu)對學(xué)術(shù)成果的評價(jià)日趨規(guī)范。目前,學(xué)術(shù)成果評價(jià)主要包括以下幾方面內(nèi)容:(1)同行評價(jià)。美國的同行評議比較嚴(yán)格,所以美國很多高校把期刊發(fā)表成果的數(shù)量作為評價(jià)學(xué)術(shù)成果價(jià)值的主要手段。在發(fā)表的成果數(shù)量與質(zhì)量方面,專家主要查看美國科學(xué)情報(bào)所發(fā)布的SSCI數(shù)據(jù)庫(社會(huì)科學(xué)引文索引)、ISSTP數(shù)據(jù)庫(國際學(xué)術(shù)會(huì)議社會(huì)科學(xué)引文索引)和Aamp;HCI數(shù)據(jù)庫(藝術(shù)與人文科學(xué)引文索引)。(2)定量分析方法,即引用指數(shù)分析法。主要分析學(xué)術(shù)成果參考文獻(xiàn)數(shù)量、交叉學(xué)科文獻(xiàn)數(shù)量等,以此判斷學(xué)術(shù)成果的創(chuàng)新程度。(3)學(xué)術(shù)影響指標(biāo)。主要考察該學(xué)術(shù)成果的社會(huì)引用、學(xué)術(shù)成果獲獎(jiǎng)、學(xué)術(shù)成果在企業(yè)和社會(huì)中的應(yīng)用情況。比如:以美國總統(tǒng)名義設(shè)立的學(xué)術(shù)成果獎(jiǎng)勵(lì)和各級學(xué)會(huì)設(shè)立的學(xué)術(shù)成果獎(jiǎng)勵(lì)等,這些都是學(xué)術(shù)成果學(xué)術(shù)影響力的重要指標(biāo)[32]。(4)學(xué)術(shù)成果違規(guī)懲戒制度。為了規(guī)范學(xué)術(shù)行為,美國專門頒布了《版權(quán)法》《商標(biāo)與不公平競爭法》,其嚴(yán)厲的懲戒制度大大降低了學(xué)術(shù)抄襲行為,增強(qiáng)了研究人員的學(xué)術(shù)自律。
(四)澳大利亞推出學(xué)術(shù)成果評價(jià)卓越研究項(xiàng)目
澳大利亞對學(xué)術(shù)成果質(zhì)量的評價(jià)主要是基于該國的卓越研究項(xiàng)目,該項(xiàng)目采用較多的方法就是同行評議方法和引文分析方法。這兩種方法在使用過程中相互補(bǔ)充:(1)同行評議方法。卓越研究項(xiàng)目中的同行評議同英國同行評議的劃分等級類似,不過澳大利亞劃分六級。其中五級是學(xué)術(shù)成果質(zhì)量遠(yuǎn)超世界水平,四級是學(xué)術(shù)成果質(zhì)量超過世界水平,三級是學(xué)術(shù)成果質(zhì)量處于世界平均水平,二級是學(xué)術(shù)成果質(zhì)量低于世界水平,一級是學(xué)術(shù)成果質(zhì)量遠(yuǎn)低于世界水平,0級是未達(dá)到參評標(biāo)準(zhǔn),不做評價(jià)。(2)引文分析方法。該方法主要是分析期刊文章、文章文獻(xiàn)與學(xué)術(shù)成果之間的關(guān)系[33]。這種方法是從文獻(xiàn)分析入手的共引分析(即兩篇文獻(xiàn)被后來發(fā)表的文獻(xiàn)同時(shí)引用,那么這兩篇文獻(xiàn)之間是否存在關(guān)聯(lián)),該方法是以知識(shí)結(jié)構(gòu)、鄰里聯(lián)系法則、映射為方法論基礎(chǔ),來分析研究對象之間的邏輯關(guān)系,挖掘潛在的有用知識(shí)。這種分析方法又包括三種分析方式:一是引文描述性統(tǒng)計(jì)分析,主要分析文章引文數(shù)量與文獻(xiàn)之間的邏輯關(guān)系;二是引文線性關(guān)聯(lián)分析,主要分析文獻(xiàn)之間的關(guān)聯(lián)和影響;三是文獻(xiàn)有向鏈狀分析,主要是引用文獻(xiàn)之間有向的引用關(guān)系。通過引文分析方法就可以揭示學(xué)術(shù)成果所在學(xué)科的發(fā)展脈絡(luò)、發(fā)展歷程以及研究熱度。
目前,澳大利亞卓越研究項(xiàng)目主要從時(shí)間維度(作者、機(jī)構(gòu)、關(guān)鍵詞和參考文獻(xiàn))和地理維度(作者、機(jī)構(gòu)和國家信息等)展開。引文分析方法雖然主要是通過客觀性評價(jià)來評價(jià)學(xué)術(shù)成果的質(zhì)量,但這種方法沒有統(tǒng)一的標(biāo)準(zhǔn)來驗(yàn)證分析結(jié)論的有效性和正確性[34],導(dǎo)致客觀性評價(jià)結(jié)果也受到質(zhì)疑。當(dāng)然,澳大利亞卓越項(xiàng)目也關(guān)注學(xué)術(shù)成果有無基金項(xiàng)目、社會(huì)影響、社會(huì)應(yīng)用等。
五、重構(gòu)我國學(xué)術(shù)成果評價(jià)體系的政策建議
學(xué)術(shù)成果評價(jià)的目的決定了評價(jià)的方法和手段,那么如何認(rèn)識(shí)我國學(xué)術(shù)成果評價(jià)的目的呢?筆者認(rèn)為,我國學(xué)術(shù)成果評價(jià)的目的至少體現(xiàn)在以下兩個(gè)方面:一是發(fā)現(xiàn)學(xué)術(shù)成果的內(nèi)在價(jià)值。內(nèi)在價(jià)值體現(xiàn)于學(xué)術(shù)成果的學(xué)術(shù)價(jià)值和社會(huì)價(jià)值,學(xué)術(shù)價(jià)值表現(xiàn)在通過評價(jià)發(fā)現(xiàn)該學(xué)術(shù)成果對某領(lǐng)域?qū)W術(shù)研究的貢獻(xiàn);社會(huì)價(jià)值表現(xiàn)在通過成果評價(jià)發(fā)現(xiàn)該學(xué)術(shù)成果對社會(huì)經(jīng)濟(jì)發(fā)展和科學(xué)技術(shù)進(jìn)步的貢獻(xiàn)。二是促進(jìn)人才培養(yǎng)。通過學(xué)術(shù)成果評價(jià),能夠判斷人才培養(yǎng)的標(biāo)準(zhǔn)與質(zhì)量,能夠判斷人才發(fā)展的階段和水平,進(jìn)而激發(fā)學(xué)者從事學(xué)術(shù)研究的積極性,提升學(xué)術(shù)成果的質(zhì)量。要實(shí)現(xiàn)我國學(xué)術(shù)成果評價(jià)的目的,就需要在破“四唯”“五唯”政策視角下對我國目前的學(xué)術(shù)成果評價(jià)體系進(jìn)行改革,破舊立新,建立新的學(xué)術(shù)成果評價(jià)體系。
(一)重新審視我國學(xué)術(shù)成果評價(jià)制度
完善我國學(xué)術(shù)成果評價(jià)制度是實(shí)現(xiàn)我國學(xué)術(shù)成果正確評價(jià)的前提,為此,在完善學(xué)術(shù)成果評價(jià)制度方面,我們要堅(jiān)定“四個(gè)自信”,即“中國特色社會(huì)主義道路自信、理論自信、制度自信、文化自信”。在借鑒他國學(xué)術(shù)成果評價(jià)成功經(jīng)驗(yàn)的基礎(chǔ)上,結(jié)合我國國情,完善我國學(xué)術(shù)成果評價(jià)制度,避免被西方國家制定的學(xué)科評價(jià)體系所牽制,避免否定國內(nèi)學(xué)術(shù)成果展示的平臺(tái),避免
國內(nèi)的學(xué)術(shù)期刊盲從國外學(xué)術(shù)成果展示平臺(tái),破除“唯SCI、SSCI論文”至上的不良傾向。
1.從國家層面完善符合我國國情的學(xué)術(shù)成果評價(jià)制度
科技部、教育部于2020年連續(xù)出臺(tái)了多項(xiàng)文件,旨在改變目前高校、科研單位盲從SCI、SSCI等外文期刊的局面,當(dāng)然僅僅停留于這幾個(gè)文件還遠(yuǎn)不能改變目前學(xué)術(shù)成果評價(jià)的制度與方法。為此,建議科技部、教育部在聯(lián)合出臺(tái)學(xué)術(shù)成果評價(jià)文件的基礎(chǔ)上,進(jìn)一步完善涉及學(xué)術(shù)成果評價(jià)、學(xué)科評估等相關(guān)文件,發(fā)揮國家層面學(xué)術(shù)成果評價(jià)制度的引領(lǐng)作用。
2.引導(dǎo)和完善教學(xué)科研單位完善學(xué)術(shù)成果評價(jià)制度
國家層面制定了學(xué)術(shù)成果評價(jià)制度,還需要引導(dǎo)各高校、科研單位完善科研人員科研考核和評價(jià)制度,讓學(xué)術(shù)成果回歸本源。從事學(xué)術(shù)研究的動(dòng)力源自學(xué)者的學(xué)術(shù)興趣,學(xué)者的學(xué)術(shù)成果應(yīng)該對所研究領(lǐng)域的學(xué)術(shù)研究有推動(dòng)作用,研究成果有助于推動(dòng)社會(huì)經(jīng)濟(jì)的發(fā)展。引導(dǎo)教學(xué)、科研單位建立合理的科研獎(jiǎng)懲制度,科研成果獎(jiǎng)勵(lì)的確有必要,但不能將學(xué)者的科研成果評價(jià)與其個(gè)人利益全方位掛鉤。
3.完善論文成果質(zhì)量的相關(guān)評價(jià)制度
國家提出破除“唯論文”不良導(dǎo)向,不代表學(xué)術(shù)論文不重要。我們既要扭轉(zhuǎn)片面追求發(fā)表SCI論文、SSCI論文的不良局面,又要在國際學(xué)術(shù)期刊上發(fā)出中國的學(xué)術(shù)聲音。既要鼓勵(lì)在國際頂級學(xué)術(shù)期刊上發(fā)表高水平的學(xué)術(shù)成果,又要破除“唯論文”“唯SCI論文”“唯SSCI論文”至上的觀點(diǎn)與做法。為此,建議完善學(xué)術(shù)成果評價(jià)制度,推行分類評價(jià)、定性與定量結(jié)合、綜合評價(jià)制度,實(shí)施代表作制度。
4.成立第三方學(xué)術(shù)成果評價(jià)機(jī)構(gòu)
建議各省市成立第三方學(xué)術(shù)成果評價(jià)機(jī)構(gòu),這一評價(jià)機(jī)構(gòu)最好為非官方機(jī)構(gòu),評價(jià)機(jī)構(gòu)評估工作獨(dú)立運(yùn)行、獨(dú)立完成,第三方評估機(jī)構(gòu)主要負(fù)責(zé)學(xué)術(shù)成果的評價(jià),評價(jià)結(jié)果主要用于教學(xué)科研單位的各項(xiàng)審核與評估,包括教學(xué)科研單位的學(xué)科水平評估、學(xué)科專業(yè)評價(jià)、辦學(xué)水平評估、博士點(diǎn)申報(bào)評估、學(xué)術(shù)成果獎(jiǎng)勵(lì)等。第三方評估機(jī)構(gòu)的評價(jià)結(jié)果接受社會(huì)監(jiān)督,國家主管部門負(fù)責(zé)對第三方學(xué)術(shù)評估機(jī)構(gòu)的資質(zhì)進(jìn)行審核。
(二)進(jìn)一步完善我國學(xué)術(shù)成果評價(jià)方法
1.建立多元化的學(xué)術(shù)成果評價(jià)標(biāo)準(zhǔn)
因?qū)W科不同,學(xué)術(shù)成果的評價(jià)標(biāo)準(zhǔn)也存在顯著差異。為此,需要對學(xué)術(shù)成果進(jìn)行分類,確定該成果屬于理工類還是人文類學(xué)術(shù)成果,確定大類后,根據(jù)學(xué)術(shù)成果所研究的領(lǐng)域劃分為基礎(chǔ)性和實(shí)證性學(xué)術(shù)成果。不同學(xué)科和不同性質(zhì)的學(xué)術(shù)成果,要按照一定標(biāo)準(zhǔn)對其創(chuàng)新程度進(jìn)行分級,基礎(chǔ)性學(xué)術(shù)成果在質(zhì)量評價(jià)時(shí)更多強(qiáng)調(diào)學(xué)術(shù)成果的創(chuàng)新性,并延長評價(jià)的時(shí)效性。對于應(yīng)用性學(xué)術(shù)成果,應(yīng)該更多考慮學(xué)術(shù)成果數(shù)據(jù)的有效性、代表性和可信度,成果服務(wù)于社會(huì)的實(shí)際價(jià)值。評價(jià)方法要靈活掌握,有些學(xué)術(shù)成果可能介于基礎(chǔ)研究和應(yīng)用研究之間,具體采用何種評價(jià)方法,需根據(jù)具體情況而定,某些學(xué)術(shù)成果很難劃清是理論研究還是實(shí)用性研究,可能還需要將兩類學(xué)術(shù)成果的評價(jià)方法綜合使用。
值得注意的是,對于多學(xué)科交叉學(xué)術(shù)成果的評價(jià)需要采用更為創(chuàng)新的評價(jià)方法,包括專家評價(jià)、同行評價(jià)、社會(huì)評價(jià)等,甚至還可以采用追溯評價(jià)等方法,既要鼓勵(lì)這類成果的產(chǎn)出,又要評價(jià)出交叉學(xué)術(shù)成果的學(xué)術(shù)價(jià)值和社會(huì)價(jià)值。
2.推行“以刊評文”和“以文評刊”相結(jié)合的評價(jià)方法
“以刊評文”的側(cè)重點(diǎn)在于高水平期刊發(fā)文量少、發(fā)文周期長,且資源稀缺、競爭激烈,因此更容易在大量文章中挑選出期刊認(rèn)為高質(zhì)量的學(xué)術(shù)論文。“以刊評文”強(qiáng)調(diào)的是期刊把握學(xué)術(shù)論文質(zhì)量關(guān)。“以文評刊”側(cè)重的是帶著懷疑的眼光,通過同行評議、學(xué)術(shù)論文的引文數(shù)據(jù)等形式對學(xué)術(shù)論文的內(nèi)容和社會(huì)關(guān)注度進(jìn)行評價(jià),通過上述評價(jià)可以側(cè)面反映高水平期刊是否真的發(fā)表了高質(zhì)量學(xué)術(shù)成果,成果質(zhì)量是否與期刊相匹配。因此,“以刊評文”和“以文評刊”相結(jié)合是評價(jià)學(xué)術(shù)論文質(zhì)量的一種有效方法,減少了目前科研機(jī)構(gòu)中單純“以刊評文”的不足。
3.完善定量評價(jià)與定性評價(jià)相結(jié)合的綜合評價(jià)方式
定量評價(jià)方法和定性評價(jià)方法各有側(cè)重,評價(jià)的角度存在差異。定量評價(jià)方法側(cè)重學(xué)術(shù)成果參考文獻(xiàn)數(shù)量、被引數(shù)量、下載數(shù)量、瀏覽量等信息,往往忽略學(xué)術(shù)成果內(nèi)容的評價(jià),包括論文內(nèi)容是否存在創(chuàng)新、論文是否屬于原創(chuàng)性等內(nèi)容;定性評價(jià)側(cè)重于主觀評價(jià),主要是對學(xué)術(shù)成果內(nèi)容的評價(jià),評價(jià)結(jié)果可能受到評價(jià)人的學(xué)術(shù)水平、評價(jià)人與被評價(jià)人之間關(guān)系的影響。因此,在評價(jià)學(xué)術(shù)成果過程中,根據(jù)評價(jià)的目的,應(yīng)不斷完善定量與定性評價(jià)相結(jié)合的綜合評價(jià)方式,并確定兩種評價(jià)方法的主次或側(cè)重。
參考文獻(xiàn):
[1]AVERSA E S.Citation patterns of highly cited papers and their relationship to literature aging:A study of the working literature[J].Scientometrics,1985,7(3/4/5/6):383-389.
[2]SMITH N M,PRESSER P.Embed with the faculty:Legal information skills online[J].Journal of Academic Librarianship,2005,31(3):247-262.
[3]BORNMANN L,DANIEL H D.What do citation counts measure? A review of studies on citing behavior[J].Journal of Documentation,2008,64(1):45-80.
[4]EGGHE L.Theory and practise of the g-index[J].Scientometrics,2006,69(1):131-152.
[5]張凌云,齊飛,黃曉波,等.2003—2014年我國旅游學(xué)術(shù)期刊和學(xué)術(shù)論文評價(jià)[J].旅游學(xué)刊,2015 (12):85-100.
[6]PRIEM J,HEMMINGER B H.Scientometrics 2.0:New metrics of scholarly impact on the social Web[J].First Monday,2010,15(7):32-51.
[7]PIWOWAR H.Altmetrics:Value all research products[J].Nature,2013,493(7431):159-185.
[8]王軼.中國經(jīng)濟(jì)類高被引論文特征研究[J].重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2019(1):118-128.Doi:10.11835/j.issn.1008-5831.pj.2018.09.001.
[9]YOGATAMA D,HEILMAN M,O’CONNOR B,et al.Predicting a scientific community’s response to an article[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing.Association for Computational Linguistics,2011:594-604.
[10]LIVNE A,ADAR E,TEEVAN J,et al.Predicting citation counts using text and graph mining[C]//Proc.the iConference 2013 Workshop on Computational Scientometrics:Theory and Applications,2013:16-31.
[11]索傳軍,蓋雙雙,周志超.認(rèn)知計(jì)算:單篇學(xué)術(shù)論文評價(jià)的新視角[J].中國圖書館學(xué)報(bào),2018(1):50-61.
[12]趙鎮(zhèn),陳金源,曹蓓,等.基于美國《科學(xué)引文索引》分區(qū)的新系數(shù)算法對不同學(xué)科間學(xué)術(shù)論文評價(jià)方法探討[J].科技管理研究,2019(1):61-64.
[13]RAAN A F J.Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises[J].Scientometrics,1996,36(3):397-420.
[14]賀穎,邱均平.基于科學(xué)計(jì)量的同行評議專家遴選系統(tǒng)模型構(gòu)建研究[J].圖書情報(bào)工作,2011(14):28-31.
[15]張積玉.以量化為基礎(chǔ)以代表作為主的綜合化學(xué)術(shù)評價(jià)制度構(gòu)建:基于S大學(xué)的經(jīng)驗(yàn)[J].重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2019(6):84-96.Doi:10.11835/j.issn.1008-5831.pj.2019.05.004.
[16]劉俏.Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)對學(xué)術(shù)論文評價(jià)的關(guān)系研究[J].情報(bào)理論與實(shí)踐,2018(7):60-64.
[17]MCNAMARA D,WONG P,CHRISTEN P,et al.Predicting high impact academic papers using citation network features[C]//Trends and Applications in Knowledge Discovery and Data Mining.Springer Berlin Heidelberg,2013:14-25.
[18]UPHAM S P,ROSENKOPF L,UNGAR L H.Positioning knowledge:Schools of thought and new knowledge creation[J].Scientometrics,2010,83(2):555-581.
[19]高錫榮,楊娜.基于社會(huì)網(wǎng)絡(luò)分析方法的論文評價(jià)指標(biāo)體系構(gòu)建[J].情報(bào)科學(xué),2017(4):97-102,144.
[20]賀穎,劉慧,劉友存,等.基于可視化ACA技術(shù)的同行評議專家學(xué)術(shù)范式辨別研究[J].圖書情報(bào)工作,2010(14):28-31.
[21]SMITH D K.Multi-campus system approaches to academic program evaluation[J].New Directions for Institutional Research,1980,27(4):43-67.
[22]馬永霞,仇笳熙.“不唯”≠“不評”:論人文社會(huì)科學(xué)成果評價(jià)方式的改進(jìn)[J].重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2021(3):54-66.Doi:10.11835/j.issn.1008-5831.pj.2020.08.004.
[23]李法惠.學(xué)術(shù)論文評價(jià)中“過度引用”質(zhì)疑[J].出版發(fā)行研究,2009(12):56-58.
[24]劉明.學(xué)術(shù)論文評價(jià)亟待制度創(chuàng)新[J].自然辯證法通訊,2001(1):7-9.
[25]葉青,彭輝.人文社科領(lǐng)域?qū)W術(shù)成果認(rèn)定與評價(jià)方法的研究進(jìn)展[J].社會(huì)科學(xué),2013(3):98-105.
[26]LAMONT M,MALLARD G.Peer evaluation in the social sciences and the humanities compared:The United States,the United Kingdom,and France[R].Report for the Social Sciences and Humanities Research Council of Canada (Ottawa:SSHRC),2005.
[27]白如江,楊京,王效岳.單篇學(xué)術(shù)論文評價(jià)研究現(xiàn)狀與發(fā)展趨勢[J].情報(bào)理論與實(shí)踐,2015(11):11-17.
[28]李立國.學(xué)術(shù)評價(jià)與教師治理[J].國家教育行政學(xué)院學(xué)報(bào),2020(1):9-10.
[29]PHILLIMORE A J.University research performance indicators in practice:The University Grants Committee’s evaluation of British universities,1985—1986[J].Research Policy,1989,18(5):255-271.
[30]王飛.德國科學(xué)委員會(huì)對科研成果評價(jià)及科研誠信關(guān)系的分析與建議[J].科學(xué)與社會(huì),2017(1):31-40.
[31]POSTON L,BOYER E L.Scholarship reconsidered:Priorities of the professoriate[J].Academe,1992,78(4):43-61.
[32]邱均平,任全娥.國內(nèi)外人文社會(huì)科學(xué)科研成果評價(jià)比較研究[J].國外社會(huì)科學(xué),2007(3):58-66.
[33]Australian Research Council:ERA 2012 Evaluation Handbook[R].Canberra:Australian Government,2012.
[34]魯超,劉清.引文分析可視化現(xiàn)狀[J].情報(bào)雜志,2010(11):48-52.
Research on the assessment of academic achievements from the perspective of
the policy of removing the “five standards for profession elevation”
CHEN Min1,WANG Yi2
(1.Department of Reform and Development, The Open University of China, Beijing 100039,
P.R. China; 2. School of Economics, Beijing Technology and Business University, 100048, P. R. China)
Abstract:
Recently, the Ministry of Education, the Ministry of Science and Technology and other departments have issued policy documents to abolish the malpractice of “five standards for profession elevation”, with special emphasis on removing the “five standards” orientation in academic assessment. So, what are the problems in the academic assessment system of China, what are the reasons, and how to solve them? After combing the existing literature, we find that: at present, the evaluation of academic achievements in China is susceptible to the rank of authors or units. Personal interests and unit interests are related to the assessments. The units’ academic assessment system is affected by policy documents issued by government departments at all levels, and there are blind areas in the evaluation of interdisciplinary academic achievements. After analyzing, the orientation of academic assessment indicators issued by evaluation institutions around the world, the academic assessment systems established at all levels of teaching and research institutions, and the relevant systems for subdividing academic achievements according to disciplines and majors, are causes for the ill practices mentioned above. Drawing on the successful experience of academic assessment in developed countries and taking the purpose of China’s academic assessment into consideration, we suggest re-examining China’s academic assessment system, so as to improve it and encourage scholars to have more meaningful and high-level academic achievements, where removing the standards of essays only doesn’t mean absolutely abandoning essays as an indicator in the assessment.
Key words: "academic achievements; academic assessment; removing the “five standards for profession elevation”; essays only; assessment system; evaluation method
(責(zé)任編輯 彭建國)