譚智敏 劉萬國
摘要:隨著“雙一流”建設總體方案的提出,科研成果越來越受到重視,高校圖書館開展學科評價服務,對于提升圖書館的服務和地位具有至關重要的意義。本文在分析了吉林大學2010-2016年發表的論文總體情況的基礎上,選取論文發表總量前10名的學科為研究對象,運用文獻計量學方法和馬爾可夫模型分析方法,與傳統的評價指標相結合,構建相應的綜合評價指標,消除學科間的基礎差異,分析得出各個學科的發展速度和發展趨勢情況。
關鍵詞:高校圖書館;學科評價;馬爾可夫模型;被引頻次;影響因子;基金論文比
DOI:10.3969/j.issn.1008-0821.2019.03.017
〔中圖分類號〕G250.1〔文獻標識碼〕A〔文章編號〕1008-0821(2019)03-0150-07
科研評價和學科評價是國家、地區和高校都十分關注的問題。特別是近幾年隨著“雙一流”建設總體方案的提出及各種大學排行榜的發布,學科評價越來越受到科研相關部門的重視。傳統的科研評價和學科評價主要是由專家同行評議的結果來定的,隨著量化方法在科研評價中的引入,科研評價也逐漸從專家評定向定量評定與同行評議相結合的方式轉移[1-2]。文獻計量學方法由此引入。文獻計量學主要是用數學和統計學的方法定量的分析文獻數量、被引頻次、作者數量、單位數量、基金數量等一切與科研有關的量化數據,用于評價科研成果。在文獻計量學應用與科研評價的過程中,一些比較方便且能精確反映某個問題的評價指標開始出現,比如期刊影響因子、分區及百分位數等,可以有效地描述一個期刊近期的發展狀況,后來也被用來對個人和單位做評價,還有按論文發表的數量來反映科研的產出能力,用論文總被引頻次、篇均被引頻次或者h指數來同時反映論文的數量和質量等等[3],已經有很多相關的理論和實例研究[4-9]。這些指標的好處是可以方便地比較和計算,能反映某一個方面的能力,并根據數據分布對學科評價指標做標準化處理,可以在一些方面實現不同學科的橫向對比,但對于不同學科的總體水平之間的對比仍然比較困難[4]。
本文將在指標歸一化這一理念的基礎上,通過建立馬爾可夫模型[10-11],考慮科研基礎對科研產出的影響,擬合數據,并通過擬合結果預測以后的科研產出情況,同時構建綜合評價指標對學科之間做橫向對比,以期得到更加科學合理的評價體系。
1研究對象與研究方法
1.1研究對象
本文選取權威的Web of Science核心合集作為數據源,對吉林大學近7年的科研產出情況做一系統梳理,檢索詞在“地址”一欄輸入“Jilin University”,為盡量保證研究數據的全面及完整性,檢索的時間范圍設定為2010-2016年所有文獻,檢索時間截至2017年12月9日,檢索結果為33 652篇,以年為單位分別下載并統計。并在此基礎上選取論文發表總量前10名的學科為研究對象,分析各個學科的發展速度和發展趨勢。
1.2研究方法
1.2.1影響學科評價的因素
對于學科評價,不同的機構評價方法各不相同,評價過程也呈現多樣性特征。在進行評價時,雖然有些影響因素(比如文章數量、被引頻次、影響因子等)是可以控制和確定的,但也有不可控的因素(比如可用的儀器數量、比較穩定可靠的實驗合作關系、以及科研經驗等)甚至是無法定量描述的,這些不可控的因素對評價結果有很大影響,在進行科研評價時最好給予考慮。
本文將科研評價指標按一定的次序分成若干有限等級(狀態),將科研的指標按年限做統計,給出各個時間段的科研指標變化情況,并假定這個時間段對應一個時刻。從動態角度看,由某一時刻到下一時刻科研指標變化可以客觀地反映對應對象的科研質量變化情況,并且由于科研的變化(比如文章發表數量、文章被引次數等)是比較緩慢的,必須經過一個長期努力才能看到收效的,具有穩定的轉移趨勢。這種穩定的轉移趨勢依賴于科研人員在這段時間的努力程度,或者由于體制變化而得到的實質性變化,因此這種轉移趨勢會趨于一個穩定的結構,并且與以往所處的狀態無明顯的關系,只與當前狀態有關,具有無后效性。這點也是必須考慮的因素。
基于學科評價中以上因素的考慮,結合馬爾可夫模型的原理分析,構建適用于消除基礎學科差異的應用于學科評價的基本方法模型。
1.2.2馬爾可夫模型應用于學科評價的具體過程
1)首先選定一個指標,如學科評價,一般會分析文章數量,被引頻次、總被引頻次等因素。
4)馬爾可夫過程的平穩分布:馬爾可夫模型有一個穩定的平穩分布,是指馬爾可夫鏈通過若干步轉移,最終會達到一個平穩分布,用平穩分布(p1,p2,p3)來表示,就是指研究對象按現在的發展趨勢繼續發展若干年,最終會達到的效果其中p1、p2、p3是3個等級最終所占的比例,這個效果是和當前的絕對數量無關的,只與轉移矩陣有關,所以用這個平穩分布既可以用來描述學科的發展狀況,也可以用來預測學科未來的發展趨勢。
5)根據層次分析法確定綜合權重系數并且計算綜合評定值,描述綜合評定向量,并對這個向量求和,這樣我們就可以用一個相對復雜的方式來處理這個指標,使它可以消除當前由于基礎不同而引起的學科差異。
綜上所述,引入馬爾可夫模型分析方法對學科進行評價是合理可行的,此研究方法可以消除學科間的基礎差異,分析各個學科的發展速度和發展趨勢。
以下為具體實例,運用文獻計量學和馬爾可夫模型的分析方法,在分析吉林大學2010-2016年發文總量的基礎上,研究發文總量前10的學科的發展情況。
2實證分析
2.1論文總體分布情況
對發表論文的數量和被引情況做簡單的統計,結果如表1所示。從2010-2016年,發表論文的總量在逐年增加,從2010年的2 918篇到2016年的6 211篇,增加量超過1倍。從這個趨勢我們可以看出吉林大學科研產出水平處于一個比較好的發展態勢?;鹫撐囊矎囊粋€側面反映了科研水平的變化?;鹫撐恼急仁侵富鹫撐恼伎傉撐牡谋壤?。從表1中可以看出基金論文占比雖有小的波動,但總體趨勢是增加的?;鹫撐牡谋灰螖嫡急仁侵富鹫撐牡谋灰螖嫡伎偟谋灰螖档陌俜直?。這個比例變化范圍不大,但總體的比例都很高,占70%左右的基金論文,被引頻次的占比為90%,說明基金論文對被引頻次的貢獻很大。
論文數量增加尤其是基金論文數量的增加一定程度上表明吉林大學科研水平在逐年提高,相關領域的研究也在快速發展,源于學校在政策、資金導向上對優勢學科的支持與重視,以及近幾年對高層次和高學歷人才的大力引進,另外研究人員科研水平和科研經驗的提升也是一個重要因素。
2.2學科發展情況分析
評價學科發展的最主要因素就是評價其論文成果。評價論文成果影響力的一個重要指標就是評價論文的被引用情況,它是一個非常客觀的評價指標,同一研究方向的科研論文被引次數越高,說明其利用率越高,研究成果的質量也越高,更突顯了其學術價值以及社會貢獻度。如果引用數量逐步提高,就說明科研水平也在逐年增長,科研實力在逐年增強。由于需要比較不同年份的論文的被引次數,因此在評價被引次數的時候,對文獻的年齡做平均值。
首先將檢索出來的論文數據按學科分類,并統計各個學科論文數量和被引頻次所占的比例,結果如表2所示。為了更方便展示各個學科的發文總量和被引頻次,我們把各個學科所占比例用餅狀圖表示,結果如圖1所示。我們選取發表論文總量排在前10的學科作為研究對象。
圖1左側圖為各學科論文數量所占比例,可以看出吉林大學發表的SCI論文主要分布在化學、材料科學、工程學、物理學、計算機科學以及分子生物學等學科。這與學校大力推進重點學科和重點實驗室的建設相吻合,特別是“雙一流”總體方案提出后,學校以重點建設一些學科為世界一流學科為目標,全面保障重點學科的發展。其它學科被收錄的文獻數量不多,體現出各學科間的發展不平衡。如何在保證優勢學科發展領先地位的同時,加強其他相對比較弱勢學科的科研力量,培養這些學科的高端人才,是今后制定學校發展規劃是值得思考的問題。圖1右側為各學科論文的被引頻次所占比例,從圖中可以看出前10名的學科引用量基本占據了90%,而且發文量大的學科被引頻次一般也比較大,但也有學科例外,比如排在第3位的Engineering,其被引頻次相對較低,排在第5位的Science & Technology和排名第7位的Biochemistry & Molecular Biology被引頻次相對較高,一般用被引頻次來描述文章質量,說明各個學科文章的數量和質量并不一定保持一致。
為了得到更精細的結果,本文引進馬爾可夫模型來對學科進行評估,更能反映學科發展的快慢程度。
首先把被引頻次按最大的被引次數做歸一化處理,然后再分成5段,就是0~0.2,0.2~0.4,……,0.8~1,這樣就可以定量描述各個學科的被引頻次分類的變化,用各類之間的數量變化來描述各個學科發展的快慢。并通過內容2中所說的擬合辦法求出馬爾可夫模型的轉移概率矩陣。圖2是以化學學科為例給出馬爾可夫模型擬合的結果,圖中的橫坐標代表年代,縱坐標代表這5段兒所占的百分比,圓圈代表統計的數據,直線是用馬爾可夫模型擬合的數據。從圖中可以看出它們的相對值符合比較好,因此可以用來做分析。其它學科的擬合效果與化學學科擬合效果類似,沒有全部畫出。圖3給出用馬爾可夫模型計算出來的平穩分布值,中間的插圖是給出的平穩分布,相當于按現有情況的發展速度以及各學科等級分布。從圖中可以看出,隨著排名序號增加,其發展速度是越來越快的,尤其是第5和第7相對其它學科有一個飛躍式的發展。排名第1的化學學科,其文章總量最多,說明和其它學科相比其科研累積的基礎比較好、人員比較充足,但其文章質量的相對發展速度較慢,說明這個學科的發展已經進入比較成熟穩定的時期。排名第7的分子生物學雖然暫時發表的數量比較少,但其文章質量進步速度很快。通過這樣的對比分析,可以有助于管理者對資金分配、人員引進等有更優化的考慮,在相同的資源下,可能得到更好的科研產出。
為了更簡單明了地看出各個學科速度的變化結果,我們可以選一個評價權重,然后對各個學科的穩態分布計算一個綜合評定結果。這里對發表文章數量劃分的區間為5個,這5個區間是一個線性的,因此就選一個最簡單的線性權重,區間0~0.2,0.2~0.4,……,0.8~1分別對應1,2,……,5,這5個值,計算的綜合評定值如圖4所示。從圖中可以看出前10名學科隨著排名序號變大綜合評定值大體上是一個增加的趨勢,并且第5位的Science & Technology,第7位的Biochemistry & Molecular Biology和第10位的Mathematics發展速度比較快。
2.3基金資助情況分析
基金資助論文是指由國家各級政府部門、各類基金組織和企事業單位提供科研經費而產生的研究論文,可以一定程度上反映該專業領域內的研究熱點和最新的研究成果。有學者認為,“基金論文比”(期刊刊載的基金論文篇數在期刊發表論文總篇數中所占的比例)比“影響因子”更能代表期刊的學術質量[12-13]。
基金資助論文產出量,一般與單位承擔基金項目呈正比關系,而單位承擔基金項目的多少恰恰是其科研實力和科研水平的真實體現。表1中給出了基金論文數量的變化趨勢,從2010-2016年基金論文的數量逐年增加,占總論文的數量也增加,這說明近些年本校有基金支持的論文總體是增加的趨勢,科研基金資助對某些學科的快速發展起到了一定的助推作用,也是集中有限的資源多出優秀成果的重要方式。
對不同學科的基金論文的被引頻次,引進馬爾可夫模型加以分析。同樣選取權重值為線性權重1,2,3,4,5,得到的結果如圖5所示,圖中給出基金論文和非基金論文綜合評價,從圖中可以看出不同學科中基金論文和非基金論文的發展速度相差不多。這說明雖然基金論文的數量和被引頻次占有絕對的優勢,但發展速度和非基金論文相差不多,甚至有的學科比非基金論文的發展慢很多。
圖5基金論文和非基金論文的被引頻次的馬爾可夫模型評價結果
2.4影響因子分析
影響因子是一個國際上通用的期刊評價指標,是期刊前兩年發表論文在統計當年被引用的總次數與該刊前兩年發表論文總數的比值。由于影響因子是一個相對統計量,所以可以用來公平地評價和處理各類期刊,通常期刊影響因子越大,其學術影響力和作用也越大[14]。對于一個成熟的雜志,其影響因子的相對變化一般比較小,所以能在高影響因子期刊上發表文章也能在一個側面上反映文章的質量比較高。
為了說明文章發表質量的變化,筆者統計了吉林大學發文總量前10的學科的發表文章的影響因子分布,結果如圖6所示,橫坐標代表影響因子的區間,縱坐標代表各年發表文章的數量,這里我們取[0~2][2~4][4~6][6~8][8~10][10~15]和15以上為區間,圖中的不同顏色代表不同年份發表的文章。從圖中可以看出各影響因子分布區間大體上按年份增加,文章數量也隨之增加,這和總體論文數量增加是一致的,說明了吉林大學發表的論文數量增加的比較均勻,不同影響因子區間都增加。但相對增加的量就比較難直接看出,為了得到發表文章的質量增速,我們對影響因子做了一個平均,這樣就可以用一個相對值來描述文章質量。同時用馬爾可夫模型加以分析。馬爾可夫模型的權重選擇為各個區間的平均值,高于15區間權重選擇為20。馬爾可夫模型分析結果如圖7所示,不同學科的綜合評定值基本持平,這說明,每個學科對發表文章的影響因子還是比較重視,并都得到了很好的提高。
3結語
論文的數量、被引頻次和影響因子等都是常用的科研評價指標,一般來說分別描述科研的產出數量和質量。本文在以往研究的基礎上,通過馬爾可夫模型分析,構建消除科研基礎差異的綜合評價指標,以便更客觀的評價基礎不同的學科的科研影響力,同時馬爾可夫模型的轉移速率代表了學科中不同層次的團隊發展速率的快慢,也可用其對學科的發展速度及未來的發展趨勢進行預測。
任何一種評價模型都有各自的優缺點,馬爾可夫模型也不例外。馬爾可夫模型用來分析學科發展狀況的前提是轉移概率矩陣在統計的時間段內是不變的,但實際情況并非完全如此,只有那些發展較為成熟的學科才會表現為比較穩定的結果,對一些新興學科,由于其發展迅速,轉移概率矩陣變動很大,這樣用齊次馬爾可夫模型來描述就不是十分的合適,需要考慮轉移概率矩陣隨時間的變化等等,因此馬爾可夫模型用于學科評價還有待于在實踐中不斷地改進和完善,以期得到更加有效公平的評價體系。
參考文獻
[1]董琳,劉清.學科評價之文獻計量指標分析.[J]圖書情報工作,2008,52(1):31-34.
[2]涂文菠.“雙一流”政策下的國內高校圖書館學科服務探討.[J]大學圖書情報學刊,2017,35(3):62-64.
[3]劉雪立,魏雅慧,盛麗娜,等.期刊PR8指數:一個新的跨學科期刊評價指標及其實證研究.[J]圖書情報工作,2017,61(11):116-123.
[4]俞立平,張全,劉愛軍.不同學科多屬性評價橫向比較研究.[J]圖書情報工作,2014,58(20):100-105.
[5]王雯霞,劉春麗.不同學科間論文影響力評價指標模型的差異性研究.[J]圖書情報工作 2017,61(13):108-116.
[6]趙元斌,吳志紅,郭艷秋.高校學科發展分析評價實證研究.[J]圖書情報工作 2015,59(15):115-121.
[7]于非,張柏秋,張嵐.2001-2010年吉林大學SCI論文收錄統計與分析.[J]情報科學 2013,31(9):113-116.
[8]羅守進,高菲.2013-2014年SCI農業及相關期刊統計分析與研究.[J]農業圖書情報學刊 2015,27(7):61-65.
[9]蔣德鳳.ESI學科動態評價與持續追蹤分析模式研究——基于Incites學科評價角度.[J]現代情報,2018,38(4):149-155.
[10]沈晉會.馬爾可夫鏈法在教學質量評估中的應用.[J]內蒙古師范大學學報,2013,26(6):10-13.
[11]李紫瑤.ERP綜合實驗平臺改善MIS教學質量的馬爾可夫法評估.[J]科技管理研究 2011,13:92-93.
[12]李曉紅,于善清,胡春霞,等.科技期刊評價中應重視基金論文比的作用[J].科技管理研究,2005,25(10):138-139.
[13]周蕾,吳鳳芝,席寧,等.《現代中醫臨床》2003-2015年基金論文統計分析.[J]現代中醫臨床,2017,24(3):56-60.
[14]許廣奎,涂志芳.兩類學術評價指標比較研究.[J]圖書情報工作 2017,61(3):109-117.
(責任編輯:郭沫含)