周春雷 孟麗慧 李彥博 曾慶坤






摘? 要:學術授信分析是一種根據評價視域內全體學術社區成員的相互授信情況對評價對象的學術聲望進行量化測度的學術評價理念和信息分析方法,系統介紹這種新型信息分析理念有助于豐富我們對學術評價、信息分析等工作的認識。通過對相關成果的系統梳理,展示學術授信分析的理論基礎、系列分析方法及應用場景。學術授信分析能根據學者們在學術網絡中釋放出的評價信息將同行評價與量化分析方法有效地結合起來,為研究者提供來自“內行”群體的佐證信息,有效支持其開展各種評估與預測。這種新型信息分析方法可廣泛應用于成果影響力評價、人才評價及評獎預測、研究主題預測、同行探測、期刊評價、圖書評價等方面。
關鍵詞:學術評價;學術授信;學術授信評價;學術授信分析
Abstract:? Academic credit analysis is an academic evaluation concept and information analysis method that quantifies the academic reputation of the evaluation object according to the mutual credit granting of all members of the academic community within the evaluation horizon. Publicity of this new information analysis concept helps to enrich our understanding of academic evaluation and information analysis. Through a systematic review of relevant achievements, the theoretical basis, series of analysis methods and application scenarios of academic credit analysis are displayed. Academic credit analysis can effectively combine peer evaluation and quantitative analysis methods according to the evaluation information released by scholars in the academic network, provide researchers with evidence information from the expert groups, and effectively support them to carry out various evaluation and prediction. This new information analysis method can be widely used in the impact evaluation of results, journal evaluation, book evaluation, personnel evaluation, award prediction, research topic prediction, peer detection, etc.
Keywords: Academic evaluation; Academic credit; Academic credit evaluation; Academic credit analysis
1引言
長期以來,引文在正式學術交流系統中不可或缺,其學術評價功能一向在學術界廣受認可。因引文而衍生的學術聲譽在塑造學者、期刊、機構的學術地位,形成學術界的各種規范和秩序的過程中均發揮著至關重要的作用。傳統的引文分析理論認為,所有科學共同體成員的行為模式遵循默頓范式,盡管有引用動機等因素的影響,文獻引用行為從總體上看是審慎而嚴謹的,很少發生“失范”“越軌”現象。該理論還認為引文數據庫中所有引文的地位完全相同,只具有數量層面的意義,而追查施引者及引用形成過程并沒有太大價值,我們可以出于簡化認知并降低統計成本的目的,對其進行“匿名化”處理并封裝成影響力分析的基本單元。
但是,在各種評價指揮棒的引導下,“SCI論文”崇拜、“核心期刊”崇拜、“以數字論英雄”等現象屢見不鮮。近年來,國內輿論普遍認為現行學術評價體系過于倚重各種不盡合理的量化指標,在誘發評價對象產生種種有悖于學術理想的博弈行為方面難辭其咎。當前,我國大力推進的“破四唯”“破五唯”行動從側面佐證了前些年學術浮躁現象的嚴重性和危害性。
通過深入研究現行學術評價體系的弊端并尋找破解之道,周春雷于2010年提出了學術授信評價理論[1],后又在專著《學術授信評價及其應用》中對有關概念和方法進行完善[2]。基于學術授信評價理念,筆者團隊提出了一系列信息分析方法,不僅能應用于學術評價場景,也可應用于廣義的信息挖掘研究。本文將對筆者團隊關于學術授信分析的研究成果進行系統梳理和總結,希望能為學界同行開展相關研究提供一定的啟發。
2 學術授信分析模型
學術授信評價理論是一種根據評價視域內全體成員的互相授信情況對評價對象的學術聲望進行量化測度的學術評價理念。該理論所稱的“學術授信”是指學術共同體的成員用自身的學術聲譽、學術判斷為保證向其他成員推介某學術成果或成員的行為。社會公眾可從專業群體的學術授信行為中受益,獲得可信度較高的學術判斷信息或專業意見。
學術授信分析方法是一系列基于學術授信評價理論的信息分析方法的總稱,包括Dh指數分析法、引薦分析法、鏈接內容分析法、Z指數分析法和群組分析法等,這些不斷發展的信息分析方法的核心思想均為尋找“內行”并依托其學術判斷開展信息挖掘與推理。
圖1展示了學術授信分析的相關流程、信息挖掘方法及應用場景。模型中的評價視域是指從評價角度建構的信息空間,是一個內部成員相互作用、動態演化的虛擬世界,是學術交流活動的真實反映。但是,任何學術評價都存在一定的視域限制,這些視域都是選擇性建構的,不存在無偏評價,只有視域大小和可信度的差別。
選定評價視域的同時就界定了一個學術社區,學術社區是評價視域內全部學術共同體成員進行各種科學交流活動的學術交流場域。學術社區在某種程度上可以理解為具有彈性的學術共同體,既可以在全球層面使用,也可以在地方、學科、專題等層面使用。
學術授信分析方法在采信學術評價信息時主張根據學術社區內成員間的相互授信情況來鑒別有關信息的可信度,高度重視評價視域構建和授信者分析問題,力圖使“外行”也能擁有“內行”的學術見識和判斷能力。將學術授信分析方法運用到各種學術評價活動中,是對學術授信評價理論的有力實踐。相關實踐表明,學術授信分析有助于提升學術評價及信息分析過程的透明度,能幫助用戶跟蹤相關信息的源流并評估其可信度,實用性較強。運用學術授信分析方法時需先選定評價主體,標記不同學術社區成員的學術地位,然后采用引文分析及Altmetrics等方法挖掘學術群體的學術授信信息,進而開展影響力分析、人才評價等應用研究。從數據角度看,這種分析方法具有內容不可篡改、可追溯、公開透明等特點,可較為客觀地反映評價對象給外界留下的穩定印象,并用于測度學術聲譽、學術地位等原本難以量化的對象。
3 學術授信分析方法及應用
3.1 Dh指數分析法。2005年,美國物理學家Hirsch提出可用于衡量科學家個人學術影響力的評價指標——h指數[3]。該指標在學術評價方面的有效性很快就在全球范圍內得到廣泛認可。但是,原初意義上的h指數是基于WoS數據庫的,不便于統計,而且不能在領域、主題層面比較不同學者的影響力。為此,周春雷(2010)[4]提出一種適合程序處理的h指數計算方法——h指數批量統計法,兩年后將通過該方法計算出的數據正式命名為一種新的h指數衍生指標——領域內h指數(簡稱Dh指數)[5]。
從表面上看,這種指標的計算方式與h指數相似,僅將來源數據中的數據庫調整為用戶指定的任意數據集。但是,這種調整非常有實際意義:不僅大大降低了統計成本,使通過程序批量計算大批學者在細分領域的h指數、g指數變得切實可行,而且能更好地反映不同評價對象在特定領域的學術影響力差異。相應地,Dh指數分析法就是在特定數據集上利用Dh指數等指標標記全部評價對象的學術地位,然后根據其相互授信情況開展各種深度信息分析工作的方法。通過使用Dh指數、Dg指數等公信力較強的指標對特定領域內的全部學者進行批量標記,我們可以根據學術影響、學術聲望差異將特定群體快速分層,同時也讓學者們在領域內的身份更加透明、信息行為更易追蹤,可用來研究專家、新手等群體的學術判斷能力、預測能力、信息敏感性差異,觀察、預測特定學術群體的研究路徑等。例如,筆者團隊利用這一方法對Price獎得主進行了模擬分析,嘗試利用Dh指數、Dg指數識別國際科學計量學領域內的專家群體,然后根據其引文信息預測潛在的Price獎得主[6]。筆者團隊在文獻中提出了基于領域專家視角的Dh-Dg指數分析法,并于2016年12月預測了表1所列榜單前30名中被引量較高但尚未獲獎的學者,如Bornmann、Abramo、Meyer、Burrell、Schreiber、Waltman、Bar-Ilan、Porter、Kostof、Chen、Jacso、Tijssen、VanLeeuwen等,他們都可能是未來競爭Price獎的有力人選,并且年輕學者似乎更有潛力。截至2021年10月,Bar-Ilan、Bornmann、Waltman分別成為2017年、2019年、2021年的Price獎得主,這項研究有效檢驗了挖掘、利用專家群體學術授信信息的價值。
當我們將Dh指數分析法應用于人才評價時,評價視域的大小非常關鍵,較大的評價視域有助于降低評估誤差并提升人才評價的準確度。基于領域專家視角的Dh-Dg指數分析法將定量評估技術與專家的定性評價有效地結合在一起模擬評價對象在專家群體中的聲望。該方法嘗試借助內生于學術交流活動的正常引用行為及專家的學術鑒賞力,深入挖掘專家群體的施引信息,為評估不同學者的專業影響力提供客觀、準確的依據,既能降低同名者因素的影響,又能提高評價效率。Dh-Dg指數分析法的精髓在于可較為客觀地模擬專家群體的學術判斷意見,具有操作簡便、效果良好等優勢,可為各種學術大獎的預測研究提供高價值參考信息。
鑒于h指數無法反映學者在不同時期的學術影響力升降情況,筆者團隊還提出了能解決這一問題的TDh指數[7]。若學者的TDh指數持續上升,說明學者學術生命力旺盛,可在未來成為領域內的高影響力學者;反之,當TDh指數呈下降趨勢時,意味著該學者的研究不再是領域內關注的熱點,或其學術生命已近尾聲。TDh指數可客觀反映學者在領域內所獲關注情況,能讓不同學者在相同條件下進行比較。
此外,根據學者的TDh指數變化情況,可有效探測研究主題的冷熱趨勢。蔡程瑞曾利用TDh指數和群組分析法探討了圖情領域期刊高頻編委群體的集體學術授信對領域的影響,發現圖情領域高頻編委不斷發展壯大學科內核進而推動學科發展[8]。
綜上所述,TDh指數能有效區分學者之間的影響力差異,對學者的學術生涯變化進行有效預測及分析,并可根據學者學術地位的變化,發現領域內研究主題的變化趨勢,若將其與年度Z指數有效結合起來,對研究主題及學者學術生涯的監測將更為方便。
3.2 引薦分析法。在學術評價中,實施同行評議的難點通常在于尋找合適的同行專家。從引文分析角度看,對引文數據進行挖掘有助于尋找同行專家,評價對象的施引者可在一定程度上被視為“同行”。引用認同理論認為,一個作者所參考的全部學者都是其引用認同的對象[9],通過分析某作者的引用認同,可了解其學術視野。但是,這種觀點若應用于學術評價則存在明顯的瑕疵,會因大量的偶然引用沖淡評價結果的可信度。
從學術授信角度看,引用認同關于學術認可的判斷標準過于寬泛。事實上,只有高頻引證行為才具有明顯的學術認可含義。因此,基于學術授信評價理論的引薦分析法將某一學者對同一評價對象的多次引用行為界定為“引薦”,表示其認可被引者的學術能力和學術觀點[10]。《基于引薦分析的國內引用認同領域分析》一文運用引薦分析法研究了國內引用認同領域,發現該方法在識別重要研究者、受關注研究主題方面效果良好[11]。周春雷等研究了CNKI收錄的國內檔案學博碩士學位論文的施引及被引信息分析,發現學位論文是否開放直接影響到研究生群體對朋輩學術成果的感知和利用[12]。引薦分析法通過從施引作者入手,不斷地尋找其領域同行、同行的同行來繪制整個領域的研究結構圖,可用于發現領域新秀、高影響力學者。
3.3 鏈接內容分析法。鏈接分析的思想最早由Mckiernan[13]提出。網站研究與鏈接分析法息息相關,是鏈接分析法的主要應用領域[14],但目前對鏈接內容的研究較少。鏈接內容分析法是把鏈接所指內容作為基本分析單元,將指向同一內容的多個鏈接進行語義級合并,然后將對鏈接形式的分析轉化為對鏈接指向內容的分析。基于這種思路,周春雷(2012)[15]以科學網博客為研究對象提出“被好友”指標,以衡量學術博客在博客社區內的影響力。
此外,博文閱讀量、評論量等也可用于衡量博文質量。周春雷、王涵墨(2015)以博文閱讀量、評論量、推薦數以及博主發文量、好友數、學歷及職稱等指標分析了科學網博文質量,發現在博文評價當中,博文閱讀量、推薦數可以高效合理地篩選出符合一定質量標準的博文,對評論進行語義分析可用于輔助識別質量不高的博文[16]。博客、博文與傳統的期刊、論文差別很大,不能直接套用引文環境中發展出來的方法開展研究,需要采用一些新的指標進行的過渡與轉換。在分析手段上,需要從引文分析走向鏈接分析和學術授信分析。
3.4 Z指數分析法。本文所稱的Z指數是筆者2010年提出的一個h指數衍生指標,該指標由全體評價對象通過相互授信而產生,可用于揭示個體學者在資深學者群體中的學術影響力和相對學術聲望,其應用步驟分為收集數據、賦值、Z變換、數據清理、批量h變換[17]。Z指數分析法可用于圖書評價、期刊評價以及博客評價等研究。
3.4.1 圖書評價。目前使用類h指數模型及多維視角影響力評價體系等方法雖能在某些方面反映出圖書價值,但權重系數劃分主觀、評價主體模糊,實踐性較差。結合上述原因,筆者嘗試根據圖書獲得專家學術授信情況測度其學術影響力和學術價值,提出圖書Z指數[17],即某圖書被至少Z名學術地位不低于Z的學者引用。圖2展示了圖書Z指數的計算過程。
圖書Z指數可在一定程度上揭示圖書的學術價值。例如,出自同一作者的圖書A和B的被引次數分別為52和145次,其圖書Z指數分別為6、5。從施引者規模、學術地位層次角度看,圖書A比B更能得到同行專家的認可,其學術價值自然更大。與被引指標僅能描述學術成果在學術界的知名度相比,圖書Z指數在測度影響力深度方面顯然更勝一籌。邢變變等(2019)[18]以圖書Z指數為量化指標從學術書評角度比較了不同檔案學經典著作的價值,認為圖書Z指數能在兼顧量化指標的基礎上彰顯不同學術圖書的質量差異。陳艷云(2019)[19]利用圖書Z指數構建了圖書影響力評價模型。
此外,圖書Z指數可以描述高影響力施引群體的規模及學術地位,為評估不同圖書的學術影響力以及由此而衍生的作者及機構聲譽提供了較為精細的測度工具,故在學者、機構影響力評價方面也有一定的應用價值。
3.4.2 研究主題預測。從學術授信分析角度看,特定研究主題之所以能夠快速發展,一個很重要的原因是其獲得了足夠多的學者的關注及參與。為測度特定研究主題對內行群體的學術吸引力,周春雷等(2019)[20]提出了一個名為“年度Z指數”的量化測度指標,用于反映特定主題每年吸引到的參與者規模及層次。當某年的年度Z指數與之前相比明顯下降,或年度Z指數雖有回升但不能超過前高時,該主題很可能在未來一段時間內變冷;反之,當年度Z指數持續增長,說明該主題的研究熱度會上升。利用年度Z指數預測研究主題變化趨勢的流程如圖3所示。
筆者使用年度Z指數對研究主題進行學術授信分析識別“曇花一現”型研究主題,結果顯示,可通過考察領域內主要作者的規模及學術地位變化特征和經典論文的年度Z指數變化來觀察研究力量的變化并預測研究主題的冷熱趨勢。值得注意的是,研究主題的冷熱程度與其重要程度并無直接關系,故不能將各種學術資源配置工作與研究主題的冷熱過度掛鉤。
3.5 群組分析法。對群組進行深入分析能夠發現其中的內行群體,而揭示、利用他們所看重的信息對開展學術評價研究十分有益。群組分析法是一種從發文或引文角度研究群組學術授信成果、探究學科領域研究熱點或引證規律的數據挖掘方法[21]。群組分析法通過分析高水平群體的學術行為來研究、利用其中蘊藏的集體智慧。
3.5.1 期刊評價。在期刊評價方面,群組分析法著重挖掘學者群體以發文或引用形式表達出的學術授信信息,以此評價期刊的學術影響力等方面。筆者結合群組分析法及Dh指數分析法分析了《人大復印報刊資料<圖書館學情報學>》的選文特征[22],發現圖情類入選論文的發表載體較為權威,選文作者的學術影響力基本處于中上水平,建議以《資料》為代表的二次文獻機構廣泛吸納單篇論文評價成果及學術共同體的意見,為選稿專家提供更加豐富的支持信息,進一步提高選文質量。《引文視角下的<檔案管理>學術影響力探討》[23]一文對期刊的施引群體和作者群體進行了比較,探討了作者回報率問題,發現該刊部分高產作者的引文回報率較低,建議獎勵重要貢獻者。作者回報率的計算方式如下:
R_AB=[(G_BA+C_BA)/T_BA ]×100%(1)
其中,R_AB是A期刊的B作者回報率;G_BA為B作者在A期刊所發文章的總被引次數;C_BA是B作者對A期刊的施引次數;T_BA是B作者在A期刊的發文篇數。
通過使用作者回報率指標能夠幫助期刊找到對擴大其學術影響力作出貢獻的學者,但該文同時指出采用CSSCI引文數據計算作者回報率可能存在的偏頗之處,可能助長某些未必合理的措施,建議各方辯證看待,謹慎使用。另外在該文的研究中發現提升期刊影響力的關鍵在于獲得專業群體的學術授信。總之,利用群組分析法對期刊進行評價,可有效揭示專業群體對特定期刊的真實學術授信情況,避免尋常量化指標易受操控之弊。
3.5.2 成果影響力評價。群組分析法從學者群體的學術授信情況分析學術成果的影響力。周春雷、曹玲靜(2017)以2002—2014年的河南省社會科學優秀成果獎的獲獎信息為研究對象,并與教育部高校社科優秀成果獎進行了對比(見表2),探討獲獎成果的學術影響力,[24]研究發現河南省優秀成果獎的影響力圈子相對封閉,影響群體集中在河南省內,獲獎者的學術影響力有限,獲獎機構分布不均衡且存在人才外流現象。
此外,通過深入研究獲獎者履歷發現,21名獲獎者中有7人的所屬機構發生了變化,例如丁建定、解志熙和柯平,均轉向經濟發達地區發展。由于社會科學領域學術人才的成長周期較長,這種高層次學術人才大規模外流現象對河南省哲學社會科學的發展非常不利,相關管理者應予以重視。同時,該研究還發現,原信陽職業技術學院的楊明星是河南省專科院校獲得高校社科獎的第一人,但當時未曾獲得河南省社科獎二等獎以上獎項并據此認為“此例也許足以警示依出身論學術成果等級的觀點不可取”,建議有關部門慎重考慮各種報獎門檻問題,還建議梳理評審標準中是否存在不利于優秀成果脫穎而出的限制。目前,該學者為鄭州大學特聘教授、中國外交話語研究院主任。不難看出,學術授信分析在人才識別與管理、評獎管理等方面的潛在價值。
3.5.3 機構評價。科研機構的學術聲望,對其知識生產效率和建立合作伙伴關系均有較大的影響。為觀察各科研機構獲得的合作伙伴學術授信情況并定量評價其在科研朋友圈中的學術聲望,評估其學術關系網絡中的社會資本豐裕程度,筆者從被引角度提出了機構論文SCAN指數[25]。該指數的計算流程如圖4所示。
SCAN指數能體現出評價對象的科研實力、學術聲望及其學術合作網絡的整體價值。SCAN指數與QS排名相關性很高,與各高校的學科實力排名也較為吻合,可有效揭示各高校學術論文合作網絡的社會資本價值。具體而言,SCAN指數在機構評價方面的應用潛力體現在以下方面:①預測高潛力科研機構。可以利用SCAN指數比較不同科研機構的合作價值并發現高潛力科研機構。②學術合作網絡分析。利用SCAN指數對某科研機構的學術合作網絡進行價值分析,更好地挖掘、利用學術合作網絡中蘊藏的社會資本。
4 總結與展望
本文系統總結了筆者團隊在學術授信分析方面的研究成果,展示了該方法在成果影響力評價、人才評價及評獎預測、研究主題預測、期刊評價和圖書評價等方面的應用潛力。這種新型信息分析方法主張以更加合理的方式使用量化分析技術及其結果,建議優先采信那些經過專業群體學術授信的可靠信息。這種強調證據可驗證性的信息分析技術與區塊鏈思想有較多相通之處,有望在紛繁復雜的開放環境下找到更多用武之地。
參考文獻:
[1]周春雷.基于h指數的學術授信評價研究[D].武漢大學,2010.
[2]周春雷.學術授信評價及其應用[M].北京:科學出版社,2016.
[3]HIRSCH J.E.An index to quantify an individual’s scientific research output[J].Proceedings of the National Academy of Sciences of the United States of Amercia,2005,102(46):16569-16572.
[4]周春雷.h指數批量統計法及其應用研究.情報學報.2010(01):100-107.
[5]周春雷.領域內h指數及其應用研究[J].圖書情報工作,2012,56(10):45-49.
[6]Zhou C L,Kong X Y,Lin Z P.Research on Derek John de Solla Price Medal Prediction Based on Academic Credit Analysis[J].2019,118(01):159-175.
[7]周春雷,蔡程瑞,張坦,等.國內圖情學者歷時h指數研究[J].圖書情報工作,2017,61(19):96-101.
[8]蔡程瑞.國內圖情期刊高頻編委群體學術影響力研究[D].鄭州大學,2018.
[9]White,HD.Authors as Citers Over Time[J].Journal of American Society for Information Science and Technology,2001,52(02):,87-108.
[10]周春雷.引薦分析法:一種新的引文分析法[J].情報學報,2010,29(04):671-678.
[11]周春雷,李冰瑩.基于引薦分析的國內引用認同領域分析[J].數字圖書館論壇,2015,(01):26-29.
[12]周春雷,蔡程瑞.基于CNKI的國內檔案學博碩士學位論文研究[J].檔案管理,2017(01):37-39.
[13]McKiernan G.Automated categorisation of web resources:a profile of selected projects,research,products,and services[J].New review of information networking.1996,2(01):15-40.
[14]盧文輝,葉繼元.鏈接分析法在國內網站實證研究中的應用現狀分析[J].圖書情報工作,2019,63(18):119-130.
[15]周春雷.鏈接內容分析視角下的科學網博客評價探索.圖書情報知識,2012,(04):11-17.
[16]周春雷,王涵墨.科學網博文質量評價研究[J].圖書館學研究,2015(23):94-101.
[17]周春雷,陳艷云,蔡程瑞.圖書Z指數及在其影響力評價研究中的應用[J]圖書情報工作,2018,62(14):106-115.
[18]邢變變,各玉杰.檔案學經典著作學術授信評價研究——以學術書評為分析樣本[J].檔案學研究,2019,(03):83-88.
[19]陳艷云.學術授信評價視角下的圖書影響力研究[D].鄭州大學,2019.
[20]周春雷,師文欣,王小凱.學術授信視角下的“曇花一現”型研究主題識別方法研究[J].情報雜志,2019,38(08):68-74,89.
[21]王涵墨.基于學術授信的群組分析法研究[D].鄭州大學,2017.
[22]周春雷,孟麗慧,李正南.人大復印報刊資料《圖書館學情報學》選文特征分析[J].情報雜志,2021,40(08):159-163,封三.
[23]周春雷,陳瑩.引文視角下的《檔案管理》學術影響力探討[J].檔案管理,2021,(02):97-99.
[24]周春雷,曹玲靜.河南省社會科學優秀成果獎學術影響力研究[J].中國科技期刊研究,2017,28(08):748-756.
[25]周春雷,周慧芳.學術網絡社會資本視角下的學科評價指標探索[J].現代情報,2018,38(09):79-86.