論文學術影響力指標優化的實證分析

孟 璀，吳培群

（北京電子科技學院，北京 100070）

0 引言

對于論文的學術影響力（以下簡稱“影響力”），實際的學術評價工作中往往采用“被引頻次”作為測度指標。用被引頻次作為指標評價論文的影響力是否科學有效？除被引頻次之外，從各種論文數據庫和網絡平臺上也可以直接獲取論文的“被下載頻次”信息，被下載頻次在一定程度上也能反映論文的學術影響情況。那么，怎樣基于被引用和被下載兩方面的頻次信息構建論文影響力的更科學有效的指標？

另一方面，學術界關于論文影響力的研究，多集中于對學者個人或某一具體成果進行考察和分析[1,2]，針對某類特定研究方法的論文的影響力的實證分析還較為少見。事實上，論文的科學性依賴于研究方法的科學性，而論文的影響力又在一定程度上可以反映出研究方法的科學性、有效性以及在一門學科中應用發展的程度。所以，對一個學科領域中的基于某特定研究方法的論文的影響力進行實證分析，可以為該研究方法的應用和推廣及相應學科發展策略提供有力的參考依據。作者基于自己多年運用內容分析法研究教育問題的經驗[3,4]，利用CNKI（中國知網）的相關論文數據，探討兩種指標下論文的影響力受其他因素影響的規律。

1 研究方法

本文所用的研究方法被稱為“內容分析法”。美國學者伯納德·貝雷爾森，在1952年出版的《傳播學研究的內容分析》一書中，最早給出了內容分析法的定義：一種對具有明確特征的傳播內容進行客觀的、系統的和定量的描述研究技術[5]。本文用的正是貝雷爾森的這一定義，并在這一定義下與同樣具有非接觸性特點的文本分析法、文獻研究法等方法區分開來。應用這種方法進行研究時，需要先根據研究需要確定要分析的材料（分析單元），選取樣本，編制類目體系和相應的編碼方法，以此為依據對樣本中的非結構或半結構材料逐一分析，將其轉化為結構化的、可統計分析的數據，再對數據進行統計分析，對分析結果進行討論，揭示研究對象的內在規律性。

1.1 樣本選取及材料的結構化

在CNKI平臺上依次用“教育”和“內容分析法”（或“內容分析”）等關鍵詞對發表在國內所有中文學術期刊、報紙、輯刊上的論文（含學位論文）進行搜索，將搜到的論文又按照上述內容分析法的定義及特點對論文數據進行了清理，最后得到了由873篇論文構成的教育內容分析論文（用內容分析法研究教育問題的論文）樣本。同時，作者構建了如下頁表1所示的類目體系和編碼方法，又據此將樣本中的每篇論文的信息做結構化分析并錄入到SPSS統計分析軟件的數據表中，使其成為可直接統計分析的數據[6]。

1.2 統計分析

1.2.1 變量設定及測度指標

（1）變量設定

要探討論文影響力的指標優化問題，必須分析新舊指標的優劣情況。顯然，如果論文影響力的某一指標值受論文發表時間、論文研究問題所屬領域、作者單位類型這些因素的影響更小，則可以認為這一指標更具有普適性，對論文影響力的評價及橫向比較，會更科學有效。所以，本文將論文發表時間、論文研究問題所屬的領域（以下簡稱“所屬領域”）、作者單位類型三個因素設定為解釋變量，被解釋變量顯然是論文影響力，被解釋變量的值就是論文影響力的指標值。

表1 類目體系

（2）論文影響力的測度指標

首先被引頻次和被下載頻次可以表示論文影響力，但是這兩個“頻次指標”的值都是隨論文發表時間而變化的“累積量”，用這兩個頻次指標直接衡量論文的影響力及進行相關橫向比較時，在科學性上存在問題。所以，為了控制“時間累積”的影響，本文提出并采用“年均被引頻次”和“年均被下載頻次”作為論文影響力的測度指標，并將這兩個指標統稱為“率指標”，計算公式如下：

一般說來，年均被下載頻次高，代表人們對該論文的關注程度高，意味著該論文有可能對下載者將來的學術研究產生影響，所以可以說年均被下載頻次表示的是一種潛在的影響力；而年均被引頻次高，則意味著該論文對引用者的學術研究已經產生了實際影響，所以它表示的是實際既成的影響力。

1.2.2 統計分析方法及所用工具

由于本文設定的解釋變量中的“所屬領域”和“作者單位類型”都屬于定類變量，所以本文不采用一般回歸分析方法探討論文影響力的影響因素，而擬對通過各類論文間的影響力進行差異性檢驗來探討影響因素問題：若檢驗結果表明差異顯著，則可以斷定相應因素是對論文影響力有顯著影響的因素，否則，就斷定不是影響因素；對于論文發表時間這個因素，則通過對論文影響力指標值的年度變化折線的直觀考察進行探討。

本文所有分析結果包括圖形，都是采用統計分析軟件IBM SPSS22.0并結合自編程進行分析得到的。

2 結果分析

從1986年7月我國發表第一篇教育內容分析論文，到2015年4月（本文的數據收集時間），歷時29年9個月，總共發表教育內容分析論文873篇，月均發表2.53篇，年均發表30.36篇。教育內容分析論文影響力的頻次指標值和率指標值的基本統計描述結果見表2。無論采用哪一類指標，教育內容分析論文的影響力都顯著高于一般教育論文。

表2 教育內容分析論文的影響力的兩類指標值的統計描述

2.1 論文發表時間對論文影響力率指標值的影響低于其對頻次指標值的影響

計算出各年度發表教育內容分析論文（以下簡稱論文）的被引頻次和年均被引頻次的篇均數值，由此繪出二者的年度變化折線（見圖1），用同樣的方法繪出各年度發表的教育內容分析論文的被下載頻次和年均被下載頻次的篇均數值的年度變化折線（見圖2）。

圖1 各年度發表的論文的被引頻次及其年均值的變化

圖2 各年度發表的論文的被下載頻次及其年均值的變化

可以看出，相對于頻次指標值隨論文發表時間大幅波動，率指標值則波動很小，表明論文影響力的率指標值受論文發表時間的影響較小。從圖1和圖2還可以看出，用率指標衡量論文的影響力，新近發表的論文的影響力不像采用頻次指標時那么低，這較符合強調學術人員的新研究成果的學術評價原則。

2.2 所屬領域對論文影響力的頻次指標值影響顯著，對率指標值影響不顯著

按論文研究問題的所屬領域分別統計論文數量，結果如表3的第三列所示。可以看出，運用內容分析法最多的三個領域依次是教育技術和遠程教育、高等教育、中等初等教育，這三類論文占教育內容分析論文總數的80%以上。進一步統計各領域論文的影響力的率指標值和頻次指標值并列入表3。

表3 不同教育領域的論文的影響力的統計描述

由表3可以看出，用各指標對這三類論文的影響力進行比較，結果都是教育技術和遠程教育論文最高，其次是高等教育論文，中等初等教育論文最低。不過，方差分析的結果表明，影響力的率指標值在這三類論文間差異都不顯著，但頻次指標值差異都顯著。所以，研究問題的所屬領域對論文影響力的率指標值影響不顯著，對頻次指標值影響顯著。

2.3 作者所屬單位的類型對論文影響力的兩類指標值均無顯著影響

873篇教育內容分析論文中，有1篇未標注作者單位，其他872篇論文的第一作者的單位可以歸結為師范普通高校、非師范普通本科高校（不含高職高專）、其他高校（含電大、黨校、高職高專、國外高校等）及高校外機構四類，對相應的四類論文的數量分布及論文影響力的兩類指標值的統計描述結果見表4。可以看出，采用內容分析法研究教育問題的作者主要來自師范普通高校和非師范普通高校，來自這兩類高校的教育內容分析論文占該類論文總數的90%以上。另外，對各指標下四類論文的影響力值分別進行方差分析，結果表明，兩類指標下四類論文的影響力均無顯著差異，這表明，作者所屬單位類型對論文影響力的兩類指標值的影響都不顯著。

表4 不同類型單位作者的論文影響力基本統計

3 討論及建議

上述分析結果表明，在論文發表時間、研究問題的所屬領域、作者單位類型這三個因素中，論文發表時間、研究問題的所屬領域對頻次指標測度的論文影響力都有顯著影響，但對率指標測度的論文影響力的影響都不顯著，作者單位類型對兩類指標測度的論文影響力均無顯著影響。

基于此種分析結果，本文認為，年均被引頻次和年均被下載頻次這類率指標更適合作為論文學術影響力的測度指標。目前，學術論文成果評價實踐中大多采用被引頻次作為學術影響力測度指標，但被引頻次數值受論文發表時間影響太大，若其他情況一樣，則越是“老論文”，被引頻次越大，越是“新論文”，被引頻次越小，以此評價學術影響力便會與強調新成果的學術評價原則不相吻合；更重要的，上述分析結果表明，論文的研究問題所屬領域會顯著影響被引頻次，這將帶來跨領域、跨學科學術評價和比較中的非科學性和非公平性。而上述分析結果表明，用年均被引頻次和年均被下載頻次共同作為論文影響力的測度指標，就能較好地解決這樣的問題。還有，年均被引頻次測度“既成的”、已經實現的影響力，年均被下載頻次測度“潛在的”影響力，同時應用這兩個率指標進行論文學術影響力的評價會更全面、更客觀、更有效。