


[摘 要] 本研究旨在觀察新形態開放式同行評議系統的設計及應用,有助于促進學術傳播與期刊出版的活力與效益,以及提升同行評議制度在期刊評價機制中的加權價值; 在學術傳播實務研究價值上,不僅提供眾多學術期刊主編思索如何精進同行評議流程,也幫助可能同時身兼作者與評審者身份的學者們,進一步了解較為理想與實用的友好環境,共同關心發展趨勢與相關權益。
[關鍵詞] 學術期刊出版 同行評議 開放獲取
[中圖分類號] G230 [文獻標識碼] A [文章編號] 1009-5853 (2017) 03-0005-05
The Transformation of Peer Review System in Scholarly Journals
Qiu Jiongyou
(Graduate Institute of Library,Information and Archival Studies,Taiwan “National Chengchi University”,Taibei,116051)
[Abstract] To evaluate the feasibility of an open peer review system, this study, will examine the benefits of utilizing an efficient and practicable approaches to review and evaluation of journals that combined the benefits of both traditional and open-public system facilitated via the Internet. It will, in turn,create a communication and more friendly useful findings where those peer review systems will be beneficial to journals and scholars.
[Key words] Scholarly journal publishing Peer review Open access
1 前 言
在數字環境下,許多人對于學術期刊的未來充滿憂心。被博得生物醫學中心數據庫(BioMed Central)贊譽為真知灼見者(visionary),且為期刊出版界佼佼者及著名學群1000(Faculty of 1000,F1000系列)創始人維特克·特拉茨(Vitek Tracz),于2013年曾斷言“同行評議(peer review)的紙質期刊將在十年內消失殆盡”,因為無人閱讀期刊,人們閱讀的是論文“(Nobody reads journals, people read papers)[1]。聽聞這言論不得不警惕學術期刊同行評議的角色扮演,傳統的同行評議模式”已陷入危機; 常見的電子期刊同行評議是否也已過時、必須面臨大轉型?如果紙質期刊的沒落是肇始于同行評議模式的不合宜,則必須先行自我改革與應變的事務,無疑將是“同行評議”本身。換言之,未來可能消失殆盡的是被稱作“期刊”的學術出版品,而紙質或數字期刊存在與否仍將取決于使用者的需求。
同行評議制度最早起源于公元1665年英國皇家學會出版的英文科技期刊——《哲學匯刊》(Philosophical Transactions)。然而,所謂的學術“同行”究竟是否可以包括期刊主編?還是應該完全排除主編角色,而以其他審查者與相關委員會(編委會)成員意見為定奪?如果“同行”是屬非主編一人最后定奪的多數意見,則真正的同行評議制度可能始于18世紀后[2]。至此,除了公開的主編,尚有哪些人是審查者即攸關權益,但也更為微妙隱晦,形成匿名與雙盲的傳統同行評議機制。21世紀的今日,特拉茨將關鍵的“同行評議”視為“科學的生命氣息能量”(Sciences life force),但“它卻病了,并被自己的重擔壓垮”(Sick and collapsing under its own weight),而此壓倒駱駝的最后一根稻草,特拉茨點出極為不負責任與造成出版拖延的“匿名審查”制度[3]。同行評議成為學術出版的基本要件,它有太多約定俗成的規矩和包袱,自然也就承擔了巨大的責任與壓力。縱有同行評議把關,由于匿名與不公開的特性,主編不察竟委托投稿者自行勾串扮演評審者快速審查自己稿件的欺詐事件,形成所謂“評審幫派(Peer-review ring)”,使得不端研究者有機可乘,多起學術造假風波偶有所聞,所謂的“同行評議騙局”(The peer-review scam)也躍上了學術國際舞臺[4]。
1993年,史蒂文·哈納德 (Stevan Harnad)發表名為《執行網絡同行評議》(Implementing Peer Review on the (Inter)Net)的文章,該文強調開放性評審制度之下產生的交互式出版模式,借由“空中學術寫作”(Scholarly skywriting)方式,即所謂同行評論(Peer commentary)而與舊有同行評議(Peer review)區別與互補。前者強調實時與互動性,但并非取代后者, 哈納德曾認為同行評議制度仍主要擔任起質量控制之責,而“評論”僅為第三人/讀者(即非作者,亦非評審者)意見表達,不具實質的審查功能[5]。然而,近年來Web2.0觀念及學術社群媒體興起,隨著時空轉換,二者身份亦漸模糊。“匿名審查”受到學術社群的挑戰與質疑,要求評審流程透明、評審意見公開,以及作者、評審者、審查者、主編四方互動的呼聲似乎成了新潮流。我們不禁思考:“學術傳播”是最早反映互聯網環境的一種領域,如今是否也得以最早察覺應變,且對于同行評議制度的文化與網絡新興變革應有一番作為?
2 評審制度的轉型與創新
就期刊評價而言,期刊同行評議與期刊評價在意義上是相稱的,兩者實質上有著密切的研究價值。但是在一般情形下,同行評議項目通常只在于確定其形式有無以及匿名方式等,余則仍無法測度,在實務或研究上,向來都乏人關注。同行評議于目前應用于期刊評價上,僅視為必備要件,不但未具備特殊性,且消極保守而缺乏開創性做法。相較于此,在國際一些時興且具有創新意義的開放式同行評議機制早就突破舊有窠臼,足以成為期刊評價的標準之一。
開放式同行評議制度下撰寫的公開評審者意見,未來不排除亦可被引注于文獻中,并衍生新形態的引文格式,此做法十分罕見,值得觀察。例如以下A例(原文注記評審狀況)、B例(引注不同修訂版評審者Bornmann L.意見):
A例
Walker R, Barros B, Conejo R et al. Bias in peer
review:a case study [version1; referees: 2approved with
reservations] F1000Research 2015, 4:21 (doi:
10.12688/f1000research.6012.1)
B例
Bornmann L. Referee Report For: Bias in peer review: a case study
[version 1; referees: 2 approved with reservations] F1000Research 2015,4:21 (doi: 10.5256/f1000research.
6434.r7425)
上述實例取自創始于2013年的學群1000研究(F1000Research),它采取這類開放式同行評議產生了新形態的網絡電子期刊,涉獵了數字物件識別碼(DOI)、版本交換標識(CrossMark)[6]、開放研究者與貢獻者標識符(Orcid),也涉及網絡計量學新指標替代計量(Altmetrics)的應用,無疑改變了整個學術傳播模式,某種程度上也顛覆了學術期刊的作為。
就一般實務而言,同行評議的主要缺點來自三方面:評審的義務工作性質、不同期刊規范的差異或評審標準的懸殊、評審者對其所服務的期刊或學術社群無感,甚至認識不足[7]。為了改善傳統同行評議的缺點,以及突破若干實務上的局限,新形態的學術期刊同行評議方法也紛紛隨之被設計試驗與探討,尤其在開放式同行評議的環境下,縱有爭議也依然時有所聞。諸如此類的創新模式都帶來了正面評價,但是也并非全部如此順利,例如:知名的美國圖書館學者杰弗瑞·比歐(Jeffrey Beall)對于斂財式期刊(Predatory Journals)的糾舉早已為人知曉,但其懷疑論者的身份,引起的話題也飽受爭議批評。比歐同樣對于新形態的同行評議存有戒心,多次針對某些新創的開放獲取(Open Access,OA)期刊實施的同行評議模式,比如:標榜快速審稿、依評審者判定等級而決定作者投稿付費與否或價碼,多所責難[8]。這類負面評價,并無益于學術傳播的發展。
2.1 相關調查研究評述
2008年,鑒于學術界對于同行評議的種種負面批評,例如:同行評議的隱密性導致審稿者發表不負責任的言論、審稿時間過長而扼殺創新研究等,馬克·威爾(Mark Ware)調查全球(分別來自美加38%、歐洲23%、亞洲21%、澳新與太平洋西南島嶼國7%、中南美洲6%、中東4%、非洲2%)3040位不同學科背景(約略為臨床醫學護理18%、人文社會科學11%、生命科學27%、物理與工程學43%)的學術機構研究人員(包含作者、評審者、主編)關于期刊同行評議制度的詳細意見,問卷對象名單來自湯姆森科學(Thomson Scientific),取過去12個月內出版文章與文章相關的40000個電子郵件地址寄送填答邀請,以便了解資深研究者對于同行評議的態度與現行做法的評論。在同行評議的實務見解上,研究發現[9]:
(1)絕大部分研究人員反對以計量評價取代同行評議制度,僅有5%—7%的贊成者。
(2)要求作者提供研究數據是值得采納的,但意見有些混雜。雖然有40%的評審者及45%的主編認為向作者要求研究數據似乎不太實際,但是大多數評審者(63%)和主編(68%)原則上還是認為值得檢視作者稿件的研究數據; 此外,盡管有些勉強,但仍有51%評審者愿意接受這份職責(相對于19%不愿意)。
(3)有限度贊成支付評審費用。35%的受訪研究人員同意評審者獲得酬勞,不同意者則有40%。然而,大多數人(52%)都認為此舉將造成昂貴的出版成本,僅18%的研究人員不認為如此; 而有高達91%的受訪研究人員表示擔任評審者乃是學術社群成員應盡的角色。
(4)單盲評審為過去最主要的接觸模式。每位受訪研究人員過去至今已平均發表60篇文章,且過去24個月發表了8篇文章,顯現受訪者是相當資深的研究多產者。其中有84%的受訪研究人員復選表示他們過去曾接觸到作者單盲制,相對于44%的受訪者曾接觸到雙盲制、22%為開放式評審制以及8%為出版后評審制。
(5)較長的評審周期是構成不滿意的主要原因。受訪作者最近發表的稿件平均耗時80日尚屬滿意,然而,評審報告時間與滿意度確實存在因果關系:若可以縮短為30日內,則有67%受訪者表示滿意; 若延至3個月至6個月時,10%受訪者滿意; 若超出6個月則僅9%受訪者滿意。
(6)最多產的評審者已工作量超載。約90%受訪作者即為評審者,經常擔任3.5本期刊或甚至偶爾達4.2本期刊的評審工作,而這些受訪者去年評審數量就達8篇之多。但就2015年評審量達6篇的所謂“活躍評審者”(active reviewers)而言,他們每年平均完成14篇評審論文(但他們曾期待每年不超過13篇評審量),這意味著44%的評審者即是所謂的“活躍評審者”,占據全部稿件79%的評審工作。
(7)約20%的評審邀約被推辭。基于無暇協助評審工作,每8篇送審文章,即平均有2次評審邀約遭到回絕。評審邀約頻繁度與推辭次數乃是相對的關系概念。
(8)85%稿件評審費時5小時(中位數)或平均9小時,且于前后約3周至4周內完成評審報告。
(9)考量自己是學術社群的一份子,利他的無私精神是大多數受訪者協助評審工作的主要因素; 而不是自利考量到“增加自己職場聲譽”或“有朝一日成為該期刊的編務委員(editorial board)”。
(10)受訪主編回復期刊稿件收錄接受率,平均為50%(人文社會學領域更低,但物理工程類科則高于此比率),此接受稿中有八成都曾被要求修訂; 在未送達評審前的形式審查階段,有20%的稿件遭到退稿(因質量疑慮、主題不符等理由)。
(11)高達76%的受訪主編表示已使用在線評審系統,其間人文社會學領域僅占51%,為最低。
(12)有69%的受訪研究人員表示期刊文章可被取用(access)程度達“良好(good)”或“優秀(excellent)”程度; 而有7%受訪者仍表示“差(poor)”或“非常差(very poor)”。
除了上述機構數年來對于期刊同行評議的相關調查報告之外,同樣值得觀察學習的成功案例即是學群1000研究開放式同行評議模式,以及針對同行評議模式進行評價的PRE-val機制。
2.2 學群1000研究開放式同行評議模式:學群1000系列與F1000研究
學群1000為生物與醫學兩大類為主的數據庫,暨文獻學術系統隸屬于英國科學導航集團(Science Navigation Group),2002年由維特克·特拉茨創立。整個學群1000系列服務目前包括三項主要服務:學群1000基要 (F1000Prime)、學群1000研究(F1000Research)、學群1000工作區(F1000Workspace)[10]。學群1000基要由超過11000位生物醫藥領域的專家、學者和醫生組成,評選該領域重要文獻以提供閱讀或是評論。學群1000的前身系2002年的學群1000生物學(F1000Biology)與2006年的F1000醫藥(F1000Medicine),2010年二者合并成學群1000.com,至2012年時重新命名為學群1000基要,以便區隔其他新服務項目;學群1000基要針對其推薦的各相關領域文章分別給予評分,該評分方式屬于文章層次(article-level)計量或替代計量(Altmetric)[11]。這充分反映了學術傳播的計量研究新焦點已從期刊層次的計量(journal-level metrics)(如:期刊影響系數(JIFs)轉移至作者層次(author-level)、研究團隊層次(research group-level)、機構層次(institutional-level),甚至國家層次計量(country-level metrics)的未來趨勢。始于2015年的 學群1000工作區則是一些協助作者進行協同寫作與參考書目編整工作的套件軟件組合服務。
最值得本研究關注的服務為學群1000研究。學群1000研究于2013年推出,乃是一個施行開放獲取、開放式同行評議(Open peer review)的科學出版平臺,主張通過透明且快速的出版流程,以改善傳統學術期刊出版審稿耗時過長等方面的缺點。學群1000 研究刊載文章包括傳統的學術研究文章、案例報告、臨床實驗論文、實驗指南、觀察文章、研究筆記等,它屬于“出版后評審”形式,意即在先行刊出文章全文后,后續發布討論評審的意見報告記錄、甚至失敗的研究成果及各次版本的修正、作者答辯說明等。
學群1000研究通過平臺編輯程序后,投稿的文章平均在7天內公開發布在網絡上,即可通過搜尋引擎(例如谷歌學術)搜尋到文章,使文章可以快速達到公開學術研究結果及被大眾引用的目的。文章公布后,系統從專家數據庫中,邀請對應領域專家為文章提出建議、審核研究結果。同行評議結束后,評審者姓名與其意見報告將會一并與文章內容公布在網頁上。除文章本身,讀者也可以對網頁上公開的評審意見提出評論或引用,如圖1所示。歷經評審后的文章作者,根據專家意見修改與提交修改后的新版本文章,利用版本交換標識技術作為版本查證功能。通過專家評審后,文章將會被收入生物醫學數據庫PubMed、斯高帕斯(Scopus)等其他數據庫索引,學群1000研究也主張公開研究中包含的原始數據以及提交文章后的所有處理結果數據,將數據提供給大眾驗證[12]。學群1000研究也提供PDF文檔結合各修正版本的全文、評審報告及答辯內容的下載打印功能。此外,學群1000研究結合社群媒體的使用導入替代計量工具,可作為分析此學術文章在各類網絡社群媒體中的被引用狀況,成為另一種學術影響力的參考,如圖2所示。除此之外,更有許多創新做法,例如結合開放研究者與貢獻者標識符后,使得評審者的意見報告同樣可以轉為其個人的開放研究者與貢獻者標識符經歷記錄(portfolio)[13]。
2.3 同行評議評價系統 [14]
2015年,被美國科學促進會(American Association for the Advancement of Science ,AAAS) 收購的同行評議評價系統(Peer Review Evaluation,PRE-val)是評估期刊同行評議質量的系統,此機制早已應用于史特爾特斯(STRIATUS)出版集團旗下的《骨科與關節外科學雜志》(Journal of Bone & Joint Surgery)。此評審系統功能在于評估和分級單篇論文受到同行評議后的質量等級,并將結果公布于出版的期刊。得到同行評議評價系統認證標志(如圖3)的期刊,表示其期刊的同行評議質量已達到某種程度的標準。同行評議評價系統利用投稿追蹤系統(例如ScholarOne等)提供的信息,用于確認文件是否已接受同行評議,并分析及顯示相關同行評議過程中的后設資料,最后對信息是否通過同行評議評價系統的規范予以確認。
在此系統下,得到同行評議評價系統同行評議質量評價認證的期刊,必須提供評審過程的相關信息,例如:一篇文章要經過多少回合的評審與修正要求?曾參與評審作業過程中的相關人員有哪些?評審者組成名單?以往是否進行剽竊行為查檢?該期刊是否為出版倫理委員會(Committee on Publication Ethics,COPE)組織的成員?
通過計算機分析審稿系統提供的程序數據,同行評議評價系統會產生一個指標分數以表示審查過程的質量可作為投稿者及讀者的參考[15]。同行評議評價系統試圖解開同行評議的“黑箱”(black box),并提供有關每篇期刊文章在完成評審程序前的各項信息。同行評議評價系統也讓期刊編輯有機會推動同行評議與感謝評審者的勞動,并鼓勵作者應該期待自己的文章有嚴謹的評審者[16]。
3 結論與待解決的問題
從2008年馬克·威爾研究調查內容與結果來看,雙盲制度在當時是“受歡迎且最有效率”的措施。但如今,維特克·特拉茨卻大力推崇開放式同行評議。兩相對照之下,究竟是主觀認定的問題,抑或是雙盲制被學術不端行為所戕害,開放式制度有了極大的進步發展?參照國際發展趨勢,并衡量諸多現實或待厘清的問題,在應用實務下,學術期刊經營者顯然必須思考以下若干課題。
(1) 學術期刊同行評議模式的改良是否有助于“核心期刊”的認定?
(2) 論述同行評議的功能與學術期刊、學術傳播的關系及問題,以及目前提出的同行評議評價指標為何?
(3) 學術信息加工商或數據庫商是否得以涉入開放式同行評議制度此一新形態創新機制的開發與服務?
(4) 在學術整合的趨勢下,兩岸圖書情報學科的期刊主編在同行評議議題上,有何異同?有無合作空間?
總之,歐美許多創新的開放式期刊同行評議制度的引介與應用,能夠改善人文社會學科學術期刊的質量與經營效益,并使得相關人文社會學科核心期刊在評價建設上,未來有更為合適的理論與應用基礎,促使學者更重視自身的學術成果發表渠道的健全及權益,并防止可能的學術造假弊端,有助于學界與業界共同合作改善學術期刊的出版環境。然而,基于不同的學術寫作發表環境的差異,中文學術期刊出版環境究竟擁有多少改進空間?同時,在講求開放透明的新媒體環境下,未來這類所謂“開放式同行評議”制度是否可以被我們接受,甚至有信心將此創新機制納入作為兩岸學術期刊評價收錄標準之一?我們相信同行評議制度的轉型改革值得期待,但也勢必承受更大的挑戰與沖擊。
注 釋
[1] [3]Tania Rabesandratana.The Seer of Science Publishing[J] .Science 342, no. 6154 (October 2013): 66,67
[2] Aileen Fyfe.Peer Review: Not As Old As You Might Think[M/OL].[2015-10-20].Educationhttps://www.timeshighereducation.com/features/peer-review-not-old-you-might-think
[4] Cat Ferguson, Adam Marcus and Ivan Oransky.The Peer Review Scam[J]. Nature, 515 (27, November 2014)
[5] Stevan Harnad, “Implementing Peer Review on the Net: Scientific Quality Control in Scholarly Electronic Journals,” in Scholarly Publication: The Electronic Frontier, ed. Robin P. Peek and Gregory B. Newby (Cambridge, MA: MIT Press, 1996), 113-15. 轉引自:邱炯友.學術電子期刊同行評議的探析[J]. 教育資料與圖書館學,2003,40(3):309-323
[6] 由CrossRef 開發的CrossMark協助讀者確認所檢視文件是否為目前最新版本,或該文件是否為出版者所維護的副本,如此將有助于出版者維護所出版內容并在內容變更時通知讀者。
[7] Dirk Steinke.The Peer Review Crisis[J]. DNA Barcoding, June 15, 2015
[8] Jeffrey Beall對于學術不端之指摘實例詳見:Peer-reviewed Journal Promises Submission to Publication in Four Days[J]. Scholarly Open Access, September 9, 2012; Hungarian OA Journal charges According to Article Quality[J]. Scholarly Open Access, September 8, 2015
[9] Mark Ware.Peer Review in Scholarly Journals: Perspective of the Scholarly Community–An International Study[J]. Information Service & Use, January 2008
[10][11] “Faculty of 1000, ” Wikipedia, accessed December 20.2015[OL].[2015-10-20]. https//en.wikipedia.org/wiki/Faculty_of_1000.
[12] Faculty of 1000.How it Works[OL].[2015-10-20]. http://f1000research.com/about
[13] Laure Haak.F1000 and ORCID Partner to Launch Standard for Citing Peer Review Activities[OL].[2015-10-20]. http://orcid.org/blog/2015/05/15/f1000-and-orcid-partner-launch-standard-citing-peer-review-activities
[14] 相關資料見http://pre-val.org.
[15] Peer Review Evaluation.How It Works[OL].[2015-10-20].http://pre-val.org/we-believe-in-peer-review/how-it-works/
[16] Eric Hall.Four Reasons to Feel Good About the Future of Peer Review[J]. Research Information, March 10, 2015