




摘" 要" 心理學研究者采用預注冊的新型研究實踐以應對出版偏倚等問題, 包括未經同行評審的預注冊、經過同行評審的注冊報告和注冊重復報告。諸多主流國際期刊采納了注冊報告, 預注冊平臺和模板也趨于成熟。但預注冊和注冊報告也存在爭議, 為檢驗其效果, 研究者對預注冊與注冊報告進行了元研究, 結果發現注冊報告有助于解決出版偏倚和提升研究整體質量; 而未經同行評審的預注冊則達不到類似的效果。采納預注冊與注冊報告, 提高研究的可重復性、開放性與嚴謹性, 需要研究人員、學術機構與出版機構的共同努力。
關鍵詞" 預注冊, 注冊報告, 注冊重復報告, 可重復性, 開放科學
分類號" B841
1" 引言
可重復性(Reproducibility)是評估研究結果是否科學可靠的重要標準之一(Open Science Collaboration, 2015; Platt, 1964; Schmidt, 2009)。自Ioannidis (2005)指出“大量已發表的研究可能是錯的”之后, 2011年由于數據造假、經典實驗重復失敗等重大事件的廣泛傳播, 可重復性逐漸成為心理學領域關注的熱點話題(胡傳鵬 等, 2016)。此后大量的直接重復實驗發現, 一些重要的研究結論無法得到重復(Klein et al., 2014; Klein et al., 2018; Open Science Collaboration, 2015)。針對可重復性危機, 研究人員從學術研究全周期(提出明確假設、研究設計、采集數據、分析數據、解釋結果到文章發表)角度, 對其成因進行了眾多反思。可重復性危機可能的原因包括如下(可見圖1):低統計功效(Low Statistical Power) (Button et al., 2013; Sedlmeier amp; Gigerenzer, 1992)、p-Hacking (Simmons et al., 2011)、HARKing (Hypothesizing After the Results are Known) (Kerr, 1998)、出版偏倚(Publication Bias) (Fanelli, 2010; Franco et al., 2014)、缺乏數據共享(Wicherts et al., 2011; Wicherts et al., 2006)和缺乏重復(Makel et al., 2012)。
在以上諸多原因中, 出版偏倚不僅與論文發表直接相關, 而且通過當前的評估體系間接地影響到研究的全流程, 因此備受研究者的關注。出版偏倚指的是在論文發表中, 期刊編輯與審稿人均偏好陽性結果的傾向。為從發表端解決出版偏倚及其相關的問題, 研究者建議在實驗開始之前, 將研究計劃進行公開登記注冊, 后續實驗和結果分析過程中嚴格地按照預注冊內容實施。這一做法來源于醫學中臨床試驗的注冊, 但又有不同, 被稱為預注冊(Pre-registration)。預注冊不僅能夠避免出版偏倚的問題, 也能夠在一定程度上避免和解決p-Hacking、HARKing和低統計功效等問題(Chambers, 2019; Nosek amp; Lakens, 2014; Nosek amp; Lindsay, 2018; Soderberg et al., 2021; Wagenmakers amp; Dutilh, 2016)。
首先, 預注冊有助于減少出版偏倚。如前所述, 陽性和顯著的研究結果更容易被發表, 而陰性或非顯著的結果則往往被忽視(Franco et al., 2014), 在心理學中尤其嚴重(Fanelli, 2010)。出版
偏倚對科學有多方面的負面影響:(1)由于大部分發表的研究是顯著和陽性的, 已發表論文所呈現的結果是對真實科研結果的不完整代表; (2)由于期刊和審稿人偏好陽性結果, 研究者可能進行自我審查, 很少將陰性結果整理成完整的文章, 因而減少對陰性結果的探索和進一步挖掘(Franco et al., 2014), 有錯失重要科學發現的風險; (3)在當前“不發表就出局”的文化下, 研究者可能會通過p-Hacking, HARKing, 甚至造假來讓結果“變得”顯著, 進一步增加了文獻中的假陽性率。注冊報告(Registered Reports, RRs, 見后文中與預注冊的區別)在獲得結果前已經被原則上接受(In- principle Acceptance, IPA), 只要研究項目按照既定計劃進行, 則該研究大概率被接收, 避免了結果對是否發表的影響, 從而有利于減少出版偏倚對科學研究過程的影響。
其次, 預注冊可減少p-Hacking和HARKing的可能性。如上所述, 研究者可能為了得到陽性結果而對數據進行“塑形”, 即p-Hacking。如, 研究者可能通過數據篩選、統計測試和多次比較等方法讓結果“變得”顯著(John et al., 2012; Simmons et al., 2011)。HARKing則是指在完成數據分析后, 根據結果提出假設, 并將其當作看到數據前的假設進行呈現(Kerr, 1998), 使其結果看起來是支持其研究假設的。在預注冊中, 研究者在數據收集和分析前已經公開其研究假設、數據采集和分析計劃, 從而降低上述兩種可疑實踐的概率。
最后, 預注冊也可能會加強研究本身在方法上的嚴謹性(Chambers, 2013)。由于預注冊需要有完整的方案, 因此會迫使研究者在收集數據前對研究問題、研究假設和預期進行嚴格的審視, 研究者需要投入更多的時間和精力思考其方案, 因此可能增強其方法的嚴謹性。例如, 可重復性危機后, 小樣本量會導致統計功效不足的消極后果為主流學界所重視(如Button et al., 2013), 預注冊中通常要說明樣本量的合理性, 這將有助于提高研究的統計功效。此外, 注冊報告中的透明化意味著研究者可能需要將實驗材料、分析代碼、原始數據等提交并準備好公開共享(Soderberg et al., 2021)。這意味著研究者要為公開數據做準備。為了避免其他研究者在公開的數據中找到問題而帶來的聲譽上的損失, 研究者可能會更加嚴謹地檢查數據, 提高研究嚴謹性??傊?, 預注冊帶來的公開與透明也將推動研究嚴謹性的提升。
除了以上這些優勢, 預注冊也更加合乎科學研究的倫理要求。公開的預注冊不僅確保了研究的合法合規、透明與可溯源, 同時減少重復實驗和避免不必要的人體實驗, 以充分尊重和保護被試的相關權益(Gliklich et al., 2014)。因此, 預注冊實踐受到了研究者的推薦, 越來越多的學術期刊和組織開始鼓勵預注冊(Chambers, 2013, 2019; Hardwicke amp; Ioannidis, 2018; Mellor et al., 2019; Nature Editorial, 2023; Nosek amp; Lindsay, 2018; Simmons et al., 2021)。但這一實踐較為新穎, 且與傳統的研究實踐有較大的區別, 也引起不少研究者的質疑與反對(Pham amp; Oh, 2021; Szollosi et al., 2020)。預注冊自2013年起, 已經有10年歷史, 積累了不少實證數據, 使得我們能夠更客觀評估這些新型實踐帶來的影響。有鑒于此, 本文首先介紹了預注冊的三種類型、預注冊的步驟和注冊報告的評審流程。同時回顧了預注冊現狀、爭議、挑戰及對其的實證評估, 并在此基礎上對預注冊這種新形式進行展望。
2" 預注冊
2.1" 預注冊類型
廣義上預注冊包括三種類型:狹義上的預注冊、注冊報告和注冊重復報告(Registered Replication Reports, RRR), 三者都與研究項目的注冊過程有關(Lindsay et al., 2016), 但它們在目的和時間上有所不同。
狹義上的預注冊, 又稱未經審核的預注冊(Unreviewed Pre-registration), 即在收集數據之前的研究方案不被同行評審。在進行研究之前, 作者盡可能詳細地描述研究計劃(包括研究問題、假設、方法及分析方法等), 并將這些計劃保存在帶有時間戳、不可編輯的檔案中。該檔案可以在后續的投稿過程中與評審人、編輯和其他研究人員共享。
注冊報告, 又稱審核的預注冊(Reviewed Pre- registration), 即在收集數據之前, 由同行評審根據研究問題和方法進行審查。注冊報告是期刊的一種文章類型(Nature Editorial, 2023), 作者在收集數據之前向目標期刊提交詳細的研究計劃, 由期刊組織對研究計劃進行評審。如果研究問題與方法通過了編輯與審稿人的評審, 則期刊可以決定在原則上接受該研究。當研究者依照研究計劃完成數據收集和分析與文章撰寫后, 期刊再次對完整稿件進行審稿, 在是否遵循研究計劃的基礎上決定是否正式接受論文(見2.3注冊報告的審稿流程)。截止目前, 超過300種期刊采用注冊報告出版的形式(見www.cos.io/initiatives/ registered-reports)。
注冊報告的一個最新發展是2021年出現的“注冊報告中的同行社區(Peer Community In Registered Reports, PCI-RR)”。在這種新型的注冊報告中, 作者可以將研究計劃提交給PCI-RR這個社區進行評審, 而不是某個特定的期刊。社區的推薦人(Recommender)將與傳統期刊編輯一樣, 尋找審稿人并根據審稿人的意見決定是否推薦該研究方案。如果被推薦, 那么作者可以繼續進行數據收集, 并撰寫完整稿件。完成稿件撰寫后, 作者從認可PCI-RR推薦的期刊中選擇合適的期刊進行發表, 該期刊將不再對注冊報告進行評審。PCI-RR既保留了注冊報告中的同行評審過程, 也給了作者更大的自由度。此外, PCI-RR根據作者是否有查看數據的情況, 對注冊報告進行了分級, 使得對已有數據的再次分析也被納入到注冊報告的范圍。因此PCI-RR也被稱為注冊報告2.0 (Feldman, 2022)。
注冊重復報告是一種特殊的注冊報告, 目的在于直接重復先前發表的一個或多個原始研究的結果, 尤其是有重大影響的結果。與注冊報告相同, 重復注冊報告方案在數據收集前需經過同行評審和接受。為了保證重復注冊報告結果的穩定性, 作者可以在研究方案原則上被期刊接受后, 招募更多的團隊共同進行重復研究, 所有參與的團隊均需遵循相同的注冊計劃, 所有數據將整合后共同發表。當前, 注冊重復報告由《心理科學展望》(Perspectives on Psychological Science)期刊提出, 是ManyLabs項目(Klein et al., 2014; Klein et al., 2018)和心理科學加速器(Psychological Science Accelerator, PSA)進行重復研究時主要形式(Jones et al., 2021)。
總之, 狹義上的預注冊是指在數據收集開始前對研究進行注冊的過程, 而注冊報告和注冊重復報告則需要由特定期刊或平臺對預注冊方案進行評審并決定是否在原則上接受, 是一種新型出版類型。注冊報告通常需要公開預注冊過程, 而預注冊卻不一定要選定期刊或平臺進行評審。預注冊、注冊報告和注冊重復報告之間的關聯與區別見圖2。
2.2" 預注冊的內容與流程
對一項未來的研究進行預注冊, 作者需要將研究計劃提交到相應的注冊平臺或機構。根據注冊平臺和研究類型的不同, 在預注冊的過程需要提供的信息也會有所差異, 隨著預注冊的成熟, 已經形成了諸多關于預注冊的模板。通常, 各個預注冊模版中包括基本的研究信息、設計方案、抽樣計劃、變量設置和分析計劃等內容。下面以開放科學框架(Open Science Framework, OSF)在線平臺預注冊為例進行模版簡要說明(Mellor et al., 2019), 預注冊模版大綱內容可見圖3A, 詳細模版說明與填寫步驟圖文介紹可見在線補充材料(www.osf.io/ju2sx)。
研究信息部分包括標題、作者、研究概述和研究假設。設計方案部分需描述研究的類型、盲法(Blinding)及設計細節, 這部分需界定研究類型:干預實驗(包括隨機對照實驗)、觀察性研究(包括調查、自然實驗)、元分析或其它類型的研究。抽樣計劃部分需說明數據收集程序、樣本數量及終止數據收集規則。變量設置部分需描述將在驗證性分析計劃中使用的所有變量(包括操作變量和測量變量)、變量水平及操縱方式。分析計劃部分包括統計模型、推斷標準、數據排除、缺失數據及探索性分析。除以上內容, 如果預注冊中需要補充額外信息, 比如參考文獻、其它相關工作等, 這些都可以描述在預注冊中。其它預注冊模版的描述和網址可見表1, 比如“預見”心理學預注冊平臺模版、定性研究的預注冊模板、fMRI研究的預注冊模板等。
預注冊方案在平臺上完成提交后, 即被保存為靜態網頁存檔, 并打上時間戳, 作者無法對已經提交的內容進行修改。但根據平臺的功能設置, 研究者可能可以更新或者撤回預注冊。此外, 根據平臺的功能設置和作者的選擇, 提交的預注冊方案可以立即公開, 也可以在保密一段時間后再自動公開。
2.3" 注冊報告評審流程
如前所述, 注冊報告獲知結果前進行同行評審, 是假設?演繹式科研的最佳范式(Chambers et al., 2014)。與傳統研究不同, 注冊報告出版格式將傳統的同行評審一分為二(Chambers, 2019; Chambers et al., 2014)。在第一階段, 作者需要提交初始稿件, 稿件內容包括引言、方法、擬定的分析流程, 以及任何讓研究計劃變得更具有可操作性的預實驗數據(Pilot Data)和對預實驗數據的分析。編輯和審稿人對提交的研究方案進行評審, 主要檢查其研究問題的科學或應用價值以及研究方法的適切性和嚴謹性。第一階段審稿后可能被拒稿。如果審稿人和編輯認為研究計劃能夠被原則上接受或者修改后原則上接受, 則作者根據評審意見對研究計劃進行修改, 直到被原則上接受(Chambers, 2013, 2019; Hardwicke amp; Ioannidis, 2018; Nosek amp; Lakens, 2014)。這意味著只要作者按照批準的方案進行研究, 期刊承諾發表最終論文。
在第二階段, 作者根據原方案完成研究后, 需要提交完整稿件, 期刊再次邀請原來的審稿人對稿件進行評審。稿件涵蓋先前初始稿件中的引言、方法及數據分析計劃, 完成研究后的結果和討論。結果部分需要包括預注冊方案中的驗證性分析結果。值得注意的是, 結果中可以增加探索性分析結果, 但此部分需要明確標注。本階段的審稿中, 審稿人主要評估研究過程是否按照計劃進行(如有偏離, 偏離是否合理)、結果推斷是否準確、討論是否合理等。完整稿件通過同行評審后, 則無論研究結果是否顯著, 稿件都會被期刊接收和發表(Chambers, 2013)。注冊報告兩階段審稿流程與細節見圖3B。
3" 預注冊發展態勢、爭議與挑戰
3.1" 預注冊的發展態勢
在醫學臨床試驗開始前的注冊具有強制性(de Angelis et al., 2004), 注冊報告則是心理學家將這種做法移植于期刊發表的出版形式創新(Simmons et al., 2021; Spitzer amp; Mueller, 2021)。Wagenmakers等(2011)率先在個人網站上發布預注冊文檔。此外, 也有研究者通過公開郵件來公開預注冊文件。2012年, 注冊報告首次被提出(Chambers amp; Tzavella, 2022)。緊接著, Cortex雜志邀請Chambers成為推動注冊報告這一新型文章類型的主編, 于2013年成為第一個正式提供注冊報告的期刊(Chambers, 2013)。為鼓勵研究人員進行開放科學實踐, Psychological Science雜志在2014年創新性地為文章提供預注冊、開放數據及開放材料的徽章(Eich, 2014)。同時, 開放科學運動也積極推薦預注冊和注冊報告。例如, 2015年6月, 86家期刊和26個組織簽署透明度和公開性促進指南(Transparency and Openness Promotion Guidelines), 該指南提出包括預注冊在內的透明度、開放和可重復的標準用于對學術期刊和組織進行評估(Nosek et al., 2015)。在這一大背景下, 更多的平臺開始提供預注冊, 如OSF、AsPredicted、PROSPERO、Foreknowledge、ZPID等(見表2)。這些平臺的出現和持續改進, 極大地推動了預注冊的實踐。
根據OSF官網提供的注冊數據信息顯示, 全球開放科學實踐快速增長。在預注冊總數方面, 從2012年的僅有38個注冊數量增加到1萬例, 用了5年(2017年累計預注冊12090例) (Nosek amp; Lindsay, 2018)。而到2020年, 3年時間累積預注冊突破5萬例*。兩年后, 預注冊增長非常驚人, 2022年OSF上注冊量超過10萬例(Pfeiffer amp; Call, 2022)。在一項抽樣調查中, 44%的心理學研究人員表示自己預注冊過一個假設或分析(Christensen et al., 2019)。在接受注冊報告的期刊數量上, 已超過300種期刊支持注冊報告**, 其中心理學期刊有Psychological Science、Developmental Psychology、Journal of Experimental Social Psychology、Collabra: Psychology等。Nature旗下與心理學相關的期刊Nature Human Behavior、Nature Communications均已接收注冊報告。自2023年起Nature正刊也開始接受這種新的出版形式, 旨在鼓勵嚴謹性和可重復性的科學研究(Nature Editorial, 2023)。由此可見, 開放科學正在成為全球共識, 預注冊在心理學以及其他專業領域逐漸被廣大研究人員認可與實踐(Simmons et al., 2021)。
3.2" 預注冊的爭議與挑戰
預注冊作為一種新的論文發表實踐, 自提出之日起就受到關注, 既有堅定的支持者, 也引發了許多批評(Pham amp; Oh, 2021; Szollosi et al., 2020)。這些批評大致上可以分成兩類:基于誤解的批評與真正的挑戰, 見Chambers和Tzavella (2022)的表1。
基于對預注冊的誤解而提出的批評又可以分成兩類。第一類是對預注冊實踐的誤解; 第二類是對預注冊擬解決問題的誤解。對預注冊實踐的誤解中, 影響力最大的一個是認為預注冊降低了研究的靈活性(Chambers, 2019)。對沒有預注冊經驗的心理學研究者的調查發現, 54.26%的回應者擔心預注冊靈活性低(Spitzer amp; Mueller, 2021)。主要的誤解在于:研究者誤認為預注冊完成后所有的內容均不能進行修改和更新, 從而認為這種實踐會約束了研究者進行探索的可能性。實際上, 預注冊或注冊報告均未限制研究者的靈活性與創新性, 也不否定探索性研究的價值與意義。預注冊真正提倡的是區分驗證性與探索性研究(Nosek et al., 2019)。例如, 在開展實驗前, 研究者有著明確的研究假設, 完成數據收集后, 分析數據直接去驗證研究假設是否得到支持。這種模式屬于驗證性研究。但也有可能, 研究者還想對數據進行進一步探索, 去檢驗一些看到數據后所產生的新想法, 這部分數據分析屬于探索性的。注冊報告或預注冊并不禁止研究者進行探索性分析, 只是要求將探索性分析得到的結果與驗證性結果區分開來, 或者對探索性分析得到的結果進行再次注冊, 繼續進行新的驗證性研究(Chambers, 2019)。要鼓勵研究者的探索性研究, 需要重視探索性研究, 而非將其包裝為驗證性的結果。因此, 部分期刊引入“探索性報告”的新文章類別, 作為注冊報告的補充, 如Cortex (McIntosh, 2017)。
對預注冊擬解決問題的誤解也存在廣泛的影響。有研究者認為, 預注冊無法解決造假的問題。通常被提及的情景是:研究者在收集完數據并且分析數據之后, 再進行預注冊。這種誤解之處在于, 預注冊并非為了解決造假問題而產生, 而是為了避免出版偏倚對科學論文的消極影響。要解決造假的問題, 需要更具有強制約束力的措施。從某種程度上講, 預注冊所帶來的研究過程的透明性, 實質有助于揭發學術失信行為, 但這是其副產品而非其目的。另一個對預注冊的誤解在于假定預注冊為了有效地解決可重復性問題而產生。盡管預注冊在很大程度上減少了可疑的研究實踐(Chambers, 2019; Nosek amp; Lakens, 2014; Soderberg et al., 2021), 但是可重復性問題的解決并非單靠預注冊能解決的, 還需要其它措施和實踐(見Nosek et al., 2022)。
還有一些批評者則指出了預注冊本身面臨的挑戰。一個明顯挑戰在于預注冊比傳統形式更為耗費時間(Allen amp; Mehler, 2019; Simmons et al., 2021; Spitzer amp; Mueller, 2021)。對于研究生或博士生來說尤其如此, 因為他們在校學習的時長有限。由于預注冊將大量的時間提前在數據收集之前的階段, 而當前的研究訓練并未讓研究者對這種方式做好準備, 因此, 這是當前預注冊和注冊報告進行推廣的真實障礙(Allen amp; Mehler, 2019)。當審稿人不理解注冊報告這種形式時, 第一階段的審稿過程還可能變得更加漫長。
這一挑戰將學術共同體與單個研究者的利益對立起來, 因為對于學術共同體作為一個整體來說, 注冊報告可能意味著更有效的時間與資源的投入。在傳統模式中, 一篇論文可能經過多次拒稿后才會被發表, 每次拒稿均意味著編輯和數位審稿人的審稿時間投入。且由于數據已經收集, 實驗設計中的缺陷無法在審稿中糾正, 因此實驗設計的缺陷也浪費了資源。但在注冊報告中, 通常第一階段審稿時審稿人和編輯會對設計進行反饋, 避免有缺陷的實驗計劃的實施, 減少資源的浪費。且根據認知神經科學期刊Cortex數據顯示, 注冊報告在第一階段審稿中的接收率在90%左右, 這是常規文章的兩倍多; 第二階段的接收率為100%, 沒有退稿(Chambers, 2019)。因而, 相比傳統出版方式, 注冊報告讓學術共同體的時間與資源得以更有效地利用, 但對于個體研究者來說, 卻需要比傳統研究實踐更長的準備時間。如何將學術共同體的利益與每個參與其中的個體研究者的利益進行匹配, 是預注冊和注冊報告面臨的重大的挑戰。從目前來看, 比較有效的做法是進行更多的培訓與提供更完善的模板, 減少預注冊的時間成本, 或者進行團隊協作, 由團隊的不同成員分別負責不同項目中的環節。
4" 預注冊的有效性
心理學中預注冊與注冊報告的已有近10年的歷史, 且有大量的預注冊和注冊報告發表, 使研究者有機會檢驗預注冊的有效性。Conry- Murray等(2022)通過對研究者、專業領域的從業者和本科生進行調查, 讓他們對不同的研究總結進行可信度評分, 結果發現當呈現的研究總結中提到預注冊時, 不同群體的被試均給出更高的可信度評分。這個結果顯示, 預注冊可以增加人們對研究的信任。但是預注冊和注冊報告是否真正地減少了出版偏倚以及其他可疑的研究實踐(如HARKing、p-Hacking等), 還需要從實證角度進行驗證。
對不同領域127篇的注冊報告研究進行分析發現, 在296項假設中有60.5%沒有得到數據的支持, 這個比例是傳統文章的5倍(Allen amp; Mehler, 2019)。而在心理學領域, 有研究者發現, 僅44%的注冊報告證實研究假設, 傳統文章則高達96% (Scheel et al., 2021)。這些結果表明, 預注冊和注冊報告確實減少了陽性結果的比例, 可能減少了出版偏倚的影響。注冊報告也有助于提升研究的質量(Spitzer amp; Mueller, 2021)。有研究者邀請353名專家對已發表的注冊報告和傳統模式的論文從19項特征(如新穎性、創新性和嚴謹性等)進行評分, 結果發現注冊報告在每個指標上都優于非預注冊(Soderberg et al., 2021), 尤其是在方法嚴謹性和整體文章質量這兩個方面。
對無評審的預注冊的實證研究則表明, 預注冊的質量參差不齊。van den Akker等(2023)對459項預注冊及其對應的發表論文進行了比較, 發現52%的預注冊中的研究假設在發表時被忽略, 57%的發表論文中增加了新的研究假設, 18%的發表論文中對假設的方向進行了修改。但是沒有足夠的證據表明增加假設或者修改的假設比那些未報告的假設更有可能是顯著的。van den Akker等(2023)比較了美國開放科學中心的預注冊挑戰中的193項心理學研究, 并未發現預注冊的研究有更低的陽性結果、更小的效應量或者更少的統計錯誤。但確實發現預注冊的研究中, 更多的做了統計檢驗力分析并且通常有更大的樣本量。此外, 預注冊的研究與未預注冊的研究在發表周期或者影響力上也沒有區別。無評審的預注冊研究之所以未表現出注冊報告的優勢, 有可能是因為審稿人或者編輯未對預注冊與論文稿件進行比較, Syed (2023)對PLOS One上201篇有預注冊稿件的審稿過程進行分析后發現, 只有18%的審稿人/編輯提及預注冊, 5%的審稿人/編輯會訪問預注冊鏈接, 3%的審稿人/編輯會討論預注冊與稿件之間的關系。
總之, 已有的研究發現, 注冊報告作為由編輯與審稿人共同把關的預注冊形式, 從實證數據來看, 一定程度上減小出版偏倚的影響, 同時也加強了研究的質量。但是沒有同行評審的預注冊則并未達到應有的效果, 其中一個重要的原因可能在于編輯與審稿人較少地與預注冊方案進行比較。
5" 預注冊未來發展方向與建議
在對可重復性問題的反思中, 研究者意識到了出版偏倚等問題的危害, 并提出預注冊和注冊報告來解決其中的部分問題。這一解決方案一直被誤解并飽受爭議。但從實踐來看, 在研究者和審稿人的共同努力下, 注冊報告及其新形式PCI- RR能夠實現預注冊所預期的目的。與之相反, 無評審的預注冊, 則可能流于形式主義。當審稿人和編輯不對比正式稿件與預注冊方案之間的異同時, 無論在心理學(Macnamara amp; Burgoyne, 2023; Syed, 2023), 還是在醫學臨床試驗(Jones et al., 2015)中, 預注冊的作用都會失效。如何推進預注冊在未來的發展中發揮更積極的作用, 需要研究人員、學術機構及出版機構三方共同努力。
5.1" 研究人員
研究人員需要傳播、認識與嘗試預注冊, 了解其價值和優勢, 意識到透明度和可重復性對科研的重要性。研究者可以將預注冊的重復實驗納入心理學課程, 加強學生對于可重復性危機的理解, 從而培養下一代研究者對新形式的接受度(胡傳鵬, 2019)。研究者在有條件的情況下, 也可以嘗試注冊報告等形式, 避免本領域重要的陰性結果因為出版偏倚而被埋沒(Baxter amp; Burwell, 2017)。從國際心理學界來看, 心理學研究者是積極踐行預注冊的先鋒(Nosek amp; Lindsay, 2018), 國內同行在未來也可能處于領先位置。
其次, 研究人員未來可通過研討會等方式, 提高自己的預注冊技能與知識, 更好地設計和執行研究(Nosek et al., 2018)。同時, 積極參與對預注冊實踐這種新形式的改進, 從而塑造未來的科研出版形式。例如, 加入開放科學社區或開放科學中文社區(Jin et al., 2023), 與其他研究人員交流經驗和分享最佳實踐。當研究者作為審稿人與編輯時, 仔細審閱注冊文檔, 對比其與正式稿件的差異, 不僅能給作者提供相關的專業意見, 也能監督預注冊的執行程度, 增強研究的透明度。
5.2" 學術機構
學術機構未來可以為研究人員提供更多的支持和資源, 幫助他們正確地進行預注冊。比如國內正在建立的“預見”心理學預注冊平臺(Foreknowledge), 從預注冊到預印本(Preprint)支持全過程開放。同時, 制定相應的政策和規定, 通過政策導向鼓勵研究人員進行預注冊。未來在申請科研資金時也可以引導和鼓勵研究人員采用預注冊。
此外, 求職、基金資助、論文發表和獎項等激勵措施對研究者的行為能產生巨大的影響(Nosek et al., 2018)。當前, 獎勵預注冊的政策非常缺乏, 高校與科研機構依然根據傳統標準進行學術成果與職稱評估(Poldrack, 2019)。改變這些政策, 鼓勵預注冊等新型實踐, 將有利于這些實踐的推廣。更重要的是, 學術機構要建立評估預注冊質量的機制, 幫助規范和提高預注冊的可信度和可靠性。比如注冊報告指導委員會(Registered Reports Steering Committee)目前為期刊實施注冊報告提供了詳細的指南(Hardwicke amp; Ioannidis, 2018)。為確保預注冊不會提供虛假信息, 并在實踐中真正實現其理論上的好處, 學術機構未來還應評估預注冊在多大程度上限制了p-Hacking、注冊報告偏離發生率, 以及作者和期刊是否繼續履行原則上接受承諾。
5.3" 出版機構
出版機構未來需要更多地支持注冊報告的出版, 并提供相應的平臺和流程。這包括接受注冊報告的投稿、提供審稿和編輯支持等, 以及提供相應徽章或類似的獎勵, 以促進預注冊的發表和傳播。例如, 當前《心理學報》鼓勵研究者進行預注冊。同時, 期刊也需要避免較為表面的徽章被濫用。例如, Psychological Science的新主編Simine Vazire考慮到當前未對預注冊進行充分檢查的事實, 取消了預注冊等徽章, 而是在研究透明性聲明(Research Transparency Statement)中明確地說明預注冊、鏈接及是否偏離等(Hardwicke amp; Vazire, 2023)。
同時, 出版機構未來可通過提供開放獲取選項、將注冊報告與相關研究數據和材料鏈接, 以及優化搜索引擎的索引等方式, 增加可訪問性和可搜索性。例如, 下一代注冊報告可以集成Code Ocean等工具, 確保數據分析在穩定、獨立的軟件環境中是不可變的(Chambers, 2019)。此外, 出版社可以通過宣傳和推廣活動, 提高研究人員對預注冊的認知和意識。比如, 組織專題會議、發布專題期刊和編寫指南等, 以鼓勵更多的研究人員參與預注冊。近期, 中國心理學會出版工作委員會與國內出版的中英文心理學期刊編委會聯合發布的《蘇州倡議》?中, 明確地提倡對研究全流程進行透明化, 支持預注冊, 正是這一趨勢的體現。
預注冊在科研實踐中具有重要意義, 未來的發展需要通過推廣、完善工具和平臺、建立評估機制以及提供獎勵和激勵機制來促進和支持。雖然預注冊流程將一些“繁重的工作”轉移到研究的早期階段, 但數據收集和分析需要持續監測以符合預注冊的計劃, 同時研究人員要對不可預見的問題進行排除和說明(Kiyonaga amp; Scimeca, 2019)。然而, 預注冊的應用將有助于提高研究的透明度和可重復性, 推動科學的發展和進步, 最終使研究者個人和整個領域受益。用鮑勃·迪倫(Bob Dylan)的話來說, “時代在變” (Lindsay et al., 2016)。
致謝:非常感謝兩位匿名審稿專家對本文的指導與幫助, 感謝云南師范大學李晶晶老師、中國科學院心理研究所許岳培同學、貴州師范大學念靖晴同學、University of Vienna肖欽予同學、資陽環境科技職業學院岳磊老師和北京師范大學張馨月同學在本文寫作中提供的幫助和建議。
參考文獻
胡傳鵬. (2019). 將預注冊的重復實驗納入心理學研究方法的課程. 心理技術與應用, 7(5), 261–262, 265.
胡傳鵬, 王非, 過繼成思, 宋夢迪, 隋潔, 彭凱平. (2016). 心理學研究中的可重復性問題: 從危機到契機. 心理科學進展, 24(9), 1504–1518. https://doi.org/10.3724/SP.J. 1042.2016.01504
Allen, C., amp; Mehler, D. M. A. (2019). Open science challenges, benefits and tips in early career and beyond. PLOS Biology, 17(5), e3000246. https://doi.org/10.1371/ journal.pbio.3000246
Baxter, M. G., amp; Burwell, R. D. (2017). Promoting transparency and reproducibility in Behavioral Neuroscience: Publishing replications, registered reports, and 1 results. Behavioral Neuroscience, 131(4), 275–276. https://doi.org/10.1037/ bne0000207
Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., amp; Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475
Chambers, C. D. (2013). Registered reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. https://doi. org/10.1016/j.cortex.2012.12.016
Chambers, C. D. (2017). Talks. Retrieved June 16, 2023, from https://osf.io/9exdz
Chambers, C. D. (2019). What's next for Registered Reports? Nature, 573(7773), 187–189. https://doi.org/10.1038/d41586- 019-02674-6
Chambers, C. D., Feredoes, E., Muthukumaraswamy, S. D., amp; Etchells, P. (2014). Instead of \"playing the game\" it is time to change the rules: Registered Reports at AIMS Neuroscience and beyond. AIMS Neuroscience, 1(1), 4–17. https://doi.org/10.3934/Neuroscience.2014.1.4
Chambers, C. D., amp; Tzavella, L. (2022). The past, present and future of Registered Reports. Nature Human Behaviour, 6(1), 29–42. https://doi.org/10.1038/s41562-021-01193-7
Christensen, G., Wang, Z., Levy Paluck, E., Swanson, N., Birke, D., Miguel, E., amp; Littman, R. (2019). Open science practices are on the rise: The state of social science (3S) survey. MetaArXiv. https://doi.org/10.31222/osf.io/5rksu
Conry-Murray, C., Mcconnon, A., amp; Bower, M. (2022). The effect of preregistration and p-value patterns on trust in psychology and biology research. Collabra: Psychology, 8(1), 36306. https://doi.org/10.1525/collabra.36306
de Angelis, C., Drazen, J. M., Frizelle, F. A., Haug, C., Hoey, J., Horton, R., ... van der Weyden, M. B. (2004). Clinical trial registration: A statement from the International Committee of Medical Journal Editors. The New England Journal of Medicine, 351(12), 1250–1251. https://doi.org/ 10.1056/NEJMe048225
Eich, E. (2014). Business not as usual. Psychological Science, 25(1), 3–6. https://doi.org/10.1177/0956797613512465
Fanelli, D. (2010). “Positive” results increase down the hierarchy of the sciences. PLOS One, 5(4), e10068. https://doi.org/10.1371/journal.pone.0010068
Feldman, G. (2022). Peer Community in Registered Report (PCI RR) as the future of science: Our experience from 15 in-process scheduled PCI RR replication and extension submissions. Retrieved August 27, 2023, from https://osf.io/pn64d
Franco, A., Malhotra, N., amp; Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502–1505. https://doi.org/ 10.1126/science.1255484
Gliklich, R. E., Dreyer, N. A., amp; Leavy, M. B. (Eds). (2014). Registries for evaluating patient outcomes: A user’s guide (Vol. 2). AHRQ Publication No. 13 (14)-EHC111. Rockville, MD: Agency for Healthcare Research and Quality.
Hardwicke, T. E., amp; Ioannidis, J. P. A. (2018). Mapping the universe of registered reports. Nature Human Behaviour, 2(11), 793–796. https://doi.org/10.1038/s41562-018-0444-y
Hardwicke, T. E., amp; Vazire, S. (2023). Transparency is now the default at psychological science. Psychological Science. https://doi.org/10.1177/09567976231221573
Ioannidis, J. P. (2005). Why most published research findings are 1. PLOS Medicine, 2(8), e124. https://doi.org/10. 1371/journal.pmed.0020124
Jin, H., Wang, Q., Yang, Y.-F., Zhang, H., Gao, M., Jin, S., ... Chuan-Peng, H. (2023). The Chinese Open Science Network (COSN): Building an open science community from scratch. Advances in Methods and Practices in Psychological Science, 6(1). https://doi.org/10.1177/ 25152459221144986
John, L. K., Loewenstein, G., amp; Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953
Jones, B. C., DeBruine, L. M., Flake, J. K., Liuzza, M. T., Antfolk, J., Arinze, N. C., ... Coles, N. A. (2021). To which world regions does the valence-dominance model of social perception apply? Nature Human Behaviour, 5(1), 159–169. https://doi.org/10.1038/s41562-020-01007-2
Jones, C. W., Keil, L. G., Holland, W. C., Caughey, M. C., amp; Platts-Mills, T. F. (2015). Comparison of registered and published outcomes in randomized controlled trials: A systematic review. BMC Medicine, 13(1), 1–12. https://doi. org/10.1186/s12916-015-0520-3
Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957 pspr0203_4
Kiyonaga, A., amp; Scimeca, J. M. (2019). Practical considerations for navigating registered reports. Trends in Neurosciences, 42(9), 568–572. https://doi.org/10.1016/j.tins.2019.07.003
Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, ?., Bernstein, M. J., ... Nosek, B. A. (2014). Investigating variation in replicability: A “many labs” replication project. Social Psychology, 45(3), 142–152. https://doi.org/10.1027/1864-9335/a000178
Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams Jr, R. B., Alper, S., Aveyard, M., ... Nosek, B. A. (2018). Many labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https:// doi.org/10.1177/2515245918810225
Lindsay, D. S., Simons, D. J., amp; Lilienfeld, S. O. (2016). Research preregistration 101. APS Observer, 29, 14–16. https://www.psychologicalscience.org/observer/research-preregistration-101
Macnamara, B. N., amp; Burgoyne, A. P. (2023). Do growth mindset interventions impact students' academic achievement? A systematic review and meta-analysis with recommendations for best practices. Psychological Bulletin. 149(3–4), 133– 173. https://doi.org/10.1037/bul0000352
Makel, M. C., Plucker, J. A., amp; Hegarty, B. (2012). Replications in psychology research: How often do they really occur? Perspectives on Psychological Science, 7(6), 537–542. https://doi.org/10.1177/1745691612460688
McIntosh, R. D. (2017). Exploratory reports: A new article type for Cortex. Cortex, 96(11), A1–A4. https://doi.org/ 10.1016/j.cortex.2017.07.014
Mellor, D. T., Esposito, J., Hardwicke, T. E., Nosek, B. A., Cohoon, J., Soderberg, C. K., ... Speidel, R. (2019). Preregistration challenge: Plan, test, discover. Retrieved June 18, 2023, from https://osf.io/jea94
Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., ... Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), 0021. https://doi.org/10.1038/ s41562-016-0021
Nature Editorial. (2023). Nature welcomes Registered Reports. Nature, 614(7949), 594. https://doi.org/10.1038/ d41586-023-00506-2
Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., ... Yarkoni, T. (2015). Promoting an open research culture. Science, 348(6242), 1422–1425. https://doi.org/10.1126/science.aab2374
Nosek, B. A., Beck, E. D., Campbell, L., Flake, J. K., Hardwicke, T. E., Mellor, D. T., van 't Veer, A. E., amp; Vazire, S. (2019). Preregistration is hard, and worthwhile. Trends in Cognitive Sciences, 23(10), 815–818. https://doi. org/10.1016/j.tics.2019.07.009
Nosek, B. A., Ebersole, C. R., DeHaven, A. C., amp; Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., ... Vazire, S. (2022). Replicability, robustness, and reproducibility in Psychological Science. Annual Review of Psychology, 73, 719–748. https://doi. org/10.1146/annurev-psych-020821-114157
Nosek, B. A., amp; Lakens, D. (2014). Registered reports: A method to increase the credibility of published results. Social Psychology, 45(3), 137–141. https://doi.org/10.1027/ 1864-9335/a000192
Nosek, B. A., amp; Lindsay, D. S. (2018). Preregistration becoming the norm in psychological science. APS Observer, 31(3). https://www.psychologicalscience.org/observer/preregistration-becoming-the-norm-in-psychological-science
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Pfeiffer, N., amp; Call, M. (2022). Surpassing 100, 000 Registrations on OSF: Strides in adoption of open and reproducible research. Retrieved July 10, 2023, from https:// www.cos.io/blog/surpassing-100000-registrations-on-osf
Pham, M. T., amp; Oh, T. T. (2021). Preregistration is neither sufficient nor necessary for good science. Journal of Consumer Psychology, 31(1), 163–176. https://doi.org/10. 1002/jcpy.1209
Platt, J. R. (1964). Strong inference: Certain systematic methods of scientific thinking may produce much more rapid progress than others. Science, 146(3642), 347–353. https://doi.org/10.1126/science.146.3642.347
Poldrack, R. A. (2019). The costs of reproducibility. Neuron, 101(1), 11–14. https://doi.org/10.1016/j.neuron.2018.11.030
Scheel, A. M., Schijen, M. R. M. J., amp; Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with registered reports. Advances in Methods and Practices in Psychological Science, 4(2). https://doi.org/10.1177/25152459211007467
Schmidt, S. (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences. Review of General Psychology, 13(2), 90–100. https://doi.org/10.1037/a0015108
Sedlmeier, P., amp; Gigerenzer, G. (1992). Do studies of statistical power have an effect on the power of studies? In Methodological issues amp; strategies in clinical research. (pp. 389–406). American Psychological Association. https://doi.org/10.1037/10109-032
Simmons, J. P., Nelson, L. D., amp; Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Simmons, J. P., Nelson, L. D., amp; Simonsohn, U. (2021). Pre- registration: Why and how. Journal of Consumer Psychology, 31(1), 151–162. https://doi.org/10.1002/jcpy.1208
Soderberg, C. K., Errington, T. M., Schiavone, S. R., Bottesini, J., Thorn, F. S., Vazire, S., Esterling, K. M., amp; Nosek, B. A. (2021). Initial evidence of research quality of registered reports compared with the standard publishing model. Nature Human Behaviour, 5(8), 990–997. https://doi.org/10.1038/s41562-021-01142-4
Spitzer, L., amp; Mueller, S. (2021). Registered report protocol: Survey on attitudes and experiences regarding preregistration in psychological research. PLOS One, 16(7), e0253950. https://doi.org/10.1371/journal.pone.0253950
Syed, M. (2023). Some data indicating that editors and reviewers do not check preregistrations during the review process. PsyArXiv Preprints. https://doi.org/10.31234/osf. io/nh7qw
Szollosi, A., Kellen, D., Navarro, D. J., Shiffrin, R., van Rooij, I., van Zandt, T., amp; Donkin, C. (2020). Is preregistration worthwhile? Trends in Cognitive Sciences, 24(2), 94–95. https://doi.org/10.1016/j.tics.2019.11.009
van den Akker, O. R., van Assen, M., Bakker, M., Elsherif, M., Wong, T. K., amp; Wicherts, J. M. (2023). Preregistration in practice: A comparison of preregistered and non- preregistered studies in psychology. Behavior Research Methods. https://doi.org/10.3758/s13428-023-02277-0
Wagenmakers, E.-J., amp; Dutilh, G. (2016). Seven selfish reasons for preregistration. APS Observer, 29(9). https:// www.psychologicalscience.org/observer/seven-selfish-reasons-for-preregistration
Wagenmakers, E. J., Wetzels, R., Borsboom, D., amp; van der Maas, H. L. (2011). Why psychologists must change the way they analyze their data: the case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790
Wicherts, J. M., Bakker, M., amp; Molenaar, D. (2011). Willingness to share research data is related to the strength of the evidence and the quality of reporting of statistical results. PLOS One, 6(11), e26828. https://doi.org/10.1371/ journal.pone.0026828
Wicherts, J. M., Borsboom, D., Kats, J., amp; Molenaar, D. (2006). The poor availability of psychological research data for reanalysis. American Psychologist, 61(7), 726– 728. https://doi.org/10.1037/0003-066x.61.7.726
The status quo, challenges, and recommendations
of pre-registration in psychological science
ZHAO Jiawei1,2, XIA Tao3, HU Chuanpeng4
(1 State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University, Beijing 100875, China)
(2 School of Statistics, Renmin University of China, Beijing 100872, China)
(3 Department of Psychology, The University of Hong Kong, Hong Kong SAR 999077, China)
(4 School of Psychology, Nanjing Normal University, Nanjing 210024, China)
Abstract: In the past decade, researchers in psychological science have introduced new research practices to address issues such as publication bias: pre-registration without peer-review, peer-reviewed registered reports, and registered replication reports. Many journals in the field have accepted registered reports as a new article type, and the numbers of platforms and templates for pre-registration increased significantly. However, criticisms of pre-registration and registered reports still exist, some stemming from misunderstandings, while other criticisms pointed out practical challenges in implementing pre-registration and registered reports. Findings from meta-research revealed that registered reports alleviated the publication bias and improved the quality of research, while pre-registration without peer review failed to achieve similar results. Promoting a wider adoption of pre-registration and registered reports will further improve the openness, reproducibility, and rigor of research, and it requires the concerted efforts of all stakeholders, including individual researchers, academic institutes, and publishers.
Keywords: pre-registration, registered reports, registered replication reports, reproducibility, open science
收稿日期:2023-09-04
通信作者:胡傳鵬, E-mail: hcp4715@hotmail.com