畢業論文匿名評審制度中的“誤判”問題

胡安寧，李東雨，陳 滔

（1.復旦大學研究生院，上海 200433；2.復旦大學社會發展與公共政策學院，上海 200433）

一、引言

論文匿名評審制度是現代科研評價體系的基本制度[1]。以最常見的雙盲評審為例，論文作者與評審人互不知曉對方信息，僅以論文作為彼此溝通的憑借。這一制度的優勢在于可以克服論文評價過程中的“人情”因素，以期客觀公正地評價一項研究的優劣。因此，雖然圍繞匿名評審制度一直存在種種爭議，但論文需通過匿名評審方可發表已經成為世界上絕大多數學術期刊的通例。

考慮到論文匿名評審制度的這一優勢，過去一段時間以來，國內很多高校也開始采用匿名評審制度來處理畢業論文的質量評判問題[2-3]。雖然各校的政策各有差異，但是基本上都要求學生在最終答辯之前，其論文要通過外審專家的審閱，否則有可能喪失答辯資格乃至學位申請資格[4-5]。由于這一制度將學生論文的評價權交予校外評審人，可在一定程度上遏制本校教師評價過程中可能存在的人情關系因素，故而被很多高校爭相效仿。然而，到目前為止，對于這一制度可能存在的弊端卻鮮有思考[6-9]。

在此背景下，本文希望借助一個非常簡單的數學模型來說明：即使評審人如校方所預想的那樣具有比較高的論文鑒別力，一旦后續校方僅僅依據匿名評審結果判定論文質量，并以此決定學生是否有資格答辯和取得學位，將會產生相當高概率的“錯判”，在判為不合格的論文中有很高比例的合格論文。基于這一基本模型，研究進一步考慮了多種更為復雜的情況，包括多人評判（一票否決以及少數服從多數兩種情況）、多輪評判（論文經過多輪評議）以及多類別評判（評判結論并非過與不過的二元判斷，而是涉及多個評判結論）。基于這些討論，我們展示了潛在“誤判”問題的普遍性。

研究對于畢業論文匿名評審制度的討論具有很強的現實意義。對論文質量的判定關系到學生能否畢業和取得學位，進而與后續的就業、出國等事項高度相關，此種問題對于那些被錯判的學生而言關系重大，因此應當得到各方面的高度重視，并盡可能予以避免。同時，對于高等教育機構而言，此類誤判問題的發生直接關系到對優秀人才的吸引力、管理制度設置的公正合理性以及學校的學術聲譽與學術影響力。因此，無論是從學生還是從學校的角度出發，畢業論文的匿名評審制度都需要扎實細致的制度設計，倉促使用并不可取。

二、研究背景與文獻綜述

研究生學位論文是新生代科研從業者能力的重要體現，往往能為學術共同體帶來創新性貢獻[10]。1981 年的《中華人民共和國學位條例暫行實施辦法》規定，博士學位論文應經同行評議。當時的同行評議制度中的評議人和作者是相互知曉的。2014 年中華人民共和國國務院學位委員會、教育部印發《關于加強學位與研究生教育質量保證和監督體系建設的意見》，要求各單位加強匿名評閱制度建設。自此，匿名評審制度逐漸成為高校學位論文審核的普遍標準。

正如前文所述，匿名評審制度有利于通過規避“人情”因素來提升學位論文質量。中國社會是一個講人情和面子的社會[11]，因此在學位論文評價方面，人情和面子因素有可能影響評審人的最終評閱結果。相比而言，匿名評審則讓論文評閱過程擺脫了可能存在的拉關系、走后門現象[12-13]。這也間接調動了研究生導師指導學生的積極性，從而提高了研究生學位論文的質量[14-15]。從更為微觀的社會互動過程角度來講，匿名評審制度通過將作者信息隱去，在一定程度上避免了由刻板印象導致的評審人的主觀偏差。這種偏差會和作者的諸多社會信息有關，如性別[16]、前期學術積累[17]、作者所屬機構[18]等，匿名評審制度中隱藏了作者的此類信息，從而有效地避免了因為社會信息和刻板印象帶來的偏差。

盡管論文匿名評審制度具有一定的優勢，但其可能存在的弊端也是不容忽視的。例如，論文匿名評審制度更多關注的是如何排除人情關系等非學術因素，但對于如何有效提升論文的質量關心較少[19]。一些研究認為，匿名評審制度對于提升論文質量的效果是較為有限的[20]。一項實驗研究發現，雙盲評審并不能提升審稿人發現論文中錯誤的概率[21]。針對學位論文雙盲評審的研究也指出，不應對雙盲評審保障論文質量的作用有過高的期待，學生在論文寫作過程中的態度、導師在過程中的指導和學校在全流程中的監督才是提升學位論文質量的關鍵[2]。

就匿名評審過程中的誤判問題而言，現有研究有一定的討論。例如，對論文質量的準確判斷依賴于兩份或多份評審意見的一致性，但評審人意見不一致甚至完全相左的情況十分常見[22-23]。此外，學位論文綜合評議結果與分項評議結果不一致的狀況時有發生，也影響了對論文質量的判斷[2]。

除了評價一致性之外，學位論文匿名評審結果出現偏差的原因可以進一步從評閱者和論文送審兩個方面進行討論。就評審者而言，全國高校學位論文答辯和送審的時間較為集中，評審專家往往需要在短時間內評閱大量的學位論文，同時還要兼顧自身的教學、科研和行政工作，很難在論文評審上投入充足的時間[3]。此外，論文的匿名評審選擇一般由非專業的教學行政管理部門負責，存在一定的匹配偏差[24]，直接影響對論文質量評判的準確性[25]。一些評審專家在主觀上也較為懈怠，評閱態度不端正，這也會造成評閱過程的“失準”。

論文匿名評審過程中的誤判也和論文本身的特點相關。整體而言，更具開創性、前沿性的高質量論文和涉及學科交叉領域的論文在匿名評審中容易被錯判[26-27]。一項對東南大學學位論文雙盲評審的研究指出，學位論文屬于交叉學科的研究是導致學位論文評議結果不合格的一大原因[28]。還有學者使用基于行動者的模型（agent based model）模擬了學術期刊匿名評審制度的運作，因為高質量論文的審稿難度較大，經濟理性的審稿人往往不愿意認真審閱這類論文，而只要有極小比例的這類理性審稿人存在，久而久之，論文評判標準就會向平庸化發展，從而“拒斥”具有創新性的文章[29]。實際上，在學位論文評審實踐中，因學術觀點分歧而導致的匿名評審不公現象也時有發生[28]。

需要提及的是，論文的匿名評審工作并非沒有成本。相反，組織大規模的論文匿名評審會消耗大量的人力、物力、財力和時間。在學位論文評審中，由于送審需要占用一定的時間，學生寫作、修改論文和導師指導的時間也相應受到壓縮，這對提升學位論文的質量也造成了影響[20]。紙本送審論文的打印和寄送也是一筆不小的開支，隨著招生規模的擴大，這一費用也會逐步增加[15]。

綜上，現有研究對期刊論文的匿名評審制度有一定的反思，但是對于畢業論文匿名評審制度的討論相對不足。在有限的研究中，很多學者將畢業論文匿名評審制度中的誤判問題歸咎于評審者的失職。而本研究希望說明的是，即使匿名評審者不失職，完全依據外審意見進行論文質量的評判，依舊會造成相當高的誤判率。為了說明這一點，有必要區分畢業論文匿名評審制度中的雙重決策過程。

三、畢業論文匿名評審制度的雙重決策

畢業論文匿名評審的決策過程分為兩步：第一步，學校基于已經完成的畢業論文，尋找外部評審專家以判斷其質量；第二步，學校基于評審的意見，對于論文的質量進行判定，并進一步決定學生是否有資格答辯或者獲得學位。這兩步看似一體兩面，但其決策邏輯卻是不同的。

在第一步中，學校方面希望盡可能尋找到合適的評審人員來進行評判。即，如果給評審者一篇高質量的論文，評審者能夠給予一個準確的“論文合格”評價；而如果交給評審者的是一篇質量很差的論文，評審者能夠做出“論文不合格”的評價。與之相比，第二步的決策依據在于，給定一個“論文合格”的評價，學校可以將論文定性為“合格”并準許學生答辯和取得學位。同時，如果論文的一個評價是“不合格”，那么學校可以相應地判斷論文不合格，從而對學生進行某種資格限制。

直觀地說，第一步解決的問題是外部評審者能夠準確評議本校學生的論文嗎？后一步解決的問題是，基于特定的論文評價結論，學校能夠依此判斷論文質量嗎？在這兩步中，無疑第二步是更為重要的。學校對畢業論文進行匿名評審，最終目的不是為了獲取校外評審意見本身，而是希望能夠根據校外評審意見進行論文質量的認定，并實施相應的措施。這樣說，可能讀者會認為二者是一回事，如果對于特定的論文，評審者都能夠給出準確的判斷，那么基于他們的判斷不就能夠區分論文質量了嗎？然而，一個基本的數學模型告訴我們，實際情況并非如此。

四、畢業論文匿名評審中的“誤判率”：一個簡單的數學模型

假設變量B 表示一篇論文是不是“質量差”（1=質量差；0=質量好），A表示給出的評審意見是否是“不合格”（1=評審意見為不合格；0=評審意見為合格）。那么，上述的第一步涉及的是條件概率P（A|B）和P（）。其中這兩個表達式的意思是，在給定論文質量的前提下，給出準確評審意見的概率。其中，P（A|B）表示給出一篇質量差的論文的前提下，評審的判斷為不合格的概率；P（）表示給出一篇質量好的論文的前提下，評審的判斷為合格的概率。在第一步，學校關心的是如何提升P（A|B）和P（）的取值。而與第一步相比，第二步涉及的是P（B|A）和P（）。前者是指評審判斷為不合格的前提下，論文真實質量為差的概率；后者表示評審判斷論文合格的前提下，論文真實質量為好的概率。

基于上述的討論，研究有4 個指標來衡量畢業論文評審過程，如表1所示。

表1 論文評定過程的4種指標

顯然，從學生的角度來看，他們會更為關心誤關率，因為誤關率高的話，一個認真撰寫畢業論文且論文質量好的學生有可能被匿名評審過程“冤枉”，從而喪失后續的很多機會。但是從學校的角度來看，更為關心錯放率。尤其是在教育部出臺學生畢業后對其畢業論文進行不定期檢查的制度之后，如果錯放率高，則很有可能在未來抽檢過程中出現不合格論文，對于學校而言會產生巨大的壓力。下面，用一個簡單的數學模型，看一下誤關率與錯放率的基本特征。

這里采用的基本數學模型是貝葉斯定理。基于貝葉斯定理，可以從給定的P（B）、P（A|B）和P（）的值推導出P（B|A）和P（）。其中，P（B）表示一所學校不合格論文的比重（如每100篇畢業論文中，質量差的論文的比例）。

研究假設一所學校質量差的論文的比重（“次品率”）在1‰～10%之間，這個變化區間比較符合實際狀況。假設一所學校一年有800 名學生畢業，那么論文質量差的數量在1～80個之間變動。除此之外，研究設定P（A|B）=P（）=99%，即預設給定論文的質量前提下，外部評審的判斷接近完美。當然，這是一種比較理想的情況。這里，不妨看一下，即使是在這種理想情況下，各種誤判率是如何變化的。下面會放寬這種完美評審的設定，以盡可能接近實際情況。利用上面的貝葉斯公式，進行數據模擬，結果如圖1所示。

基于數據模擬的結果，如果一所學校質量差的論文占整體論文的比例很低，則誤關率會高，錯放率很低。例如，如果一所學校的教學質量很好，將整體論文中的“次品率”控制在2%及以下，那么就算邀請的評審者對論文質量有著非常準確的判斷（達到99%），誤關的發生率也會在30%及以上。這意味著，平均而言，有30%的可能性會出現誤關學生的情況。這是一個非常驚人的比例。當然，此時錯放率接近于0。

基于簡單的貝葉斯公式和數據模擬，研究發現，即使能夠尋找到一些“完美”的評審者，如果單純以評審結論為依據決定學生是否能夠答辯和獲得學位，那么從理論上講，也會有相當數量的學生會被“誤關”。這對于期待獲得學位并開始工作或者出國的學生而言，無疑是極為不公平的。

如上文所述，這里只是展示了在“完美評審者”前提下的結果，如果評審者的評判能力變低，會發生什么呢？這等價于設定P（A|B）和P（）為更小的取值。假設P（A|B）和P（）變動區間為0.8～0.95，會得到如圖2所示的模擬結果。

在給定學生培養質量的前提下，隨著評審者的評價能力下降，可能犯的“誤關”錯誤也在提高。例如，如果評審的論文評價能力為80%（即給定一篇高質量的論文，80%的可能性評審判斷為合格，而給定一篇低質量的論文，80%的可能性評審判斷為不合格），那么在論文“次品率”僅為2%的學校中，誤關率會超過90%。當然，錯放率依然很低。

需要說明的是，上面對于模擬結果的詮釋是從學校的角度出發的。實際上，也可以基于學生個人的角度，將P（B）理解為某個畢業生的論文自身的差品率，即多大程度上這個學生的論文質量差。基于這種理解，那么上面計算的誤關率就是這個學生有可能被誤關的概率了。這種個體層次的解釋與上面基于學校層次的解釋是一致的。

五、更為復雜的情況

圖1 誤關率和錯放率的變化

圖2 誤關率和錯放率與評審質量之間的關系

上面的討論基于基本的統計模擬，但是現實的畢業論文匿名評審過程更為復雜。例如，通常而言，會有多名評審人員，學校在獲取他們的評審意見后，可以采用“一票否決”或者“少數服從多數”的原則對論文進行最后的評判。所謂“一票否決”，是指在多個評審者中，只要有一名評審者給予不合格的評定意見，則該論文被視為不合格。所謂“少數服從多數”，則是指在評審者數量為奇數的情況下，以多數人的意見為準，如果大多數評審者認為論文不合格，則學校判定論文為不合格。除了這種多位評審者的情況，有時畢業論文的評閱還會有多輪的情況，也就是說，論文評閱不是“一錘子買賣”，而是經過多輪次的評閱后進行最后判定。最后，論文的評閱意見很多時候也不是合格與不合格的二分判斷，有時會有3 個甚至5 個選項供評審者選擇。

本節中將分析以下4種更為復雜的情況的誤關率（相比于錯放率，誤關率更為重要，因此，研究特別關注誤關率）：多人評閱，一票否決；多人評閱，少數服從多數；多輪評閱；多個評閱結論選項。

1.在“多人評閱，一票否決”的情況下，誤關的概率會被放大。例如，如果有兩名評審者，每個評審者的誤判率是p，那么一票否決的情況下，學生被誤關的概率是2p（1-p）+p·p；如果只有一個評審者，則學生被誤關的可能性就是p。顯然，2p（1-p）+p·p>p。在此種情況下，最后的誤判率等于1 減去所有人都沒有誤判的概率。如果有n 個評審者，這個值等于1-（1-p）n。在現實情況中，n 的取值不可能很大。通常而言，對于每份論文n不會大于3，因此，取n=3。

2.如果是“多人評閱，少數服從多數”，情況要更為復雜。此時需要確定評閱意見的分布情況。以n=3、二分（合格與不合格）評閱意見為例，評閱意見的分布有8 種狀態。此時，一篇論文的誤關率等于兩個及兩個以上評審者誤關的概率，這一數值也等于1 減去沒有誤關的概率再減去只有一個評閱人誤關的概率。

3.在多輪評閱的情況下，后面一輪被誤判的前提是前一輪也被誤判，所以在此種情況下，最重要的是最后一輪是否被誤判。顯然，如果有k 輪評閱，且最后一輪是被誤關，則在相互獨立的數輪評閱過后，整體的誤關率就是pk。當然，現實情況下有可能多輪評閱彼此不獨立。例如，有可能后面一輪的誤關率比前面一輪的誤關率低。假設有3 輪評審，每次降低20%的誤關率，則整體的誤關率就是p（p·0.8）（p·0.8×0.8）。

4.評閱意見有多個選項的情況也不足以改變上述的各種模擬分析結果。原因有三：其一，無論選項有多少，最重要的判斷還是論文是否合格；其二，評閱者對于論文的判斷能力是一種自屬的能力，無論選項如何設置，都不足以改變評閱者對于給定論文的判斷（例如，在二分評價體系下給出不合格的結論，等同于在一個百分制體系下給出60分以下的結論）；其三，論文質量同樣是論文的自屬性質，評價選項的設置與論文本身的質量并無關聯。考慮到這三點，下面的分析僅針對前3種復雜情況進行統計模擬。

在下面的統計模擬中，仍然將評審者的論文判斷能力設置為99%，質量差的論文比例區間為1‰～10‰，評審者數量設為3，相關結果見圖3。

圖3 更為復雜情況下的誤關率

圖3 說明，即使評審者對于論文具有幾乎“完美”的判斷力，但如果一所學校質量為差的論文比例僅為2%，那么3 位評審者在“一票否決”的情況下的誤判率仍會超過60%。相比之下，如果采用“少數服從多數”原則的話，誤判率會下降，但是仍然會在20%以上。多輪獨立評審的情況下，誤判問題會得到緩解，誤判率降至5%以下。如果多輪評審彼此是負向相關的話，可以進一步降低誤判率。由此可見，多輪評審的制度能夠最大限度地削減外審過程的誤判率。

那么，隨著評審者判斷能力的下降，會出現什么情況呢？這方面的分析如圖4所示。由圖4（a）可以發現，如果評審者的判斷能力極強，那么無論是多位評審者時“少數服從多數”，還是多輪評審，都比單人評審有更低的誤關率（但是如果一所學校質量為差的論文比例極低，則3 位評審者“少數服從多數”的情況相較于單人評審更差）。但是，由圖4（b）～圖4（d）可知，隨著評審者評閱能力的下降，多輪評閱比單人評審有更低的誤關率。多人評閱無論采用哪一種原則都會表現出更高比例的誤關率。例如，如果評閱者的評閱能力設置為80%，只要一所學校的質次論文在6%以下，誤關率幾乎達到100%。

六、結語與討論

圖4 變更評審判斷能力時的誤關率

匿名評審制度設置的初衷在于通過匿名學術成果評價來保障客觀與公正，但是就畢業論文質量評判而言，卻存在進一步思考甚至商榷的空間。通過貝葉斯定理，用基本的數學模擬方法可以證明，即使在評審者具有很高的論文鑒別力的前提下，單純基于評審結果來判斷論文質量有可能會出現誤判：在那些被評審為不合格的論文中，有可能有相當比例的高質量論文。

研究展示的統計模擬結果引發一系列關于畢業論文匿名評審制度的討論，如：為何高質量論文容易被誤判；如何避免送給論文評價能力相對較低的專家；如何從制度設計上避免高質量論文被誤判。

無論是日常經驗還是本文的模擬結果都表明，高質量論文的誤判率更高。之所以如此，原因之一在于創新與范式之間的張力。學術研究的本質在于創新，而高質量的論文更具創新性。但與此同時，論文匿名評審的過程是一個訴諸學術共同體“規范”的過程。借用庫恩的術語，任何學科均有自身獨特的學科范式，這一范式不僅僅涉及宏大的學科建制，還涉及更為具體的本學科領域內的“行規”，如研究問題的提出方式、研究方案的設計、研究成果的展示方式等。盡管庫恩認為范式具有變革的可能性，但是大多數時間內，我們處于“常規科學”階段，會受制于范式的規制。因此，更具創新性的畢業論文更有可能突破現有范式，因此也更有可能被大多數身處并接納現有范式的學者所排斥。

本文的模擬結果亦顯示，隨著評審專家判斷力的下降，誤判問題會變得越發嚴重。那么，應當如何保證評審專家的判斷力，或者說，如何確保找到高水平的匿名評審專家，就變得尤為重要。就這一問題，目前有兩種主流的做法：一種是利用教育部已有的專家數據庫進行庫內同領域專家的隨機選擇，即“庫內找專家”；另一種是由本校同領域專家提供專家名單，即“專家找專家”。兩相對比，筆者認為后者更具優勢。比如，專家邀請的專家更能保證專業的“精細”對口。教育部的專家庫可以匹配大的學科門類，但是無法照顧更為精細的學科分類，對于某一小的學科或者研究方向，使用此種專家庫很容易出現“錯配”。相比而言，只有同一學科或者研究方向的專家對于本領域內的適格專家最為了解，由他們提供專家庫可以最大限度地保證找到的匿名評審專家是真正的“同領域”的內行。這種精細的匹配也涉及時效性，無論哪一門學科，當下的科研實踐和成果的涌現可謂一日千里，短時間內會有很多新知識和新方法出現，很多時候，學位畢業論文相比于期刊論文更能夠體現這些新知識與新方法，因此，匿名評審者的知識構成也需要“與時俱進”。至于一個領域內哪些專家的研究更有前沿性，自然這個領域內的專家最清楚。相比較而言，教育部的專家庫對專家信息的更新相對滯后，對于特定學科的新發展無從顧及。

那么，如何盡可能地從制度設計方面避免對畢業論文的誤判呢？按照本文的研究發現，一個比較可靠的方式是允許學生進行多輪評審。在這一制度下，最后被誤判的可能性會大大降低。具體到制度設計層面，建議允許學生隨時通過抗辯來啟動新一輪的評議，而不是在多輪評議中人為設定諸多障礙。當然，多輪評審也并不一定要求是多輪匿名評審，比如，學校可以設立一個獨立于外審的論文審核機構，如果論文外審結論為不合格，學生可以有地方“上訴”。當然，此種委員會需要定點邀請相應領域的專家，而不是簡單訴諸所謂的“專家名單”。

需要說明的是，多輪評議制度的好處不僅僅在于可以削減誤判，還能夠起到剔除不合格評審者的功能。雖然一般的畢業論文外審過程中也可通過抗辯程序來更換不適格的評審者，但是一來學生往往出于“不生事”的動機而選擇按照不適格評審者提出的偏頗評審意見修改，然后發給同樣的不適格評審人重評；二來學校通常對更換不適格評審者的抗辯程序設置各種限制，因此并不是學生想抗辯就可以抗辯。其結果便是，畢業論文有可能在同樣的不適格評審者處逗留多次。此時，如果不適格的評審者堅持己見，即使評審意見偏頗，論文撰寫者也別無他法，從而造成評審者與論文撰寫者之間存在巨大的不對等。

總之，高校管理人員應嚴肅對待畢業論文匿名評審過程中的誤判問題。被誤關的學生很有可能因為這種誤判而喪失了后續工作或者出國深造的機會，因此對于學生個人而言是關乎其未來發展的大事。對于學校而言，當此種誤判成為一種“慣例”，勢必會對學校的學術聲譽產生巨大的負面影響。