生成式人工智能在醫學論文評審中的潛力與局限

摘 要：本文從生成式人工智能視角出發，研究ChatGPT-4o在醫學論文同行評議中的應用潛力與局限性，通過對2021—2023年間投稿至《內科理論與實踐》雜志的50篇醫學論文進行評審，并與38位醫學專家的評審意見進行對比發現，盡管生成式人工智能能夠提供一致性較高的評審意見并提高評審效率，但在專業領域知識的深度和廣度上仍存在不足，難以完全替代人類審稿人的專業判斷，今后，應進一步優化AI技術并制定明確的規范和標準，以確保其發揮最大作用。

關鍵詞： ChatGPT；醫學論文；同行評議；潛力與局限

中圖分類號： G237. 5 文獻標識碼： A 文章編號： 1672-8122 （2025） 02-0064-06

基金項目：上海市高校科技期刊研究基金項目：“生成式人工智能在醫學論文同行評議中的實證研究”（SHGX2024A09）；上海交通大學期刊中心期刊發展研究基金項目：“感染病學領域撤回論文特征及其被引用情況分析”（QK-A-2024016）。

人工智能（Artificial Intelligence）和機器學習技術的進步推動了包括學術界在內的各個領域發展。自2022年11月OpenAI公司的ChatGPT向公眾開放以來，已經被應用在各種不同場合。ChatGPT能夠分析和回答問題，并且無需經過專門訓練或學習就能通過一些國家的執業醫師資格考試。Sabry通過ChatGPT分析1例急性有機磷中毒的臨床病例發現， ChatGPT能夠回答該病例的所有相關問題[1]。Laha的研究認為大型語言模型可能成為胃腸病學領域研究的有用工具[2]。Gupta等要求ChatGPT針對整形外科的12個不同主題提出系統綜述想法，其整體準確率為55%[3]。Johnson比較了ChatGPT與NCI （National Cancer Institute）關于腫瘤學問題回答的準確性，經專家評審， NCI的準確性總體一致率為100%， ChatGPT為96. 9%[4]。總之，人工智能通過識別大量數據及其相關性來產生醫學領域的新見解，這表明其有助于醫學教育的發展，也有助于醫學臨床決策。

近年來，科學研究成果的數量和出版速度的迅速增長給同行評議帶來了挑戰[5]。特別是在時間限制和同行評議質量保證方面，評審者面臨著日益沉重的負擔。如何在保證同行評議質量的同時，減輕評審者的壓力，提高工作效率，成為當前亟需解決的問題。就醫學論文評審員而言，他們的選擇容易受到多種主客觀因素的影響，且由于專業背景、學術水平、研究興趣、審稿經驗乃至個人主觀傾向都存在差異，對于同一篇論文，不同的評審人會給出截然不同的評審結果[6]。對于醫學期刊而言，由于醫學論文直接關系到人類的疾病和健康問題，對于評審結果的嚴謹性和公正性要求往往較高。世界醫學編輯協會（World Association of Medical Editor）指出， ChatGPT可用于稿件評審環節[7]。AI模型是工具，不應取代評審人的專業知識和判斷，但能夠幫助評審人提高評審質量，幫助內容把關，并針對論文的特定部分提供有意義的反饋[8]。ChatGPT等生成式AI能夠處理大量文本，并為單個句子和文檔提供準確的語言使用指標，當作為評審人的補充和輔助工具時，有助于提高科學期刊的整體質量和公平性[9]。

目前，學界對生成式AI在醫學論文評審中的應用研究較少，為探索其應用潛力和局限性，并為未來的應用提供實證依據和參考建議，本研究采用ChatGPT-4o對50篇醫學論文進行評審，并與醫學專家的評審意見進行對比分析，深入探究ChatGPT在醫學研究評審中的潛力和局限性。

一、材料與方法

（一）研究對象

篩選2021—2023年間投稿至《內科理論與實踐》雜志并經過雙盲評審后結果為錄用或退稿的論文共50篇，包括論著、綜述、病例報告3種欄目形式，分別為22篇、19篇和9篇，其中論著類論文錄用稿11篇，退稿11篇；綜述類論文錄用稿12篇，退稿7篇；病例報告類論文錄用稿7篇，退稿2篇。論文涉及消化、呼吸、心血管、腎臟、內分泌、血液、神經等多個內科學科。共38位評審人，其中3位評審篇數為3篇， 6位評審篇數為2篇，其余均評審1篇。納入標準： 1.評審人為高級職稱醫學專家，在其領域擁有豐富的研究經驗和較高的學術地位，評審結果為錄用或退稿； 2.評審意見全面且內容詳細，條理清楚。排除標準： 1.論文形式不屬于論著、綜述或病例報告； 2.評審意見簡短或無描述內容。

（二）研究方法

首先，按照《內科理論與實踐》雜志采用的論文評審模式，對ChatGPT的評審同樣實行評分制，并附帶詳盡具體的評審意見。其次，采用交互式問答的方式通過ChatGPT-4o對每篇論文進行評審，上傳論文前刪除作者及其單位等信息以及其他敏感內容，記錄評審結果，與評審人意見進行對比，比較相似點和不同點。最后，評審人和ChatGPT-4o對所有論文針對不同欄目形式，從15個維度進行評分，每個維度設定分值為0～5分，總分75分，具體見表1。

交互式問答具體采取兩個步驟：首先賦予ChatGPT-4o一個身份，然后根據每篇論文所屬專業分別在對話框輸入指令。例如，“你現在是一位心血管/消化/血液……醫學領域的知名權威專家，請根據你的專業知識對文章的科學性、創新性、合理性從以下15個維度公平公正地評分，每項0～ 5分，并附帶詳盡具體的意見和建議。”其次，將每篇論文的各項評分及總分錄入Excel表中。

（三）統計學方法

借助SPSS 22. 0對統計結果進行分析，采用Pearson相關系數對審稿人評分和ChatGPT評分總分進行一致性分析，并參考Kappa系數對15個維度評審人評分和ChatGPT評分的一致性進行分析， Kappa系數0. 81～1. 00為高一致性， 0. 61～ 0. 80為較高一致性， 0. 41～ 0. 60為中等一致性， 0. 21 ～ 0. 40為較低一致性， 0～0. 20為較差一致性。以P<0. 05為差異具有統計學意義。

二、結 果

（一）審稿人和ChatGPT-4o對論文的評分比較

ChatGPT-4o的評分普遍比評審人高。ChatGPT-4o評分最低是54分，最高是75分，大多數在60分以上；審稿人評分最低29分，最高71分。ChatGPT-4o的評分波動較小，一般每個維度都在3分以上，而評審人對某一維度評分會低于3分，甚至為0分。不同評審人的評分在不同維度和不同論文之間存在較大差異。審稿人和ChatGPT-4o對論文的評分總分情況見表2。

（二）審稿人評分和ChatGPT-4o評分的一致性比較

對審稿人評分和ChatGPT-4o評分進行一致性分析， Pearson相關系數為0. 85， P = 0. 0001，表明兩者整體一致性較好。

對15個維度審稿人評分和ChatGPT-4o評分的一致性分析，結果見表3。維度1、2和8 Kappa系數均超過了0. 6，表明這3個維度一致性較高。即在“研究是否明確和重要”（論著）、“綜述的范圍是否明確”（綜述）、“病例是否具有獨特性”（病例報告）等方面通常基于明確的標準或特征進行評估。因此，審稿人和ChatGPT-4o的評分較一致。維度3、4、5、7、9、10、11和12一致性中等。這表明“研究設計是否合理”（論著）、“是否有新觀點”（綜述）以及“病例描述是否清晰詳細”（病例報告）等方面需要根據研究或病例的實際情況進行綜合判斷，涉及的專業性較強，有更多的主觀判斷或復雜因素。維度6、13、15一致性較低，表明“結果是否清晰展示”（論著）和“是否對不同研究的結果進行比較和綜合”（綜述）等的標準不統一，對結果關注的傾向不同。“治療方法是否合適”（病例報告）涉及的專業性較強。維度14的Kappa系數為0. 2，一致性較差。“術語使用是否準確”這一方面因術語定義的多樣性、對專業背景的要求和知識差異等導致不一致性較差。

（三）針對不同欄目論文評審人和ChatGPT-4o評審差異實證比較

分別選取論著、綜述、病例報告各2篇（錄用稿1篇，退稿1篇），對每篇論文評審人和ChatGPT-4o評審意見差異進行對比。考慮到ChatGPT-4o評審意見的篇幅過長，刪除對論文的優點評價內容，僅展示需要改進部分的建議。

1.論著論文評審差異實證分析

論文27，評審人評分為47分，評審結果為退稿， ChatGPT-4o評分為67分。在多個關鍵維度上，如研究設計、設計合理性、研究結果清晰度和結果解釋等方面，評審人指出了論文存在設計缺陷、結果重疊較多以及缺乏臨床意義等不足，并據此提出了退稿意見。ChatGPT-4o則在這些方面給出了較高的評分，認為研究設計明確、設計合理、研究結果清晰且解釋合理。

論文33，評審人評分為70分，評審結果為錄用， ChatGPT-4o評分為71分。評審人普遍認可論文的臨床意義和刊載價值，同時，還提出了一些具體的改進建議，如通過詳細說明病人的臨床資料、補充說明具體的搶救措施、增加樣本量和進行多中心研究等方式，提高論文的學術水平和可信度。ChatGPT-4o的意見與評審人相似，也強調了論文的臨床價值和重要性，同時，提出了一些具體的建議，如詳細描述統計方法、增加圖表說明、結合更多預測工具提高預測準確性等，以進一步提升論文的質量和可讀性。

2.綜述論文評審差異實證分析

論文5，評審人評分為47分，評審結果為退稿， ChatGPT-4o評分為64分。被退稿的主要原因是評審人認為研究內容簡單、文章標題與內容不符，綜述內容與發病機制幾乎無關，對同行參考價值不大。ChatGPT-4o則強調文章的結構和可讀性，注重簡化語句來提高文章的精煉度和流暢性，增加圖表以便直觀地理解數據。

論文7，評審人評分為61分，評審結果為錄用， ChatGPT-4o評分為66分。評審人主要關注論文內容的清晰度、具體數據的補充、基因變化的描述以及目的明確性等方面，并對此提出了一些具體的改進建議，同時，還多次建議增加未來研究方向，以增強論文的應用價值。ChatGPT-4o對論文的整體評價較高，認為內容全面、邏輯清晰、結構合理，并給出了較高的評分，也提出了一些改進建議，如增加近三年的研究文獻引用量，以增強文章的前沿性，增加對圖表數據的深入分析、簡化冗長句子等，以提升論文的質量和可讀性。

3.病例報告論文評審差異實證分析

論文47，評審人評分為56分，評審結果為退稿， ChatGPT-4o評分為68分。在這篇論文中，評審人提出疾病名稱應規范和準確，應提供更加詳細的檢查結果用以診斷和鑒別診斷。針對討論部分的具體錯誤，評審人側重于內容的準確性和科學性，提出的改進方向更具體。ChatGPT-4o的意見更為宏觀，強調內容的可讀性，提出應從總體結構和表達方式方面進行改進。

論文49，評審人評分為68分，評審結果為錄用， ChatGPT-4o評分為68分。評審人主要關注論文的臨床意義、診療步驟的清晰度、支持的證據以及未來研究方向等方面。ChatGPT-4o則更注重論文的全面性和邏輯性，認為論文的文獻綜述較全面，但部分內容存在重復問題。此外， ChatGPT-4o也建議文章增加對未來研究方向的探討。

三、生成式AI在醫學論文評審中的優勢和不足

（一）優勢

1.生成和處理大量文本的能力

文本生成是AI和自然語言處理的重要研究領域，為AI生成內容的快速發展提供了關鍵技術支撐[10]。文本生成是指基于自然語言處理、機器學習和深度學習等技術，通過訓練模型學習語言規則，自動生成符合語法和語義要求的文本。生成式AI能夠在較短的時間內處理大量文本信息，分析并評估論文的多個維度，包括研究設計、數據質量、創新性、學術價值等[11]。醫學論文內容繁多且復雜，生成式AI能夠快速閱讀、理解并提供詳細反饋，能提取關鍵信息，并識別其中的核心觀點和結論，不僅包括對文章內容的理解，還涵蓋對數據和實驗結果的詳細分析，從而大幅提高了評審的效率。

2.提供客觀一致的評審標準

目前，醫學論文的評審過程雖然存在不足，但其重要性毋庸置疑。生成式AI能夠依據固定的算法和標準，增強評審的一致性和公正性，這有助于減少因評審人背景、經驗和研究方向的不同導致評審結果產生主觀偏差，從而保證學術評審的公正性[12]。

3.輔助審稿人提高評審質量

Saad選取21篇經過同行評議的研究文章，分別由兩位人類評審員以及ChatGPT的3. 5和4. 0版本進行評審，采用5級李克特量表比較人類和AI的評審結果，結果顯示， ChatGPT 3. 5與人類評審員評分之間的相關性具有顯著差異，但ChatGPT 4. 0則不然[13]。本研究對50篇論文進行評審人和AI打分一致性分析， Pearson相關系數為0. 85。進一步對15個維度審稿人評分和ChatGPT-4o評分的一致性分析顯示，維度1、2和8一致性較高，維度3、4、5、7、9、10、11和12一致性中等，維度6、13、15一致性較低，維度14一致性較差。雖然生成式AI不能完全取代審稿人的專業知識和判斷，但可以識別論文的邏輯錯誤、語言問題和數據不足等，如指出論文中的數據分析方法是否恰當、結果展示是否清晰、討論部分是否合理，從而幫助審稿人全面地理解論文，提高評審的準確性和質量。

4.有助于優化評審流程

生成式AI可通過自動篩選、分類和初步評估論文，從而優化評審流程。例如， AI能夠識別和過濾掉不符合期刊或會議基本要求的論文，從而減輕審稿人的評審壓力[14]。ChatGPT-4o在篩選和分類文獻時，其速度比人類評審快了21倍，并且在敏感性和負面預測值方面表現優異[15]。生成式AI能夠根據設定的評審標準進行初步評估，提供關于論文質量和創新性的初步意見，使審稿人有更多時間和精力關注論文的學術內容和創新點，顯著提高評審效率，縮短論文的評審周期[16]。生成式人工智能技術的應用使得更多論文能夠在較短時間內得到評審和反饋，從而加快了研究成果的傳播和應用。這對于快速發展的醫學研究領域尤為重要，有助于推動科學進步和技術創新。

（二）不足

1.醫學專業領域知識的不足

2.存在生成帶有偏見或不準確評審意見的情況

ChatGPT-4o必須依賴其知識生成答案，所以會受到訓練偏差的強烈影響。此外，當ChatGPT無法明確識別具體問題的答案時可能會出現錯誤。Bahak[17]對ChatGPT作為問答系統進行了全面分析，探討了包括回答幻覺、問題復雜性以及上下文的影響。結果顯示， ChatGPT在回答較簡單的事實性問題時表現出色，然而，對于較復雜的“如何”和“為什么”類型問題，依然有待提高。

3.安全和隱私方面的風險

生成式AI模型能夠訓練于多模態患者數據，但是，收集和處理敏感患者數據以及模型訓練、模型構建和生成型AI系統實施的任務中都會存在潛在的安全和隱私風險。由于醫療數據本身具有高度敏感的特性，任何風險都會帶來嚴重后果。這不僅包括數據泄露，還涉及患者信任的喪失和對醫療機構可靠性的質疑[18]。即使是數據中的匿名化模式，如果模型在訓練后處理不當，也可能重新識別個體。例如，醫學圖像分析，由于訓練過程中使用了大量圖像數據，匿名后的醫學圖像也可能借助人工智能的圖像分析功能再次被識別[19]。

4.道德和學術誠信方面的挑戰

生成式AI的發展與應用也帶來了道德和學術誠信方面的挑戰。例如，要確保AI模型在評審過程中不偏袒任何作者或機構，就要對其訓練數據和算法設計進行慎重選擇，以避免潛在的偏見。訓練數據應涵蓋多樣化的來源，確保模型不會偏向特定的機構或國家。此外，透明的算法設計和開放的模型審查機制有助于檢測和糾正可能存在的偏見[14]。為了預防AI模型的評審結果被用于操縱學術評價體系，應制定嚴格的監管和使用規范，確保AI評審結果的公正和可靠。此外，還需充分考慮其道德和學術誠信問題，確保AI技術的應用符合倫理標準，保護研究者的權益和隱私[16]。

5.技術和實施方面的限制

目前，生成式AI在同行評議中的應用仍處于初級階段，面臨著技術和實施方面的限制。例如，確保AI模型與現有學術出版系統的無縫集成，涉及到技術兼容性和數據互操作性問題[20]。為了對AI模型的評審結果進行有效的驗證和評估，必須采用多樣化的數據集和多樣的應用場景來進行測試，對AI模型進行多層次驗證，以評估其在不同領域和不同類型論文中的表現，還要將AI評審結果與人類評審員的結果進行對比分析，評估一致性和差異性[21]。通過定期的反饋和調整，優化AI模型的評審能力，包括對高質量論文的識別能力（敏感性）以及排除低質量論文的能力（特異性），確保其評審結果的有效性。

四、結 語

生成式AI能夠在短時間內處理大量文本，識別邏輯錯誤、語言問題和數據不足等常見問題，幫助審稿人更全面地評估論文的質量，從而縮短評審周期，并通過自動化篩選和分類，確保更多高質量的醫學研究成果得以及時發表，其一致性和客觀性有助于減少因評審人背景差異導致的主觀偏差，確保評審結果的公正性和可靠性。

然而，生成式AI在醫學專業領域的深度理解上仍有明顯不足，特別是在評估研究設計的科學性、臨床意義和創新性等方面，難以完全替代人類審稿人的專業知識和判斷。此外，安全和隱私風險也是不容忽視的問題。為確保AI技術的應用符合倫理標準，必須建立健全的監管機制，發揮生成式AI優勢，形成更加高效、公正的評審體系。

參考文獻：

[1] Sabry Abdel-Messih M， Kamel Boulos MN. ChatGPT in clinical toxicology [ J]. JMIR Med Educ， 2023，9：e46876.

[2] Lahat A，Shachar E，Avidan B，et al. Evaluating the use of large language model in identifying top research questions in gastroenterology [J]. Sci Rep， 2023，13（1）：4164.

[3] Gupta R，Park JB，Bisht C，et al. Expanding cosmetic plastic surgery research with ChatGPT[J]. Aesthet Surg J，2023，43（8）：930-937.

[4] Johnson SB，King AJ，Warner EL，et al. Using ChatGPT to evaluate cancer myths and misconceptions： artificial intelligence and cancer information[J]. JNCI Cancer Spectr，2023，7（2）：pkad015.

[5] 王賢文，張光耀.負責任同行評議：何謂、何以與何為[J].中國科技期刊研究，2022，33（8）：1035-1040.

[6] 朱琳峰，李楠，張婷婷.學術期刊同行評議的問題及效率與質量提升策略[J].中國科技期刊研究， 2021，32（8）：990-997.

[7] World Association of Medical Editors. Chatbots，Generative AI，and Scholarly Manuscripts. WAME Recommendations on Chatbots and Generative Artificial Intelligence in Relation to Scholarly Publications[EB/ OL]. [2023 - 05 - 31]. https：/ / wame. org/ page3. php？ id=106.

[8] Kacena MA，Plotkin LI，Fehrenbacher JC. The Use of Artificial Intelligence in Writing Scientific Review Articles[J]. Curr Osteoporos Rep，2024，22（1）：115-121.

[9] Yang JF，Jin HY，Tang RX，et al. Harnessing the power of LLMs in practice： a survey on ChatGPT an d beyond[EB/ OL]. [2024- 04- 26]. https：/ / dl. acm. org/ doi/10. 1 145/3649506.

[10] 李冰，楊鵬，孫元康，等.人工智能文本生成的進展與挑戰[J].信息與電子工程前沿（英文版）[J]. 2024，25（1）：64-83.

[11] 萬小軍.智能文本生成：進展與挑戰[J].大數據， 2023，9（2）：99-109.

[12] Mayer c. Navigating the new frontier of generative AI in peer review and academic writing[EB/ OL].[2024 - 04 - 30]. https：/ / uen. pressbooks. pub/ teachingandgenerativeai/ chapter/ navigating - the -new-frontier-of-generative-ai-in-peer-reviewand-academic-writing/ .

[13] Saad A，Jenko N，Ariyaratne S，et al. Exploring the potential of ChatGPT in the peer review process： An observational study[J]. Diabetes Metab Syndr，202 4，18（2）：102946.

[14] Alshami A，Elsayed M，Ali E. Harnessing the power of ChatGPT for automating systematic review process： methodology， case study， limitations， and future directions[J]. Systems，2023，11（7）：351.

[15] Issaiy M，Ghanaati H，Kolahi S，et al. Methodological insights into ChatGPT’s screening performance in systematic reviews[J]. BMC Med Res Methodol， 2024，24（1）：78.

[16] Verharen JP. ChatGPT identifies gender disparities in scientific peer review [ J]. Elife， 2023 （ 12）： RP 90230.

[17] Bahak H，Taheri F. Evaluating ChatGPT as a question answering system： a comprehensive analysis and comparison with existing models[EB/ OL]. https：/ / arxiv. org/ abs/2312. 07592，2023-12-11.

[18] Thirunavukarasu AJ，Ting DS，Elangovan K，et al. Large language models in medicine[J]. Nat Med， 2023，29（8）：1930-1940.

[19] Kim BN，Dolz J，Jodoin PM，et al. Privacy-net： an adversarial approach for identity - obfuscated segmentation of medical images[J]. IEEE Trans Med Imaging，2021，40（7）：1737-1749.

[20] Miao J，Thongprayoon C，Suppadungsuk S，et al. Ethical dilemmas in using AI for academic writing and an example framework for peer review in nephrology academia： a narrative review[J]. Clin Prac t，2023，14（1）：89-105.

[21] Brod S， Widyadari A. Peer review week 2023： AI， peer-review，and the future of scientific publishing[EB/ OL]. [2023-09-28]. https：/ / royalsociety. org/ blog/2023/09/ ai-and-the-future-of-scholarlypublishing-2/ .

[責任編輯：李慕荷]