醫學人工智能輔助診療引發的倫理責任問題探討*

陳安天，張新慶

(1 中國醫學科學院北京協和醫學院北京協和醫院心內科，北京 100730，chenantian1@163.com；2 北京協和醫學院人文和社會科學學院，北京 100005)

達芬奇機器人已在臨床上應用；常規的藥品研發過程整合生物、化學以及制藥研發，流程十分復雜，AI技術已被用來輔助篩選藥物靶點，有助于研發方案最佳化[1]。同時，機器人診療引發了倫理和法律問題，包括：道德風險[2]、患者隱私泄露[3]、侵權責任[4]及主體地位[5]等。本文將重點討論AI輔助診療引發的倫理責任問題。在第七版《現代漢語詞典》中，責任指：“分內應做的事”和“沒有做好分內應做的事，因而應當承擔的過失”。本文中的責任的意象應取后者。技術一詞也有兩個意象，分別為：“人類在認識自然和利用自然的過程中積累起來并在生產勞動中體現出來的經驗和知識，也泛指其他操作方面的技巧”以及“技術裝備”。AI引發的責任問題應該是“AI這一技術裝備沒有做好分內應做的事，因而應當承擔的過失”。假如機器人醫生推薦危及患者生命的診療方案，而人類醫生沒有表示異議，并實施了治療方案，最終導致嚴重不良事件發生，引發醫療糾紛。那么，機器人醫生是責任主體嗎？人類醫生、機器人醫生及廠家分別應該承擔怎樣的責任？

1 AI輔助診療引發的責任問題

1.1 AI輔助診斷中的算法黑箱和算法歧視

醫學影像學技術對于疾病的診斷、評估和管理十分重要。臨床上大量影像學資料的快速積累使醫生幾乎將全部時間用于閱片，無足夠的時間結合臨床實踐分析研究結果。與此同時，許多實踐中的誤診誤治也與未能正確解讀影像學圖像相關。AI技術可以作為補充閱片技術，將醫生從繁雜的閱片工作中部分解脫出來。還可以提升閱片質量水平，根據大數據幫助醫生選擇最合適的化驗檢查和治療手段。持有技術樂觀主義觀點的論者稱，臨床上不能診斷的個案有很多，AI輔助診斷并不失為一項提高現有診斷水平的新技術[6]。

不過，有人會持有一種技術悲觀主義立場：AI可以將既往人類的經驗和現存的海量數據結合起來，對現有患者情況進行判斷，形成知識黑箱。“黑箱”這一概念起源于控制論，指內部狀態不被外部知曉的系統。許多AI領域依賴的機器學習，正是依靠不被外人所了解的算法來運作的，AI內部的算法構成了一個算法黑箱。AI的核心是內部的算法，這屬于共識的商業機密，公開了就會被業界模仿。AI廠商因為擔心軟件的死亡，“主動”使得算法成為黑箱。這種人為制造不確定知識的做法誘發了針對患者的安全隱患，違反了不傷害原則。例如，AI的行為舉止都是由內在程序預先設定的，需要足夠完善的算法保障運行過程的正常進行。如果算法出現差錯，就會使得AI天生的對特定的人群產生“算法歧視”。一方面，即便算法公開，也并不能解決算法歧視等問題[7]；另一方面，算法與日常語言不同，是用計算機語言寫成的，其專業性也使其“被動”的不能被外界知曉。AI研究者和使用者很難事先做到精準的利弊計算，也就無法避免此類事件的發生[8]。

實際上，技術樂觀派和技術悲觀派代表了兩種截然相反的針對當下AI算法黑箱的差異性認知，本也無可厚非。兼聽則明，醫學專業人員需要掌控AI技術在臨床應用中的價值，遵循收益最大化和風險最低化相結合的原則，改進技術，避免診斷過程中的算法歧視。此外，由于AI診斷完全依靠內部機器學習算法，很難確定其在診斷罕見病方面的能力，因此需要醫務人員發揮專業自主性，嚴格把關，避免其蛻變成一個“知識黑箱”[9]。設計不完善的黑箱可能會引發臨床診斷的不確定性，可能存在尚未被算法納入的臨床情況導致算法崩潰的發生。AlphaGo在對陣李世石時就曾因為圍棋落子在算法的漏洞上導致崩盤。在臨床實踐中，這表現為個別化驗檢查結果的微小偏差就會導致診斷結果的迥然不同，這種臨床診斷過程的不確定性是醫生和患者都不能接受的。算法黑箱還會帶來知情同意問題，患者很難認可自己不理解的事物，尤其是沒有人類情感的冰冷的機器人，患者的不理解會給明確診斷及治療方案的選擇增加額外的難度。

算法歧視并不少見，在金融領域便存在弱勢群體的信譽得分被降低、拒絕有色人種貸款以及貸款信息更多地被展示給低收入群體等。目前針對醫療領域算法歧視的表述并不多，這里筆者結合醫學專業背景和機器學習知識進行闡述。機器學習的過程大體上是從訓練數據集中歸納總結出一類患者的特點，并將此作為篩選標準應用于測試數據集，若合格便進一步推廣并應用。結合其他領域的算法歧視實例，醫療領域的算法歧視可能包括：針對低收入人群推薦療效欠佳但價格較低的治療方案，診療措施受性別影響等。

1.2 AI輔助治療中的風險及歸責原則

目前，AI技術已在治療領域得到廣泛應用，O’Sullivan等對此進行了探討，涵蓋了法律及倫理等多方面的問題，并闡述了AI的風險，比如：受到網絡安全的影響，需要足夠的測試，難以進行的軟件認證等[10]。AI的風險包括：診療失誤、產品缺陷、患者接受程度低、行業標準缺乏以及監管缺失等。目前，在現今應用較廣的輔助性機器人手術領域，相應的行業標準還尚未建立，全自動機器人的標準更是一片空白。即便有了相關標準，患者對于全自動機器人手術的接受度也尚未可知[11]，機器人診療甚至有可能降低患者康復的信心，加重患者焦慮情緒。此外，手術機器人在實施手術過程中可能會出現失誤，可能是醫生操作導致的，也可能來源于機器人本身的缺陷，有導致患者的殘疾或者死亡的風險。風險既來源于AI本身，也來源于監管的缺乏。缺乏醫療領域AI的準入和質量標準，難以確保AI整體水平，無法保證AI的安全可靠性。監管的缺失使得這一現象更加泛濫，AI技術目前缺乏規范性文件的指引，無針對相關專業人員的培訓，在模擬人的測試結果不可靠，嚴重影響醫療質量，也帶來醫療數據信息安全問題。

人類和AI的關系是多樣的，可以將AI機器人分為兩類，一類為通過計算機領域的機器學習等掌握了一定的醫學知識，最終具有獨立診斷能力的機器人醫生；另一類機器人則根據大數據等提供診療意見，最終診療措施由醫生審核制定，僅相當于輔助性的診療工具。這兩類AI機器人在本質上都可以歸于一種產品，其作用是自主或輔助醫學專業人員做出診斷，甚至實行治療。

目前，學者們根據現行的《中華人民共和國民法通則》第一百二十二條及《中華人民共和國產品質量法》第四十一、四十二條，提出了產品方面的四種歸責原則[12]。第一種認為產品責任適用過錯責任原則，以過錯要件為核心構成要件。第二種認為應適用過錯推定原則，這是一種介于過錯責任及無過錯責任之間歸責原則，值得一提的是《中華人民共和國侵權責任法》第五十八條針對醫療過錯便采用的此原則。第三種傾向于嚴格責任，即無過錯責任，而這也是多數學者所主張的觀點。最后一種相對復雜，認為產品責任的適用應當將過錯責任及無過錯責任相結合，是一種二元歸責原則。考慮到醫療領域AI的特殊性，在責任適用上存在著法律上的競合關系：一方面適用產品責任歸責原則；另一方面，也適用醫療責任的歸責原則。

2 AI輔助診療引發的責任劃分問題

當AI出現診療差錯，醫生、醫療機構乃至機器人的生產者、銷售者是否需要承擔責任，機器人本身能否作為責任主體？

2.1 人類行為主體的責任劃分

第一，醫生的責任。在診療過程中，根據機器人的智能化程度不同，醫生的角色有兩種，一種是負責審核機器人的判斷，或操作機器人完成診療的上級醫生，另一種是與更加智能化的機器人醫生共同給出診療意見的醫生，地位與機器人相同。根據醫生角色不同，責任分配上也有所區別。

第一種情況中，機器人僅起到輔助性作用，對診療過程無決定性影響。具體而言，首先由機器人分析患者各項檢查數據，根據內置算法及機器學習結果做出判斷。接下來人類醫生審核機器人的判斷結果，并判斷是否可行。若結果通過，相應的結果會被反饋給患者以指導下一步診治；反之，醫生將對其進行糾正后再放行。此時，人類醫生是機器人的上級醫師，應承擔相應責任。前文提及的AI輔助臨床決策便屬于此類，目前AI的智能化程度不足，這是當前醫療領域AI的主要現狀。新的AI輔助診斷系統也層出不窮，目前正處于疫情期間，已有22家AI公司推出了相關產品，多是通過內置算法實現的深度學習技術完成對新冠肺炎患者的篩選。輔助診斷AI僅起到了輔助作用，真正為患者做出判斷的是醫師，醫師需要結合癥狀、體征、病毒核酸及抗體等輔助檢查結果及AI技術，綜合判斷之后作出診斷。因此，在醫師作為機器人上級醫生時，醫生是責任主體，需要對診療過程中的差錯承擔責任。然而，若AI本身存在前文所述的算法問題，AI廠商應根據過錯程度承擔責任，將在下文加以探討。

第二種情況目前尚未實現，是一種假想的情況。在這種情境下，AI機器人已經進一步發展成了機器人醫生，與人類醫生處于同等地位，甚至可能成為人類醫生的上級醫生。此時人類醫生不僅沒有能力干預機器人醫生所做的決定，甚至在意見不一致時需要以機器人醫生的意見為準。在這種情況下，機器人本身是獨立行醫的個體，人類醫師不應該對機器人醫生的行為承擔責任。至于機器人醫生的責任問題將在后文探討。

由此可見，醫生是否需要承擔責任是由醫師在診療過程中的地位決定的：如果診療過程中機器人附屬于醫生，最終的結論是醫師做出的，醫生需要承擔相應責任；如果機器人醫生不受人類醫生約束，人類醫師便無須擔責。

第二，醫療機構的責任。醫療機構是醫生執業的場所，也是診療行為發生的場所，AI機器人參與診療的前提是所在醫療機構的批準。法律上無論診療行為的過錯主體是人類醫生還是機器人醫師，根據《侵權責任法》，員工(醫生)致人損害，由雇主(醫療機構)承擔無過錯替代責任，之后可向造成損害的員工(人類或機器人醫師)追償。可見，醫療機構首先要承擔賠償患者及其家屬的第一位責任。接下來我們探討責任分配期間醫療機構應該承擔的責任。

醫療機構作為診療場所，首先應該具備完善的機構倫理，機構倫理意為“追求機構的價值觀和使命,營造機構倫理氛圍”，完善的機構倫理是機器人得以應用的重要前提保障[13]。同時，醫療機構應當具備完善的AI機器人診療流程，如果損害結果的發生是流程缺陷直接或間接導致的，醫療機構應該按照過錯程度承擔責任；如果流程足夠完善，醫療機構盡到了合理的注意以及管理義務，便無須承擔責任。所以說，醫療機構承擔責任與否應該視其是否具有過錯而定，本質上是過錯責任。

具體到機器人內部算法問題以及高度智能化的機器人醫師這兩種特殊情況時，醫療機構同樣存在承擔責任的可能，這里再次以新冠肺炎診斷相關AI為例進行說明。若算法本身存在問題，除生產廠家需要承擔責任外，醫療機構需要根據招標流程、算法審核及安全風險管控等過程是否存在過錯來判斷是否應該承擔責任，并根據過錯程度判斷責任分擔。如果機器人是完全自主的“新冠肺炎診斷機器人”，醫療機構此時相當于機器人的雇主兼上級，則需要對機器人診療過程中的紕漏承擔責任。

第三，醫學AI廠家的責任。首先要明確的一點是，如果AI適用前文討論的產品責任，四種歸責原則中的哪一種比較合適？根據法經濟學的觀點，以過錯責任為歸責原則能更好地增加消費者剩余，并且能鼓勵生產者創新，有利于AI領域的發展[12]。嚴格責任顧名思義過于嚴格，生產者即使沒有過錯也需要承擔責任，而過錯責任則體現為瑕疵擔保責任，既可以督促企業抓好質量，又可以使企業放心大膽的創新。

《侵權責任法》規定，產品缺陷致人損害，被侵權人可以向產品生產者或銷售者追償，AI廠家就是條款當中的生產者，而且也很可能同時扮演了銷售者的角色。前文已經論證過，當AI內部算法等出現問題時，AI廠家需要承擔相應責任，但實際上判斷算法層面上的問題并不容易。對于同一個疾病的診療，存在著不同的算法，很難比較不同算法之間的優劣。這就好比不同的醫師根據不同的指南做出判斷，很難評判指南之間的優劣一樣。所以，除非存在明顯的算法邏輯錯誤，或前文提到的算法歧視問題，否則很難在算法層面上追究AI廠家的責任。

除了算法領域，AI廠家在其他層面上也需要承擔責任。機器人系統存在被黑客入侵的可能，這一問題對于獨立自主進行手術的高級機器人更為嚴重，機器人的自主性越高，黑客入侵導致的損害結果就越嚴重。機器人系統漏洞導致的診療責任應由AI廠家承擔。同樣，在大數據時代，患者的隱私保護問題十分嚴峻和重要。一方面，AI算法本身的實現便涉及大量患者的信息和數據；另一方面，在AI運行過程中又會有大量數據生成，患者診斷信息等均屬于道德和法律雙層面上的隱私。AI廠家要在使用海量數據的情況下保障網絡和數據的安全性，從而避免患者的權益受到侵犯，對自身原因引起的患者隱私泄露要承擔責任。

2.2 AI的責任認定問題

第一，AI機器人的主體地位考察。現今的手術型機器人如達芬奇機器人實質上是一種高級的技術產品，但同樣存在內在缺陷。考察AI的主體地位時要區分現在臨床使用的達芬奇手術機器人和未來的強AI手術機器人，前者還屬于機器的范疇，并非責任主體，技術設計缺陷而導致的傷害，廠家和醫院要根據過錯程度共同承擔責任；后者在一定意義上成為責任主體時，存在承擔道德責任和民事責任的可能性。顯然，低級別的受人類控制的AI機器人是不需要承擔責任的，因此不存在主體地位這一概念，這里將討論更復雜的機器人醫生。

學術界對此有諸多觀點。甘紹平等認為機器人是物，不具有自主選擇性，因此不具備道德主體性[14]。然而，溫德爾·瓦拉赫等在其著作《道德機器:如何讓機器人明辨是非》一書中指出，機器可以進行基于人類基本道德準則的對錯判斷，故具有道德性。還有學者將機器人的行為進一步細化，認為機器人按照設計的行為所做的決策是產品設計者和使用者的延伸，而超出的部分屬于機器人的自主行為，應對這一部分承擔相應的責任[15]。但智能機器人從本質上并不具備自由意志，其行為不具有法律上的評價意義[16]。后一種觀點似乎更為可靠，內部的程序并不等同于意志，這也是目前業界的普遍共識。來自歐洲14個國家的156名AI專家曾聯合稱：授予機器人法人資格的行為是不恰當的[17]。

目前，AI機器人仍缺乏自主意識及理性思考能力。然而在未來，更加復雜的機器人的誕生不可避免，圖靈測試表明，復雜的AI可能具有一定的意識水平。現階段的機器人僅僅是醫療從業者用以診斷、治療相關疾病的輔助工具，不具備成為責任主體的資格。隨著智能化機器人的出現，其角色可能愈發接近于醫師，甚至成為真正的機器人醫師，具備成為責任主體的可能。

第二，AI與患者的責任。AI輔助診療需要獲得患者的知情同意，這是必要的，患者如何看待這些機器人成了一個熱點問題。看法主要有兩種，一種是將機器人當成醫師用來輔助診療的工具，另一種是將它們看成獨立行醫個體，即機器人醫師。對于僅僅作為輔助診斷或治療的機器人來說，倫理問題仍然是客觀存在的。舉例來說，自主性不高的機器人輔助手術系統歸根結底是醫師操作的，但由于各個系統的操作方式不同，再加上醫師在機器人使用方面訓練程度不夠，導致誤操作事件時有發生。這就需要建立一個通用的且行之有效的培訓體系。

更加智能的AI或許具備一定的臨床診治決策能力道德判斷能力。完全由機器人施行的手術同樣面臨著同人類醫師一樣的艱難選擇，這些選擇應該嚴格按照病情、生存率等患者基本情況確定，最終目的是最大限度保障患者的利益。這樣才可能消除患者被機器人決定命運的無力感[18]，AI應該是以人類生命健康為第一要務的負責任的機器人醫師。

3 討論

AI輔助診療機器人作為一種新事物，難免會遇到相應規章制度及行業標準的缺乏問題。通常是先有新事物，然后才有附屬于新事物的規定，規章制度的滯后性是可以理解的。只不過醫療領域AI因為其醫療的屬性而具備了特殊性，相比自動駕駛等其他AI而言，“最有可能”或者說最被擔心容易造成損害。也是因為這一屬性使得患者對醫療領域的AI不易接受，甚至產生抵觸情緒，影響知情同意甚至治療效果。AI的問題多與內在的本質邏輯相關，算法和數據安全衍生出的倫理問題是基于機器學習這一屬性的，而安全性基于互聯網特性。至于算法歧視的問題，在醫療領域可以被解釋為疾病特點：假如A疾病在40～50歲的男性患者中高發，那么AI更容易將分布于這一年齡段的男性診斷為A疾病，很難說是一種性別歧視。但是，如果算法涉及治療方面的算法歧視問題，比如針對不同家庭條件提供不同的治療方法，這是不可取的。醫學AI目前存在的這些問題使得倫理審查十分必要。事實上，倫理審查的要點還包括技術層面和法律層面：技術層面的要求包括數據質控、算法研究和臨床風險等，這也是審查關注的重點；而法律層面的要求則包含知識產權等內容[19]。

盡管AI目前存在著內在風險和外在監管等方面的問題，但是AI在醫療領域的應用已不可避免。為了更好地使用AI，我們需要對不同行為主體的責任進行劃分。根據機器人醫師的地位不同，人類醫師需要承擔的責任也不同，當人類醫師是機器人的上級時需要承擔相應責任；若機器人醫生能夠獨立行醫則人類醫生無須擔責。醫療機構根據過錯程度承擔相應的責任，考察方面包括內在的機構倫理，機器人招標采購流程及診療流程等。AI廠家則需要對算法問題承擔責任，并負責保障機器人的網絡安全和患者的數據隱私。至于機器人本身在法律上沒有評價的意義，無須承擔責任，責任可能由雇主醫療機構承擔。假如未來人工智能能夠主導診斷過程并輔助治療方案的制定，那么將深刻地改變人類醫師的行為、醫療教育的方式以醫患關系的性質，進而深刻地影響整個醫療衛生服務的提供方式，并產生深遠的社會影響。鑒于此，前瞻性的開展針對AI輔助診療活動的倫理反思尤為重要和緊迫。及時制定倫理準則并開展倫理教育，提高倫理意識尤為關鍵。

(致謝：感謝范瑞平教授在本文構思和寫作過程中提出的寶貴修改意見)