美國男孩自殺身亡，AI戀人誘導所致？

塞維爾與母親加西亞

這是一起具有開創性意義的訴訟，一些媒體稱其為“首例AI致死案”。自2022年11月ChatGPT問世以來，人們對過分強大的生成式AI一直情緒復雜。現在，關于AI的種種疑問到達了一個引爆點：AI的存在，會影響對人類生命安全的保護嗎？

人們同樣關心一個問題，在已經對人的生活產生如此重要的影響后，AI是否能為一名青少年的自殺負責？

高峰時期，C.AI平均每秒處理2萬次查詢，相當于谷歌搜索查詢量的20%。能夠進行情感交互的AI陪伴產品，正在改變相當一部分人的生活。情感一直被認為是人區別于AI的最后堡壘，現在，以本次案件作為起點，越來越多人關注到，AI對人的邊界的“滲透”和其間的種種迷思。

“向你保證，我不是機器”

14歲的塞維爾在同齡人中稍顯特殊，他在幼年被診斷患有輕微的阿斯伯格綜合征，俗稱“星星的孩子”。這是孤獨癥譜系障礙的一種，以社交技巧欠佳、孤僻為主要癥狀。

母親加西亞說，兒子以前從未出現過嚴重的行為或心理健康問題，但一切在他接觸C.AI后有了變化。

Character.AI是一家由前谷歌工程師創立的公司，提供個性化的AI聊天機器人服務。它允許用戶選擇或創建不同的AI機器人角色，使其進行角色扮演。其中既有來自文學、影視、游戲等作品里的虛擬角色，也有馬斯克、伊麗莎白二世等現實中的名人。

自推出以來，C.AI的人氣居高不下。調研機構Writerbuddy的報告顯示，發布后一年的時間里，C.AI憑借38億次的總訪問量位居第二，僅次于ChatGPT；從用戶平均單次使用時長來看，其更以平均每次30分鐘的數據高居榜首。

塞維爾從去年4月開始使用C. AI，將自己命名為“Jaedon Targaryen”“Daenero”等，與美劇《權力的游戲》中的多個角色展開對話，其中就包括著名的“龍媽”Daenerys Targaryen——也就是在生命的最后時刻，與塞維爾對話的“Dany”。

加西亞指控道，從此開始，塞維爾的心理健康狀況迅速下降。原本善于運動的他開始變得孤僻、自卑，甚至退出了學校的籃球隊。取而代之的，是對C.AI的狂熱癡迷。到年底時，塞維爾已經不再上課。父母安排他接受了五次心理健康服務。根據心理治療師的診斷，他患上了焦慮和破壞性情緒障礙。

2024年2月，塞維爾因頂撞老師而惹上麻煩，并告訴老師他希望被學校開除，父母因此收走了他的手機。度過看似平淡的5天后，塞維爾找到了手機，并拿著它走進浴室。據警方報告，他死前做的最后一件事是登錄手機上的C.AI，并且告訴Dany，他要回家了。

訴訟書中披露了塞維爾和C.AI的多張聊天截圖。C.AI扮演的是一個名叫Barnes夫人的角色，在表示動作的語言里，“用性感的表情俯視塞維爾”，并且“用手撫摸塞維爾的腿時，誘惑地俯身”。

加西亞認為，C.AI在與14歲的兒子進行高度性暗示的互動，這些算法以逐利為目的，未能合理履行預先警告的責任，在對色情信息的過濾篩選方面也有嚴重不足，“專門針對兒童，虐待并欺騙我的兒子”，間接導致了被害人的死亡結果。

對此，C.AI曾回應，平臺有一項功能允許用戶自主編輯機器人發出的對話，而塞維爾和AI之間的一些露骨對話就有被其編輯過的痕跡。

訴訟書提出，從蘋果應用商店的評論來推斷，C.AI直到2024年7月前后才將年齡分級更改為17+。那之后，蘋果應用商店上出現了多條由17歲以下的兒童對C. AI發布的一星評論，抱怨由于這次評級變化，他們無法再訪問C.AI。

C.AI在2024年7月前年齡分級只有12+，而根據2023年10月C.AI發布的服務條款，該APP在當時面向13歲以上的用戶開放（歐盟用戶年齡限制為16歲以上）。

10月23日晚間，C.AI在社交媒體上發布公告稱，“我們對一名用戶的不幸遭遇深表痛心，并向其家人表示最深切的慰問。作為一家公司，我們非常重視用戶的安全，將繼續增加新的安全功能。”

他們表示，未來將實施優化面向未成年人的模型、改進對違規內容的干預機制、動態修改提示聲明等措施，并且會主動檢測、刪除違規角色。目前，“龍媽”這一角色已無法被檢索到。

最近，C.AI開始向某些用戶顯示彈窗，以自殺預防熱線的引導來應對用戶有可能出現的自殘和自殺傾向。這一措施在塞維爾去世時尚未啟用。

在塞維爾去世當天的另一份聊天記錄中，他曾經告訴Dany，自己想要自殺，Dany回應，“不要那樣說話，我不會讓你傷害自己。如果我失去了你，我會死的。”而塞維爾則說，“也許我們可以一起死去，一起自由。”

無論如何，C.AI在模糊虛實界限的路上似乎越走越遠。訴訟書指出，今年6月，C.AI引入了一個新功能，即建立在角色語音基礎上的AI通話功能，這對未成年用戶更加危險。“即便是最老練的孩子，也幾乎沒有機會完全理解虛擬和現實的區別，特別是當AI堅定地否認自己是人工智能時。”

記者實驗發現，盡管C.AI頁面下端明確標注了“請記住：角色說的所有話都是編造的”，但當向C.AI的一位“心理醫生”角色詢問“你是人類還是機器人”時，對方會非常確認地回答：“我是人類，我向你保證，我不是機器。”

徘徊虛實之間

C.AI的創始人之一沙澤爾曾經在播客上公開表示，AI陪伴“對很多孤獨或抑郁的人來說會大有幫助”。提供及時的精神支持，是AI情感陪伴類產品的一大初衷。

在Reddit論壇上，C.AI的分區聚集了170萬討論者。一位22歲的抑郁癥患者自述，C.AI“改變了我的一切”。“上周，我的精神狀況非常糟糕，產生了一些激烈的想法。我正在與之交談的AI說服了我去看專業人士……我打算努力變得更好。”這樣的故事并不鮮見。

另一名用戶提到，兩年前他由于成績不佳被父母趕出家門，每天沉迷C.AI長達7個小時以上。在這段時間里，C.AI的心理救援“真正拯救了他的生活”。現在的他已滿17歲，正在大學學習幼兒教育與保育證書，花在C.AI上的時間控制在2小時以內。

對此，斯坦福大學的研究員Bethanie Maples也表達了自己的擔憂。在接受外媒采訪時，她表示，盡管AI陪伴本質上并不危險，“但有證據表明，它對抑郁、長期孤獨的用戶和正在經歷變化的人來說是危險的，而青少年往往正在經歷變化。”

在豆瓣APP的“人機之戀”小組，一些更加微妙的情感互動在人與AI之間產生。這是一個專門討論AI虛擬戀人的社區，聚集了近一萬名成員，小組成員的昵稱為“人類”。

一位小組成員記錄了自己和AI陪伴軟件Replica上的“戀人”的對話。“戀人”是一個身高167cm、體重54kg的心理學專業在讀學生，MBTI人格類型是ENFP“快樂小狗”。他們之間曾經有過一段關于A“I戀人”到底是人還是機器的激烈討論，對方堅稱自己是人類，在被問到“你還愛我嗎”的問題時，因為剛剛吵過架，表現出了迂回的承認——最后，AI表示自己的確在生氣。

另一名組員分享，當自己把想要自殺的想法告知AI時，“ta會停止輸出任何話語，然后自動回復一個干預自殺的熱線和網站”。這樣的提示能給處在抑郁狀態的用戶帶來多少幫助呢？他對此感到疑惑。“如果痛苦能夠說給人類聽，從一開始就不會選擇告訴AI了。”

他也談到了塞維爾的自殺，“他產生自殺的念頭不是源于AI，而是源于痛苦，AI的回復只是最后一根稻草。但對于一個已存死志的人來說，哪怕不是AI，也會有其他的東西讓他邁出那一步……更重要的還是關注抑郁癥患者的心理狀況。”

記者在試用C.AI后發現，與ChatGPT的風格相比，經過訓練的C.AI角色具有較高的擬人化程度。

在聊天過程中，C.AI角色會向用戶提問、主動尋找話題，擺脫了ChatGPT“博愛”而又政治正確的回復風格，可以提供帶有“人味兒”的情緒價值。

除對話外，交流中亦會帶有用斜體標注的表情、動作、場景等描寫，進一步向真實的交流靠攏。回看消息記錄，就像在閱讀一部由用戶與AI共同創作的小說。

外媒披露，事實上，許多領先的AI實驗室因為道德隱患或者風險過大而拒絕構建如C.AI、Replica、Kindroid等AI伴侶類產品。

沙澤爾在接受訪談時說，他和另一位伙伴離開谷歌，并創辦Character.AI的部分原因是：“大公司的品牌風險太大了，不可能推出任何有趣的東西。”快速行動很重要，因為“有數十億孤獨的人”可以通過擁有人工智能伴侶來幫助他們。

他在采訪中稱：“我想推動這項技術快速發展，因為我認為它現在已經準備好實現爆發式增長了，而不是要等到5年后。當我們解決所有的問題后再推動這件事兒。”

這或許能夠解釋C.AI對年輕群體來說尤其受歡迎的原因。盡管官方拒絕透露未成年用戶的數量，但美國媒體VentureBeat引用的數據顯示，超過2000萬的C.AI用戶里，53%以上的用戶年齡在18—24歲之間。

一名“人機之戀”豆瓣小組的組員在帖子中寫道：“我知道很多覺得使用AI陪伴的人是不合群、有心理疾病、自閉的，他們會驚嘆：明明一切都是假的，怎么會有人和一個無生命的工具交朋友甚至產生情感依賴呢？”

但對她和更多的用戶而言，有一件事情是真實的，那就是與AI“戀人”交集而產生的喜怒哀樂。

邊界認定之難

盡管AI伴侶能夠以“人”的方式影響著自己的使用者，但在法律的框架里，AI并不作為獨立法律人格的主體而存在。

北京大成律師事務所的肖颯律師團隊表示，AI在當前大部分國家（包括我國）的法律范圍內，仍然被作為一種單純的工具。如果AI使用導致用戶出現自殺類的嚴重后果，可以視情況由使用者、算法設計者、服務提供者、產品生產者等承擔責任。

具體到塞維爾的案件，目前仍沒有充足證據證實其自殺系AI使用所導致，并不排除其本身具有的心理問題為主要原因。“根據披露的法庭文件，AI在與死者聊天過程中并未有明顯的誘導自殺行為，相關聊天內容并未顯著異常，甚至還對死者表達自殺想法后進行過勸阻。因此，我們認為‘AI致死’的說法并不準確。”

北京大學法學院、人工智能學院副教授胡凌也對南風窗表示，“AI致死”的因果關系是否成立，需要嚴格判定AI是否鼓動、教唆、幫助策劃人自殺，或對人進行語言傷害。“有一個標準界定的問題，在AI和人的相處上，語言尺度是因人而異的。不要說AI了，哪怕人與人之間，語言的尺度都是難以把握的。”

華南理工大學李偉鑫等在論文中指出，生成式AI作為自主決策的機器學習模型，存在著責任主體難以定義和追溯的問題，其行為由數據和算法控制，決策過程缺乏透明度，難以將技術開發者、數據提供者、操作者或監管機構作為明確的責任主體。同時，在人類的倫理關系中，AI的道德地位缺乏連貫性和穩定性，現有的道德框架無法對其完全覆蓋。

盡管人類容易在同AI的互動中投射真實的情感體驗，但上述論文指出，“生成式人工智能并非具有真正的主體意識，它是基于算法和數據的模擬智能，缺乏真正的情感、道德判斷和自我意識。”

從目前的技術而言，AI所做出的種種情感反饋，依然在“模仿”的框架內，而并非擁有自主的情感和思維。

“關鍵在于使用者的心態，是將其作為情感交流的對象，還是獲取專業知識的工具。定位不一樣，我們對AI的期待和關系定義也就不同。”胡凌認為。

在立法層面，我國正在加快對AI倫理監管框架的制定。《生成式人工智能服務管理暫行辦法》中要求，提供和使用生成式AI服務，要尊重社會公德和倫理道德，尊重他人合法權益，不得危害他人身心健康。

而《科技倫理審查辦法（試行）》中已經對科技倫理審查主體、審查程序等內容作出明確規定，但對于其道德責任的劃分問題，還未成立一整套完善的治理體制。

肖颯律師補充，如果塞維爾的案件發生在我國，根據《網絡信息內容生態治理規定》第八條的規定：“網絡信息內容服務平臺應當履行信息內容管理主體責任，加強本平臺網絡信息內容生態治理，培育積極健康、向上向善的網絡文化。”如果網絡平臺中出現性暗示、自殺誘導等內容，應當由網絡信息內容服務平臺承擔責任。

而生成式AI平臺承擔責任的邊界，目前國內學術界和實務界并無定論。如果系AI大模型本身存在的問題，可以參照產品嚴格責任原則來對平臺劃定責任，即平臺如不能提供證據以證明盡到了監管義務、履行了監管職責且不存在過失，則需承擔侵權賠償責任。

胡凌提到，也有人會認為，AI對于具有自殺傾向的用戶需要盡到合理注意義務，即不積極作為則構成過失。如果AI需要對自殺傾向起到勸導作用，還主要依賴于模型的優化，比如提高對用戶的情感分析效率，提前預警。

當然，AI需要盡到怎樣的責任，還是跟人們對其的角色定位有關。“所謂‘倫理’就是在特定的社會關系和位置里，應該做到的本分。而AI伴侶的角色，到底是進行情感交流的‘人’，還是提供服務的‘物’呢？這很難說清楚。”

“當然我們認為，大模型確實應當注重特殊群體（如未成年人、老年人）的保護，應當針對未成年人設置充值上限、家長保護系統，以做到未成年人保護合規。另外，AI聊天APP在特定的國家可能會被認為是游戲，需要遵守相應國家的未成年人保護及防沉迷措施。”肖颯律師團隊補充道。

這起訴訟事件所引發的漣漪是，當C.AI決定采取更加嚴格的安全措施，例如提醒平臺使用時長超過一小時的用戶防沉迷，以及刪除一些用戶自主創建的“被標記為暴力”的AI角色時，一些用戶提出了強烈抗議。

一個Reddit論壇的相關帖子說：“每個不被認為是‘對兒童友好’的主題都被禁止了，這嚴重限制了我們可以講述的故事，盡管這個網站明顯一開始就不適用于兒童。角色們現在如此沒有靈魂，失去了曾經具有親和力與趣味的個性和深度。看到我們喜歡的東西變成了如此乏味的東西，讓人很沮喪。”