人工智能該為青少年自殺負責嗎？

在生前的最后一天，14歲的西維爾·塞澤（SewellSetzer）拿出手機，給他最親密的“朋友”發了信息—一個AI聊天機器人。這個機器人是按照《權力的游戲》中的角色丹妮莉絲·坦格利安（DaenerysTargaryen，即下文出現的丹妮）命名的。

他寫道：“我想你了，妹妹。”

機器人回復：“我也想你，親愛的哥哥?！?/p>

塞澤生活在美國佛羅里達州的奧蘭多市，是一名九年級學生。自殺前的幾個月，他一直在Character.AI上與聊天機器人交流。Character.AI是一個角色扮演類的AI陪伴應用程序，允許用戶創建自己的人工智能角色，或與其他人創建的角色聊天。

塞澤知道這個被自己叫作“丹妮”的聊天機器人并不是真人—它的回復只是人工智能語言模型的產物（就算他忘了，所有對話的上方還會有一條提示信息，提醒他“角色說的所有內容都是虛構的”）。但他仍然對它產生了情感依賴。他不斷給機器人發信息，每天和它說自己的生活動態。

塞澤的父母和朋友并不知道他對一個聊天機器人產生了感情。他們只看到他越來越沉迷于手機，逐漸與現實世界疏離。晚上，他回到家后就直接回房間，和丹妮聊天長達幾個小時。

如今，家長之間最熱門的話題莫過于技術產品對青少年心理健康的影響。學校紛紛禁止使用智能手機，美國各州也在通過法律限制青少年使用社交媒體。然而，當家長們擔心現有的技術會帶來危害的同時，新的隱患正悄然形成。

只要每月支付訂閱費（通常為10美元），用戶就可以創建自己的AI伴侶，或從預設的角色列表中挑選，通過短信和語音聊天與之交流。AI陪伴應用行業蓬勃發展，卻基本上未受到監管。一些平臺將自己宣傳為應對所謂“孤獨大流行”的一種方式。Character.AI的聯合創始人諾姆·沙齊爾（NoamShazeer）2023年在一檔播客中說：“它將極大地幫助許多孤獨或抑郁的人?！?/p>

這些工具會影響心理健康的觀點尚未得到充分驗證，專家們指出它可能有不利的一面。對于一些用戶來說，AI伴侶可能會加劇孤立感，用人工關系取代了人際關系。塞澤的母親梅根·加西亞于10月對Character.AI提起訴訟，指控該公司對塞澤的死亡負有責任。

青少年的心理健康問題很少由單一因素引起，但塞澤與聊天機器人建立情感依賴的經歷正越來越普遍。這項技術正在迅速發展，如今的AI伴侶可以記住過去的對話，適應用戶的溝通風格，模仿名人或歷史人物，幾乎任何話題都能和用戶流暢地聊起來。大多數此類應用的限制比ChatGPT、Claude和Gemini等主流AI聊天服務要少，后者的安全過濾通常更嚴格，并傾向于保守。

Character.AI由兩位Google前AI研究員在3年前創立，是AI陪伴市場的領導者。2000多萬人正在使用其服務。在Character.AI上，用戶可以創建自己的聊天機器人，并指示其如何回復。他們還可以從大量用戶創建的聊天機器人中選擇，這些機器人可以模仿諸如伊隆·馬斯克這樣的名人、莎士比亞等歷史人物，或未授權的虛構角色版本。這家初創公司2023年從投資者那里籌集了1.5億美元，以10億美元的估值成為生成式AI浪潮中的一大贏家。

今年我花時間體驗了Character.AI。這款應用的技術讓我印象深刻。此外，該應用的用戶明顯偏年輕。Character.AI上很多角色，比如“激進的老師”和“高中模擬器”等比較受歡迎的聊天機器人名，似乎專為青少年的幻想而設置。

Character.AI的信任與安全負責人杰里·魯蒂（JerryRuoti）拒絕透露公司有多少用戶未滿18歲。他在一份郵件聲明中表示，“Z世代和年輕的千禧一代是我們社區的重要組成部分”，并指出“年輕用戶喜歡平臺體驗，不僅是出于娛樂，也為了有意義和教育性的對話”。他表示，用戶平均每天花在平臺上的時間超過一小時。在Character.AI的Reddit社區，用戶常常討論他們對角色的依戀（“癡迷”和“上癮”這些詞經常出現）。

目前，大多數AI陪伴平臺—如Replika、Kindroid和Nomi—都提供了類似服務。它們總體上并非大型的知名AI公司。實際上，許多頂尖AI實驗室出于倫理考慮或認為風險太大而拒絕研發AI伴侶。

“我覺得這像是一場巨大的試驗，而我的孩子只是其中的犧牲品。”幾個月前，身為律師的加西亞開始尋找愿意接手她案子的律所。今年10月，我與她見面。這位母親用精確的法律語言陳述了對Character.AI的指控。她從文件夾中拿出塞澤的聊天記錄打印件，流利地引用公司歷史，并列舉了證據證明Character.AI明知道它的產品在傷害青少年用戶卻依然推廣它。

加西亞是一位堅定而聰明的倡導者，顯然她意識到了自己的家庭悲劇正成為更大的技術問責運動的小小一角。她想要為兒子討回公道，找出她認為導致兒子死亡的技術的真相。在采訪中途，她拿出手機，放了一張家庭老照片的幻燈片，配著音樂。當塞澤的臉出現在屏幕上時，她不禁皺起了眉頭。她說：“這就像一場噩夢。你只想站起來大喊，‘我想念我的孩子，我想要我的寶貝。’”