AI末日預言家希望終止所有研發

我初次見到埃利澤·尤德科夫斯基（Eliezer Yudkowsky）時，他稱人工智能（AI）有99.5%的幾率干掉我。對此，我并未當真。現年46歲的尤德科夫斯基是機器智能研究所（Machine Intelligence Research Institute）的創始人，這家位于伯克利的非營利機構主要研究先進人工智能帶來的風險。

在過去20年里，他堪稱硅谷版的末日傳道者，持續向所有愿意聽取意見的人發出警示：開發強大的人工智能系統是一個災難性的想法，終將導致滅頂之災。尤德科夫斯基的新書《If Anyone Builds It， Everyone Dies》，傳達的也是同樣的信息。這本與機器智能研究所主席內特·索雷斯（Nate Soares）合著的新書，濃縮了兩人多年來向人工智能業內人士闡述的看法，如今則面向大眾市場出版。

他們的目標是終止人工智能的發展—他們聲稱，這關乎人類的存亡。

兩人在書中寫道：“如果地球上的任何公司或團體，使用與當前相似的技術，并基于與當下對人工智能類似的理解開發出超級智能（superintelligence），那么地球上的所有人，無論身處何方，都將滅亡。”這種直截了當的末日預言，使得尤德科夫斯基被部分人視為極端分子或怪人。但他是現代人工智能史的核心人物，對該行業的影響力無可否認。

他是最早警示強大的人工智能系統具有風險的人士之一，多位人工智能行業的領軍人物都曾援引他的觀點，其中包括OpenAI的山姆·阿爾特曼（Sam Altman），還有伊隆·馬斯克（Elon Musk）—阿爾特曼曾表示，尤德科夫斯基在自己“決定創立OpenAI的過程中起到了關鍵作用”，并認為他或許值得榮獲諾貝爾和平獎。

Google在人工智能領域的成功，一部分也得益于尤德科夫斯基。2010年，他將倫敦初創企業DeepMind的創始人引薦給風險投資人彼得·蒂爾（Peter Thiel），當時這家公司正在嘗試建立先進的人工智能系統。于是，蒂爾成了DeepMind的首位主要投資者，隨后Google于2014年收購了它。如今，DeepMind聯合創始人德米斯·哈薩比斯（Demis Hassabis）正在主導Google的人工智能研發工作。

在開創人工智能安全的研究領域以外，尤德科夫斯基還是倡導“理性主義”（Rationalism）的背后力量。這個看似松散的運動（或者可以視作某宗教，根據不同的受眾而言）主張通過嚴謹的推理實現自我進步。如今，硅谷的技術公司里滿是年輕的理性主義者，其中許多人正是通過閱讀尤德科夫斯基發布在網絡上的文章成長起來的。

2005年，尤德科夫斯基移居灣區，投身“友好人工智能”（Friendly AI）—與人類價值觀契合、關注人類福祉的人工智能系統—的研發。但隨著研究的深入，尤德科夫斯基愈發堅信：構建友好人工智能不僅困難重重，甚至很可能根本無法實現。

其中一個原因，被他稱為“正交性”，即智能與仁慈是兩種獨立的特質，人工智能系統不會隨著智能程度的提升而自動變得更友善。另一個原因，在他看來是“工具性趨同”，它指的是具有強大目標導向的人工智能系統可能最終會采取危害人類的策略。（著名案例是哲學家尼克·博斯特羅姆提出的思想實驗“回形針理論”：人工智能被賦予最大化回形針產量的目標后，最終會為了獲取更多原材料而毀滅人類。但尤德科夫斯基認為，這個實驗基于的是對自己理論的誤解。）他還擔心發生“智能爆炸”—人工智能的能力突然激增，可能會催生超級智能。

就當時而言，這都僅僅是未來學家們在網絡上爭論的抽象理論。一方面，那時并不存在像今天一樣的人工智能系統；另一方面，失常的超級智能對嚴肅的科學家來說過于牽強，根本不用擔心。但隨著時間的推移，當人工智能的能力不斷提升，尤德科夫斯基的理念逐漸有了更廣泛的受眾。

2010年，他開始創作《哈利·波特與理性之道》。這部哈利·波特的同人連載作品旨在向更多人介紹理性主義的核心理念，全書最終超過60萬字，篇幅超過《戰爭與和平》。這本書讓大批年輕人接觸到尤德科夫斯基的世界觀。時至今日，我依然常常遇到頂尖人工智能公司的員工略顯羞怯地告訴我，此書正是自己的職業啟蒙。

有一部分年輕的理性主義者加入了尤德科夫斯基創立的機器智能研究所，其余的則散布于技術行業，在OpenAI、Google等公司任職。但是，他們的工作既未能減緩人工智能的發展步伐，也未能讓尤德科夫斯基消除對人工智能終將變得無比強大的憂慮。

2022年，尤德科夫斯基宣布，他與機器智能研究所轉向研究名為“有尊嚴的滅亡”的新戰略—有人將此解讀為愚人節的玩笑。他宣稱，人類注定要滅亡，與其繼續為讓人工智能契合人類的價值觀而進行注定失敗的斗爭，倒不如將重心轉向幫助人們接受這樣的命運。他寫道：“此刻，人類顯然無意解決價值觀是否契合的問題，甚至都不會全力以赴，更不會奮力抗爭。”

在這里必須指出，即便以AI悲觀主義者的標準來看，上述看法也是極其極端的。在最近的對話中，我對尤德科夫斯基的觀點提出了一些異議。

機制可解釋性（即研究人工智能模型內部運作）領域的研究者們難道沒有取得過重大進展，為我們提供更好的、能控制強大人工智能系統的方法嗎？他回應道：“過去25年的發展軌跡并未推翻任何基礎理論。試想一下，這好比問物理學家：‘最近有沒有什么物理發現，改變了你對巖石會從懸崖上滾落的認知？’”

那么，人工智能會造成哪些更即時的危害呢—比如失業問題，以及人們在與聊天機器人對話時陷入妄想的漩渦？難道他不該至少像聚焦末日景象那樣去關注這些問題嗎？尤德科夫斯基承認，一部分危害是確實存在的，但對于應該給予這些問題更多關注的想法，他嗤之以鼻。

“這就好比說，最早構想核武器背后鏈式核反應的利奧·西拉德（Leo Szilard），當時應該耗費所有時間和精力，去擔憂鐳對女孩產生的危害。”1920年代，一批年輕的女性在工廠里為手表鍍漆時，因遭受鐳輻射而中毒。

是否有支持的人工智能公司？是否存在不太可能把人類推向毀滅的研發路徑？他表示：“有些瘋狂的科學家正在不顧一切地沖向災難深淵，而每一個這樣做的機構都該被關停。OpenAI的管理層明顯比其他公司更糟糕，Anthropic的某些員工則比其他公司好一點。可是，這樣的差別毫無意義，法律應該以相同的方式對待它們。”

人工智能會帶來什么好處嗎？如果停止人工智能的開發，難道不會阻礙疾病的治療、學生接受人工智能輔導等諸多好的方面嗎？他回答道：“我們完全承認這些積極的作用。是的，人工智能確實能成為優秀的輔導工具。沒錯，它們在藥物研發中也的確很有用。但這值得毀掉地球上的所有生命嗎？不值得。”

是否擔心粉絲會采取暴力行為、絕食抗議或其他極端手段來阻止人工智能的發展？他說：“人類更有可能因行動不足而滅亡，而不是過度干預。我們的社會拒絕討論威脅地球所有生命的危機，僅僅是因為有人可能會把類似的言論拼湊起來，然后說出蠢話或做出蠢事—但拒絕討論本身就是一種愚蠢的做法，會讓人類走向滅絕。”

即便在他的粉絲當中，尤德科夫斯基也是個極具爭議的人物。他傲慢粗暴，因此有粉絲希望他能成為更成熟圓滑的發言人。他還不得不調整寫作風格去迎合主流讀者，而非那些能啃完數千頁晦澀術語的理性主義者。

對于尤德科夫斯基那些更為極端的觀點，我都未能表示信服。我認為，人工智能對齊（AI alignment）并非沒有希望，比起“終結者”（Terminator）那樣接管世界的方式，我更擔心人工智能以更波瀾不驚的方式將我們引向災難。我感覺AI災難發生的概率—基于主觀感受的粗略估計—始終徘徊在5%至10%之間。相較之下，我算是溫和的中間派了。

我同樣認為，通過國際條約和核武器級別的AI芯片管控來終止人工智能的發展，基本上是毫無可能的—尤德科夫斯基和索雷斯認為這是必要的。要知道，特朗普政府正在全力推進加速人工智能的進程而非阻礙發展，而“末日論者”的說法在華盛頓已淪為受批判的一方。

即便白宮易主，數億人仍將每日使用ChatGPT等人工智能產品，而我們也沒有看到末日臨近的明確征兆。除非發生明顯的災難，否則人工智能的好處實在是太顯著，它會帶來的風險又過于抽象，如果現階段就按下終止鍵，實在不是明智之選。

但我也知道，尤德科夫斯基和索雷斯對AI風險的思考遠比大多數人更加深入，而且確實有很多理由值得我們去擔憂。首先，人工智能公司至今尚未能真正理解大語言模型的運作機制，也不知道如何控制它們的行為。

在當下，他們二人的末日論調并不受歡迎。但在充斥著“最大化效益、最小化風險”這類模糊說辭的時代，他們敢于亮明立場的做法或許仍值得肯定。尤德科夫斯基告訴我：“如果我們能促成一項有效的國際條約來終止人工智能發展，而這本書在其中有所貢獻，那么在我看來它就是成功的。除此之外的任何結果，都不過是走向滅亡的途中微不足道的安慰獎。”