AI末日預(yù)言家希望終止所有研發(fā)

我初次見到埃利澤·尤德科夫斯基（Eliezer Yudkowsky）時，他稱人工智能（AI）有99.5%的幾率干掉我。對此，我并未當(dāng)真。現(xiàn)年46歲的尤德科夫斯基是機器智能研究所（Machine Intelligence Research Institute）的創(chuàng)始人，這家位于伯克利的非營利機構(gòu)主要研究先進人工智能帶來的風(fēng)險。

在過去20年里，他堪稱硅谷版的末日傳道者，持續(xù)向所有愿意聽取意見的人發(fā)出警示：開發(fā)強大的人工智能系統(tǒng)是一個災(zāi)難性的想法，終將導(dǎo)致滅頂之災(zāi)。尤德科夫斯基的新書《If Anyone Builds It， Everyone Dies》，傳達的也是同樣的信息。這本與機器智能研究所主席內(nèi)特·索雷斯（Nate Soares）合著的新書，濃縮了兩人多年來向人工智能業(yè)內(nèi)人士闡述的看法，如今則面向大眾市場出版。

他們的目標(biāo)是終止人工智能的發(fā)展—他們聲稱，這關(guān)乎人類的存亡。

兩人在書中寫道：“如果地球上的任何公司或團體，使用與當(dāng)前相似的技術(shù)，并基于與當(dāng)下對人工智能類似的理解開發(fā)出超級智能（superintelligence），那么地球上的所有人，無論身處何方，都將滅亡。”這種直截了當(dāng)?shù)哪┤疹A(yù)言，使得尤德科夫斯基被部分人視為極端分子或怪人。但他是現(xiàn)代人工智能史的核心人物，對該行業(yè)的影響力無可否認(rèn)。

他是最早警示強大的人工智能系統(tǒng)具有風(fēng)險的人士之一，多位人工智能行業(yè)的領(lǐng)軍人物都曾援引他的觀點，其中包括OpenAI的山姆·阿爾特曼（Sam Altman），還有伊隆·馬斯克（Elon Musk）—阿爾特曼曾表示，尤德科夫斯基在自己“決定創(chuàng)立OpenAI的過程中起到了關(guān)鍵作用”，并認(rèn)為他或許值得榮獲諾貝爾和平獎。

Google在人工智能領(lǐng)域的成功，一部分也得益于尤德科夫斯基。2010年，他將倫敦初創(chuàng)企業(yè)DeepMind的創(chuàng)始人引薦給風(fēng)險投資人彼得·蒂爾（Peter Thiel），當(dāng)時這家公司正在嘗試建立先進的人工智能系統(tǒng)。于是，蒂爾成了DeepMind的首位主要投資者，隨后Google于2014年收購了它。如今，DeepMind聯(lián)合創(chuàng)始人德米斯·哈薩比斯（Demis Hassabis）正在主導(dǎo)Google的人工智能研發(fā)工作。

在開創(chuàng)人工智能安全的研究領(lǐng)域以外，尤德科夫斯基還是倡導(dǎo)“理性主義”（Rationalism）的背后力量。這個看似松散的運動（或者可以視作某宗教，根據(jù)不同的受眾而言）主張通過嚴(yán)謹(jǐn)?shù)耐评韺崿F(xiàn)自我進步。如今，硅谷的技術(shù)公司里滿是年輕的理性主義者，其中許多人正是通過閱讀尤德科夫斯基發(fā)布在網(wǎng)絡(luò)上的文章成長起來的。

2005年，尤德科夫斯基移居灣區(qū)，投身“友好人工智能”（Friendly AI）—與人類價值觀契合、關(guān)注人類福祉的人工智能系統(tǒng)—的研發(fā)。但隨著研究的深入，尤德科夫斯基愈發(fā)堅信：構(gòu)建友好人工智能不僅困難重重，甚至很可能根本無法實現(xiàn)。

其中一個原因，被他稱為“正交性”，即智能與仁慈是兩種獨立的特質(zhì)，人工智能系統(tǒng)不會隨著智能程度的提升而自動變得更友善。另一個原因，在他看來是“工具性趨同”，它指的是具有強大目標(biāo)導(dǎo)向的人工智能系統(tǒng)可能最終會采取危害人類的策略。（著名案例是哲學(xué)家尼克·博斯特羅姆提出的思想實驗“回形針理論”：人工智能被賦予最大化回形針產(chǎn)量的目標(biāo)后，最終會為了獲取更多原材料而毀滅人類。但尤德科夫斯基認(rèn)為，這個實驗基于的是對自己理論的誤解。）他還擔(dān)心發(fā)生“智能爆炸”—人工智能的能力突然激增，可能會催生超級智能。

就當(dāng)時而言，這都僅僅是未來學(xué)家們在網(wǎng)絡(luò)上爭論的抽象理論。一方面，那時并不存在像今天一樣的人工智能系統(tǒng)；另一方面，失常的超級智能對嚴(yán)肅的科學(xué)家來說過于牽強，根本不用擔(dān)心。但隨著時間的推移，當(dāng)人工智能的能力不斷提升，尤德科夫斯基的理念逐漸有了更廣泛的受眾。

2010年，他開始創(chuàng)作《哈利·波特與理性之道》。這部哈利·波特的同人連載作品旨在向更多人介紹理性主義的核心理念，全書最終超過60萬字，篇幅超過《戰(zhàn)爭與和平》。這本書讓大批年輕人接觸到尤德科夫斯基的世界觀。時至今日，我依然常常遇到頂尖人工智能公司的員工略顯羞怯地告訴我，此書正是自己的職業(yè)啟蒙。

有一部分年輕的理性主義者加入了尤德科夫斯基創(chuàng)立的機器智能研究所，其余的則散布于技術(shù)行業(yè)，在OpenAI、Google等公司任職。但是，他們的工作既未能減緩人工智能的發(fā)展步伐，也未能讓尤德科夫斯基消除對人工智能終將變得無比強大的憂慮。

2022年，尤德科夫斯基宣布，他與機器智能研究所轉(zhuǎn)向研究名為“有尊嚴(yán)的滅亡”的新戰(zhàn)略—有人將此解讀為愚人節(jié)的玩笑。他宣稱，人類注定要滅亡，與其繼續(xù)為讓人工智能契合人類的價值觀而進行注定失敗的斗爭，倒不如將重心轉(zhuǎn)向幫助人們接受這樣的命運。他寫道：“此刻，人類顯然無意解決價值觀是否契合的問題，甚至都不會全力以赴，更不會奮力抗?fàn)帯！?/p>

在這里必須指出，即便以AI悲觀主義者的標(biāo)準(zhǔn)來看，上述看法也是極其極端的。在最近的對話中，我對尤德科夫斯基的觀點提出了一些異議。

機制可解釋性（即研究人工智能模型內(nèi)部運作）領(lǐng)域的研究者們難道沒有取得過重大進展，為我們提供更好的、能控制強大人工智能系統(tǒng)的方法嗎？他回應(yīng)道：“過去25年的發(fā)展軌跡并未推翻任何基礎(chǔ)理論。試想一下，這好比問物理學(xué)家：‘最近有沒有什么物理發(fā)現(xiàn)，改變了你對巖石會從懸崖上滾落的認(rèn)知？’”

那么，人工智能會造成哪些更即時的危害呢—比如失業(yè)問題，以及人們在與聊天機器人對話時陷入妄想的漩渦？難道他不該至少像聚焦末日景象那樣去關(guān)注這些問題嗎？尤德科夫斯基承認(rèn)，一部分危害是確實存在的，但對于應(yīng)該給予這些問題更多關(guān)注的想法，他嗤之以鼻。

“這就好比說，最早構(gòu)想核武器背后鏈?zhǔn)胶朔磻?yīng)的利奧·西拉德（Leo Szilard），當(dāng)時應(yīng)該耗費所有時間和精力，去擔(dān)憂鐳對女孩產(chǎn)生的危害。”1920年代，一批年輕的女性在工廠里為手表鍍漆時，因遭受鐳輻射而中毒。

是否有支持的人工智能公司？是否存在不太可能把人類推向毀滅的研發(fā)路徑？他表示：“有些瘋狂的科學(xué)家正在不顧一切地沖向災(zāi)難深淵，而每一個這樣做的機構(gòu)都該被關(guān)停。OpenAI的管理層明顯比其他公司更糟糕，Anthropic的某些員工則比其他公司好一點。可是，這樣的差別毫無意義，法律應(yīng)該以相同的方式對待它們。”

人工智能會帶來什么好處嗎？如果停止人工智能的開發(fā)，難道不會阻礙疾病的治療、學(xué)生接受人工智能輔導(dǎo)等諸多好的方面嗎？他回答道：“我們完全承認(rèn)這些積極的作用。是的，人工智能確實能成為優(yōu)秀的輔導(dǎo)工具。沒錯，它們在藥物研發(fā)中也的確很有用。但這值得毀掉地球上的所有生命嗎？不值得。”

是否擔(dān)心粉絲會采取暴力行為、絕食抗議或其他極端手段來阻止人工智能的發(fā)展？他說：“人類更有可能因行動不足而滅亡，而不是過度干預(yù)。我們的社會拒絕討論威脅地球所有生命的危機，僅僅是因為有人可能會把類似的言論拼湊起來，然后說出蠢話或做出蠢事—但拒絕討論本身就是一種愚蠢的做法，會讓人類走向滅絕。”

即便在他的粉絲當(dāng)中，尤德科夫斯基也是個極具爭議的人物。他傲慢粗暴，因此有粉絲希望他能成為更成熟圓滑的發(fā)言人。他還不得不調(diào)整寫作風(fēng)格去迎合主流讀者，而非那些能啃完數(shù)千頁晦澀術(shù)語的理性主義者。

對于尤德科夫斯基那些更為極端的觀點，我都未能表示信服。我認(rèn)為，人工智能對齊（AI alignment）并非沒有希望，比起“終結(jié)者”（Terminator）那樣接管世界的方式，我更擔(dān)心人工智能以更波瀾不驚的方式將我們引向災(zāi)難。我感覺AI災(zāi)難發(fā)生的概率—基于主觀感受的粗略估計—始終徘徊在5%至10%之間。相較之下，我算是溫和的中間派了。

我同樣認(rèn)為，通過國際條約和核武器級別的AI芯片管控來終止人工智能的發(fā)展，基本上是毫無可能的—尤德科夫斯基和索雷斯認(rèn)為這是必要的。要知道，特朗普政府正在全力推進加速人工智能的進程而非阻礙發(fā)展，而“末日論者”的說法在華盛頓已淪為受批判的一方。

即便白宮易主，數(shù)億人仍將每日使用ChatGPT等人工智能產(chǎn)品，而我們也沒有看到末日臨近的明確征兆。除非發(fā)生明顯的災(zāi)難，否則人工智能的好處實在是太顯著，它會帶來的風(fēng)險又過于抽象，如果現(xiàn)階段就按下終止鍵，實在不是明智之選。

但我也知道，尤德科夫斯基和索雷斯對AI風(fēng)險的思考遠比大多數(shù)人更加深入，而且確實有很多理由值得我們?nèi)?dān)憂。首先，人工智能公司至今尚未能真正理解大語言模型的運作機制，也不知道如何控制它們的行為。

在當(dāng)下，他們二人的末日論調(diào)并不受歡迎。但在充斥著“最大化效益、最小化風(fēng)險”這類模糊說辭的時代，他們敢于亮明立場的做法或許仍值得肯定。尤德科夫斯基告訴我：“如果我們能促成一項有效的國際條約來終止人工智能發(fā)展，而這本書在其中有所貢獻，那么在我看來它就是成功的。除此之外的任何結(jié)果，都不過是走向滅亡的途中微不足道的安慰獎。”