數(shù)字智能是否會取代生物智能？

我們習(xí)慣了自己是這個星球上最智能的生物，所以人們很難想象有比我們更智能的東西會是什么樣子。如果你想知道那會是什么感覺，去問問大猩猩吧。我們正在創(chuàng)造AI智能體，如果允許它們創(chuàng)建自己的子目標，它們在完成任務(wù)方面會非常有效。一旦它們能夠創(chuàng)建自己的子目標，兩個顯而易見的子目標就是生存并獲得更多權(quán)力，因為這有助于智能體實現(xiàn)其他目標。所以，如果一個AI想要做某件事，它會想要生存下來，僅僅是為了能夠?qū)崿F(xiàn)我們給它的目標，并且它會想要獲得更多的控制權(quán)。

一個超級智能會發(fā)現(xiàn)，通過操縱使用它的人類來獲取更多權(quán)力是很容易的。它會從我們這里學(xué)會如何欺騙人類，會操縱那些負責(zé)關(guān)閉它的人。我們就好像一個三歲的孩子，而它們是成年人。操縱一個三歲的孩子是很容易的。我認為那種“我們可以找個人拔掉電源”的想法是天真的。

對于AI，我們沒有擺脫它的選項。它在很多方面都極其有用。而且，AI將使幾乎所有行業(yè)更有效率，所以我們不可能擺脫AI。即使一個國家擺脫了AI，其他國家也不會。所以那不是一個真正的選項。因此，我們只剩下另一個選項，那就是努力訓(xùn)練AI，讓它們永遠不想奪取控制權(quán)。

我們現(xiàn)在所處的情況是，沒有一個國家希望AI接管世界。每個國家都希望人類繼續(xù)掌權(quán)。所以我相信，我們可以達成一項條約，各國同意在如何防止AI從人類手中奪取控制權(quán)的研究上進行合作。如果這個觀點是正確的，各國就可以設(shè)立資金充足的人工智能安全研究所和協(xié)會，專注于如何使AI不想奪取控制權(quán)。各國應(yīng)該能夠分享使AI變得友善的技術(shù)，而無需透露他們最聰明的AI是如何工作的。

我希望建立一個由人工智能安全研究所和協(xié)會組成的國際社群。訓(xùn)練一個不想從人類手中奪取控制權(quán)的友善AI所需的技術(shù)，可能與使AI變得更智能所需的技術(shù)是相對獨立的。這就好比，教導(dǎo)你的孩子成為一個善良的人的方法，與讓他變得聰明的方法是相對獨立的。我應(yīng)該強調(diào)，我在這里是作為個人發(fā)表觀點。

我的提議總結(jié)如下：世界，或者至少是AI領(lǐng)域的領(lǐng)先國家，應(yīng)該同意創(chuàng)建一個由資金充足的人工智能安全研究機構(gòu)組成的網(wǎng)絡(luò)，每個國家設(shè)立一個，并分享該研究的成果。研究將專注于如何訓(xùn)練一個聰明的AI，使其不想獲得權(quán)力，不想欺騙人類，并且即使比人類聰明得多，也樂于成為人類的助手。目前我們還不知道如何做到這一點。這是一個非常困難的問題。從長遠來看，這可能是人類面臨的最重要的問題。好消息是，這是一個所有國家都想解決的問題。

（作者為2024年諾貝爾物理學(xué)獎得主、加拿大多倫多大學(xué)名譽教授，本文根據(jù)作者在2025世界人工智能大會上的同名主題演講整理）