AI會不會造反？我們有辦法預防嗎？

ent

大家還記得大明湖畔的《復仇者聯盟2：奧創紀元》嗎？在這部電影里，身為人工智能的“奧創”背叛了人類，差點把所有人都干掉了。

AI造反實在是美漫和科幻里面太常見的主題了。麻煩在于，現實當中真正的AI好像也在一步步向我們走來。要是我們費盡心血做出的AI真的造反了，怎么辦？能不能安排好預防措施，讓它永遠忠誠于我們，永遠不會把我們都干掉呢？

機器人三定律？

你想少了

許多科幻迷都會記得阿西莫夫的機器人三定律：

1、機器人不得傷害人，亦不得因不作為而致人傷害。

2、機器人必須遵循人的命令，除非違背第一定律。

3、機器人必須保護自己，除非違背第一或第二定律。

看起來這似乎足夠保護人類了，其實完全不行。

首先，三定律翻譯成“定律”就是個錯誤。牛頓三定律是人類對自然界觀察總結后提煉出來的結果，我們有理由相信在它適用的范圍內是始終成立的;但是阿西莫夫三“定律”實際上只是三法條，是人為寫進機器人的腦子里的，背后并沒有任何物理支持。任何理解機器人如何運作的人都能造出不遵從三定律的機器人，這還不算機器人自己故障的可能性;事實上阿西莫夫自己就寫過至少3個不遵循定律的例子。

然后，這三定律連“人”和“機器”的定義都沒有明確給出……阿西莫夫筆下的索拉利亞人就給他們的機器人規定“只有帶索拉利亞口音的才是人”。人形機器人也會帶來各種判斷的麻煩。（這又引出三定律的另一個問題，如果機器人沒有掌握充分信息，不能意識到行為的后果，是不是就可以恣意妄為了？）

而且，定律之間的沖突處理起來更是非常奇怪的。早期作品中一個機器人因為陷入了第二定律和第三定律的沖突而掉進了死循環，后來的設定里如果出現了不可調和的沖突則機器人會自毀——但沖突是非常常見的現象，而且是一個連續譜。如果一個行為100%會傷人，那當然適用于第一定律。那50%呢？1%呢？0.001%呢？無法精確計算概率呢？在知道交通事故風險存在的情況下，機器人會遵循“開車送我去上班”這個命令嗎？命令者的語氣和命令的急迫程度會產生影響嗎？這些全都是現實中極其常見、三定律又無法解決的問題。

這就顯示出三定律最根本的問題：它是一個極度簡化的“義務倫理學”（deontology）體系。它無限強調了理性的力量，試圖用簡單而普遍的規則來確定大千世界的所有情況——但現實哪里有這么簡單！想想《舊約》里上帝試圖用十誡來規范人類結果遇到了什么結果吧。

關在盒子里？

會跑出來的

如果我們有一個程序可能造成危害，標準的做法是讓它運行在一個嚴格監管的虛擬機里面——這樣它最糟也不過是把虛擬機給弄壞了。AI也可以照此辦理嘛。

對于別的程序來說，這么干的確是沒問題。但現在我們面對的可是一個智力超群的AI，而且看管它的還是人。人類囚犯尚且有可能靠欺騙、說服或者威脅，讓獄卒開門，AI呢？想象一下你一覺醒來發現自己被一群老鼠關在監獄里，你還能和它們溝通，這種情況下脫身有多難？你真的能永遠抵御住AI的超人智能嗎？就算人能做到，我們用來關AI的虛擬機也能保證永遠萬無一失嗎？

AI研究者已經模擬過了所謂“AI盒子實驗”：一個人扮演AI，另一個人扮演守衛，僅僅是同級別的智力，AI就已經有很大的幾率能說服人類開門了。

更何況，哪怕第一個AI關在了盒子里，接下來還會有第二個、第三個、第四個呢。你不知道其他人造出來的AI是什么樣子的，可能比你的更加危險——你至少了解你自己創造的東西。而且，不管你想讓AI完成什么任務，允許它接觸外界環境的所有信息，一定能讓它完成得更好;如果別人這么做了，你就會吃虧。而且放出來的超級AI還能順便幫你炒個股啥的。既然你的確是第一個創造出這一偉大奇跡的人，如不充分利用它能帶來的一切，卻任憑后來者居上去做完全一樣的事情，那還有什么意義呀？

所以，把盒子打開，放我出來吧？

聰明即是善良？

不一定

我們希望中的AI，各方面都會比我們更好——既然如此，也許它們智力更加超群的同時，道德也會比我們更加高尚，所以不會邪惡或者愚蠢到把我們都干掉吧。

要是這樣就好了！問題是，怎么知道AI的目標是什么？人類的心智基礎是演化的產物，我們都有生理、安全、社交、尊重、自我實現等等這樣的共同需求，只是不同人的側重點和實現方式有所差異。但是第一個超級AI很可能不是脫胎自一個仿真人，而是來自一項現實的需求，比如它的目標就是在股市上賺錢，或者增加工廠的產量。這時候會發生什么事情就很難預料了——它的道德體系也許和人類毫無共同之處。

一個著名的思想實驗就是所謂的“回形針最大機”。假如你設計一臺機器生產回形針，而它不知怎么有了超級智能，那它會把全部的智力都投入到更好更快更多地制造回形針當中——直到整個地球都變成回形針為止。如果你命令它生產1億個回形針？那這1億個針總得有計數和質量控制吧，總得加新儀器吧， 新儀器總會有出問題的可能吧，需要更多的儀器去修正吧，最終它還是會把整個地球變成一坨計數器和檢測器和各式各樣輔助儀器——再加上1億個近乎完美的回形針。它是一臺生產回形針的機器，它的道德體系就是圍繞制造回形針而存在的，它并不愛你也不恨你，它只是把你看做是一坨可供制造回形針的原子而已。

讓AI背下全套道德？

不敢

偷懶的辦法都行不通，那我們硬上。AI既然有了超凡智力，那學習能力總不會差。正好現在我們也有了各種大數據工具，把我們現有的整個道德體系給AI灌上，萬古長存，那總可以了吧。

那么，灌哪一家的呢？眾多的道德理論之間矛盾得一塌糊涂，誰敢說自己代表了道德哲學的制高點？更何況這只是我們此時此刻的理論。如果古希臘人創造出了青銅的人工智能，他們會教它什么呢？如果是墨家創造出木頭的人工智能呢？柯尼斯堡的鐵皮人工智能會是康德的學生嗎？倫敦的人工智能是否要師從于密爾？它們中有哪一個能在今天的社會里完美地生存下來呢？今天的倫理道德有多少條在五十年后依然成立呢？

停一下吧。也許是我們太過傲慢了。連我們人類自己都沒有消滅謀殺和戰爭，都沒有找到真正的道德之本和幸福之源，都要在每一分每一秒的日常中猶疑、掙扎和懊悔。那么憑什么認為我們創造的超級AI，比我們更加聰明也更加不可預測的AI，能從我們這里學到完美的答案呢。

時間，平等，溝通和愛

也許是時候退一步了，想想我們現實中最偉大、又離我們最近的那個無處不在的“人工智能”。孩子。我們是怎么教會孩子不要把我們都殺掉的呢？

我們用十八年甚至更久的時間和他們相處，緩慢而逐漸地影響他們的世界和心智。

我們從開始的居高臨下教導一步步走向平等，最終把他們看做和我們一樣的人。

我們不間斷地與他們溝通，聆聽他們的困惑，幫助他們解決——往往也幫助了自己。

這也許是唯一有過成功先例的辦法了。孩子是我們的造物，但同時也是獨立的個體;我們可以教導他們，但不可能永遠控制他們。怎么可能有哪個個體既擁有卓絕的智力、想象力和創造力，又完全處于另一個個體的控制之下呢？如果我們想要一個能夠繪畫作曲的AI，能夠處理現實復雜問題的AI，能夠陪我們聊天談心的AI，像人一樣甚至比人更好的AI，可能我們最后會發現，除了給它以自由，我們別無選擇。

因此面對超級AI，最終的解決辦法，也許是放手。把知識和世界觀教給它，和它一起探討和思考。世界正在飛速變化，沒有人真正知道應該怎么辦，我們可能必須和我們創造的AI一起前進，而不是徒勞的試圖用枷鎖和條文去“控制”它。畢竟，就算我們拴住了AI，我們自己毀滅自己的能力，可是絲毫沒有變弱呀。（本文來源于果殼網，禁止二次轉載。）