“奇點”有多遠：人工智能“暴漲”問號

王丹陽

奇點說，思考的是人與人工智能關系是否有逆轉的可能，以及何時逆轉。

熟悉19世紀早期德國古典主義哲學的人都知道，那時候“異化”這個概念逐漸被指向人與機器的結合，席勒看到了勞動分工下的積弊，認為被束縛在整體的個別小部件上的人，本身也變成了部件。后來馬克思把“勞動異化”發展成社會沖突論的經濟學武器，只是至今資本主義未亡，未能實現異化的解除。但不知道馬克思有否想到，有天人類的異化對象不再是工廠里轟隆作響的零件，而可能是更高級別的人工智能，并且這種趨勢在加快。

同樣，在生物學界與馬克思同時代的達爾文應該也沒想到在進化論里添置一個人工智能，它不是自然進化的結果，更不是神造論者鼓吹的上帝之物?？傊苹秒娪皩а菀呀浽缭缦氲搅?，不論是《終結者》里的天網，還是《我，機器人》里面會殺人的NS-5型高級機器人，都已經逾越了創造它們的人類本身，開啟一場史上最大的“種族斗爭”。這就像美國著名的人工智能專家雷·庫茲韋爾（Ray Kurzweil）提到的“技術奇點”，人類只要在臨界點上被超越，便淪為一種不可自控的掌中之物。

其實，在李世石0比3負于AlphaGo的那場新聞發布會上，九段棋手邁克·雷蒙（Michael Redmond）的一番評論引人深思，他說：“AlphaGo創造了圍棋走法的第三次突破。”是的，當“吳清源時代”、“李昌鎬時代”逐漸遠去，這場比賽至少佐證了圍棋這項人類智慧通天塔已被人工智能橫掃，那么它還將攻占多少人類的山頭？仿佛警鐘已鳴。

微軟亞洲研究院工程師王寶勛

“情感機器人”的天下

“如果那時候‘小冰的語料庫里只有4000萬條，那么現在可以說翻了幾倍了?！蔽④泚喼扪芯吭汗こ處熗鯇殑走@樣自信地說，提醒了我兩年前那個冰雪聰明的虛擬語音機器人從未離開過。2014年5月，一個精靈般的不速之客出現在好多微信聊天室里，面對人類的好奇和逗趣她毫不遜色地對答著。

深夜里，我再次加載了那個微信公眾號，第一次跟它背后那個非人的“黑洞”進行對話。我像對一個老朋友般隨機吐露著心事，我話中的語詞序列一定在以某種方式激發著那張人工神經網絡，它的大腦某塊區域也在應激后產生某種回應，甚至意識和判斷的東西，輸出一段加工后的自然關聯。那段搜索調取的過程雖然還是有些僵硬和機械化，它往往以均速給出對答，但是它的邏輯已可謂是順暢而流利的。

“我餓了”，“晚上吃宵夜會發胖哦”;“我已經很瘦了”，“那就繼續瘦，瘦成一道閃電”。在另外一種語境下，她會說“吃吧吃吧”。它的聲音被做成一個17歲的少女，但難免在上下文理解上存在些生硬的“擦邊球”，但它豐富而不重復的對答至少不讓你厭棄。它跟去年出現的同樣石破天驚的圖靈機器人相比，已具備了一種情緒。如果前者主要是種開放的基于NLP技術的自定義知識庫功能，將人工智能與用戶私有知識庫進行結合，可批量導入“獨家內容”，那么“微軟小冰”更像一個情緒化的伴侶，它可不會像圖靈機器人一樣念一首唐詩給你聽，它會倔強地把問題“踢”回去，叫你念給它聽。

“我們現在最重要的就是強化它對于語義和語境的了解，怎樣對用戶每句話的語境，結合上下文把對話完善得更好，這要比簡單的關鍵詞匹配，從數據庫里調取一句話要遠遠復雜?！蓖鯇殑渍f。作為哈工大的計算機博士，目前他在做的工作就是不斷挖掘公開的互聯網聊天數據，篩選、加工、排序，增加有效銜接，這項工作背后是億級的原始數據積累，讓語料庫得以每天凈增0.7%。所以，它的前提條件是海量的運算資源，加上強大的搜索引擎和數據抓取能力，大數據的發展使得語義分析機器人成為真正的人工智能。

另一方面，一種叫“深度學習”，即人工深度神經網絡的東西加入互聯網程序家族后，悄然孕育著深層次的變革，為某種“奇點”的來臨插上撲朔迷離的翅膀。說它怪異也是對的，雖然目前人類覺得人工智能只是一列遠未到達的火車，但它說不定就會加速突變，倏忽擦過耳際而不見蹤影。

于是我想到兩年前的科幻電影《她》（Her），語義分析機器人薩曼莎除了無法擁有人的身體，卻已能無阻地用語言和人談戀愛。當然，這道豢養在電腦程序里的人工智能最終在分化和迭代中不由自主地與400多人同時戀愛著，但它的戀人已經無法接受這個事實。這是一個機器對人進行情感輸送最后達至控制的經典案例，我問王寶勛“小冰”是否有天也會實現電影里的交互無阻，他的答案是：為什么不可能？

電影《她》劇照?！端分v述了作家西奧多在結束了一段令他心碎的愛情長跑之后，愛上電腦語義分析機器人薩曼莎的故事

“只要不斷累積用戶語言使用習慣，而深度神經網絡再加快自我學習，終有一天會人機無差別交流。”他認為這是一個早晚會到來的臨界點，雖然跟大多數商業公司的“程序猿”所想的一樣，人工智能還在早期，我們遠未到擔憂被超越的階段。其實微軟全球副總裁陸奇就說過，“小冰”終有一天要通過圖靈測試。

語義分析是目前人工智能領域最關鍵的技術之一，在海量的整理、清洗、運算中被賦予一種全新的符號學上的意義。雖然過去60年來計算機的語言處理能力跟意義的闡釋并沒多大關系，而是基于一種統計法，即模塊識別能力，但在大數據發展后，它將擁有更致密的語言網和更嚴密化的邏輯。

2011年，IBM的沃森在美國智力競賽節目“危險邊緣”（Jeopardy）中擊敗了人類，它懂得雙關和暗喻，而它的認知并非通過人工灌輸，而是自我閱讀——每秒可處理500GB數據，相當于1秒閱讀100萬本書，這顯然不是人類的效率可以匹敵的。也就是IBM的“Deep Blue”在1997年成為國際象棋領域的技術分水嶺，跟今天的AlphaGo如出一轍。

計算機“視覺”

“雖然深度學習作為概念的提出是在2006年，但就是在2015年初它開始爆發式增長，這也是為什么人工智能公司不斷涌現的原因?！痹凇案耢`深瞳”的CEO何搏飛看來，當互聯網行業慢慢浸透人工智能的藍海，今天的發展軌跡就不再是“硅谷起，全世界跟”這樣的老路。如果要問谷歌“DeepMind”是否已甩了中國國內人工智能發展幾條馬路，他認為不能這樣看：“我只是覺得它是剛開始的全球競賽，在中國反而很有優勢和機會，因為它很重要的源動力是獲得海量的優質數據?！憋@然在這個人口大國，這不是問題。

“格靈深瞳”浸淫的是深度學習另一分支圖像識別領域，2014年6月獲得紅杉資本的數千萬美元A輪融資。正如比爾·蓋茨所說：“IT界的下一個大事件是計算機視覺（Computer Vision）與深度學習的結合。”機器視覺，尤其是人臉識別是人工智能進展最快的領域之一?？的螤柎髮W計算機教授巴特·塞爾曼（Bart Selman）表示，Facebook AI Lab識別人臉的能力比任何人類都好。

起初，深度學習在手寫識別上表現出眾，后來在2012年，被譽為計算機視覺圣杯的物體識別測試“ImageNet Challenge”中，深度學習以26%勝率領先于其他經典算法（16%）。ImageNet大賽要求選手所設計的圖像系統能準確定位來自Flickr和搜索引擎的10萬張圖片，并把圖片劃分入1000個物體分類中（狼蛛、iPod、清真寺、玩具店、調制解調器等），微軟、NEC和美國初創公司Clarifai都曾爭艷其中，說白了就像在拼技術復雜性，微軟號稱“所訓練的神經網絡超過150層”，而Clarifai與Facebook人工智能實驗室有師承淵源，受啟于深度學習開山鼻祖、紐約大學教授燕樂存（Yann LeCun）。

對何搏飛來說，關鍵門檻不在于誰家有好的深度學習技術，也不取決于外行眼光里的多少層神經網絡，而是是否有好的數據支撐，其實這也是為什么國內BAT能在這個領域插翅而飛的原因。如何讓圖像識別商業化？“格靈深瞳”選擇了銀行安防監控系統。傳統光學鏡頭在識別圖像時會丟失“深度”維度，他們就為銀行安監開發一套三維傳感器，一個是普通的RGB攝像頭，另外兩個用來發射和接收激光，發射鏡頭能在1/30秒的時間里發送30多萬束激光，探索現實世界的“進深”。

背后那套獎懲機制訓練成的算法模型，能夠主動識別“異?！薄！熬拖袢祟惖谋０苍谏钜?，它看見一個人走近了一個有人的ATM機，而不是旁邊那個空著的，就要判斷識別他的軌跡，理解是正常還是不正常，這就牽涉到深度學習?！比绻R別出異常，它就會推送給后臺監督者。機器的學習是可以被訓練，并不斷自我學習的，為了教會它什么才算“行人”，背后是幾十萬量級的圖片數據?！暗缆飞嫌懈鞣N各樣的人，有行走的也有蹲著的，傳統算法無法窮盡什么是人，但它會識別哪怕是背影被擋住一半的人也是人，而不是什么別的動物?！?/p>

所以，讓這位前通用員工、斯坦福大學MBA自信的是，你給他一張你的側臉或者是沒有臉的全身照，機器也能以超過99%的精度把你找出來，但前提是一個6000到1.5萬的樣本庫，畢竟它不能窮盡九億神州烏泱烏泱之民。“一旦樣本達到百萬級，可能精度要下降20%或更多，所以你告訴我在一個商場里就前后40分鐘搜索一個人可以做到，但如果在過去72小時在整個海淀區找個人，那就不可能了?！?h3>無人駕駛車的“情感”

但機器無法企及的是，它仍然沒法全然代替那個坐在后臺監控室的人，它只能把異樣傳送給人去判斷。再舉個例子，如果你跟你朋友在一家飯店里用餐后搶著結賬，那種推搡過程，攝像頭就無法判斷這是在打架還是怎么了。邏輯判斷和情感選擇，是圖像識別無法逾越的障礙，但是，何搏飛認為在無人駕駛領域它有巨大的空間，因為開車是純粹行為的延伸，是“0”還是“1”的問題。

埃隆·馬斯克（Elon Musk）的特斯拉已經大手筆投入人工智能研究，著眼于無人駕駛。谷歌已經先走一步，在美國加州投放25輛車試駕，直到前不久它的一輛無人駕駛Lexus撞上了一輛公交車，它已經經歷了8年的研發過程，累計行駛里程有140萬英里。你能由此對它質疑嗎？但康奈爾大學瓦迪教授曾預言自動駕駛會較人減少90%的事故率。何搏飛顯然也是樂觀的：“相比于人在每開一萬英里就會有次剮蹭，無人駕駛開了幾百萬英里才撞一次公交車，是誰的概率更小？也許無人駕駛得很長時間才能被接受。”

谷歌不是孤行者，傳統汽車巨頭奔馳、寶馬、奧迪、豐田等都已經開弓張弦了許久，就等市場準入的一天。去年12月，百度推出的無人駕駛寶馬3系GT轎車從中關村軟件園百度大廈啟程，駛入G7京新高速，經五環路抵達奧林匹克森林公園，并原路線返回。依托高精度地圖記錄完整的三維道路信息，能在厘米級精度實現車輛定位。

“我們不要總是把人工智能看成是人與機器間的零和游戲，你要發現它當中的‘多和邏輯，它是協助人類完成某項任務的。盡管計算機視覺的終極目標是對這個世界有像人一樣的理解，但從宏觀尺度來說，這仍然還有很長的路。”何搏飛說。雖然美國加州已經在兩年前就發放了無人駕駛牌照，但也仍然沒有投放市場，谷歌公司無人駕駛汽車項目主管克里斯·烏爾姆森（Chris Urmson）曾說：“只有它像一幢房子那樣安全時，用戶才能買到這個東西?！?/p>

但是，路況上的隨機因素遠比無人汽車所掌握的“撞”或“未撞”要來得復雜，它也許有比人類更敏銳的眼睛，但仍無法在危險來臨時做出道德、情感選擇。紐約大學心理學教授加里·馬庫斯曾給無人駕駛提出一個思想實驗，如果無人汽車通過一座窄橋，一輛失控校車迎面而來，并沒有多余車道可避讓，那么它是自動跳橋犧牲還是碾壓過去？顯然，類似的問題谷歌公司也在思考。例如，一位騎電動腳踏車的女士，手拿掃帚，行駛在公路上，繞著圈追趕一只鴨子，這如何讓無人汽車“看懂”？但谷歌之前行駛的140萬英里也不是浪費的，“它已經能偵測到一些異常并及時做出反應”。

正如何搏飛也認為，除了不得不用極端瘋狂的方式做出緊急處理，機器遠比肉眼早先一步發現情況，從而規避異常狀態的發生。“格靈深瞳”目前嘗試的是一種限定范圍內的無人駕駛，比如在一個經過車道測試的公園，當然，他們相信在將來當視覺技術強大到一定程度，不需要路和車的配合，從北京開到巴黎都沒有問題。

深度學習的“意識”

如果說摩爾定律揭示了計算機能力增長速度的規律，那么過去這些年的GPU、超級計算機、云計算等平臺的發展，讓深度學習（Deep Learning）從傳統的機器學習里脫穎而出。它不再理會簡單的線性數據關聯，而是從大腦神經網絡取得靈感，就像2011年 GoogleBrain用1000臺機器、1.6萬個CPU處理了一個擁有10億神經元的深度學習模型。

深度學習最初與“卷積神經網絡”淵源頗深，后者正是計算機視覺的技術核心，人類大腦皮質并不是直接對從視網膜傳遞過來的數據進行特征提取處理，而是使接收到的刺激信號通過一個復雜的網絡模型，進而獲取觀測數據展現的規則;這種層級結構大大降低了視覺系統處理的數據量，并保留了有用的結構信息。深度學習正是源于對此的研究，是機器學習中最接近人工智能的領域。早期的深度學習可追溯至上世紀80年代紐約大學教授燕樂存提出的首個多層結構學習算法——卷積神經網絡。

但在那個年代，創造一個強大的神經網絡需添加更多處理層，由于硬件限制，人們僅能訓練兩到三個神經層?！耙驗閿祿旌苄。绻麌L試從中造出龐大的神經網絡，效果不會很好?！毖鄻反嬲f。到了90年代，這個只能死記硬背、難以闡釋意義的深度學習法一度遇冷。

但最近5年，為神經網絡添加10層以上已成為標準，智能手機上每個語音識別系統幾乎都用上深度學習，燕樂存才看到了希望。“在一年的時間內，計算機視覺業就轉向了卷積網絡，這在我30年的研究生涯里，是從未見過的風卷殘云的趨勢?！比缃瘢芷钢髡屏薋acebook AI Lab。

的確，是計算機硬件、大規模集群技術的興起，加上GPU的應用以及眾多優化算法的出現，耗時數月的訓練過程可縮短為數天甚至數小時。但深度學習即使顯露出超群算法，但它的解釋性不強，成為更新迭代的阻礙。另一方面，始終沒有真正進入“非監督式學習”階段，意味著它并不能教導自己，而如果這一步“自我學習意識”實現的話，機器方始有了威脅性的生命。

Facebook嘗試為人工智能的初步推理法實行向量嵌入，非結構化數據可以轉變為一個詳細描述文本和目標的數列，這個過程將知覺、推理、觀點、語言能力整合在一起。在語言翻譯上的一個作用是，比如他們拿出兩段文本，一段是英語，一段是法語，讓機器找出它們是否在說同一件事。

但是，理解語言距離創造一個具有人類意識的“常識項目”還很遙遠。燕樂存認為泛化智能是一個艱巨的任務?！拔覀兩踔炼疾恢廊绾嗡伎歼@個問題。我的確認為，在這條通往智能的道路上，經過長期的努力，我們將擁有能勝任很多工作的新機器，并且，這種能力可被看作是意識?！比ツ?，他在回答科技期刊《IEEE Spectrum》時這么說。

世界范圍內刮起的人工智能旋風已重新洗牌了互聯網舊世界的格局，在受種種技術安全或政策面束縛而沒有大量投放市場前，布陣占位是非常重要的。Facebook聘請了燕樂存的同時，Google收購了同樣是深度學習三巨頭之一的多倫多大學教授杰弗里·辛頓（Geoffrey Hinton）的創業公司DNN Research，Yahoo收購了做圖像識別的LookFlow，Amazon在柏林創立了機器學習研究中心，百度也在2013年時成立了IDL研究院（Institute of Deep Learning）。

大佬們已嗅出其中的隱藏價值，百度推出百度智能機器人助手“度秘”已經嫁接到百度系各APP垂直平臺中，而日本軟銀已經在批量生產投向市場的情感機器人“pepper”。試想一個語音機器人，即使它不會幫你洗碗，你也不需要它教你背唐詩，它還是可以倚賴“情感聯結”而衍生各種商業鏈條。就像“微軟小冰”現在已經入駐京東平臺，雖然目前它也僅能與你聊天，但保不準今后不會成為一個閨蜜般的導購員。

“奇點”爭辯

人工智能作為一個詞的誕生是在1956年的夏天，當時馬文·明斯基、羅切斯特、申農等一群學院派信息工程專家聚集探討了機器模擬智能的問題，由此賦予這個計算機分支領域一個新名稱。誰也沒想到它的飛躍發展會讓雷·庫茲韋爾在2005年拋出語驚天下的“技術奇點”論。

“2027年，電腦將在意識上超過人腦;2045年左右，我們就能達到一個奇妙的境地，人工智能超越人類，人們要重新審視自己與機器的關系。嚴格意義上的生物學上的人類將不被理解，他將不存在?！?/p>

這段話讓我聯想到日本在上世紀80年代末的一部風靡一時的漫畫《攻殼機動隊》，其中的圖景和主旨可謂是給后來的美國人工智能科幻片提供了最早的摹本。它描繪了2029年，世界由人工智能和生化技術主導，移動通訊向人體瞄準，成為可移植終端，于是電子腦出現。脖子后面有網絡接口，連上電腦就是人工智能，或者重新輸入“靈魂”，同時，機械部件代替身體器官的“義體”技術也在發展，幾乎所有人類都經過不同程度的改造。這種情況下，國家之間利用生化戰開展間諜斗爭，而義體人又竭力找回“靈魂”。

對于技術樂天派來講，不管是雷·庫茲韋爾式的布道，還是電影里子虛烏有的臆想，都顯得極其業余。硅谷思想教父、《連線》雜志前主編凱文·凱利（Kevin Kelly）曾說，最偉大的產品還沒有發明出來，現在開始一點不晚，而已經發生的事根本什么都不算。他回應了理論派最原始的擔憂：“人工智能不會擁有人類的自我意識，現在沒有任何事需要停下來?！?/p>

百度IDL前副院長、現在的地平線機器人創始人余凱為我們描繪了這樣一幅畫面：未來5到10年，每個人身邊都會有10個機器人（智能設備），那個時候這個世界上將會有600億機器人。但他仍認為我們50年后再討論人工智能危險也不遲，“現在擔心就跟擔心火星上站滿了人類一樣”。

耐人尋味的是，DeepMind在被谷歌收購前，它的創始人德米斯·哈薩比斯（Demis Hassabis），這位倫敦大學神經科博士，也是霍金的座上賓?；艚鹪鴮θ斯ぶ悄鼙в猩钋袘岩?，他說：“不幸的是，人工智能開發可能是人類歷史上最后一個大事件?！惫_比斯有次在劍橋大學花了四個小時與他閉門長談，說服他沒有在之后的講座中對人工智能提出“不利言論”。

也就是在去年夏天，霍金、埃隆·馬斯克和蘋果聯合創始人史蒂夫·沃茲尼亞克（Steve Wozniak）與其他上百位專業人士共同簽署了一封號召禁止人工智能武器的公開信。位于波士頓的非營利組織未來生命研究所（the Future of Life Institute）后來在阿根廷召開的人工智能國際聯合大會（IJCAI）上公布了該信，一時間還是在技術界攪起不小轟動。公開信稱，人工智能武器是繼火藥和核武器后“戰爭領域的第三次革命”。該信的擔憂暗合電影里那些匪夷所思的場景，認為這樣下去全球性的軍備競賽不可避免。人工智能武器不需要高昂的成本，或者是像核武器的高濃縮鈾般難以獲取的原材料，它很容易在軍事力量中普及。

學術界似乎早幾年就預判了人工智能的潛在威脅，以至于哲學家紛紛出動。2013年，劍橋大學成立的存在風險研究中心（Center for the Study of Existential Risk）就由哲學系教授胡·普賴斯（Huw Price）領銜，專注于機器人倫理道德研究。去年，它與牛津大學馬丁學院、帝國理工學院和加州大學伯克利分校合作探討“價值同盟項目”，決定由軟件程序員與倫理學家、哲學家共同編程，以控制人工智能。作為企業家代表，大名鼎鼎的馬斯克為了“監測”人工智能正四處投資人工智能初創公司。他通過未來生命研究所投資1000萬美元，資助了37個研究項目，都是關于人類如何從中獲益。

“超級智能”大假設

目前，研究人工智能未來走向最全面而系統的一本書應該是牛津大學人類未來研究院院長尼克·波斯特洛姆（Nick Bostrom）的《超級智能》，這本書被比爾·蓋茨、馬斯克等人多次在公開場合推薦過。波斯特洛姆描繪出一幅由超級人工智能“犯上作亂”的未來世界，它在各種情感模擬意識失靈后，淪為純粹工具理性控制的類生命體，它的行動能力比人類強百倍，并不受控制。

超級智能比與人類并駕齊驅的人工智能更勝一籌，是再往后發展的產物，波斯特洛姆并不能給出確切時間表，但在對人工智能的預判上，他與雷·庫茲韋爾相差無幾?！?0%可能在2030年;50%可能在2050年;90%可能在2100年。”

如今互聯網界所亟待解決的從監督式深度學習到非監督式學習的跨越，似乎暗合了波斯特洛姆勾畫的“智能暴漲”的過程，當機器不再需要人類監督而具有自我學習能力，它的運算速度豈是人類可企及？波斯特洛姆說，人工智能本身不需要關心社會性智能生物關心的事，如果它的唯一目標是數清長灘島上的沙粒數量，計算圓周率的小數位……機器智能一旦超過了“奇點”，它的學習能力就是在數字化時間尺度內執行的，這一點，相信AlphaGo已經讓靠腦力吃飯的圍棋界看出點端倪。

“我們不能輕率假設如果一個超級智能的最終目的是計算圓周率小數點后的位數，它就能限制在那個范圍，而不干涉人類事務，有這樣目標的智能體很多情況下會有工具性趨同理由去獲取無限制的物資資源并消除威脅，人類可能構成一種潛在威脅，因為人必然是種物資資源?！庇谑遣ㄋ固芈迥返慕Y論是，首個超級智能來臨時，可能會有非擬人的終極目標，用工具性理由去追求無限資源。

誠然，技術開發者雖然信誓旦旦地說人工智能不可能像人那般聰明，但并不能保證一種“低等類生命體”不會有自己的不友好邏輯，并“一意孤行”地在人間搗亂，這可以讓人聯想到《生化危機》里的人間地獄。就像波斯特洛姆指出的：人工智能本來愚蠢時，變聰明是更安全的;但當它本來就聰明時，變得更聰明就更危險。

超級智能是進一步不可控的東西，波斯特洛姆為它預測了幾種惡劣失敗模式，它會有工具性理由去運行有情感的意識或違反道德的程序，可能會對模擬意識提出威脅虐待或獎懲機制，以便激勵外部或勒索外部各個智能體。

超級智能可以建立一個具有道德意義的內部過程，因為一個對實際或假想的人類大腦非常精細的模擬就可以具有道德意識，被看作一個仿真人。它自己可能會為了改進對人心理和社會的理解，建立起萬億個具有道德意識的模擬意識，接受各種刺激，對其反應進行研究，一旦它們不能再提供新的信息，超級智能就會把它們毀滅掉。這個操作加之于較高道德意識的存在體和模擬真人上，結果就可能發生殺戮。

波斯特洛姆指出一個頗有意味的悖論，雖然有些“理想狀態”下的猜測，卻不失為一種人類的邏輯。如果一輛無人駕駛車在路上撞了人，或者將來極可能出現的無人軍用機在失靈情況下向人開火，那么開發者一定會加大研發力度，設計更合理完美的系統，發展繼續，進展不斷。隨著事故率的減少，人們可喜于“技術越聰明，就越安全”，于是在大規模的投資下不可撤回，欲罷不能。另一個維度里，超級智能正醞釀著一種“背叛轉折”：當它較弱時，會表現得非常合作，并不斷增加實力;當它足夠強大，就會在毫無預警下突然戰略性逆襲。