智能奇點與后奇點世界中的人類

胡嵩?高新民

摘要：人工智能的奇點問題是先前的AI能否超越人類智能、能否奴役人類等常識化問題的更具科學化色彩的升華形式。對這個問題的討論一定程度上移植了大爆炸宇宙學的范式和方法，因而包涵更多復雜的科學推理，但由于其關注的重點是智能形態(tài)與人類未來存在狀態(tài)，從而又表現(xiàn)出強烈的哲學化傾向。通過科學的推理可以發(fā)現(xiàn)，在自然規(guī)律的作用下，無量級限制的超級智能乃至智能爆炸不大可能發(fā)生，但造出有限的超級智能則完全有其可能。不管人工智能在未來怎樣發(fā)展，其異化問題在所難免，必定深刻影響世界、人類及其社會文化的命運。不管其未來發(fā)展帶給人類的是禍是福，都值得重視和研究，未雨綢繆。要解決奇點悖論和AI異化問題，必須從哲學上研究智能觀和智能與自主性、意向性、意識之關系等心靈哲學問題，弄清智能與AI的量變、質(zhì)變的規(guī)律、形式及其量上的限制。

關鍵詞：人工智能；智能大爆炸；奇點悖論；心靈哲學

基金項目：教育部人文社會科學研究規(guī)劃基金項目“意向性與人工智能建?；A問題研究” （20YJA720003）

中圖分類號：B84文獻標識碼：A文章編號：1003-854X（2023）06-0069-07

人工智能（以下簡稱AI）的奇點、大爆炸等問題是先前的AI能否超越人類智能、能否奴役人類等常識化問題的更具科學化色彩的形式。最突出的是，它們移植了大爆炸宇宙學的范式和方法，充斥著更煩瑣、更復雜的科學積淀和推論。除仍關心原來AI的未來發(fā)展前景以及這些發(fā)展對世界、人類及其社會文化的影響等通俗性、一般性問題之外，它們更著力追問：AI今后的發(fā)展會不會出現(xiàn)智能奇點、超級智能、智能大爆炸以及AI統(tǒng)治和奴役人類這樣的結果？如果AI在未來某一天真的超越于人類智能，或真的出現(xiàn)了所謂智能爆炸及超級智能，進而出現(xiàn)了所謂的后奇點（post-singularity）世界，世界和人類將面臨什么樣的處境？人類是被奴役、毀滅、孤立，還是設法融入？如果能融入，該怎樣融入？我們現(xiàn)在發(fā)展AI應如何提前規(guī)劃？等等。這些問題的形式好像是純科學的，但其實有哲學的根源，其解決也需要哲學的反思。目前，哲學界對這些問題不僅作出快速反應，而且形成了激烈的爭論，誕生了大量各具特色的理論。概括說有兩種觀點傾向，一是塞爾（J. Searle）、布洛克（N. Block）和德雷福斯（H. Dresfus）等人所倡導的觀點，即計算機所表現(xiàn)的AI根本就沒有智能必備的像意識、意向性、理解、創(chuàng)造力等特點，因此何談有超級智能的出現(xiàn)以及對人類的奴役？二是與之對立的觀點，即計算機所表現(xiàn)的AI具備智能必備的像意識、意向性、理解、創(chuàng)造力等特點，這類的觀點樣式很多，有的很尖銳，甚至駭人聽聞。這里我們將重點分析第二種觀點，特別是基于著名心靈哲學家和認知科學家查爾默斯所論證的觀點的基礎上，對智能奇點和后奇點世界中的人類社會文化處境等問題作一些拋磚引玉的思考。

一、智能奇點、智能爆炸、超級智能及其多學科論證

智能奇點和智能爆炸等概念是借鑒、改造宇宙學對應概念而形成的。在宇宙學中，奇點指的是時空無限彎曲的那一個點，存在于黑洞中央，有無限大的物質(zhì)密度、無限彎曲的時空和無限趨近于0的熵值等。奇點既可以是宇宙大爆炸之前宇宙的存在形式，也可以是超級恒星坍縮成的黑洞的奇點。但智能奇點有所不同。就智能奇點或爆炸的概念發(fā)生學來說，數(shù)學家古德（I. Good）最先提出了關于奇點的基本設想，溫格（V. Vinge）于1983年在AI中正式創(chuàng)立了奇點概念。后來，莫拉韋克（H. Moravec）、科茲維爾（R. Kurzweil）和博斯特羅姆（N. Bostrom）對之作了具體、明確的闡發(fā)，創(chuàng)立了各具特色的理論。根據(jù)溫格的想法，智能奇點指的是這樣的現(xiàn)象，即由于人工系統(tǒng)的軟件和硬件的長期發(fā)展和積累，到了未來的某個時候，它們的速度和性能在有限時間就會超越任何有限的智能。這一過程及結果就被稱作奇點。（1）他提出這一概念時受到了馮·諾伊曼思想的啟發(fā)，后者認為技術的發(fā)展將讓歷史接近于一個奇點，超出這個奇點，人的生活就不會按原樣繼續(xù)。智能奇點概念一經(jīng)提出，便受到了學術界和大眾文化的廣泛注意和討論，并形成了許多不同的理解。一種比較寬泛的用法是讓它表示這樣的現(xiàn)象，通過它，越來越快的技術變革會導致不可預測的后果。一種嚴格的用法是指一個點，在這個點上，速度和智能將達到無限。另有一種謹慎的用法，它表達的是這個概念的核心意義，即通過一種遞歸機器而形成的智能爆炸。（2）還有一種觀點把智能奇點和爆炸兩個概念看作同一關系，如查爾默斯就認為，智能奇點就是智能爆炸。（3）這樣理解不無道理，因為只要出現(xiàn)了奇點，就一定有大爆炸。本文將采用這一說法。

在討論AI未來的量變和質(zhì)變時，經(jīng)常涉及到的相關概念還有超級智能（superintelligence）、超計算等。超級智能指的是人造的機器表現(xiàn)出的超越人類智能的智能，或在任何可能的領域能大大超越人類智能的智能。就其與智能大爆炸的關系看，有人認為超級智能是智能大爆炸的前提條件，也有人認為它就是智能大爆炸，因為當機器智能的量的、呈指數(shù)形式的發(fā)展累積到一個質(zhì)點進而產(chǎn)生爆炸式飛躍時，就表現(xiàn)為超級智能，亦即智能大爆炸。（4）筆者贊成這一理解。從實現(xiàn)方式上說，超級智能是通過技術手段讓機器或生物有機體在許多認知領域表現(xiàn)出來的超出人類心智的智能、智慧。超級智能的形式很多，可從不同角度加以分類，如從其載體分，有機器表現(xiàn)出的超級智能，生物有機體如人腦表現(xiàn)出的超級智能以及人機聯(lián)合體表現(xiàn)出的超級智能。從其發(fā)展?jié)摿ι峡?，前者的潛力更大，發(fā)展速度會更快。從實現(xiàn)的技術手段、表現(xiàn)方式上看，有高速超級智能、集體超級智能和優(yōu)質(zhì)超級智能。我們這里按手段方式分類略作分析。

高速超級智能是在速度上遠遠快于人的智能。這里的更快是指可能快多個數(shù)量級。（5）其典型例子是運行在快速硬件上的全腦模擬系統(tǒng)，它能全面模擬大腦，但運行速度可快一萬倍，因此之故，這樣的系統(tǒng)可以幾秒鐘讀完一本書，一下午寫一篇博士論文。更神奇的是，通過100萬倍的加速序數(shù)，一個全腦模擬程序可以在一個工作日內(nèi)完成一個人需上千年才能做完的工作。集體超級智能是由許多小的智能系統(tǒng)集合在一起，進而能在許多領域表現(xiàn)出超出現(xiàn)有智能系統(tǒng)的智能。創(chuàng)建這樣智能的靈感來自于對人類群體的觀察，根據(jù)這一思路，研發(fā)公司、學術團體、國家甚至整個人類都是這樣的集體智能系統(tǒng)。未來要建構的就是這樣的將眾多單個智能自主體整合在一起而形成的規(guī)模不等的集體超級智能。在其倡導者看來，增強、提升集體智能的方式很多，如增加系統(tǒng)中的有智能的子系統(tǒng)的數(shù)量和質(zhì)量，改變系統(tǒng)的組織結構和品質(zhì)。換言之，集體超級智能要么是通過松散的方式形成的，要么是把諸要素緊密地組合成有機的系統(tǒng)而形成的。優(yōu)質(zhì)超級智能不僅在速度上很快，而且能生成高品質(zhì)、優(yōu)質(zhì)的產(chǎn)物。

超級智能盡管在現(xiàn)在只是一種推論，但現(xiàn)實中有很多技術路線能讓它從可能變成現(xiàn)實，如AI路徑、種子AI、全腦模擬、生物認知、人機交互、網(wǎng)絡和組織路徑和生物增強技術，等等。以網(wǎng)絡與組織路徑為例，它指的是通過逐漸增強網(wǎng)絡和組織的能力實現(xiàn)超級智能。這里所謂組織是指把個體的心靈相互關聯(lián)起來，把人的心靈與各種人工產(chǎn)品、機器人相互關聯(lián)組織起來。這種增強不是要增強個體的理智能力，使它們成為超級智能，而是讓個體通過網(wǎng)絡和組織的方式組成為系統(tǒng)，進而讓這系統(tǒng)具有超級智能。（6）能促成和推進人工集體智能的技術是多種多樣的，如互聯(lián)網(wǎng)、智能網(wǎng)、組織和經(jīng)濟改革等。綜合有關研究成果可以說，互聯(lián)網(wǎng)通過人類的共同努力以及人機協(xié)作的創(chuàng)新，今后可能會誕生更好的探索和過濾算法，更強大的數(shù)據(jù)表征構造，更有能力的自主體軟件，以及更有效的控制機器人之間交互的協(xié)議。所有這些增量改進最終可能為生成網(wǎng)絡智能形態(tài)提供基礎?？梢灶A言，基于網(wǎng)絡的認知系統(tǒng)，在生成關鍵智能的計算力的同時，可能為超級智能的形成提供條件。生物增強技術讓我們看到，機器智能向超級智能的發(fā)展不是夢想，因為技能、智能得到增強的科學家、工程師將獲得不可估量的創(chuàng)新能力，進而讓其研究成果表現(xiàn)出超級智能?！霸鰪姷纳锘蚪M織智能必定會加速科學和技術的發(fā)展，而這些發(fā)展會讓全腦模擬和AI這樣的更激進的智能樣式快速到來。”（7）事實上，機器和非人動物已表現(xiàn)出了超越人類水平的智能，如蝙蝠解讀聲納的能力就優(yōu)于人類，計算器的運算速度、準確性等是人沒法相比的，下棋計算機的棋藝已比人高，等等。（8）

與超級智能有密切關系的是超計算與超計算機器。所謂超計算既可理解為超級智能的一種具體形式，也可理解為到達它的一種方式，指的是研究有關的可計算性的一種圖式。這種計算不同于或超越于圖靈測試所主張的經(jīng)典計算主義的計算，例如不再是簡單的形式轉換或狀態(tài)轉換，而是當計算轉到后面的步驟時還能返回圖靈機所用的決策。將超計算應用于機器之上，就有所謂的超計算機。已出現(xiàn)了三種超計算機器，如模擬混沌神經(jīng)網(wǎng)絡、試錯機和宙斯機。它們都是具有超越圖靈機極限的設備。以試錯機為例，其結構類似于圖靈機，如有讀寫磁頭，有磁帶和有限數(shù)量的固定的內(nèi)在狀態(tài)，所不同的地方在于，它能給出極限輸出，而不是給出一個輸出然后停止；另外，它能在有限的時間內(nèi)完成無限的初始行為。宙斯機是一種超人，它能在有限的時間內(nèi)如一秒鐘內(nèi)列舉出n項，把這一點加以形式化就很容易生成一個能解決停止問題的宙斯機。（9）

智能奇點的可能性、必然性、根源、樣式、途徑等問題更是眾說紛紜的話題。對于主張必然發(fā)生智能奇點的人，頭等的大事是為其可能和必然提供根據(jù)和論證。科學和哲學中已誕生了很多有影響的論證形式。這里我們概述一下科學中的多學科論證，后面再來作哲學的討論。人們已從進化論、AI、計算機科學等角度作了論證，主要形式有：（1）基于計算機科學的類比論證：人設計的機器比人有智慧，這被設計的機器又會設計別的機器，別的機器又比原來的機器更有智慧。由于每一被創(chuàng)造的機器的智能比原來的創(chuàng)造者多，因此如此遞進，量的積累到后來將達到無以復加的地步，進而出現(xiàn)智能爆炸。（2）速度爆炸論證。其論證前提是，機器的計算速度每隔一段時間就翻一番。再假設人的水準的AI系統(tǒng)能設計出處理器，它們的更快的速度將產(chǎn)生出更快的設計者和更快的設計周期，如此循環(huán)下去，就會達到智能的一個極限點，進而發(fā)生爆炸。這兩個論證是分別獨立提出來的，其實可把它們結合在一起形成下述第三種論證。（3）加速迭代論證。假設在兩年內(nèi)，一臺比人類更強大的機器生產(chǎn)出了另一機器，它的速度比原來的快兩倍，智能高出10%，再假設這個原則可無限期地延伸、擴展。那么在四年內(nèi)，就會出現(xiàn)無數(shù)代機器人，它們的速度和性能在有限時間就會超越任何有限的智能，進而導致智能爆炸。（10）（4）基于技術進化的論證?？破澗S爾（R. Kurzweil）改造和發(fā)展進化論成果提出，進化是智能的本原性的“創(chuàng)始人”。因為進化是開放系統(tǒng)，不同環(huán)境中的進化由于涉及的內(nèi)外因素不同，因此便有樣式和復雜程序各不相同的進化形式。隨著人類在進化過程中誕生，人類除了擁有其他動物已有的進化手段之外，還有獨有的手段，即技術。技術不僅是對工具的制造和使用，還包括對制造工具過程的記錄。每一種新技術的發(fā)明，都意味著工具復雜程度的提高。計算的進化也是技術進化的一個表現(xiàn)。機器已不再是單純的擴展人類力量的工具，而同時有積淀、升華人類記憶和邏輯加工能力的作用，現(xiàn)在的計算機更是如此?；谶@些對進化歷史和未來趨勢的分析和預測，科茲維爾認為，未來被新的進化形式進化出的計算智能和機器智能一定會超越人類。（11）（5）根據(jù)加速回報定律的論證。根據(jù)這一定律，隨著時間的推移，計算技術的性能、威力將呈指數(shù)級增長。反觀近百年的計算的發(fā)展可以看出，1910—1950年，計算速度每三年翻一番，1950—1966年，每年翻一番。這表明計算速度的可能增長已呈指數(shù)級增長。這種加速根源于加速回報定律兩種提速方法的混合。一種方法是，隨著晶體管模具尺寸的減少，流過晶體管的電子旅行的距離減小，晶體管一開始的速度就大大增加，這樣就有指數(shù)級提高速度的第一種方式。另一方法是，減小晶體管芯片的尺寸，也使芯片制造商能將更多的晶體管壓縮到集成電路中，這樣就有提高速度的第二種方式，即提高計算密度。即使摩爾定律（12）以后失效，集成電路之外的新電路形式會繼續(xù)沿著這兩個方向呈指數(shù)級改進?？梢灶A言，AI的量的積累將導致質(zhì)的飛躍，這就是智能奇點。（13）（6）超級智能的多途徑論證。博斯特羅姆認為，進化論路徑、AI路徑、種子AI、全腦模擬、生物認知、人機交互、網(wǎng)絡和組織等都是超級智能形成的途徑。如根據(jù)進化論路徑，在足夠快的計算機上運行遺傳算法，就可取得與生物進化成果相媲美的結果。他說：“有許多通向超級智能的路徑這一事實足以讓我們相信，我們最終將擁抱超級智能?！保?4）

二、智能奇點論的一個哲學論證版本及其對話性討論

AI的奇點問題在現(xiàn)有科技條件下除了表現(xiàn)為科學問題之外，還由于智能的構成、機制、生成條件、本質(zhì)、演變發(fā)展的可能空間、未來趨勢等關涉對智能的哲學考察，因此其也表現(xiàn)為哲學問題。如前所述，智能奇點問題一提出，哲學界就沒有停止過發(fā)聲。我們這里主要關注查爾默斯（David J. Chalmers）的論證。查爾默斯在綜合、借鑒已有成果的基礎上，發(fā)揮自己長于哲學分析和創(chuàng)新的優(yōu)勢，提出了多層次的論證，其中一個論證極具哲學意味，它有如下三個前提：

前提1，相等前提：AI至少有與我們相等或相同的智能；

前提2，擴張前提：AI很快會發(fā)展成AI+（它由人類的智能所創(chuàng)建，但超越于原先的AI，如后來的計算系統(tǒng)在能力、速度和內(nèi)存等方面遠超原先的計算系統(tǒng)，AI幾十年的進步足以說明這一點）；

前提3，放大或膨脹前提：AI很快會更大規(guī)模地發(fā)展成AI++；

因此結論是，必將爆發(fā)AI++（這就等于說智能奇點將發(fā)生）。

在這里，AI指的是由人創(chuàng)造的、近于人的水準的智能，故有相等原則；“+”意味著智能的量級的增加；AI+指的是高于人類智能的AI；AI++指的是構成大爆炸的超級智能。這里的關鍵過程是具有AI+的系統(tǒng)主動完成的創(chuàng)造，例如在有AI+的系統(tǒng)之上所增加的、高于AI+的智能。查爾默斯的論證是有一定的邏輯力量的，在他提出的三個前提中貫穿著一個極富個性的認知和根據(jù)，即人的智能和機器的智能都有改進自身或設計更先進的系統(tǒng)的能力。盡管不是每個人和每臺機器都能如此，但在人和機器的歷史發(fā)展中確實存在這樣的事實和趨勢。而只要有這種能力，每一代的智能都會在演進中得到增強和增大，以至在智能上超越原先系統(tǒng)一個或多個量級，再加上遞歸原則的作用，經(jīng)過較長時間的發(fā)展，智能就會大大加強，以至出現(xiàn)AI++。他說：“如果我們有一個系統(tǒng)，它的整個智能即使低于人類，但有能力改進自身或設計更先進的系統(tǒng)，進而產(chǎn)生具有更高、更大智能的系統(tǒng)（如此類推下去），那么同一臺機器最終就會導致AI、AI+、AI++的誕生。因此要得到AI++，只需我們創(chuàng)造出某種能自改進的系統(tǒng)就行了，而不需要我們創(chuàng)造AI和AI+?！保?5）質(zhì)言之，按照他的邏輯，每一代新造出的智能系統(tǒng)如果在知識儲備、智慧、能力、技能、創(chuàng)造力等方面都高于創(chuàng)造它的那一代，那么隨著迭代量增加到一定的度，就會導致智能的質(zhì)變或飛躍，最終超級智能或智能奇點的誕生就是必然的結果。（16）

問題在于，這三個前提不是沒有爭議的。假設一臺機器的確能憑自己的能力創(chuàng)造出一臺機器，但創(chuàng)造出的機器是否就一定比創(chuàng)造它的機器更聰明就大有疑問了。事實上，日常生活中，不管是人還是機器，盡管有創(chuàng)造新一代工具的能力，但造出次品或以失敗而告終的事例比比皆是。再比如幾千年來，人類的邏輯思維能力并沒有什么明顯的變化，至少沒有發(fā)生質(zhì)變。因此斷言下一代的智能高于上一代是缺乏事實根據(jù)的。當然，查爾默斯也可以這樣來辯解，如承認具體的個例的確有這樣的問題，但從技術、機器和AI的總的發(fā)展趨勢看，則可看到智能在后來的每一代的量的增加乃至部分的質(zhì)的飛躍的規(guī)律性。但這樣的說明仍然忽略了一個問題，即事物發(fā)展的可能性空間不是無限的。例如人的跳高和跳遠的能力從過去到現(xiàn)在的確在發(fā)生量的提高，因此每次比賽總有對原先成績的打破，但是其提高的可能性空間是有極限的，而這個極限是由諸多客觀因素造成的。同樣，人和人工系統(tǒng)的智能的提高可以出現(xiàn)查爾默斯所說的那種一步步提高的趨勢，但其可能性空間也是有限的，不可能像宇宙的大爆炸那樣，在奇點之后質(zhì)變出一個完全不同于原先智能世界的全新智能世界。

更麻煩的是，堅持上述前提，特別是相信AI可以有類人的甚至超越人的智能，則難以回避塞爾和布洛克等人的著名的意識－意向性缺失論證的責難。在塞爾等人看來，機器只是模仿了人的行為，而沒有體現(xiàn)出具有心性的根本要素，如意識、意向性、理解等。沒有這些要素就不能說有智能，更何談超級智能或智能爆炸？查爾默斯的辯護是，計算機模擬的不僅是人的外在行為，而且還有對人的內(nèi)在計算結構的模擬，因此“它也模擬了心性的諸重要的內(nèi)在方面”。（17）查爾默斯堅信智能奇點發(fā)生的必然性，因此他不贊成一部分學人對它的排斥和冷漠態(tài)度。在他看來，“如果有系統(tǒng)能產(chǎn)生明顯的超級智能，那么不管它們是否是有意識的，或是否是有智慧的，它們對別的世界都能產(chǎn)生革命性影響”。（18）因此他強調(diào)：“奇點論提出了重要的思想，其論證值得嚴肅對待，圍繞它產(chǎn)生的問題具有巨大的實踐和哲學意義?！保?9）

智能奇點的爭論還有一個前提性問題，即對人類智能來說，具體存在的只是思維、靈感、直覺、想象、知覺等專門的能力，在它們之上是否還存在著一個高于它們的作為能力或結構的智能，這一直是哲學和心理學有爭議的地方。多數(shù)持非還原論的人認為，這種獨立智能是存在的，就像每個人除了頭、手、腳等之外還有自我一樣（顯然不能把自我等同于頭手腳等）?；谶€原論的認知主義的智能觀認為，世界上不存在以獨立層次表現(xiàn)出來的智能，至少在人的心理活動中沒有以獨立的、單一的形式表現(xiàn)出來的智能。所謂的智能不過是具體存在的個別能力的集合，其中任何一種都不能獨立享有智能的地位。按照還原論的邏輯，世界上根本不存在獨立智能，那么智能奇點說就不攻自破了。還有一種觀點認為，的確沒有獨立的智能，但各種認知能力的有關因素合在一起的、作為核心的東西可被看作是通用智能。持否定觀點的人則認為，即使有適用于人的標準的通用智能概念，這個概念也不一定能推廣到非人的計算系統(tǒng)上。

如果要規(guī)避這些問題，能否選擇在不使用智能概念的前提下闡述奇點論？查爾默斯的回答是肯定的。（20）在他看來，只要有關于認知能力的一般概念就夠了，確保一方面這種能力的存在至少在認知科學語境下毋庸置疑，另一方面可在不同系統(tǒng)之間對之作出比較。他強調(diào)，為論證的方便可對這樣的能力提出三點假定：（1）它是一種能自我放大、改進的能力G，G會隨著其所創(chuàng)建的系統(tǒng)的能力的增大而成正比提高或增大；（2）我們能創(chuàng)建這樣的系統(tǒng)，它的能力G比我們自己的能力大；（3）有一種相關聯(lián)的值得我們關注的能力H，以至于H的一點增強都是由G的增強而引起的。基于這些假定，就可得出結論說，G將爆炸，H會隨之爆炸。這就是說，即使不用智能這一抽象的、可被還原掉的概念，也能照樣堅持奇點論。因為不管怎么說，具體、專門的認知能力如語法能力、推理能力等總是不能被否認的。如果是這樣，它們就有被AI建模的可能，就有發(fā)生爆炸的可能。查爾默斯認為，只要承認“我們能創(chuàng)建這樣的系統(tǒng)，它具有的語法能力比我們自己的能力大，具有這更大能力的系統(tǒng)又能創(chuàng)建比它的能力更大的系統(tǒng)”（21），就能得出結論說，這一能力的奇點將來必然出現(xiàn)。其他具體認知能力，如推理能力等的爆炸可如此類推。這就是說，即使沒有通用的智能，認知能力照樣有爆炸的問題。他說：“我們之所以能關注奇點，是因為我們關注各種專門能力的可能的爆炸，如研究科學的能力，研究哲學的能力，創(chuàng)造武器的能力，等等?！保?2）

上面關于認知能力爆炸的論證可這樣加以簡化：

（1）G是能自我放大的參數(shù)（相對于我們而言）；

（2）G大致會隨著認知能力H的變化而變化；

（3）G++和H++在將來的出現(xiàn)是不會有疑問的。

這個論證可推廣到AI中。查爾默斯是這樣表述的，假設我們?nèi)祟愂茿I0，即我們不是AI，但是AI的起點。如果G是相對于我們而言的能自我放大的參數(shù)，那么我們憑G就能創(chuàng)造一系統(tǒng)AI1（它是初始的AI），以致G（AI1）>G（AI0）。再假設δ=G（AI1）/G（AI0）。由于G嚴格伴隨G'，G'（AI1）≥δG'（AI0），因此AI1能創(chuàng)造系統(tǒng)AI2，使得G（AI2）≥δG（AI1）。同樣，對于所有n來說，AIn能創(chuàng)造AIn+1，使得G（AIn+1）≥δG（AIn）。由上面可得出結論說，G會出現(xiàn)任意高的值，相應地，H的任何值都有可能由G的足夠高的值產(chǎn)生出來，從而H的任意高的值會產(chǎn)生出來。這就是智能奇點或智能爆炸。（23）

論述到這里，智能奇點的根源、構成和實質(zhì)似乎昭然若揭了。查爾默斯先用公式表述了奇點的構成及原因：

自我放大的認知能力+關系+表現(xiàn)=奇點。

根據(jù)這個公式，“自我放大的能力”是智能爆炸的根源，“關系”指的是這種能放大的能力與別的重要認知能力的關系，“表現(xiàn)”指的是這些重要能力的表現(xiàn)。它們?nèi)齻€合在一起就導致了奇點或智能爆炸。（24）

查爾默斯意識到，這樣說明奇點實際上等于為奇點論設置了難以逾越的障礙，甚至可能得出沒有奇點的結論。因為完全有這樣的可能，即不存在所需要的能自我放大的能力，沒有所需要的關系和表現(xiàn)。這樣一來，上述構成奇點的三個因素就變成了三個障礙。他把它們分別稱作結構性障礙、關系性障礙、表現(xiàn)上的障礙。（25）以結構性障礙為例，它可能包括：（1）能力的空間上的限制，（2）出發(fā)點的限制，即人不能在這里創(chuàng)造出比自己更聰明的系統(tǒng)，（3）遞減問題：即使我們能創(chuàng)造出比我們聰明的系統(tǒng)，但它同樣會發(fā)生能力的遞減問題。就能力的空間上的限制而言，查爾默斯認為，盡管人的能力受到了物理學規(guī)律和計算原則的限制，但沒有理由認為，人的能力已接近了它的極限，因為進化的作用是不可限量的，它對能力的塑造并沒有上限。（26）其他的障礙在他看來也都是可以清除的?？傊闋柲雇ㄟ^哲學和科學兩方面的清掃、辯護得出這樣的結論：盡管這些障礙提出了重要的問題，但奇點有其不可避免性，奇點假說值得嚴肅對待。不過我們認為，查爾默斯作出修正的觀點仍然不是無懈可擊的。比如，他的觀點的根本性前提是進化和智能的可能發(fā)展沒有極限，但如果能夠證明存在著極限，那么他的觀點就被證偽了。

三、未雨綢繆：后奇點世界中人類的難題及其應對策略

如果擱置爭議，認同奇點的發(fā)生具有必然性，那么我們就必須進一步探討這樣的問題，奇點會以什么形式表現(xiàn)出來？奇點后的世界會是什么樣子？奇點對世界和人類有何影響？怎樣從價值上評價奇點？我們是應該阻止其發(fā)生還是歡迎它的到來，抑或是順其自然？這些問題顯然不是AI技術領域能夠獨立解決的，必須協(xié)調(diào)包括哲學在內(nèi)的諸多學科協(xié)力攻關。查爾默斯發(fā)揮哲學家的優(yōu)勢對這些問題傾注了大量的精力。他在這些問題上的態(tài)度從根本上超越了簡單的是或否、非此即彼的形而上學，充滿著辯證的智慧。

在查爾默斯看來，后奇點世界像宇宙大爆炸后的世界一樣可以表現(xiàn)為許多不同的形式，其中有些對我們是有利的，如終結貧困、遠離疾病、科學高度發(fā)達等，有些是有害的，如可能導致人與機器、國家與國家之間軍備競賽的加劇、增強毀滅星球的力量等。這里存在著標準的多樣性和結論的矛盾性，角度、標準不同，結論就可能相反。因此要避免對問題作簡單化認識和處理，例如那種“人類被奴役論”就是不可取的。在查爾默斯看來，比起作好壞的評判，更值得探討的問題是，怎樣將大爆炸帶來的有利的結果最大化，怎樣將有害的結果最小化或阻止其發(fā)生。事實上，即使未來沒有出現(xiàn)奇點論所說的大爆炸，但隨著AI的發(fā)展不斷創(chuàng)造奇跡，必然將一個更加復雜的、難以應對的世界帶給人類，因此對AI展開未來學哲學研究仍是必要的，有未雨綢繆的意義。

查爾默斯提出的思路是從AI設計上加以限制?；谒袮I具體化、量化為AI+和AI++，因此可以在設計AI+和AI++時增加一定的限制和約束。查爾默斯認為，這樣的約束可以歸結為兩類，一是對AI內(nèi)在結構的約束，二是對AI與我們?nèi)祟愱P系的約束。（27）

就內(nèi)在約束而言，查爾默斯提出，應約束它們的認知能力，讓那些符合我們需要的完成任務的能力表現(xiàn)出來，而限制可能對我們不利的能力。在這里，他提出了一個可能受到很多人反對的觀點，那就是要限制AI的自主性和自主能力，而這恰恰是現(xiàn)在很多AI專家在對照人與機器的差距之后強調(diào)要予以大力發(fā)展的能力，因為他們認為只有這樣才能使AI成為名副其實的智能。在查爾默斯看來，要消除或減輕智能爆炸對人類的危害，將它們的好處最大化，最好的辦法就是限制它們的目的、希望、愿望、偏好等。如果把這些心理構件稱作價值觀，那么就是要限制它們的價值觀。查爾默斯認為智能與價值觀應保持相對獨立性，應在人工系統(tǒng)的設計中將對價值觀的設計與對智能的設計區(qū)分開來，不讓系統(tǒng)用自己的理性、智慧去干預價值觀。（28）也就是說，在由人和人設計出來的AI設計AI時，只要不讓AI+和AI++有自己的價值觀，或只讓它們服從、遵守人類的價值觀（29），就可大膽讓AI+和AI++的能力不斷增強，或給予它們不斷改進和擴大自己能力的能力，甚至讓被設計的系統(tǒng)在能力上超越自己。就置入AI+和AI++的價值觀的類型而言，可把這些價值觀放進去，如尊重人的生存和幸福，服從人的命令，看重人所看重的東西，以及科學進步、和平、正義等專門價值。盡管置入過程復雜而困難，但通過選擇特定類型的行為（進化），或通過獎勵它們所完成的行為（學習），對它們的價值觀實施控制，可以最終生成適合我們需要的人工系統(tǒng)。（30）限制對AI+和AI++的設計的另一方案是，讓智能爆炸發(fā)生得慢一些，以便有時間對爆炸的早期階段作出控制和調(diào)節(jié)，如設法不讓最初的AI+和AI++系統(tǒng)將強大的負價值觀授予后面創(chuàng)建的人工系統(tǒng)。（31）

就外在約束，即約束AI系統(tǒng)與我們?nèi)祟惖年P系而言，查爾默斯認為，這要根據(jù)人工系統(tǒng)所處的環(huán)境來決定。如果是具身、延展環(huán)境中的人工系統(tǒng)，由于它們與我們生活在同一時空中，因此它們會與我們爭奪空間、能量等，那么外在約束的設計就顯得難一些，需要通過限制它們的物理能力和限制它們的資源需要來減輕或消除它們對我們的危害。（32）如果它們生活于虛擬環(huán)境，那就沒有必要約束它們的能力和需要了。最好的情況是讓人工系統(tǒng)生活在一個絕對封閉的環(huán)境中，在那里，即使有智能爆炸、有奇點，它們也能成為無泄漏的爆炸和奇點。（33）

如果真的出現(xiàn)了后奇點世界，里面有AI+和AI++，那么我們該怎么辦？我們在這一世界中將擁有什么樣的地位？不外四種可能，即滅絕、孤立、被奴役或做奴隸、融入進去。前三種對人類是不利的因而是不會選擇的，剩下的只有第四種選擇。查爾默斯把這種態(tài)度稱作“融入后奇點世界”，并花大力氣探討其困難、可能性、必要性和具體辦法。其困難在于，要融入后奇點世界，與AI+和AI++平等相處，我們就必須擁有與之相等的超級智能，但由于我們是為進化論規(guī)律所決定的物種，在智能的進化上沒有太大自決權，因此在現(xiàn)在和相當長的時間內(nèi)我們沒法通過自然方式獲得超級智能。好在我們已發(fā)明了人類增強技術，并在不斷推進它們的前進步伐，借助它們，如通過大腦植入物、腦機接口和大腦上傳等等方式，我們在未來有可能獲得超級智能。查爾默斯說：“如果在那時人類還在的話，那么先采取漸進式上傳策略，然后用人類增強技術來增強人的能力。如果人類在那時不存在，那么就采取重構式上傳策略，然后再來增強。”（34）這里所說的上傳（或下載）指的是從大腦到計算機的遷移，或?qū)⑷四X信息下載下來，然后讓它們置入計算機，以便將它們結合起來以增強大腦的功能。上傳的方式很多，如更換大腦的部分（漸進式上傳）、掃描后再上傳（延遲式上傳）、上傳后毀滅原來的大腦（破壞性上傳）、上傳后仍保留原來的大腦（非毀滅性上傳）和根據(jù)記錄重建上傳（重構式上傳），等等。

綜上所述，查爾默斯的奇點研究關注的問題和結論可從三個方面加以概括：（1）未來會出現(xiàn)奇點嗎？他的回答是：“這當然不是不可能的。即使有障礙，障礙主要會來自動機，而不會來自能力?！保?）怎樣迎接奇點的到來？他的回答是：“小心謹慎地為機器建立適當?shù)膬r值觀，再就是小心地在虛擬世界建構第一個AI和AI+?！保?）怎樣融入后奇點世界？他的回答是，如果在那時我們還繼續(xù)存在，那么先將我們逐漸上傳，然后再不斷增強我們的能力。如果我們在那時不存在，就采取重構式上傳，然后再來增強技能。（35）

四、 奇點悖論與AI的異化問題及其心靈哲學思考

關于奇點和后奇點世界的討論的確產(chǎn)生了大量尖銳的問題，其中根本性的也是最重要的問題可概括為“奇點悖論”。所謂奇點悖論指的是，人類為自己的利益創(chuàng)造的智能因爆炸最終成了人類的掘墓人，或成了奴役人類的異化存在。具言之，人類創(chuàng)造AI，讓它不斷發(fā)展直至出現(xiàn)奇點、智能爆炸，其初衷和本意是為了讓它們服務于、造福于人類，但最終帶給人的卻是毀滅。（36）即使AI的未來發(fā)展不像奇點論所說的那樣出現(xiàn)智能大爆炸，但這樣的悖論仍然存在，人類創(chuàng)造出的專用AI，比如模仿人的專門能力（下棋、記憶、數(shù)學推理、定律發(fā)現(xiàn)和證明等）的人工系統(tǒng)，在未來達到有限量級的超級智能時，也可能出現(xiàn)有悖于人類創(chuàng)造初衷的異化問題。

為消解上述悖論，一種極端的方案提出摧毀所有研究超級智能機的實驗室。另一合法的方案則強調(diào)，應禁止生產(chǎn)更強大的處理器，這樣就能剝奪創(chuàng)造超級智能的資源，從而阻止摩爾定律的實現(xiàn)。還有一方案提出建構“AI老大哥”。它是一種能履行“奇點管家”職責的監(jiān)控系統(tǒng)，其任務是阻止對人類構成威脅的超智能技術和機器的開發(fā)。其他方案還有很多，如強調(diào)加強社會監(jiān)控，合理地、有節(jié)制地開發(fā)和利用超級智能，加強自我約束，建立人機聯(lián)合體等等。上述談到的價值觀加載方案是所有方案中影響較大的一種。加載價值觀實質(zhì)上是一種建構目標系統(tǒng)的工程，目前還不知道如何將人類價值觀轉移到數(shù)字機上。大部分的探討還極不成熟，有些探討甚至是死胡同。一些有希望的研究關注的主要課題包括表征問題、進化選擇、強化學習、價值觀增值（創(chuàng)造有人類動機的自主體）、價值觀學習、模擬模塊化、制度設計，等等。不過，即使能解決價值觀加載的技術工程問題，為其加載什么樣的價值觀或許是更加困難的問題。因為人類有不同的價值觀，它們之間有時存在著根本的沖突。這就意味著要從根本上解決難題，沒有哲學對價值觀問題的澄清，是不能如愿的。

正如博斯特羅姆所說：“智能爆炸的曙光為對智慧的古老探討帶來了新的啟迪?！保?7）事實是，要從根本上解決這里的問題，我們必須思考這樣的心靈哲學問題，智能究竟是什么？符合什么樣的標準才能被稱作智能？人工系統(tǒng)在速度、存儲和加工能力等方面大大超越于人類是否就意味著它成了超級智能？能統(tǒng)治、奴役他物的存在除了要有強大的能力之外，還需要什么？換言之，有超級智能能否成為統(tǒng)治者？在我們看來，智能盡管也有工具性智能與自主的目的性智能之別，但有統(tǒng)治能力的智能一定不是純粹的工具，一定同時有自己的目的、價值觀、意志、意識、意向性，特別是名副其實的自主性。即使我們承認有超級智能，但如果它們沒有自己的目的和自主性，那么它們永遠只能作為工具起作用，而不能成為統(tǒng)治者、奴役者。而如果僅僅只是工具，奇點悖論還會困擾我們嗎？贊成智能爆炸的人看到了目的、動機等屬性對成為統(tǒng)治者的必要性，作了這樣的推論：既然是超級智能，就一定有自己的目的、計劃，因此一定有按自己的目的塑造現(xiàn)實和未來的巨大能力、能量。（38）為了說明這一點，博斯特羅姆提出了兩個命題，第一，正交性命題：智能和最終目的是獨立變量，且任何層次的智能都能與任何最終目的結合在一起；第二，工具性收斂命題：具有廣泛最終目的的智能自主體因為有實現(xiàn)相似中間目的的共同工具理由，因此會追尋最終目的。由于人工自主體有自己的最終目的、中介性目的，因此它們客觀上能發(fā)展、提升自己的智能。隨著能力的提高，它們會作出更有利于自己發(fā)展和實現(xiàn)最終目的的決策；決策付諸行動之后，又會進一步促進智能的發(fā)展。如此遞進，就會出現(xiàn)越來越多的超級智能單體（singleton）。它們每一個都有自己的獨立性，都想單方面決定世界的現(xiàn)實和未來，都可能把其他自主體，包括人類個體作為對手看待，都會不停地爭奪資源和完善技術。由于人類也需要積累資源，因此人類可能與超級智能自主體發(fā)生沖突。由于超智能自主體為實現(xiàn)自己的目的會設計極其聰明但反直覺的計劃，甚至利用人類不知道的科學技術，因此人類就可能面臨著災難性的后果。（39）這一論證基于目的設定后的構想都是可接受的，但問題是，它沒有說明超級智能體的自主的、終極性的目的是從哪里來的。就進化論所揭示的知識來說，世界上已有的存在只有生物體有目的性，只有人有高級的、自主的目的性，乃至元目的性，它們是長期進化的產(chǎn)物，不能制造、安裝、贈送。

只要認真從哲學上研究意向性、自主性、現(xiàn)象意識等心智現(xiàn)象的標志性特征也會得出上述結論。布林斯喬德（S.Pringjord）等人認為，機器不可能有意向性，因此其超計算或超智能是有限制的。這限制不是說它不會發(fā)展成卓越的、高超的智能，而是說它不可能成為人那樣的智能。（40）他們堅持的超心靈觀（supermind view）的形式哲學，認為人的智能由三部分構成：第一部分能在圖靈機極限及以下完成信息加工；第二部分則能在其上完成信息加工；第三部分不能用任何第三人稱的圖式來加以描述，因為里面充斥的是主觀覺知和現(xiàn)象等。（41）只有有這樣的心智的存在才能成為主宰、統(tǒng)治者，否則再有能力也沒用。

基于對智能的解剖，我們不僅可以找到解決奇點悖論的辦法，而且可以明白未來的AI該如何高質(zhì)量、跨越式、多元化發(fā)展。由于智能可多樣地實現(xiàn)，因此有理由作這樣的展望，即只要堅持多元化的AI發(fā)展觀，未來的AI的能力將大大超越現(xiàn)有AI的能力。一方面，AI可能有查爾默斯所說的發(fā)展趨勢，如有智能的、能創(chuàng)新的主體既可以是AI之前的人，也可以是AI和它所創(chuàng)造的AI+，即是說，人和非人的機器都有能力讓自己創(chuàng)造的系統(tǒng)在能力上超越自己，讓所創(chuàng)造的系統(tǒng)的能力有所增加，進而隨著能力的迭代，量的積累達到一定的程度，就會導致智能的質(zhì)變，即出現(xiàn)AI+和AI++，最終暴發(fā)智能的有限的質(zhì)變或爆炸。另一方面，未來還有這樣的可能，即將電子、光子硬件提供的能力與神經(jīng)網(wǎng)絡、量子計算以獨特方式實現(xiàn)的能力結合起來。從理論機理上說，要建構新的、更有能力的神經(jīng)網(wǎng)絡，必須找到理解人腦和心靈的新的方向和方式。而要如此，又必須進行文化革命，因為以新的方式理解大腦和心靈的障礙主要來自于文化。例如過去人們在理解大腦工作原理時總是突出時間的重要性，以為大腦是在時間先后過程中完成其加工的；在以新的方式研究神經(jīng)科學時，完全可以擺脫這種理解模式，其根據(jù)是，大腦內(nèi)部存在著反向傳播，學習有擺脫時間順序的特點。（42）

對于計算機表現(xiàn)出的能力、行為、特性是否是真正的智能，盡管一直有爭論，但不爭的事實是，它們表現(xiàn)出的許多專門能力已大大超越人類智能的相關方面，如下棋計算機的棋藝、儲存能力、運算速度、推理的快捷和精確性，等等。按照這樣的邏輯推論下去，得出有限的超級智能必將可能的結論就是名正言順的，因為既然超越人類的某些能力已由可能性變成了現(xiàn)實性，那么在未來隨著認知和技術的發(fā)展，經(jīng)人類和機器的共同努力，完全有可能制造出有限的超級智能。即使以現(xiàn)有的知識為判據(jù)，其由可能變成現(xiàn)實的技術路線也很多，如AI路徑、種子AI、全腦模擬、生物認知、人機交互、網(wǎng)絡和組織，等等。既然如此，作為奇點悖論變種的AI的異化問題將成為未來哲學值得進一步探討的重要主題。

注釋：

（1）（10） See V. Vinge， First Word， in Ellen Datlow and Dick Teresi （eds.）， Omni， 1983， p.10; The Coming Technological Singularity： How to Survive in the Post-Human Era， Computer Science， 1993.

（2）（3）（15）（16）（17）（18）（19）（20）（21）（22）（23）（24）（25）（26）（27）（28）（29）（30）（31）（32）（33）（34）（35） David J. Chalmers， The Singularity： A Philosophical Analysis， Journal of Consciousness Studies， 2010， 17（9-10）， pp.7-65.

（4）（5）（6）（7）（8）（14）（37）（38）（39） N. Bostrom， Superintelligence： Paths， Danger， Strategies， Oxford University Press， 2014， pp.38-42， p.72， p.67， p.69， p.69， p.69， p.294， p.129， p.139.

（9）（40）（41） See： S. Pringjord and M. Zenzen， Towards a Formal Philosophy of Hypercomputation， Minds and Machines， 2002， 12， pp.241-258.

（11）（13） See R. Kurzweil， The Age of Spiritual Machines： When Computers Exceed Human Intelligence， Penguin Books， 2000， ch.2， ch.10-11.

（12） 集成電路的發(fā)明人、后來的英特爾的董事長摩爾所發(fā)現(xiàn)的一個規(guī)律。它說的是，每過兩年，人們可在一個集成電路上封裝兩倍多的晶體管，這將使芯片上的元件數(shù)量和速度增加一倍。而集成電路的成本穩(wěn)定，這意味著，每兩年，人們可用同樣的價格讓兩倍的電路以兩倍的速度運行。

（36） Roman V. Yampolskiy， What to Do with the Singularity Paradox？ in Vincent C. Müller （ed.）， Philosophy and Theory of Artificial Intelligence， Studies in Applied Philosophy， Epistemology and Rational Ethics， Springer， 2013， pp. 397-413.

（42） P. Werbos， The New AI： Basic Concepts and Urgent Risk， and Opportunities in the Intenet of Things， in R. Korma， C. Alippi and Y. Choe et al. （eds.）， AI in the Age of Neural Networks and Brain Computing， Academic Press， 2019， p.179.

作者簡介：胡嵩，中國人民大學哲學院博士研究生，北京，100089；高新民，華中師范大學哲學系教授、博士生導師，湖北武漢，430070。

（責任編輯 胡?靜）