技術的雙刃劍（評論）

李開復

物無對錯，人分善惡。對于技術而言，也是如此，它本身是中立的，關鍵在于人類用技術為善，還是作惡。對于人類來說，每一項全新的突破性技術，都宛如“薛定諤的貓”，既可以是普羅米修斯之火，也可能淪為潘多拉之盒。是善是惡，不在于技術本身，而在于操控技術的人。這就是《人類剎車計劃》想要講述的原則。

這篇故事提到了許多先進技術。在此，我們將集中介紹其中兩項——量子計算和自主武器。我預測，到了2041年，量子計算有80%的概率進入實用階段。如果這能夠成真，它帶給人類的影響將會遠超AI。量子計算是一種通用目的技術，不僅可以極大地促進科技進步，還能夠幫助人類真正了解宇宙。

同歷史上出現過的各種通用目的技術一樣，量子計算將給人類帶來巨大的正面影響。不過，量子計算在未來的第一項重大應用，很可能是破解比特幣密鑰（該應用出現在《人類剎車計劃》這個故事的開篇）。陳楸帆在深思熟慮后選擇這個主題，用意是希望讓讀者帶著雙刃劍的認識去理解這項嶄新的技術。需要指出的是，當你讀完故事，在開始思考如何防止類似的犯罪行為發生在現實中的同時，千萬不要誤以為這項技術只能作惡，我們仍然相信量子計算對人類未來的影響絕對是利大于弊。

自主武器是《人類剎車計劃》中提到的另一項重點技術，它同樣既可以用來為善，也可以用來作惡。一方面，當戰爭成為機器的對決時，使用自主武器可以少犧牲很多士兵的生命;另一方面，自主武器也有可能成為進行大規模或針對性屠殺的機器“劊子手”。在后者帶來的災難性威脅面前，這項技術的一切益處都變得不值一提。此外，自主武器不僅可能導致各國軍備競賽失控，還可能被恐怖分子用于暗殺國家領導人或其他關鍵人物。無論如何，我希望《人類剎車計劃》這個故事展現的種種暴行可以給人類敲響一記警鐘，讓人類認清這項AI技術被濫用的嚴重后果。

量子計算機將會為AI進步提供強勁的推動力，為機器學習帶來革命性的變化，而且有潛力解決那些曾經讓人們感到束手無策的難題。

我相信AI可能是迄今為止最重要的計算機技術。但是，到了2041年，如果量子計算技術能進入實用階段，它將引領我們真正認識自然、科學和我們自身，在這樣的成就面前，AI技術也將階段性讓位。

量子計算機的計算架構運用了量子力學原理，它在執行某些類型的計算時，效率將遠超傳統計算機。

傳統計算機的最小信息單位是比特，它的值或者是1，或者是0，就像一個開關一樣。我們現在用的每一個應用程序、網頁、圖片，都是由成千上萬個這種傳統比特組成的。用這種二進制的比特構建、控制計算機相對比較容易，但它在解決真正復雜的計算機科學難題方面潛力有限。

量子計算機的信息存儲和運算使用的則是量子比特，例如電子和光子等亞原子粒子比特。這些粒子所具有的非同尋常的屬性為量子比特帶來了超級算力。這種非同尋常的屬性就是量子力學原理，主要包括態疊加原理和量子糾纏原理。

首先，我們來了解一下態疊加原理。態疊加原理指一個量子比特能同時處于多種可能狀態。換句話說，量子比特會“分身術”，幾個量子比特就能同時處理海量的計算結果。如果你想讓一個運行在傳統計算機上的AI找到在游戲中獲勝的方法，那么它會一一遍歷所有的可能性，然后把每一個結果匯總到“大腦中樞”，最終找到一條獲勝的路徑。在量子計算機上運行的AI，則會以極快的速度遍歷所有的可能性，而且這個問題的復雜程度也會隨之呈指數級下降。

接下來，我們再看看什么是量子糾纏。量子糾纏指兩個量子比特無論相距多遠，都會保持聯系——一個量子比特的狀態發生變化會影響另一個量子比特，就好比一對存在心電感應的雙胞胎。由于量子糾纏所具備的特性，量子計算機每增加一個量子比特，算力就會成倍提升。如果我們想讓一臺價值一億美元的超級傳統計算機的算力翻倍，可能還得再投入一億美元。但要讓一臺量子計算機的算力翻倍，我們只需要再增加一個量子比特就可以了。

當然，要想實現這些神奇的特性，需要付出相應的代價。量子計算機對自身內部硬件的要求非常高，對周圍環境非常敏感，輕微的振動、電氣干擾、溫度變化、電磁波等，都可能導致量子的糾纏態衰減甚至消失。為了讓量子計算機穩定運行且具備可拓展性，研究人員必須發明新的技術，為量子計算機量身打造真空室、超導材料和超低溫環境，盡可能降低來自環境因素的干擾。

由于這些客觀存在的難題，科學家花了很長時間才讓量子計算機擁有更多的量子比特。1998年，有兩個量子比特的量子計算機就已經亮相，到了2020年，最先進的量子計算機也只有六十五個量子比特，遠不夠執行真正有價值的任務。不過，即便目前的量子計算機只有兩位數的量子比特，但在執行某些計算任務時，仍然比傳統計算機快百萬倍。

谷歌在2019年首次宣布實現“量子霸權”，其有五十四個量子比特的處理器，能夠在幾分鐘內便解決需要傳統計算機耗費很多年時間才能算出結果的問題。但可惜的是，這并沒有什么實際意義。那么，我們什么時候才能擁有足夠的量子比特來解決真實世界的問題呢？

IBM在2020年發布的技術線路圖顯示，在未來三年內，量子計算設備上的量子比特數目將每年翻一番，預計到2023年有望突破一千個量子比特。如果樂觀地推算下來，有四千個量子比特的量子計算機的算力將足以像《人類剎車計劃》里所描述的那樣破解比特幣密鑰。因此，有樂觀主義者預測，實用型量子計算機將在五到十年內問世。

然而，他們可能忽略了量子計算面臨的一些巨大挑戰。例如，IBM的研究人員表示，隨著量子比特數量的增加，量子退相干引起的誤差會更加難以控制。為了解決這一問題，人們需要利用全新的技術和精密工程手段，構建精細、復雜但非常脆弱的硬件基礎。此外，由于存在退相干誤差，每個邏輯量子比特都需要額外的多個物理量子比特來進行糾錯，以確保整個系統的穩定性和容錯率達標，因此一臺量子計算機預計需要上百萬個物理量子比特，才能發揮出四千個邏輯量子比特應該有的算力。而且，即便我們成功制造出了一臺實用型量子計算機，量產又將成為擺在人們眼前的另一個難題。最后，量子計算機與傳統計算機的編程方式完全不同，人們需要發明新的算法，開發新的軟件工具。

考慮到這些挑戰，大多數專家認為，實用型量子計算機可能需十到三十年才會問世。根據專家們的意見，我認為，到2041年，我們將有80%的概率見證搭載四千個邏輯量子比特（即超過一百萬個物理量子比特）的超強量子計算機出現，它將如《人類剎車計劃》中所描述的那樣，有能力破解如今的比特幣密鑰。

當這種有上百萬個量子比特的量子計算機真正投入使用時，我們將在藥物研發領域獲得改變世界的機會。今天的超級計算機只能分析最基本的分子結構。但是，有潛力制造藥物的分子的種類卻比可觀測宇宙中所有原子的種類還要多得多。解決這種量級的問題就需要量子計算機，它的運算過程體現了與它所模擬的分子相似的量子特性。量子計算機可以在模擬新藥分子結構的同時，對其進行復雜的化學反應建模，以確定藥物的療效。

目前，這也是量子計算最先商用的領域之一。谷歌在宣布實現“量子霸權”后，便把模擬新藥分子作為下一個突破方向。騰訊的量子實驗室，也明確表示已開展了該方向的合作和探索。

1980年，著名物理學家理查德·費曼說：“如果你想模擬大自然，你最好讓它以量子的方式運行。”的確，量子計算機可以模擬許多傳統計算機無法理解的復雜的自然現象。除藥物研發外，量子計算機在應對氣候變化、預測疫情風險、發明新材料、探索太空、模擬大腦以及理解量子物理等方面也大有可為。

此外，量子計算機也將成為促進AI發展的最重要的助推器。它的作用不僅僅是讓深度學習算法運行得更快。人們可以在一臺量子計算機上編程，讓量子比特表示出所有可能的解決方案，然后整個系統會并行地為每個可能的解決方案打分，接下來量子計算機將嘗試在很短的時間內找到最佳答案。量子計算和AI的結合可能帶來革命性的飛躍，并且解決現在無解的問題。

在《人類剎車計劃》中，天才物理學家馬克·盧梭曾經利用量子計算的突破性成果竊取比特幣。

比特幣是迄今為止世界上規模最大的加密貨幣，可以兌換成黃金、現金等各種資產。它不像黃金那樣本身就有價值，也不像現金那樣能夠得到政府和中央銀行的背書。比特幣虛擬地存在于互聯網上，通過計算來保證其自身和交易的真實性。這種保證，來自其加密算法無法被傳統計算機破解。比特幣的數量上限被設定為二千一百萬枚，這避免了貨幣超發和通貨膨脹。在新冠疫情期間，很多公司和個人開始尋找不受中央銀行量化寬松政策影響的安全資產，于是便把目光轉向了比特幣。因為這些人的追捧，比特幣的價格持續上漲。2021年3月，比特幣的總值超過了一萬六千億美元，比一年前漲了十二倍。

與前面我們提到的那些重要應用相比，用量子計算機來竊取比特幣似乎有點“大材小用”了。但破解加密貨幣是目前已知為數不多的能被一臺初級的量子計算機解決的問題，而且也可能是第一個讓人覺得有利可圖的量子計算應用。雖然量子計算的某些應用需要研究人員耗費多年時間才能開發出來，但破解比特幣密鑰的算法卻早已被提出。1994年，麻省理工學院教授彼得·肖爾在一篇開創性論文中提出了用量子算法來有效解決質因數分解問題，一旦有了約四千個量子比特的量子計算機，用這個量子算法就可以破解一些非對稱加密算法，例如當下最普遍的RSA加密算法。

有人認為，正是這篇論文激發了人們對量子計算的關注和興趣。

比特幣使用的就是彼得·肖爾教授提出的量子算法所能破解的RSA非對稱加密算法。RSA這類非對稱加密算法需要兩個密鑰：公鑰和私鑰。這兩個密鑰是在數學上相關的長字符序列。從私鑰到公鑰的轉化非常簡單，而在傳統計算機上，從公鑰到私鑰的轉化是不可能實現的。

舉個例子，如果你向我發送一枚比特幣，會列出一串轉賬信息，包括我的比特幣錢包地址這一公鑰，相當于公開發布了一份“存款單”。雖然每個人都可以看到公鑰，但只有我擁有私鑰，于是也就只有我才能用它進行數字簽名，打開“存款單”完成交易。只要其他人都不知道我的私鑰，這種交易方式就是完全安全的。

但在量子計算出現后，一切都變了。與傳統計算機不同，量子計算機能夠根據任何公鑰快速生成對應的私鑰，采用RSA算法以及一些類似的加密算法的私鑰在量子計算機面前都將“無所遁形”。因此，量子計算機只需訪問公共賬本（所有交易都在這里過賬），獲取所有的公鑰，然后再逐個生成私鑰數字簽名，就可以盜取所有賬戶中的比特幣。

看到這里，你可能產生以下一些疑問。

為什么人們會公開他們的錢包地址和公鑰？其實這是比特幣的早期設計缺陷。比特幣專家已經意識到了這個漏洞。自2010年起，基本上所有新發起的比特幣交易都采用了一種名為P2PKH（Pay To Public Key Hash）的新格式，在這種格式下，地址是隱藏的，更加安全（盡管也不能完全免于被攻擊）。不過，仍有二百萬比特幣是以存在漏洞的舊格式P2PK存儲的。按照2021年3月的比特幣價格（每枚比特幣六萬美元）計算，二百萬比特幣的價值就是一千二百億美元，這也是在《人類剎車計劃》中被盜幣者盯上的“寶藏”。如果你曾在P2PK格式下存放過比特幣的話，那就趕快想想怎么保護你錢包里的那筆“巨資”吧！

為什么人們不把自己存儲在舊格式下的比特幣轉移到安全的地方？這個想法很合理，但是很多人就是沒有這么做。對此，我能想到的原因有三點。第一，許多人很早之前就丟失了自己的私鑰，可能是由于私鑰太長了所以沒記下來。特別是在十年前比特幣并沒有如今這么值錢的時候，即便忘了私鑰，人們也沒那么在意。第二，這些比特幣持有者可能一直不知道上面提到的漏洞。第三，在這二百萬枚比特幣中，大約有一百萬枚比特幣歸傳說中的中本聰所有，但這位神秘的比特幣發明者似乎已經銷聲匿跡了。這筆“中本聰的寶藏”自然而然就成了盜幣者夢寐以求的財富之源。

為什么所有的交易都要在公共賬本上過賬？這種設計是為了讓任何公司或個人都無法掌管比特幣。去中心化的公共賬本存儲在許多計算機上，無法被篡改。這是一個很巧妙的設計，只要沒有人能根據公共賬本上的公鑰反向推導出私鑰，這種設計就是萬無一失的。這種設計也讓區塊鏈具備了保證信息無法被篡改的能力，會衍生出很多非常有價值的應用，比如確認數字版契約、合同或遺囑的真實性等。

如果真的發生了比特幣盜竊案，失主怎么挽回損失呢？事實上，失主是沒有辦法報案或者起訴偷盜者的。除了偷盜者不易被鎖定之外，比特幣的交易也不受銀行法的保護和約束，因為比特幣不受任何政府或公司的管控。任何擁有正確私鑰的人都可以把比特幣放到自己的錢包里，在法律上，這是一塊空白地帶。

故事里的馬克·盧梭既然手眼通天，為什么他不鎖定銀行系統作為目標？首先，銀行系統沒有保存著公鑰的公共賬本，馬克·盧梭無法根據公鑰計算出私鑰。其次，銀行有監控軟件，會時刻關注異常情況（如可疑的大額轉賬）。再次，把錢轉移到其他賬戶的過程是可以被追蹤的，這種行為一旦被發現，就會被追究法律責任。最后，銀行交易使用的加密算法和比特幣的不同，需要更多的時間來破解。

說到這里，那么如何提升加密算法的安全性呢？其實，“防量子”算法已經出現了。彼得·肖爾也證明了，人們可以利用量子計算機構建堅不可摧的加密算法。哪怕入侵者使用了強大的量子計算機，也無法破解這種基于量子力學的加密算法。只有當量子力學原理被發現存在錯誤時，入侵者才會有機可乘。

不過，這類“防量子”算法的計算成本非常高，所以暫時不必把它視為一種可行的商業化及比特幣實體解決方案。也許只有當比特幣量子盜竊案終于發生后，人們才會醒悟過來，去修改算法，以徹底解決這一問題。

我真心希望這一天早些到來。

自主武器被視為繼火藥、核武器之后的“第三次戰爭革命”。雖然地雷和導彈揭開了早期簡單自主武器的序幕，但運用了AI技術的真正的自主武器才是正片。AI自主武器讓整個殺戮過程——搜尋目標、進入戰斗、抹殺生命——完全無須人類參與。

以色列的哈比無人機就是一個典型的當代自主武器，屬于“即發即棄”式設計。它會根據程序設定飛到某個區域，搜尋特定的目標，然后用高爆彈頭摧毀目標。

還有一個更讓人毛骨悚然的自主武器案例，源自傳播極廣的宣傳視頻“屠殺機器人”（Slaughterbots）。該視頻展示了一個像一只小鳥一樣大的無人機主動搜尋某個特定的人，一旦發現目標，就瞄準對方的頭骨近距離發射少量的炸藥。這種無人機自主飛行，體量較小，十分靈活，所以幾乎無法被抓住，也很難阻截它們的行動或者摧毀它們。未來，隨著技術的發展和硬件成本的下降，機器人也將有能力執行同樣的任務。

更可怕的是，今天，一個有經驗的業余機器人愛好者，就能以不到一千美元的成本制造出這樣的無人機。元件能夠在線購買，技術算法可以從開源社區下載。這從側面反映了AI和機器人技術正在逐漸走向普及，價格也越來越親民，這也是我們多次強調的觀點。試想一下，只需要一千美元就能制造出一個低成本的機器人“殺手”，就像無人機刺殺委內瑞拉總統事件中出現的那種，而且這種威脅并不是在遙遠的未來才會出現，而是很快就會出現。

我們親眼見證了AI的快速發展，這將進一步加速自主武器的迭代與升級。回想自動駕駛汽車從L1級別發展到L3/L4級別的速度，在自主武器領域，技術進步的速度也將如此。

那些機器人“殺手”不但會變得更加智能、精準、敏捷、廉價、得力，而且將學會像蜂群一樣團隊協作、前赴后繼，在執行任務的時候變得勢不可擋。一支由一萬架無人機組成的“軍隊”就可以摧毀半座城市，而在理論上，其成本可能只需要一千萬美元。

當然，自主武器有好的一面。第一，如果由機器人來取代人類士兵，那么自主武器可以挽救士兵的生命。第二，一支負責的軍隊可以用自主武器來引導士兵（無論是人類還是機器人）只攻擊敵方戰斗人員，以免傷害無辜的友軍、兒童和平民（類似于L2/L3級別自動駕駛車輛幫助人類駕駛員避免犯錯）。第三，自主武器還可以用于對付暗殺者、罪犯、恐怖分子。

不過，自主武器給人類帶來的負面影響要遠遠大于這些好處。

第一，自主武器面臨的最大問題就是倫理和道德上的爭議——幾乎所有倫理制度和宗教信仰都把奪走一個人的生命視為一種極具爭議性的行為，如果不通過嚴肅的審判，沒有任何人可以擁有這樣的權力。聯合國秘書長安東尼奧·古特雷斯曾表示：“掌握生殺大權、能夠隨意奪人性命的機器，在道德上令人厭惡。”

第二，自主武器降低了殺人的成本。盡管過去也有自殺式爆炸襲擊者，但對于任何人來說，為一件事獻出生命仍是一個很大的挑戰。但如果有了自主武器，暗殺者和恐怖分子不用放棄生命就可以達成目的了。

第三，自主武器還涉及責任人的界定，我們需要知道誰應該為自主武器的失誤負責。對于戰場上的士兵來說，每個人的責任是非常清晰明確的。但對于被分配了任務的自主武器來說，出問題后的責任就相對模糊了（類似于自動駕駛車輛撞死行人應該向誰追責）。更糟糕的是，如果責任無法明確，幕后黑手就有從國際人道主義法中逃脫的機會。這直接降低了戰爭的門檻。

第四，自主武器不僅能夠對某個人執行暗殺任務，還能夠針對任何群體進行滅絕式屠殺（這可以通過面部或姿態識別技術、移動設備或物聯網信號追蹤技術來實現）。在《人類剎車計劃》中，我們就看到了對影響力超群的商業精英和社會知名人士的針對性殺戮。

如果我們不審慎思考自主武器可能帶來的各種問題，一味推動技術的發展，人類的戰爭進程將會加速，不但會造成更大的傷亡，而且可能導致災難性的戰爭升級，甚至核戰爭。另外，AI缺乏人類的常識和跨領域推理能力，因此無論人類如何訓練一個自主武器系統，它都無法充分理解其自身行動所帶來的后果。這也是為什么在《人類剎車計劃》的故事中，澤維爾和EC3的反恐行動最終仍然由人類操控，而非機器人。

從英德海軍軍備競賽到美蘇核軍備競賽，一直以來，各個國家都在爭奪軍事霸權，并將軍事置于優先發展的戰略地位。自主武器的出現將進一步加劇各國的軍事競爭，因為這種競爭將變得更加多元化（更小巧、更迅速、更致命、更隱蔽的武器都能被開發出來）。而且，自主武器的成本相對較低，直接降低了參賽門檻，這讓一些擁有強大技術的小國有了加入軍備競賽的機會。例如以色列就開發了一批最先進的軍用機器人，其中有的只有蒼蠅大小。幾乎可以肯定的是，只要有一個國家開始打造自主武器，那么感到威脅的其他國家也將緊隨其后，參與自主武器的競爭。

那么，這場自主武器的軍備競賽將把人類帶向何方呢？伯克利大學教授斯圖爾特·拉塞爾表示：“我們預測，不久之后，自主武器的靈活性和殺傷力將使人類毫無還手之力。”如果任由這種多邊軍備競賽發展，人類文明在未來將走向黃昏。

核武器也是一種威脅人類生存的武器，但它一直以來都受到很好的約束，甚至在幾個大國擁有核武器后，全球戰爭大大減少了。這是因為核威懾理論——如果一個國家率先使用核武器發動突襲，就會被對方追蹤到，并引來無法阻止的毀滅性報復。核戰爭的結果就是同歸于盡，這是確保互毀原則。所以核武器時代來臨后，反而很少有大的戰爭了。但對于自主武器來說，核威懾理論和確保互毀原則并不適用，因為自主武器發動的突襲是很難被追蹤的。在《人類剎車計劃》里，難以追蹤的末日無人機就是一個例子。盡管通過攻擊末日無人機的通信協議可能會找到一些線索，但只有在捕獲到一架無人機的前提下，這種方法才能奏效。

就像我們剛才所說的，自主武器攻擊可能快速引發連鎖反應，并逐步升級，甚至導致核戰爭。而且，首先發動突襲的甚至可能并不是一個國家，而是恐怖分子或無政府組織，這更增加了自主武器的風險。

為了避免自主武器引起的生存災難，一些專家提出了下列三個解決方案。

第一個解決方案是人工介入，或者至少確保每一個影響生命的決策都由人類做出。不過，在很大程度上，自主武器的威力源于機器在沒有人工介入的情況下所具備的速度和精度。任何想在這場軍備競賽中取勝的國家，可能都無法接受這種大幅度削弱技術能力的人工介入。這種方案執行起來非常難，漏洞也很容易被發現。

第二個解決方案是頒布相應的禁令。《禁止致命性自主武器宣言》是一份是由三千名AI領域的科學家共同簽署的公開信，埃隆·馬斯克和史蒂芬·霍金都參與了簽署活動。在過去，生物學家、化學家和物理學家也曾針對生物武器、化學武器和核武器做過類似的努力。任何一項禁令的推行都并非易事，但此前針對致盲激光、化學武器和生物武器的禁令似乎頗有成效。如今，推行《禁止致命性自主武器宣言》的主要障礙是俄羅斯、美國和英國的反對。這三個國家認為現在還為時尚早，但是我認為應該未雨綢繆。

第三個解決方案是對自主武器加以管控。對其加以管控，就必須保留人類對使用武器系統的決定權。同樣，這也是一件復雜的事情，因為在通常情況下，寬泛的技術規范很難在短期內取得明顯成效。比如自主武器的定義是什么？如何去監測違規國家？這些都是短期的難點。

既然要暢想未來，請允許我構想一個2041年的條約：到那時，所有國家都達成一致——未來戰爭將僅由機器人參與作戰（或者由軟件模擬進行就更好了），承諾不造成人員傷亡，但各國會在戰爭結束后依據輸贏交付戰利品;或者未來戰爭由人類和機器人共同作戰，但機器人使用的武器僅能對機器人造成傷害，而無法對人類士兵造成傷害（就像激光槍游戲）。這些設想在今天看來顯然是不現實的，但以此為基礎，人們在未來可能會構想出一些實際的應對策略。

我希望人們能夠重視自主武器可能帶來的危險。自主武器不是未來科幻中的威脅，而是現在就已經明確存在的威脅，而且它還將以前所未有的速度向更加廉價、容易組裝、靈活、智能、有殺傷性的方向進化。自主武器沒有核武器所具備的那種天然威懾性，它將在各國不可避免的軍備競賽中加速發展。顯然，自主武器是最有悖于人類道德觀且對人類延續存在威脅的AI應用，我們需要讓領域內的專家和各國首腦共同參與到對自主武器未來發展的討論中來，權衡不同的解決辦法的利弊，找到一種能夠阻止自主武器肆意擴散、避免人類走向滅亡的最佳方法。