防止AI核末日的到來

這不再是科幻小說的內容：將人工智能（AI）應用于核武器系統的競賽正在進行中。

沒人懷疑，使用核武器所帶來的風險，會給人類和地球造成難以估量的破壞。即便只是區域性核戰爭，它也可能直接殺死數十萬人，由此造成的氣候變化又可能使數十億人陷入饑餓。然而，最近數周內七國集團發布的行為準則和拜登的行政命令，都只是順便提到了有必要保護民眾免受人工智能所帶來的化學、生物與核領域的威脅，英國首相蘇納克則根本沒提到與核武器相關的人工智能應用所帶來的嚴重危險。

核歷史上的未遂事故屢見不鮮。很多時候，相比盲目遵從機器所提供的信息，人類選擇相信自己的判斷，世界末日也因此得以避免。1983年，蘇聯軍官斯坦尼斯拉夫·彼得羅夫收到其正在監控的預警衛星系統的警報：探測到美國核導彈正在飛往蘇聯。但彼得羅夫并未立即向其上級提出警示（此舉無疑會引發核“報復”），而是正確地認定這是一次錯誤的報警。

如果有人工智能的參與，彼得羅夫是否會做出同樣的決定—甚至，他是否會有這樣做的機會？事實上，將機器學習應用于核武，將削弱人類對于部署核武之決策的控制力。

當然，自核武器發明以來，越來越多的指揮、控制和通信任務已經進入自動化階段。但隨著機器學習的發展，先進計算機的決策過程變得越來越不透明—也就是所謂的人工智能“黑匣子問題”。這導致人類很難監控機器的運行，更不用說確定它是否受到了損害、出現了故障，或以可能導致非法或意外結果的方式進行了編程。

單純確保由人類作出最終的發射決策，并不足以緩解上述風險。正如心理學家約翰·霍利在2017年的一項研究中所總結的那樣，“人類非常不擅長滿足由監控機制所強加的監控和干預規定”。

此外，正如普林斯頓大學2020年科學與全球安全計劃所表明的那樣，領導人在面臨核危機時的決策時間已經非常短暫。即使人工智能僅用于傳感器和目標定位，而不是做出發射核武器的決策，它也會縮短決定是否打擊的時間。領導人所面臨的額外壓力，將增加誤判或非理性選擇的風險。

衛星和其他情報探測系統使用人工智能，會帶來另外一種風險：使隱藏歷史上一直處于隱蔽狀態的核武器（如彈道導彈潛艇）變得更加困難。這可能促使有核國家在沖突的早期就部署所有核武器—以求趕在對手有機會使已知的核系統無法行動之前。

迄今為止，從拜登的行政命令到七國集團的行為準則，沒有哪項倡議超出試圖保障人類繼續控制核武器決策的自愿承諾。但就像聯合國秘書長古特雷斯所指出的那樣，達成一項禁止“致命自主武器系統”的具有法律約束力的條約非常關鍵。

盡管上述條約邁出了必要的第一步，但要做的工作還有很多。具體到核武器領域，僅試圖預測、緩解或監管新興技術所帶來的新風險是遠遠不夠的。我們必須將上述武器徹底排除在權衡之外。這意味著，各國政府承諾通過加入《禁止核武器條約》來禁止和消除核武器，以通向一個沒有核武器的世界。這也意味著，擁有核武器的國家將停止投資于核武庫的現代化及拓展，包括以“保障”核武“安全”或免受網絡攻擊的名義—鑒于核武器存在本身就會帶來無法克服的風險，這樣的努力從本質上講是徒勞的。

我們知道，自主系統可能會降低參與武裝沖突的門檻。如果應用于核武，人工智能又為本已不可接受的風險水平增加了另一重風險。關鍵是，決策者和公眾必須對此有清醒的認識。

梅麗莎·帕克，澳大利亞前國際發展部長，現任“國際廢除核武器運動”的執行主任。本文已獲Project Syndicate授權。