人工智能與國際穩定
——風險和建立信任措施

邁克爾·霍洛維茲，保羅·沙爾

（新美國安全中心，美國 華盛頓特區 20005）

0 引 言

近年來，機器學習革命引發了一系列行業對人工智能（AI）應用的興趣。各國也在動員將人工智能用于國家安全和軍事目的。[1]因此，評估人工智能軍事化如何影響國際穩定以及如何鼓勵軍方以負責任的方式采用人工智能至關重要。要做到這一點，就需要了解人工智能的特點、它塑造戰爭的方式，以及人工智能軍事化給國際穩定帶來的風險。

人工智能是一種類似于計算機或內燃機的通用技術，而不是像導彈或飛機那樣的離散技術。因此，盡管對“人工智能軍備競賽”的擔憂言過其實，但真正的風險依然存在。[2]此外，盡管許多國家領導人言辭激烈，但迄今為止在人工智能方面的軍費開支相對較少。軍方對人工智能的追求，與其說是激烈的軍備競賽，不如說更像是對新技術的例行采用，以及對計算機、網絡和其他信息技術采用的數十年趨勢的延續。盡管如此，將AI 納入國家安全應用和戰爭仍會帶來真正的風險。然而，僅僅認識到風險是不夠的。解決這些問題需要為各國采取切實可行的措施提出建議，以盡量減少軍事AI 競爭帶來的風險。各國可以采取的一種辦法是建立信任措施（CBMs）：各國可以采取單邊、雙邊或多邊行動來建立信任和防止無意中的軍事沖突。建立信任措施通常涉及利用透明度、通知和監測來試圖減輕沖突風險。[2]由于當今國際競爭的特點與冷戰時期（當時建立信任措施作為一個概念變得突出）不同，采用建立信任措施面臨著挑戰。然而，考慮建立信任措施的可能性并探索形成有關人工智能對話的方式，可能會采用促進穩定的建立信任措施的可能性更大。

本文簡要概述了人工智能軍事應用對國際穩定的一些潛在風險，包括人工智能影響戰爭性質的方式、基于當前人工智能技術限制的風險以及與某些特定任務領域有關的風險，如核行動，其中引入人工智能可能會給穩定性帶來挑戰。然后，本文描述了解決這些風險的可能的信任措施，從適用于人工智能許多軍事應用的廣泛措施轉向旨在解決特定風險的有針對性的措施。在每一次有關建立信任措施的討論中，本文都闡述了采用建立信任措施的國家的機遇和潛在弊端。

1 人工智能的軍事用途：對國際穩定的風險

軍方固有的興趣是要保持領先于競爭對手，或者至少不落后于競爭對手。國家希望避免部署劣質的軍事能力，因此通常會尋求可以提高戰斗力的新興技術。盡管追求新技術是正常的，但某些技術卻因其對穩定性的影響，或將戰爭轉移到對所有參戰人員或平民造成傷害增加的方向而引起關注。例如，在20 世紀初，一些大國就針對一系列工業時代的技術引發軍備控制進行了辯論，結果是喜憂參半，他們擔心這些技術會深刻地改變戰爭。其中包括潛艇、空投武器、爆炸子彈和毒氣。

核武器發明之后，鑒于核武器的巨大破壞力，圍繞其潛在用途的擔憂主導了決策者的注意力。特別是在古巴導彈危機顯示出確實存在的風險升級之后，美國和蘇聯就一系列武器技術進行了軍備控制，其中包括戰略導彈防御、中程導彈、天基大規模毀滅性武器（大規模殺傷性武器）、生物武器以及中子彈和反衛星武器的明顯默契克制。美國和蘇聯有時還通過諸如《開放天空條約》和1972 年《海上事件協定》之類的措施進行合作，以避免錯誤估計并提高穩定性。

研究人工智能與戰爭的結合是否會帶來決策者應該關注的風險是合理的，事實上也是至關重要的。一些人工智能研究人員自己也對軍方采用人工智能及其可能增加戰爭和國際不穩定風險的方式發出了警告。[3]然而，由于人工智能不像導彈或潛艇那樣是一種離散的技術，因此理解人工智能在軍事上的使用所帶來的風險是很復雜的。作為一種通用技術，人工智能有許多應用，其中任何一種都可能以各種方式提高或破壞穩定性。

軍方才剛剛開始采用人工智能，在不久的將來，軍事人工智能的使用可能會受到限制，而且限制會逐漸增加。隨著時間的推移，通過引入人工智能對戰爭的認識可能會深刻地改變戰爭，就像過去的工業革命塑造了戰爭一樣。[4]即使軍方成功地管理了安全和安保問題，并且野戰人工智能系統是強健和安全的，正常運作的人工智能系統也可能給國際穩定帶來挑戰。

例如，中美兩國學者認為，在作戰行動中引入人工智能和自主系統可能會加快戰爭的步伐，超出人類控制的范圍。中國學者將這一概念稱為戰場“奇點”[5]，而一些美國人則創造了“超級戰爭”一詞來指代類似的想法。[6]如果戰爭發展到戰斗速度超過人類跟上的能力，就有可能必須將軍事行動的控制權交給機器，而這將對國際穩定構成重大風險。人類可能會失去對升級管理的控制權，并且如果機器以比人類能夠響應的速度更快地作戰，則終止戰爭可能會變得非常復雜。此外，將升級控制權下放給機器可能意味著在混亂和迷霧的戰爭中，作為軍事行動重要組成部分的輕微戰術失誤或事故，包括自相殘殺、平民傷亡和軍事判斷力差，可能在人類有時間干預之前失控并達到災難性的程度。

戰場奇點或超級戰爭的邏輯之所以令人不安，正是因為競爭壓力可能會促使軍隊加快作戰節奏，并將人類“從循環中”排除，即使他們寧愿不這樣做，但是只有這樣才能跟上對手的步伐。當時的國防部副部長羅伯特·沃克（Robert Work）提出了一個問題，“如果我們的競爭對手成為‘終結者’……事實證明，‘終結者’能夠更快地做出決定，即使他們很糟糕，我們該如何應對？”[7]雖然這種“速度上的軍備競賽”通常在致命的自主武器系統的背景下以戰術為特征，但同樣的動態可能會在操作上出現，包括設計為決策輔助工具的算法。決策者認為，戰爭正在演變為一個機器主導的沖突時代，在這個時代，人類必須將控制權讓給機器才能保持競爭力，這就可能加速這種發展，特別是如果決策者缺乏有關人工智能局限性的適當知識背景。在極端情況下，軍事決策算法的使用，再加上更加自動化的戰場，可能會改變戰爭的性質。從最廣泛的意義上講，戰爭仍然是政治的延續，但在最極端的情況下，它可能很少有人類參與，因此不再是人類的意志體現。[8]

人工智能的廣泛采用可能在其他方面對國際穩定產生凈影響。人工智能系統可以改變戰爭中的戰略，包括在某些任務領域用機器代替人類的決策，從而將人類心理的某些方面從戰爭中去除。[9]今天的戰爭是由人類通過物理機器進行的，但決策幾乎普遍是人類主導的。隨著算法越來越接近戰場，一些決策將由機器做出，即使戰爭仍然是為人類政治目的而進行的由人類指揮的活動。機器決策在戰術、作戰和戰略層面的廣泛整合可能會產生深遠的影響。在玩實時電腦戰略游戲（如星際爭霸和Dota2）時，人工智能特工已經表現出超越人類的攻擊性、精確性和協調性。在撲克和圍棋等其他策略游戲中，人工智能已經證明了一種能力，可以從根本上調整游戲風格和冒險行為，而這種方式充其量只是挑戰人類出于心理原因的模仿。人工智能dogfighting 代理同樣表現出超人的精確性，并采用不同的戰術，因為它們有能力承擔更大的風險。[10]

在許多方面，人工智能系統有能力成為完美的戰略代理人，不受恐懼、厭惡情緒、承諾偏見或其他人類情感或認知偏見和局限性的束縛。[11]雖然用于電腦游戲的特定算法和模型不太可能很好地轉移到作戰應用中，但人工智能代理相對于人類的一般特征和優勢可能在軍事領域得到應用。就像速度一樣，機器決策對作戰心理的凈影響可以深刻地改變戰爭的性質。[12]

人工智能可能會對戰爭產生其他累積效應。[13]決策者通常根據對對手能力和意圖的理解來評估對手的行為。向人工智能的轉變可能會破壞這兩個領域的決策者知識。軍事能力向軟件的過渡已經在進行，但可以說是由于采用AI 和自治系統而加速的，這可能會使決策者更難準確地判斷相對的軍事能力。因此，有關敵方能力的不完整信息會增加，可以想象，這會增加誤判的風險。或者，相反的可能是真正的人工智能，即用于情報收集和分析的自主系統可以從根本上提高軍事力量的透明度，使決策者更容易判斷軍事能力并提前預測沖突的結果。增加的透明度可以減少計算錯誤的風險，并化解一些潛在的沖突，然后再開始決策。

人工智能融入軍事系統，再加上向更自動化的部隊結構轉變，也可能會改變決策者承擔風險的門檻，要么是因為他們相信有更少人的生命處于危險之中，要么是因為人工智能系統能夠實現更高的精度，要么是因為他們認為人工智能系統具有獨特的危險性。人工智能系統的感知可用性可能會改變決策者對其預見沖突結果或獲勝能力的信念。

毫無疑問，站在人工智能時代的開端，想象人工智能在軍事行動的各個方面的應用所產生的累積后果是一個挑戰，包括影響人類對技術的認知和技術特征本身的影響。19 世紀末和20 世紀初試圖管制工業時代武器影響的歷史表明，即使決策者準確預測了某些技術的風險，例如空中運載武器或毒氣，他們經常精心制定法規，結果發現這些法規不適合這些技術成熟時所采用的特定形式。此外，即使雙方都希望克制，那些法規也經常在戰爭的緊急情況下崩潰。[14]我們沒有理由認為，我們在預測未來技術發展道路或抑制戰爭的能力方面的先見之明在今天會更好。然而，在開始思考人工智能影響戰爭的各種方式時，無論大小，還是有好處的。

即使超出上述情況，也有可能將人工智能的軍事應用如何影響國際穩定分為兩大類：（1）與算法的性質和軍方使用算法有關的風險；（2）與軍方將人工智能用于特定任務有關的風險。

2 人工智能的局限性帶來的風險

軍事上采用人工智能的一個挑戰是，與采用新技術相關的兩個關鍵風險正處于緊張狀態。首先，軍方可能無法采用（或足夠迅速地采用或以正確的方式使用）一種產生重大戰場優勢的新技術。最近的一個例子是，盡管軍用無人機市場總體上有所增長，但無人駕駛車輛的采用有時是美國國防機構內部爭論的一個來源，主要是基于這種新技術相對于現有替代技術的優點的辯論。[15]

或者，軍方可能會過快地采用一種不成熟的技術，在一種技術如何改變戰爭的新的、未經檢驗的主張上下大量錯誤的賭注。考慮到軍方在確保其能力在戰場上發揮作用方面的天然動機，可以合理地假設，軍方將合理地管理這些風險，盡管并非不會發生一些災難。但在權衡事故風險與技術創新落后于對手之間的關系時，軍方可以說是把安全作為次要考慮因素。[16]在追求技術優勢的過程中，軍方可能會相對接受事故的風險，因為事故是軍事行動的一個常規要素，甚至在訓練中也是如此。[17]然而，在最終確保部署的能力是強大和安全的方面，存在著強烈的官僚利益，現有的機構流程可能會通過一些調整來管理人工智能的安全和保障風險。

對于軍方來說，在采用人工智能的過程中，在速度過慢與速度過快之間進行平衡是復雜的，因為人工智能，尤其是深度學習，是一種相對不成熟的技術，存在著嚴重的漏洞和可靠性問題。在沒有足夠的數據來訓練機器學習系統的情況下，這些問題就更加突出了。機器學習系統通常依賴于非常大的數據集，而這些數據集在某些軍事環境中可能不存在，特別是在涉及罕見事件的早期預警或在多維戰場中跟蹤對手行為時。當使用不充分的數據集進行訓練或在狹窄的設計環境之外使用時，人工智能系統通常是不可靠和脆弱的。人工智能系統往往看起來很有能力，在某些實驗室環境中表現良好，但在現實世界中，在不斷變化的環境條件下卻會急劇失效。例如，在某些情況下，自動駕駛汽車可能比人工駕駛更安全，然后在人工駕駛不會有麻煩的情況下，自動駕駛會莫名其妙地變成致命的。此外，深度學習算法目前可能是不夠可靠的安全關鍵應用，即使在其設計規范的范圍內運行仍然如此。[18]

例如，對跨人群的算法可靠性的限制的擔憂阻礙了面部識別技術在美國的部署，特別是在執法等后果嚴重的應用中。軍方也應該關注其人工智能系統的技術限制和漏洞。軍方需要有效的技術，尤其是在戰場上。因此，美國國防部（DoD）的人工智能戰略要求人工智能系統具有“彈性、魯棒性、可靠性和安全性”。 考慮到當今許多算法的使用所面臨的可靠性問題以及戰場使用的高度動態條件，這無疑是正確的方法，但至少在短期內是一個挑戰。

另一個挑戰來自安全困境的動態。競爭壓力可能導致各國采取捷徑測試與評估（T&E），以期在對手之前部署新的人工智能能力。在自動駕駛汽車和商用飛機自動駕駛儀的人工智能系統事故風險方面，類似的競爭壓力似乎起到了加劇作用。軍方評估一個可靠性不確定的人工智能系統，如果他們相信其他國家也在采取類似措施，他們可能會感到加快部署的壓力，這并非毫無道理。從歷史上看，這些壓力在戰爭前和戰爭期間都是最高的，在戰爭期間，由于現實生活的影響，圍繞新技術的風險或回報等式可能會發生變化。例如，競爭壓力可能促使第一次世界大戰中更快地引入毒氣。[19]同樣，在第二次世界大戰中，德國將資金從成熟的技術轉移到噴氣發動機、彈道導彈和直升機上，盡管這些技術在戰后才被證明是成熟的。這種動態風險可能會引發一種自我實現的預言，即各國出于擔心其他國家會首先部署未經充分測試的人工智能系統而加快部署。其凈影響不是軍備競賽，而是對安全的“抄底競賽”，導致部署不安全的人工智能系統，增加事故和不穩定的風險。

即使軍事人工智能系統得到了充分的測試，使用人工智能來實現軍事系統中更自主的機器行為也會帶來額外的風險。在將決策權從人下放給機器的過程中，決策者實際上可能在部署靈活性和理解能力較差的部隊，這將對危機穩定和管理升級產生有害影響。雖然機器在速度、精度和可重復動作方面有許多優勢，但今天的機器在理解上下文和靈活適應新情況方面還不能接近人類的智能。在沖突前的危機局勢中，機器決策的這種脆弱性可能尤其是一個挑戰，在這種局勢中，國家間的緊張局勢非常嚴重。在各種有爭議的地區，來自競爭國家的軍事力量經常在低于戰爭門檻的軍事化爭端中進行互動。部署部隊之間的這種互動有時會因可能加劇各方緊張局勢的事件或小規模沖突而面臨升級的風險。這對國家領導人提出了挑戰，他們對自己的軍隊指揮和控制不完善。然而，今天部署的軍事力量依賴于人類的決策。人類可以從他們的國家領導和指揮官的意圖中理解其廣泛的指令，例如“保衛我們的領土，但不要發動戰爭”。相對于人類，即使是當今最先進的人工智能系統也沒有能力理解廣泛的指令，它們也沒有表現出人類經常稱之為“常識”的那種背景理解。軍方已經在有爭議的地區使用無人駕駛車輛（無人機）。隨著時間的推移，隨著軍隊將更多的自主功能納入無人駕駛車輛，這種功能可能會使有爭議地區的互動變得復雜。

自主系統可能會根據編程采取行動，這些編程雖然不是故障，但與指揮官在相同情況下希望處于類似位置的人所做的不同。盡管軍事文化和理論賦予部署的靈活性程度有很大差異，但人類有更大的能力靈活應對復雜和可能模棱兩可的升級事件，從而可以在確保升級的同時滿足國家決心的競爭需求。[20]自主系統將簡單地遵循它們的程序，不管那可能是什么，即使那些規則不再有意義或與指揮官在特定情況下的意圖不一致。由于人類指揮官無法預測在有爭議地區部署的前方軍事力量可能面臨的所有可能情況，這一挑戰更加復雜。在危機中使用自主系統有效地迫使人類決策者用某些預先指定的行動來約束自己，即使他們不愿意這樣做。

自主系統在軍事糾紛或有爭議地區采取的意外行動對軍隊構成了挑戰，因為他們在部隊中采用了更多的自主系統。當今使用的許多自主系統的復雜性，即使是那些依賴基于規則的決策的系統，也可能意味著使用自主系統的人員對某些情況下該系統可能采取的行動缺乏足夠的了解。相比之下，人類有能力靈活地解釋高級指揮官的指導，甚至忽略指導，即使在不再適用的指導下，也可以通過在有爭議的部隊之間互動時保留人類的決策來管理風險升級地區。[21]

意外局勢升級不僅僅局限于致命的行動，例如向敵軍開火。非致命的行動，例如越過另一個國家的領土，也可以被視為升級。即使這些行動不會直接導致戰爭，也可能加劇緊張局勢，增加對對手意圖的懷疑，或激化公眾情緒。雖然在大多數情況下，人類仍然會保留如何應對事件的代理權，但相互競爭的自主系統可能會產生意想不到的交互作用或不斷升級的螺旋。在其他環境中，包括金融市場，甚至在算法相對簡單的情況下，也可以看到算法之間復雜的交互動態。[22]另一個問題源于一旦部署，人類可能無法取消自主系統。采用自主功能的一個原因是，即使無人駕駛的車輛在沒有與人工控制器的可靠通信鏈接的情況下運行，它們也可以繼續執行其任務。當人類操作員和自主系統之間沒有通信鏈接時，如果政治環境發生變化，導致系統行為不再合適，人類操作員將無法召回該自主系統。如果政治領導人決定終止敵對行動，但至少在一段時間內沒有能力召回自主系統，這可能是使沖突升級的挑戰。其結果可能是，即使政治領導人希望停火，敵對行動仍將繼續。或者，不能完全停止敵對行動可能破壞停戰談判，導致沖突繼續。這些問題并不是自主系統所獨有的。政治領導人對人類軍事力量的指揮和控制不完善，有時也會導致人類指揮部署的部隊發生類似的事件。例如，1812 年的新奧爾良戰役是在一項和平條約簽署后進行的，因為指揮部門與已部署部隊的通信遲緩。

3 在特定軍事任務中使用人工智能的風險

由于軍事任務的性質，在某些情況下，將人工智能引入軍事行動也可能帶來風險，即使人工智能系統的性能正確且符合人類意圖。一些現有的研究已經把重點放在人工智能與特定軍事任務領域的交叉點上，尤其是核穩定性。鑒于有意或無意核爆炸的潛在后果，核穩定顯然是一個令人關切的領域。致命性自主武器系統（LAWS）是人工智能的一種特殊用途，它將致命性決策權從人類委托給機器，也是現有研究的一個重點領域。關注人工智能風險的學者可能會特別關注其他領域。人工智能與網絡安全和生物安全的交叉點是值得探索的領域，目前的研究工作相對較少。[23]

人工智能的潛在風險應用已經超出了戰場，擴展到人工智能在預警和預測對手行為等領域的輔助決策。例如，用于監視、跟蹤和分析大量敵方行為數據的人工智能工具，對于潛在攻擊的早期指示和警告具有明確的價值。然而，算法也有已知的局限性和潛在的問題特征，例如缺乏透明度或可解釋性、面對數據分布變化的脆弱性和自動化偏差。人工智能系統在新的條件下往往表現不佳，這表明人類的判斷仍在發揮作用。人類傾向于自動化，再加上非人工智能預警和預測系統產生虛假警報的歷史，表明決策者應謹慎對待人工智能在預警和預測中的應用，盡管人工智能在智能決策輔助工具中具有潛在價值。確保在預警和預測場景中負責任地使用人工智能系統的教育和培訓至關重要。

最后，自主系統提出了新的挑戰，即在有爭議的地區，因為收到的信號模棱兩可，它們的行為是否應由人類指揮官決策。即使系統按照預期運行，由于上述命令和控制問題，對手也可能不知道自主系統的行為是否符合人類的意圖。在危機情況下，這會造成如何解釋自主系統行為的模糊性。例如，如果一個自主系統向一個國家的軍隊開火，這應該被解釋為指揮國家的政治領導人故意發出的信號，還是一個意外？但這其實并不是一個新問題，因為人類指揮的軍事力量也面臨類似的挑戰。各國可能不知道敵方部署部隊的行動是否完全符合其政治領導層的意志。由于自主系統的行為是否與人類的預期行為一致的不確定性，自主系統可能會使這種動態復雜化。

4 結 語

人工智能的軍事應用帶來了一些風險，包括人工智能改變戰爭性質的方式、當今人工智能技術的局限性，以及將人工智能用于核行動等特定軍事任務。決策者應該意識到這些風險，因為各國開始將人工智能納入其軍事力量，他們應該盡可能地減輕這些風險。由于人工智能是一種通用技術，因此期望軍方整體上不采用人工智能是不合理的，正如期望軍方不采用計算機或電力一樣。然而，軍方如何采用人工智能系統非常重要，各種方法可以緩解軍事人工智能競爭帶來的風險。

建立信任措施是決策者可以用來幫助降低國家間軍事人工智能競爭風險的一個潛在工具。可以采用各種可能的建立信任的措施，所有這些措施都有不同的利弊。隨著學者和政策制定者進一步了解軍事人工智能競爭的風險，這些和其他建立信任的措施應與傳統軍備控制等其他方法一起仔細考慮。