淺談人工智能軍事應用的國際法風險及對策

周璞芬 王一泓

內容提要：人工智能在引發軍事領域革命性變革的同時，也對現行國際法體系產生很大影響。其內在原因是人工智能武器的四大特性，即自主性、非理智性、不可靠性及不可預測性。人工智能軍事應用的國際法風險主要來自以下五個方面，即人工智能武器作為作戰手段、人工智能取代人類實施軍事決策、人工智能本身的安全缺陷、人工智能遭受損害、人工智能或引發軍備競賽。防范由此而來的國際法風險，應當設立管理人工智能軍事應用的國際組織，制定有關人工智能軍事應用的國際規則，加強人工智能軍事應用的國際學術交流。

目前，世界各軍事強國都致力于占據人工智能軍事應用的制高點。人工智能在引發軍事領域革命性變革的同時，也對現行國際法體系產生很大影響。充分認識人工智能軍事應用的國際法風險，將人工智能軍事應用納入現有國際法體系加以防范，是國際社會面臨的一個重大課題。

一、人工智能軍事應用引發國際法風險的內在原因

目前，人工智能的軍事應用已基本覆蓋所有的軍事領域，包括武器裝備、后勤保障、作戰指揮、軍事訓練等等。但是，人工智能的軍事應用會引發人類社會普遍擔憂，以致需要警惕其違反國際法的風險。究其根本原因，是因為人工智能本身所固有的幾個特性。

（一）人工智能武器的自主性

自主性，即自己做主的特性。人工智能武器屬于部分自主或完全自主的武器系統，具有“排除人類干預或控制而自行觀察、判斷、決策、行動”的特征。而人工智能武器特別是自主武器雖然由人研發和生產，但在進入使用階段后，將擺脫人的操控而自主行事。也就是說，自主武器能夠在無人直接干涉的條件下進行軍事決策，決定什么時候發起攻擊、攻擊哪個目標。現行國際法的適用規則中，沒有考慮武器裝備的自主性問題。人工智能武器由于自主性的特點，而不能適用于現行國際法。比如，在不受人控制的情況下，人工智能武器可能會因自主作出決定，而造成濫殺無辜的后果。再比如，當人工智能武器的自主決定出現錯誤而違反國際法規則時，其責任如何判定？其違法責任由誰承擔？是機器還是制造商？是技術開發者還是武器的使用者？

（二）人工智能武器的非理智性

理智，是人類特有的辨別是非、利害關系及控制自己行為的能力，是人類的本質屬性之一。人工智能雖然可以對人的意識、思維的信息處理過程進行模擬，像人一樣思考，甚至超過人的智能，但人工智能不是人的智能，更不能代替人的智能，因為其永遠不可能擁有人的理智性。而國際法是對有關國際社會的行為規范，其對象是具有理智的人類。人類正是基于自身的理智性，制定國際法，以對被認為有違人類共同利益的行為加以限制，并通過自身辨別是非、利害關系及控制自己行為的能力，來遵守國際法。由于人工智能不具備人類獨有的理智，不會自主辨別是非、利害關系及控制自己行為的能力，因此在軍事領域，部分甚至完全用人工智能代替人類，必將帶來巨大的違法風險。

（三）人工智能武器的不可靠性

可靠性，是指元件、產品、系統在一定條件下無故障執行指定功能的能力或可能性。人工智能應用于軍事領域，主要是作為一種賦能系統而發揮功用的，其本質也是作為一種元件、一套系統而存在的。因此，人工智能也存在可靠性問題。在軍事領域，人工智能武器的不可靠性，表現在可能會出現功能異化，即由人類賦予的原有智能發生變化。在戰場上，這種智能異化可能導致目標識別錯誤、不恰當的攻擊、軍事決策失誤等嚴重事故，并由此引發違反國際法的風險。

（四）人工智能武器的不可預測性

人工智能武器的不可預測性，來自于其自我學習功能。先進的人工智能可以利用神經網絡，讓系統基于大量數據實現自我學習和自我推理。由于這種深度學習系統的復雜性，程序人員和工程師往往無法準確預測人工智能武器系統通過學習能夠獲得何種能力，或者說，無法預見有學習能力的人工智能武器如何應對未來情況，甚至無法解釋系統為什么作出該決定。因此，把這種具有自我學習能力的人工智能與致命性武器結合起來，勢必帶來巨大的系統失靈風險。屆時，軍事指揮官不再能夠控制武器乃至整個軍事行動。一旦出現這種情況，其后果可能包括大規模自相殘殺、平民傷亡，或者出現沖突升級等。

二、人工智能軍事應用可能引發的主要國際法風險

根據人工智能的特性，其在軍事上的應用，包括以自主武器為作戰手段、人工智能取代人類進行軍事決策等。但人工智能的安全性缺陷、遭受攻擊或破壞，以及有可能造成的軍備競賽，都將引發主要國際法風險。

（一）自主武器作為作戰手段可能引發的國際法風險

自主武器是基于人工智能的作戰平臺、目標識別、危險監控與態勢感知、數據處理和自主決策的綜合運用，是人工智能武器的最高形式。現行戰爭法對武器系統、作戰手段和作戰方法有著嚴格規范，包括使用的原則、規則、規章制度等。自主武器系統作為一種作戰手段，毫無疑問應該適用于戰爭法的有關規則。而其使用是否會造成違反國際法的后果，目前國際社會尚未形成權威性結論，更沒有在其禁止或限制使用方面形成共識。但是，不少國家及國際組織已經開始從國際法角度對自主武器進行嚴格審視，并對其可能的違法情境提出許多質疑。當前，國際社會主流意見認為，鑒于自主武器能夠在無人干預情況下實施搜索、識別并選定攻擊目標，一旦出現對戰斗員和平民的誤判，將有違國際人道法原則。更為嚴重的是，如果賦予人工智能武器系統“自主開火權”，那么，人與武器的關系將發生質變，“機器代理人戰爭”將成為人類社會不可承受之重。

（二）人工智能取代人類進行軍事決策可能引發的國際法風險

目前，人工智能已經能夠針對極為復雜的任務進行高效率的信息搜集和優化處理。人工智能系統應用于軍事指揮的模擬及輔助決策等復雜任務領域，其強大的計算能力能夠幫助人類在軍事決策中選擇最優方案。隨著人工智能技術的不斷發展，人類在軍事指揮系統中將越來越依賴人工智能，甚至完全依賴其進行指揮和執行作戰任務。

“戰爭是政治的繼續。”人類歷史上，任何戰爭，包括小規模武裝沖突，敵對雙方的決策者都必須從政治需要出發，綜合考慮多種因素與規則，才能作出符合政治常理的軍事決斷。隨著大數據和人工智能技術在軍事領域的深度應用，其對軍事決策過程將產生重大影響。如果軍事決策完全或部分交由人工智能，很可能由于決策失誤而引發重大的政治風險。

2017年，北約科學和技術組織把“使用大數據和人工智能工具進行軍事決策”作為其主要研究課題之一。如果人類把軍事決策權完全交由人工智能系統，后果將不堪設想，其給國際法體系所造成的沖擊，甚至超過直接實施攻擊的自主武器帶來的沖擊。

（三）人工智能的安全性缺陷可能引發的國際法風險

人工智能武器的全面應用，還可能對武裝沖突法的區分原則、比例原則等，構成重大挑戰和威脅。這是因為，在智能武器的使用過程中，作為人工智能核心的算法和數據都有潛在的安全風險。從編程的角度看，任何代碼都是由人編寫的，任何人都無法確保程序絕對安全、可靠、可控、可信；從數據的角度看，人工智能武器的應用依賴于大數據，而軍事數據的獲取、加工、存儲和使用等環節，都存在質量和安全風險，也就是說，任何一個環節的紕漏都可能影響算法的判斷，進而影響武器的使用。

由此可見，人工智能武器因算法和數據風險而不可避免地產生一定程度的不可預測性和不確定性。當數據和算法因各種原因發生錯誤時，人工智能武器極有可能不分青紅皂白攻擊平民和民用目標，以及造成其他不必要的附帶毀傷，從而違背國際人道法體系的基本精神。

此外，即使算法和數據都是正確的，人工智能武器也存在天然缺陷：即無法理解人類社會的感情、情緒、習慣等，因而無法像人一樣思考和行動。例如，如何判斷負傷的戰斗員是否喪失戰斗力、如何解讀不同環境下人的肢體語言等問題，都難以通過單一的運算法則來解決，這使得人工智能武器無法像人一樣對特定情境作出合理判斷。

（四）人工智能系統遭攻擊和破壞時可能引發的國際法風險

在未來戰爭中，既然人工智能作為一種戰術技術手段，其本身無疑會成為敵對雙方相互攻擊和破壞的重要目標，且置身于戰場環境的人工智能系統在自我防護及抗打擊方面，不僅不具備任何超過其他武器的能力，反而更加脆弱，極易發生故障。一旦人工智能系統遭到攻擊，其所造成的損害及帶來的法律風險，可能遠遠大于非人工智能目標。

原因在于，對人工智能系統的攻擊與破壞，除削弱對方的作戰能力外，還有可能造成不同于傳統人道災難的嚴重后果。比如，當人工智能的算法遭到攻擊時，數據庫可能被篡改，網絡聯系可能被操縱。當數據庫或算法被攻擊時，運算和更新就會偏離預計的軌道，形成惡性算法，在應用時無法辨識敵我；當遠程操控環節或人工智能決策程序被攻擊時，己方的武器就可能變成敵人的武器。網絡、人工智能和移動設施的融合，會讓網絡攻擊從虛擬攻擊升級為物理攻擊。因此，人工智能系統遭遇攻擊所造成的人道災難，將嚴重沖擊現有國際人道主義法規體系。

（五）人工智能領域的軍備競賽沖擊現行國際軍控規則

由于人工智能在軍事領域的巨大潛在價值，促使世界各軍事強國紛紛開發各種智能武器平臺，人工智能領域的軍備競賽已初露端倪。

目前，美國國防部已經利用人工智能增強網絡防御能力。美國MAVEN項目組整合了大量人工智能系統，用于搜集和處理情報；同時，美國還在戰斗層面，大量融合機器學習、人機戰斗編組等人工智能要素。俄羅斯軍事工業委員會計劃，到2030年將戰斗部隊中遠程操控和自動機器人平臺的比例提高至百分之三十。①轉引自藍山：《人工智能在中俄兩國軍事領域的應用發展概述》，知遠戰略與防務研究所，www.knowfar.org.cn。其他面臨人力短缺和安全挑戰的國家，如日本、以色列等，也很可能步其后塵。

雖然人工智能武器在安全性問題、倫理問題、責任追溯問題等都未得到解決，但美國智庫普遍主張，為確保軍事領先優勢，美國在人工智能武器上不應自我設限，而應全力以赴、率先研發、率先應用。2016年12月，中國在聯合國第五屆特定常規武器大會上提交立場文件，呼吁將全自動武器納入國際法的管制之下。②參見白聯磊：《人工智能治理須未雨綢繆》，載《瞭望新聞周刊》，2018（9），60～61 頁。但是，世界各國尚未就此達成共識。

人工智能在軍事領域應用或引發的軍備競賽，給本已十分脆弱的國際軍控體系增加了新的不確定因素。對此，國際社會必須未雨綢繆，早作準備，通過制定新的軍控規則，及時對人工智能武器的研制、生產和使用作出必要的禁止或限制性規范。

三、人工智能軍事應用國際法風險的防范

對人工智能國際法風險的防范可謂任重道遠。為了人類社會的共同利益，國際社會理應給以足夠重視，盡早采取防范措施。

（一）建立一個國際組織，統一處理人工智能軍事應用的國際法風險

聯合國曾經于2014年和2015年就人工智能武器召開兩次非正式會議，并于2016年12月16日在關于《特定常規武器公約》的聯合國會議上，成立致命性自主武器系統（LAWS）政府專家組（GGE），專門負責研究致命性自主武器領域的新興技術，并評估其對國際和平與安全的影響，從而為國際治理提出建議。③參見魯傳穎：《人工智能安全：挑戰與機遇》，載《重慶與世界》，2018（20），60頁。

但是，面對世界軍事強國在人工智能武器研發方面咄咄逼人的形勢，目前的國際干預機制未免有些無能為力。2019年2月11日，美國總統特朗普簽署行政命令啟動“美國人工智能計劃”后僅僅一天，美國國防部網站便公布了《2018年國防部人工智能戰略摘要——利用人工智能促進安全與繁榮》的文件，對人工智能在軍事領域應用進行戰略規劃與行動部署。文件分析了美國國防部在人工智能領域面臨的戰略形勢，確定了應用人工智能的目標，闡明了增強人工智能能力的途徑和措施。

因此，當務之急，應盡早建立一個關于人工智能的專業性國際組織，或作為聯合國的一個下屬機構，或作為一個多邊機構，啟動對人工智能軍事應用的管理。其職能是為人工智能軍事應用問題提供一個國際協商平臺，以便就此展開充分討論，并逐步積累共識，為人工智能軍事應用的管控創造條件。

（二）著手制定國際規則，為人工智能軍事應用提供國際法依據

當前，對于人工智能軍事應用的前景及其影響，國際社會意見紛紜，莫衷一是。2015年，曾經有三千多名機器人和人工智能專家共同簽發了一封信，呼吁禁止自主武器。①參見遠航：《人工智能革命將走向何方？》，航空工業網，http://www.cannews.com.cn/2016/1205/161323.shtml。很多非政府組織，如國際人權觀察組織、紅十字會國際委員會等也認為，各國政府應當預先禁止全自主武器，以免使用時危及平民；并呼吁各國遵守《日內瓦公約》第一附加議定書第36條：在使用或發展該類武器（人工智能武器）時，預先對其后果和對國際人道法的影響作出判斷。

但是，由于人工智能技術在軍事應用中的潛在巨大價值，以及出于爭奪軍事技術制高點和保持絕對軍事優勢的需要，世界軍事強國反而加快自主武器的研發力度，極力爭奪和維護在該領域的優勢地位。因此，針對人工智能武器，必須制定出權威性的國際規則。早日把人工智能武器的軍備控制提上國際議事日程，是國際社會面臨的一個緊迫課題。

（三）加強國際學術交流，為人工智能軍事應用的國際法風險防范提供理論指導

人工智能在軍事領域的應用尚處于初始階段。對于其所發揮的功用以及能給現有國際法體系造成的沖擊，都難以預料。

為了破解人工智能應用于軍事領域的大量未知，規避可能造成的國際法風險，必須加強人工智能軍事應用的國際學術交流。通過各種國際組織以及多邊及雙邊的學術平臺，對人工智能軍事應用的相關問題，如應用領域、應用前景、應用規則、風險挑戰、負面影響、法律風險、管控措施等，展開充分討論，達成共識，為國際社會制定有關人工智能軍事應用的國際條約提供理論指導。

我國作為一個負責任的大國和聯合國常任理事國，應無條件地支持和參與上述學術交流活動，在爭取人工智能軍事應用話語權的同時，為最終解決人工智能軍事應用的有關問題及防范其國際法風險，提供中國智慧與中國方案。