強人工智能設備面臨的倫理困境與風險

內容提要 基于“人是目的”的價值設定而建立起的“倫理至善”第一原則讓強人工智能設備的研發和應用首先遭遇道德合法性的論證難題。“有限的道德合法性”為其謀求到了一個倫理存在空間。以致命性自主武器系統（LAWS）為例，“有限性”的前置條件則讓關于其“道德責任代理人”的準確識別與劃分成為首要問題。以道德判斷能力為標準，將作為“工具”的機器和作為“具有實踐智慧”的人做明確劃分是準確識別LAWS責任代理人的邏輯基礎。基于道德責任代理人的邏輯梳理，即使被完美道德編碼的LAWS作為“非道德”的機器在應用中也可能會遭遇“不道德的人”的倫理難題。這是我們可預見且對國際關系構建和整個人類社會發展可能產生顛覆性影響的倫理威脅。從這個角度看，謹防出現基于“技術野蠻”的“寡頭恐怖主義”這一時代命題要求我們盡快對相關強人工智能設備給出一套有效的、縝密的預防性倫理應對機制。

關鍵詞 強人工智能 致命性自主武器 有限的道德合法性 道德主體 寡頭恐怖主義

張亦佳，河海大學馬克思主義學院博士研究生、南京財經大學助理研究員

20世紀70年代，塞爾（John Searle）首次提出了“強人工智能”概念，認為“計算機不僅僅是用來研究人的思維的一種工具，只要運行適當的程序，計算機本身就是有思維的”[1]。業界認為相對于弱人工智能，強人工智能的優勢在于“機器可以全面、綜合地復現人類的所有思維能力，且聰明程度能夠達到或超過人類”[2]。2022年9月，AlphaGo Zero被證明能夠獨立于人類的經驗知識與指令，通過感知領域的深度學習和決策領域的不斷強化學習，最終實現智力的自我進化。強人工智能設備可能帶來的風險又一次引發廣泛關注和擔憂。關涉到戰爭領域，以智能無人作戰為主導的未來戰場將呈現出“零傷亡、高智能和無人制勝”的特點。隨著自主武器系統的深入研發與實踐應用，戰爭形態的范式轉變所引發的道德困境和挑戰將會是人類未來必須面對的重大倫理議題。自主武器系統的研發初衷是減少人類戰士在戰場上的傷亡，但是，近來基于強人工智能的致命性自主武器系統（lethal autonomous weapon systems，LAWS）已經被研發出來甚至出現了實戰應用案例[1]，而以此為代表的強人工智能設備可能帶來的倫理問題也日益凸顯。由于強人工智能的具體表現形式多樣，本文將以LAWS為例來具體分析此類強人工智能設備可能面臨的倫理挑戰。

一、強人工智能“倫理至善”的道德合法性難題及其可能性辯護

整體來說，強人工智能設備應該具備以下特征：須達到或超越人類智能、可實現“意識自醒”并形成“自己”獨特的行動目標、具備較為完整的認知能力序列和情境適應性能力等[2]。而依照相關概念，LAWS指的是“一種基于AI技術且具有自主決策性能的‘殺手機器人（killer robots）武器攻擊平臺，可以在不經過人類操作員干預的情況下，獨立搜索、識別目標并自主性地做出攻擊決策，其設計初衷是寄望于以智能機器人取代人類戰士從事戰場偵察、日常巡邏和執行危險性戰斗任務，從而達到降低人員傷亡、減少戰爭損耗和實現精準打擊之功效”[3]。可見，“自主性+攻擊性”的疊加性能是其區別于傳統軍事武器類型的最主要標志。由于LAWS具有“能夠在沒有任何人類指令輸入或人機互動操作情形下自主選擇攻擊目標并開火”的性能[4]，至少從表面上看，人就已經完全被排斥于一個軍事任務的閉環之外。目前關于LAWS的最大倫理爭議，實際上來自道德責任的認定，即馬蒂亞（Matthias）所提出來的關于軍用機器人使用中的“道德鴻溝”[5]問題。

在傳統意義上，正義戰爭一貫秉持“如果有可識別的戰爭罪行，就一定有可識別的罪犯”[6]的道德主張，在人工智能高度參與的各項軍事行動中，人們也應該要求有明確的、可識別的道德行為主體為各種軍事行動的后果和影響承擔起直接的道德責任。誰應該為LAWS承擔道德責任，LAWS是否要為自己的“自主性”承擔道德責任，責任代理人各方又應該承擔什么樣的道德責任，以及如何才是真實有效地承擔道德責任等問題，是當下最具爭議的倫理話題。在開始討論LAWS的道德責任之前，我們需要對LAWS最基本的前置性問題進行辨析，即從邏輯上來講，當人們提出“LAWS能否被視作一個獨立的道德行為主體，并能否成為其行為后果的道德責任代理者”的問題時，實際上就已經默認了這一基本預置前提——LAWS是被允許研發并應用于現代性軍事行動當中的。這就涉及對LAWS應用的道德合法性確證問題，如果有充分論證表明，LAWS是應該完全被禁止研發和應用于軍事行動中的，那么其道德責任問題也就隨之從根本上被消解而成為一個無意義的問題。因此，我們無論對LAWS持支持或反對意見，都必須首先給出關于其合法性的嚴謹而完整的道德哲學論證。

1.關于道德責任詰難的一個必要澄清

關于作為強人工智能的LAWS的研發及應用是否具有道德上的合法性問題，無論我們持何種觀點或許都會招致諸多倫理挑戰。但我們首先要做的是要從一種“責任鴻溝—道德禁令”互為前提、循環論證的思維泥潭當中擺脫出來。對LAWS的反對意見中，最具普遍性的道德理由及其證成邏輯如下：基于一個道德共識，即作為可以承擔道德責任的代理人的一個條件是有能力通過相應的痛苦或報酬，受到相應的懲罰或獎勵。因此，道德責任的一個必要條件是要將責任代理人納入懲罰和獎勵范圍。機器人缺乏諸如痛苦、快樂一類的感知能力，這就意味著任何懲罰方式都無意義。所以，強人工智能設備就不符合負責任代理的資格[1]。同樣，LAWS作為強人工智能設備的一種，任何對其不道德行為的事后指責都無意義。如此，在那些已發生的錯誤選擇行為中就沒有任何主體可以公平地去承擔災難性后果的道德責任。

那么，我們是否可以以此為全部理論依據而禁止LAWS參與到戰爭領域中呢？我們必須認識到，以上論證根本上隱藏了一種邏輯順序顛倒的無效論證：由于LAWS在道德責任方面的不確定性，因而不具有研發和使用上的道德合法性；進一步地，又因為LAWS不具有道德上的合法性，所以LAWS的道德責任討論是可以被消解的。因此可以得出一個結論：既無法準確劃分LAWS的道德責任，其也沒有道德上的合法性。但事實上，道德責任的歸屬問題并不能構成一個關乎終極價值目的和最高倫理關懷的道德合法性的說明，它應該是一個基于道德合法性探討而隨之出現的二階倫理問題。因此它也不能成為否定LAWS價值性存在的根本依據。對于上面的論證，一個很簡單的邏輯反詰是：如果有人愿意成為或者我們能夠尋求到一個道德責任的實際承擔者，LAWS是否就具有完全的道德合法性而可以被不加限制、隨心所欲地使用呢？顯而易見，這里的答案仍然是否定的。

實際上，現在大多數反對LAWS的道德聲音都是出于人們基于“殺人是不對的”這一基本常識性道德判斷，對LAWS可能摧毀生命的天然使命有著一種強烈的道德厭惡和情感抗拒[2]。只要對LAWS功能和主要軍事用途做一個大致了解[3]，單就“致命性武器”帶給人們的直觀感受而言，就不難理解為什么很多人對LAWS懷有如此強烈的道德直覺式排斥。這就像一個和平主義者基于對戰爭本身的道德厭惡而對其正義問題嗤之以鼻一樣。如果單純談論非武器化自主性機器人（即那些被我們稱之為“朋友機器人”的人工智能）的道德合法性問題，比如無人駕駛汽車、仿生智能寵物、機器人醫生、機器人服務員等，可能我們會寬容很多。因此我們期待更加理性、慎重、嚴謹的哲學審視和論證。

2.基于戰爭倫理先在規定的“有限的道德合法性”立場

到目前為止，我們只是說明了強人工智能在軍事應用中的邏輯混亂問題，而仍未給出關于LAWS的任何道德合法性說明。為LAWS做道德合法性辯護非常困難的原因很大一部分在于“自主性+致命性武器”的組合而導致的雙重界定難題。從智能性來看，2018年歐盟發布的由歐委會人工智能高級專家組（AIH-LEG）所起草的《可信任人工智能倫理指南》（Ethics Guidelines for Trustworthy AI）[4]，對人工智能所要求的內在遵循仍然是“人為自己立法”的規范性原理。也就是說，包括強人工智能設備在內的所有人工智能的設計、制造和應用都要符合“人是目的”這一道德合法性根基。因此，就形式而言，我們將“規范者指引”倫理框架的先行構建提煉為可信任人工智能倫理規范的第一個基本原則就是讓“算法”遵循“善法”[1]。但同時，按照“致命性武器”用途的先在性設定，如果LAWS從其開始構想設計之日，其算法所設定的目的就是去“針對和殺害人類”（即“朋友機器人”的反面——“殺手機器人”）[2]，那么是否基于倫理至善的首要原則為LAWS留有道德合法性的倫理空間，這才是LAWS道德合法性確證的根本性難題。

關于這一倫理難題的處理方式大概會有兩種：一種是懸置，正如一些軍事家所做的；另一種是迎難而上一探究竟，這是倫理學者的使命。前者如美國國防部前副部長鮑勃·沃克（Bob Work）[3]曾在2016年接受采訪時公開說道：“未來10年或15年內，如何授權機器人（實施殺傷行動）將變得非常清楚……但我非常擔心美國經常圍繞致命性自主武器的‘道德、法律和倫理問題進行討論……我們的競爭對手可從來不這么干”[4]。而事實上，五角大樓后來的確懸置了這一問題。近年來，美國多次采用“無人機+導彈”技術開展了被其稱之為“定點清除”的斬首行動。但是這絕不意味著這些已經展開的軍事行動具有充分的道德正當性，也絕不意味著國際社會會同意這種情況一直發生下去。

如果繼續討論下去，關于LAWS的道德合法性說明似乎陷入了一種僵局：我們既推翻了現有反對意見的道德論證，似乎又不打算為LAWS的無限制應用做道德合法性辯護。而一個更為嚴峻的事實是，截至目前，全球已有40多個國家被披露正在設計、研發和試圖使用“致命性自主武器”系統[5]。正如有些學者早已經意識到的，“伴隨著人工智能技術的進步與日臻成熟，基于強人工智能技術的‘自主性已成為現代武器系統的一個重要進化趨勢，全面禁止致命性自主武器系統在現實中已不太可能，即便實施了禁令，也很可能不會產生效果”[6]。如果我們回到討論LAWS的倫理場域原點——軍事與戰爭領域，就會發現如今關于LAWS道德合法性問題的困境正如我們在討論戰爭正義問題時所遭遇到的道德合法困境一樣——它既無法被全盤否定，又不具有天然的道德合法性[7]。

如果依據聯合國《公民權利與政治權利國際公約》的規定，“每個人都有與生俱來的生命權，這項權利應受法律保護，任何人不得隨意剝奪他人的生命”[8]，那么戰爭從其出現之日起，就從來沒有獲得過最高的道德合法性辯護。但事實卻是一部人類史就是一部戰爭史。因此，從這一意義上講，我們只能基于歷史經驗與事實，在一定的前提和限制條件下去討論戰爭的道德正當問題。“正義戰爭理論是反對和平主義的……然而更重要的是它也反對侵略征服……它是一種限制性的理論。然而，它在限制的同時也許可以——許可限度之內的——武力行為。”[9]我們將這樣的道德合法性稱之為相對于“無限”的“有限的道德合法性”。

同樣，如果在有明確的前置條件和限制的嚴格規約下，我們或許能為LAWS找到一個適存性的倫理空間。回到LAWS關于“降低人員傷亡、減少戰爭損耗和實現精準打擊”的研發初衷，LAWS有限的道德合法性問題或許值得一辯。當然，這種辯護只能是消極的。或許在更消極意義上，就如核武器研發的辯護空間僅剩于“以核制核”的威懾倫理之辯護一樣，LAWS的研發也可以被看作是在人類道德文明的發展高度還不足以使人類自身走出戰爭這樣的時代背景下應運而生的，它是被用于實現國家之間相互制衡式和平的一種“不得已”手段和方式。無論怎樣，LAWS用途的道德合法性在任何時候都需經過嚴謹到近乎苛求的論證說明才有足夠的理由有限使用。而比起LAWS的可能性空間的討論，更重要的是要對諸如以下這些問題時刻保持一種警醒：人員傷亡的降低、戰爭損耗的減少會不會潛藏著戰爭更加輕易被發動的可能？精準打擊要求的科學技術是否會使更多的包括科學家、程序員等在內的原本屬于非戰斗人員都卷入戰爭當中？LAWS的濫用會不會使人類社會進入一種高科技野蠻時代？我們必須清楚地認識到降低戰爭準入門檻的風險背后所隱藏的都是對生命無限制的威脅和殺戮之可能。這些可能性也就意味著盡快擬定一整套審慎的、嚴格的、系統的關于LAWS的倫理規約性條款是時代的召喚和要求。

換言之，所謂“有限的道德合法性”，一定要從“有限性”和“道德合法性”兩方面來看：“道德合法性”的確為LAWS尋求到了一個倫理適存空間，但“有限性”的前置性則要求我們對LAWS的倫理適存空間首先要做出系統的、謹慎的、詳細的論證說明。限制誰？作何限制？由誰來限制？如何限制？這些問題必須一一去思考、回應和解答。當然，在這些限制條款中，LAWS除了作為一般原則的“算法遵循‘善法”的倫理原則要得到充分的解釋和認可[1]，它還需要通過各種具體的法則，如自主程度、部署方式、用途范圍、對人的傷害程度、后果預測、容錯率、責任代理等各個方面進行限制性條款說明。而在所有的這些具體性問題中，道德行動者和責任人的識別和明確又首當其沖，它是所有限制性條款變得有實際意義的前提條件。這就涉及我們接下來要討論的關于LAWS最主要的倫理難題：由LAWS自主程度所引發的關于行為主體與責任代理人的道德難題。

二、強人工智能道德編碼與道德判斷：責任代理人難題及其辨析

在為以LAWS為代表的強人工智能設備找到一個可能性倫理空間以后，我們對LAWS責任代理人的討論才有意義。但在深入討論“應該由誰承擔什么樣的道德責任”這個問題之前，我們首先需要明確一個最基本劃分：LAWS的道德責任主體是機器人自身還是相關的人或以人為主體的整體性實體。從一般意義上講，當我們將道德責任置于人工智能的語境中去深入討論時，更多的是想要明確人工智能因為各種不確定性因素導致的意外的、災難性的后果時能找到明確的實際責任承擔者并對其作出相應的懲處。因此，在關于LAWS道德責任的討論中，如何認識、定義和解讀LAWS的“自主性”就成為一個關于道德責任主體認定的首要問題，它具體涉及的一個問題是：LAWS的“自主性”究竟可以達到什么程度，它是否會改變人在軍事行動中的決策中心地位？

1.機器人“自主性”的兩種理解方式

強人工智能已經出現，學界也在擔心未來是否會出現完全將人屏蔽在閉環之外的、交由機器人自主決定的“超人工智能”范式。在強人工智能范式當中，雖然AI技術越發強大，但機器人作為“工具”的定義始終是清晰的，人的道德決策中心地位也未發生實質變化。而在高度自主化的“超人工智能”范式中，人有可能喪失道德決策中的中心地位而淪為旁觀者或“第三人”。

機器人自主程度可能有多高，LAWS的堅決反對者斯派洛（Sparrow， R.）給出自己的描述：“人工智能武器系統將能夠做出自己的決定，例如確定它們的目標或它們接近目標的方式，并以一種‘智能方式這樣做。……這些機器的行動是基于某些理由，但這些理由將取決于系統本身的內部狀態——‘欲望、‘信念和‘價值等的倫理敏感性。此外，這些系統本身將具有形成和修正這些信念的重大能力，他們甚至會有從經驗中學習的能力。”[1]依據斯派洛的設想，高度自主化的機器人在具體的軍事行動過程中可能會依據自己的理解，以一種與人類所支持的判斷完全不一致的方式應用這些規則，甚至最終將擁有拒絕人類編程規則的自主權。但另一些學者對此則有著截然相反的觀點：無論如何，“機器人是機器，不是人，沒有自由意志，也不可能做出自主的道德抉擇，它可以形式地執行人的蘊含道德要求的指令，但它自己并不懂得任何道德意義……作為物的機器人并不明白什么是倫理問題……它不過是機械地執行人的預制性指令，如只殲滅戰斗人員和摧毀軍事設施、避開平民百姓等，這里根本就談不上所謂機器人本身的倫理敏感性……而讓機器人‘自主地運用道德規則來應對復雜的道德情景，即將倫理系統嵌進機器人的大腦中，使之可以依據倫理原則在具體場域中進行決策，是一種天真的幻想”[2]。

我們可能無法預測人工智能的終極樣態和用途，就像一百多年前萊特兄弟也無法預測到今天的人類僅僅通過“無人機+機載導彈”的操作就可以輕易置人于死地一樣。對于斯派洛的描述，我們無法保證這種情況絕對不會發生。如果機器人真的能夠實現拒絕人類意志的完全自主行動，那么它可能會對人之為“人”的存在方式和存在本質產生一種顛覆性影響。其所涉及的討論范圍也就遠遠超出本文主題，到時候可能遠不止是LAWS的道德責任問題，而是生物人（自然人）與機器人如何和平相處的倫理問題。拋開我們的異想和假設成分，從理性認知的角度來看，從本質上講，現今的基于強人工智能的LAWS仍然是遵循算法規則，并執行代碼指令的。“自主武器系統是一個邏輯算法框架”[3]，這是現今對以LAWS為代表的強人工智能設備存在形式的基本認知判斷。

2.算法邏輯和道德決策的實質

無論機器人技術如何發展，上面兩種截然不同的觀點所聚焦的同一個道德問題實際上是：強人工智能設備究竟能否獲得道德判斷的自主決策能力而成為承擔自己行為后果的道德代理人？依據“自主武器系統是一個邏輯算法框架”的基本判斷，機器人獲得道德能力的任務似乎就落到了程序員身上。將道德規范或社會所普遍承認的正義原則編寫成代碼并植入程序，這就是人們所說的機器人的“道德編碼”。“道德編碼”不是一個技術難題，很多技術專家都明確表示機器人完全能夠滿足人們對它的社會道德要求。

關于“道德編碼”的實質性爭論在于：一種被編纂起來的道德規范（即所謂“道德法典”）[4]是否可以成為判斷的全部依據？或者說道德判斷和道德決策的行為依據是否能夠簡化為一套道德規則？實際上，關于道德法典化的爭論不是強智能設備出現后才有的新問題，它早就廣泛存在于人的道德決策的討論之中。麥克道爾（McDowell）在1979年就已經引入了“反法典化命題”的觀點，他寫道：“任何合理的成人道德觀都不允許這樣的編纂，這似乎是非常難以置信的。正如亞里士多德一貫所說，關于一個人應該如何行為的最佳概括只適用于大多數情況。如果一個人試圖將自己對美德的概念簡化為一套規則，那么無論他在起草規則時多么巧妙和深思熟慮，機械地應用規則的情況都會不可避免地出現，讓他被認為是錯誤的……”[1]

道德判斷與道德決策的依據和理由是一個龐大而復雜的倫理學命題，不同立場、派別的學者在具體的觀點、細節的論證以及相關術語的運用上都不盡相同[2]。盡管如此，目前學界關于道德判斷還是達成了一個廣泛共識，即它是理性+（直覺式）情感綜合運用的結果。“道德判斷是一種極其復雜的心智活動，其驅動力不僅在于理性的反思平衡，也在于直覺的情感體驗。”[3]特別是在一些情況復雜多變的具體實踐中，人們在緊急狀態下或道德兩難中做出某種道德決策的關鍵性因素往往不是源自于一般意義上的道德習得性知識，而是一種道德認知和情感體驗綜合運用的倫理智慧。“道德判斷的實踐有一個必要的現象特征或‘它是什么樣的。成功地遵循真正的道德理論可能需要一種廣泛的反思平衡，它要求我們在一般道德原則和我們的道德直覺之間取得適當的平衡。”[4]

在這一標準下，即便我們不去爭論LAWS的“道德編碼”是否可詳盡所有的道德情景，也不去質疑科學家和程序員對LAWS進行道德編碼的技術手段和能力，僅基于道德判斷對反思平衡能力或實踐智慧的要求，我們就可以判斷LAWS絕對無法成為可以為自己行為后果負責的道德責任代理人。那么，在道德責任代理人的認定并制定具體的約束法則之前，必須先在邏輯上做出清楚辨析的一個道德命題是：機器人不是道德人。將“機器”和“人”做一個最基本的區隔是明辨道德責任的一個重要前提。因此，在軍事戰爭領域，“機器人對自己負責”觀點絕對不被接納，將道德責任歸咎于機器人的“自主性”是一種極端不負責任的行為。

3.去主體化的道德困境：重新審視行動閉環及其道德代理人

不僅如此，如果按照“自主武器系統是一個邏輯算法框架”的基本判斷，當一個完美的邏輯算法框架被建構出來時，LAWS在理論上就會成為一個完美的、永不犯錯的任務執行者。那么這里可能會出現一個非常吊詭的現象，一個永不犯錯的、完美的任務執行者最終會做出一個令人指責的道德行為。熟悉“把槍口向上一厘米”[5]真實案件情況的人可能會更容易理解這種吊詭。一個完全嚴格聽從命令的邊境衛兵依據國家相關法律指引而開槍射殺了一名正在試圖翻墻非法越境的平民，事后我們應該如何審判這名士兵呢？

如今的道德難題只不過是將這名完全遵照國家法律指令的衛兵置換成了完全依據程式指令的LAWS。如果LAWS能夠完美地識別越境者與意外闖進邊界線的其他平民，這里面不存在任何誤殺行為的可能性，那么某種意義上講，LAWS甚至是比邊境衛兵更具執行力和精準射擊力的“戰士”。當一個錯誤的行為結果確實發生，而作為任務執行者的LAWS在指令接收和整個任務行動過程中又沒有任何過錯，那么錯誤的根源就應該從行為開始的地方向前追溯，而非僅指向行為發生之后的LAWS去追討道德責任問題。在LAWS的應用中，人是否真的被排除在了軍事行動閉環之外呢？如果LAWS仍然只是指令的執行者，那么無論這些指令在邏輯上有多么完美，在設計上多么精妙，值得反復去討論的可能就不是在一個行動“閉環”中人的道德主體地位的喪失，而是要求我們對所謂“閉環”的范圍和路徑重新做出審視和定義。那就是，我們應該在一個可以容納與LAWS有關的所有道德主體——計劃部署LAWS的國家、參與研發的科學家、程序員以及啟動具體指令有關的研發、應用群體及政治實體提出道德責任上的要求。而我們要做的則是為這種觀點提出足夠全面充分的論證和說明，以便為相關國際法準則的制定、糾正、增補做出理論參考依據。

現在，我們必須沿著這個方向朝著一個更加棘手的倫理難題繼續深入下去，即以LAWS為代表的強人工智能當下面臨的最現實的道德困境：“非道德的機器”與“不道德的人”結合而可能催生的時代性倫理難題——基于“技術野蠻”的寡頭恐怖主義。

三、“非道德的強人工智能”與“不道德的人”：“寡頭恐怖主義”的倫理難題

正如前面我們所糾正的邏輯謬誤，如果說道德代理人的“責任鴻溝”難題不能成為否定強人工智能設備道德合法性的依據；那么同樣，道德責任承擔者的識別及其道德職責的明確也不能成為強人工智能設備被任意使用的充分條件。正如前文的邏輯反詰，關于LAWS的使用，如果有著十分明確的道德代理人且他（他們）愿意為此承擔道德后果，LAWS是否就可以被任意使用？答案當然是否定的，因為這里潛藏著各種極端恐怖主義的可能。恐怖主義是軍事戰爭領域中“不道德（反道德）的人”的最高存在形式，從手段到目的，恐怖主義活動都毫無正義性可言——“漫無目的地殺害無辜者是恐怖主義活動的關鍵特征”，而“摧毀平民的精神”則是其主要目的[1]。恐怖主義根源性的惡在于它從根本上否認了“人之為人”的生命尊嚴與生存價值。由于恐怖主義無差別殺戮從根本上消解了“人是目的”的最高設定，所以其行為是對生命沒有任何敬畏感和道德感的為所欲為，“恐怖主義嚴重破壞了戰爭規約和政治法則。它突破了所有的道德限制，以至于根本就不再有限制”[2]。作為一種不具有任何道德限制的極端存在，在恐怖主義的行動中，我們就可以看到幾乎所有挑戰人類文明底線的、最為暴力、血腥和殘忍的作惡形式：壓迫、肉體摧殘與毀滅、集體屠殺等。

1.去責任化的戰爭與“不道德的人”的誕生

雖然從邏輯上講，關于“不道德的人”的難題是先于智能戰爭形態的范式轉變而存在于軍事、戰爭領域的，但無法否認的一個事實是LAWS“非道德”的存在形式，加上其無人化、自主性和穩定精確性的強大功能的確帶來關于“不道德的人”的新倫理難題。

首先，LAWS的“非道德”性特征意味著它無法對其任務指令作出關于對與錯的道德判斷，自然也就不會拒絕錯誤的道德指令；其次，它的穩定性和精確性大大增加了軍事行動成功的可能性；最后，這種無人化的作戰方式使得責任代理人除了“道德名聲”以外幾乎不需要付出任何實質上的“道德成本”。如果說傳統恐怖分子在實施恐怖行為時理論上還存在著良知發現、畏懼死亡、操作失敗等各種可能性，那么LAWS則更像一個沒有任何道德情感、冷靜、高效的“死士”，果斷而堅決地朝著既定目標進行攻擊。從某種意義上講，技術手段上的純熟和道德成本的降低可能意味著“漫無目的地殺人”會變得更加容易。而更令人擔憂的是在一種技術外衣的包裹和政治目的的道德美化下，這種“不道德的人”會以一種更加隱蔽的方式出現而讓人難以鑒別。因此，盡管可能有人聲稱愿意對LAWS的可能性后果負責，我們還必須要去謹慎地考慮和判斷LAWS被使用的政治意圖和道德目的究竟是什么？責任代理人之間的道德責任劃分和承擔是否合理？其所針對和打擊的軍事行動目標是否恪守戰爭法則中群體識別的道德意義？道德代理人憑一己之力是否可以承擔得起全部的道德責任？這就像那些采用一種自殺式恐怖襲擊的人，即便他們從表面上看起來已經用一種最高的“責任形式”——以自己的生命為代價——來宣稱對自己的行為“負責”，但這種無差別傷害生命的行徑仍然不會獲得任何道德合法性辯護；人們也不會接受此類行徑僅僅屬于個人行為范疇的辯解，而常常將行為后果的清算與其背后相關的政治組織相聯系。

因此，我們要時刻對“不道德的人”保持一種清醒，同時也要深刻意識到在廣泛的道德領域，特別是在軍事領域和戰爭領域，總有一些道德行為的后果是任何代理人都沒有能力也沒有資格能放言承擔的，當然也沒有任何一種戰后正義的方式可以進行等價交換、賠償或補救。從這個角度來看，以LAWS為代表的強人工智能設備的應用不僅沒有削弱人的道德主體地位，反而對其道德代理人提出更高的道德能力和倫理敏感性要求。當操縱、剝奪他人生命不再需要付出任何代價，且在獲取手段上變得日益簡單可行時，我們就必須嚴防死守人類靈魂最深處的、隨時蠢蠢欲動的、處于作惡待發點邊緣的那些權力、欲望及野心。我們呼吁和主張針對參與包括LAWS在內的強人工智能設備研發的個體建立起一種更加清晰嚴格的道德評估、監測及責任懲罰的倫理和行為規范約束體系。

2.“技術野蠻+道德推諉”：新型恐怖主義誕生的可能

有學者認為現階段信息化戰爭的特征主要呈現為體系化對抗，這也是未來的趨勢。看起來一種智能化作戰體系的建立與實施所需要的資金投入、技術支持、體制結構、機制流程保障等所需要的投入較大，但隨著高技術人才不斷向寡頭企業集聚，全球有高新技術企業已經具備了建立這種智能化作戰體系的能力，而且此類組織的數量呈增長趨勢。也就是說，擁有智能程度更高作戰體系的組織有可能會掌握未來戰爭的主動權，從而也就更加具有未來軍事部署的戰略性優勢和更多的國際話語權力。因此，以先進技術為包裝的外衣下潛藏的“寡頭恐怖主義”只要可能，就必須納入倫理約束機制的理論視野和討論范圍當中。

當然，技術至善是我們的最高道德理想。如果人類文明的發展可以讓其進入一種“自由人聯合體”的理想社會形態當中，那么戰爭也就在自我消解中實現了最高正義，整個人類社會內部、人類社會與自然界都呈現出一種和諧共生的理想生命狀態。但是縱觀人類歷史，人類社會的發展歷史實際上是一直與戰爭相伴的，從遠古時代的徒手戰爭，到農業社會的冷兵器戰爭，到工業社會的熱兵器戰爭、機械戰、信息戰，再到如今智能化程度更高、博弈性更強、功能更豐富、作戰效果更佳的強人工智能戰爭。基于這樣的現實考量，軍事技術毫無疑問地將會成為影響或者顛覆未來國際秩序的一種重要手段。而通過技術制衡來達到國際關系的動態平衡與和平狀態則是人類社會在可預見的時間范圍內的一種相對理想狀態。而LAWS的無限制研發和使用的最糟糕結局莫過于一種依托LAWS實現技術制霸，從而衍生出一種寡頭恐怖主義新形態。

試想如果寡頭組織和某種國家形式結合，將自己的開戰權與LAWS的自主攻擊性結合起來，那么一種被寡頭組織和某種國家形式所支持和默許的機器暗殺與一種“絕對不對稱”的戰爭技術之把控的現實環境相結合就讓國家層面的“道德腐敗”有了可滋生的土壤。一個國家必須只為其正義而戰，有發動戰爭的正確理由是不夠的，發動戰爭背后的實際動機還必須在道德上是適當的。唯一允許的正確意圖是看到訴諸戰爭的正當理由得到鞏固和深化。這種“戰爭和政治的總體性”恐怖主義的現代性表現形式[1]就會以一種更加具體的、基于“技術野蠻”的寡頭恐怖主義形式呈現出來。

當今世界大國之間的相互制衡已經促成了相對穩定的國際秩序。但是，“非道德”LAWS研發和使用則對國際社會提出了更高的道德要求。我們不能將全部希望都寄托于寡頭組織及其潛在的、有可能與某種國家形式結合的新形態有足夠的審慎公正的理性能力和友好共情的情感能力，在LAWS研發與使用上實現一種完全合乎國際正義要求的道德自治，而更期冀于一套具有權威性的、行之有效的約束機制能夠盡快建立完善。

四、結語

近來，以ChatGPT為代表的通用人工智能引發了廣泛關注，特別是其語言理解能力和表達生成能力在得到廣泛贊譽的同時，也給學術界和業界帶來了“倫理惶恐”。如果說人類對于強人工智能設備的研發和廣泛應用應該保持一種“倫理上的謹慎”，那么對于包括軍事機器人在內的可能對人類“非道德”的強人工智能設備的倫理態度則應該慎之又慎。未來，強人工智能的深度發展甚至超人工智能的出現將不斷挑戰人類道德決策中心地位，這在傳統的人文主義倫理觀中幾乎無法找到答案。而從人類社會發展來看，技術上所謂的“道德中立”在與權力、資本和欲望的角力中是否能夠得以保持，戰爭形態的智能化對國際秩序重構將產生怎樣的實質性影響等問題也都深刻地困擾著當代學者。

基于對LAWS所引發的倫理問題的思考以及以ChatGPT為代表的新技術的橫空出世，在不久的將來，技術裹挾下的各種新型強人工智能設備將會不斷出現，這是倫理學界必須去面對的一個時代性命題。我們要從智能化軍事武器的發展，特別是致命性自主武器系統的研發和應用出發，并從ChatGPT的出現，去持續研究強人工智能時代人類社會智力、政治、技術與人性之間的角逐與較量，其中所涉及的最為根本的道德正當性問題及其可能會對人類社會構成最大的倫理挑戰和威脅則是當代倫理學家必須要做出審視、思考并予以回應的話題。但倫理學家的使命不僅僅要從現有的倫理困境中去解釋和評價它，更需要基于倫理至善的基本價值立場，以一種歷史發展的哲學眼光從人類未來發展的可能性方向去審視和預判它可能會對人類社會造成的道德威脅和倫理挑戰，以提前做出預防性倫理約束機制和道德限制原則，避免人類社會被技術“反噬”而走向萬劫不復的深淵。

〔責任編輯：吳玲〕

本文為國家社會科學基金項目“戰爭形態智能化的倫理約束機制研究”（20CZX057）的階段性成果。

[1]J. R. Searle， "Minds， Brains， and Programs"， Behavioraland Brain Sciences， 1980， 3（3） ， pp.417-457.

[2]王彥雨：《“強人工智能”爭論過程中的“態度轉換”現象研究》，《科學技術哲學研究》2020年第6期。

[1]目前已經部署并投入使用的自主武器系統主要有：美國“宙斯盾”巡洋艦的“方陣”系統，它能自動發現、跟蹤和打擊反艦導彈以及飛機等防空作戰威脅；以色列的“哈比”系統，主要用來探測、攻擊并摧毀雷達發射器；英國“雷神”噴氣式無人戰斗機，可以自主地對敵人進行搜索、識別和定位，但只有在得到任務指揮官授權時才能攻擊目標。同時，美國在2019年對伊朗革命衛隊圣城旅指揮官蘇萊曼尼的“斬首行動”中，已經啟用了高度智能化的、能夠自動搜尋鑒別目標并發起攻擊的軍事武器系統——“MQ-9掠食者無人機+地獄火導彈系統”，直接對蘇萊曼尼實施了精準射殺（美國稱之為“定點清除”）。

[2]王彥雨：《“強人工智能”爭論過程中的“態度轉換”現象研究》，《科學技術哲學研究》2020年第6期。

[3]董青嶺：《新戰爭倫理：規范和約束致命性自主武器系統》，《國際觀察》2018年第4期。

[4]G. P. Noone， D. C. Noone， "The Debate over Autonomous Weapons Systems"， InCase Western Reserve Journal of International Law， 2015， 47（1）， p.28.

[5]A. Matthias， "The Responsibility Gap"， Ethics and Information Technology， 2004 （6-3）， pp.175-183.

[6]邁克爾·沃爾澤：《正義與非正義戰爭》，任輝獻譯，社會科學文獻出版社2015年版，第261頁。

[1]R. Sparrow， "Killer Robots"， Journal of Applied Philosophy， 2007， 24（1）， pp.62-77.

[2]D. Purves， R. Jenkins， B. J. Strawser， "Autonomous Machines， Moral Judgment， and Acting for the Right Reasons"， Ethic Theory Moral Practice， 2015， 18（4）， pp.851-872.

[3]現在人們所談論的LAWS，常常是指具有殺傷力和致命性的自主機器人系統，甚至有學者預測，LAWS有朝一日有能力“自行”做出針對人類生存和死亡的決定。

[4]Ethics Guidelines for Trustworthy AI. URL=http：//ec.europa.eu/futurium/ai-alliance-consultation/guidelines.

[1]田海平、鄭春林：《人工智能時代的道德：讓算法遵循“善法”》，《東南大學學報（哲學社會科學版）》2019年第5期。

[2]D. Purves， R. Jenkins， B. J. Strawser， "Autonomous Machines， Moral Judgment， and Acting for the Right Reasons"， Ethic Theory Moral Practice， 2015， 18， pp.851-872.

[3]鮑勃·沃克（Bob·Work）致力于人機協同和致命性自主武器的研發，他也是推動美國國防部機器人領域發展的領軍人物。

[4]保羅·沙瑞爾：《無人軍隊——自主武器與未來戰爭》，朱啟超等譯，世界知識出版社2019年版，第104頁。

[5][6]董青嶺：《新戰爭倫理：規范和約束致命性自主武器系統》，《國際觀察》2018年第4期。

[7]戰爭的正義問題也是一個極具爭議的問題。從“人是目的”的最高價值設定來說，戰爭的正義不具備天然的道德合法性，它必然以犧牲生命為代價，其正義性來源于對非正義方的辨別。戰爭正義問題的開端，既是反對和平主義，也是反對侵略和征服的。因此，無論是在一個和平主義者、軍國主義者，還是在一個馬基雅維利主義者那里，戰爭的正義問題或許都是無解的。

[8]參見《公民權利與政治權利國際公約》第6條第（1）款的規定。

[9]邁克爾·沃爾澤：《正義與非正義戰爭》，任輝獻譯，社會科學文獻出版社2015年版，第2頁。

[1]在某種程度上，LAWS的倫理之“善”的確可以得到解釋，比如它的無人作戰化和目標精準性可以減少雙方士兵不必要的傷亡，同時也能避免對平民和非軍事區造成不必要的傷害等。

[1]R. Sparrow， "Killer Robots"， Journal of Applied Philosophy， 2007， 24（1）， pp.62-77.

[2]甘紹平：《自由倫理學》，貴州大學出版社2020年版，第255—256頁。

[3]董青嶺：《新戰爭倫理：規范和約束致命性自主武器系統》，《國際觀察》2018年第4期。

[4]J. McDowell， "Virtue and Reason"， The Monist， 1979， 62（3）， pp.331-350.

[1]J. McDowell， "Virtue and Reason"， The Monist， 1979， 62（3）， pp.331-350.

[2]在一些論證細節上，關于反思平衡、道德情感、道德直覺等術語，不同的學者有不同的理解方式，比如羅爾斯話語體系下的“反思平衡”是理性與情感的綜合運用，而有一些學者則認為反思平衡是各種理性思維的結果，它與道德情感（直覺）是并列的關系；再如有學者認為道德情感與直覺不同，一種廣泛的反思平衡已經包括了一般道德規則與道德理性、道德情感和道德直覺的平衡，因此道德判斷就是一種反思平衡的結果。而在一些具體的觀點上，不同的學者也有不同的看法，比如有學者同意一般道德原則的規范性，但是主張要與具體環境、道德情感、道德直覺相結合做出道德判斷；而有的學者則從根本上就反對道德一般性原則的存在，甚至將其看作是一種妨礙，等等。

[3]甘紹平：《自由倫理學》，貴州大學出版社2020年版，第255—256頁。

[4]J. Griffin， "How We Do Ethics Now"， Royal Institute of Philosophy Supplement，1993，35， pp.159-177； Van den Hoven J.，"Computer Ethics and Moral Methodology"， Metaphilosophy， 1997， 28（3）， pp.234-248.

[5]案件的大致情形可參見柯嵐：《拉德布魯赫公式的意義及其在二戰后德國司法中的運用》，《華東政法大學學報》2009年第4期。這里實際上涉及“良知”與“惡法”、“服從”與“正義”、國際法與國家法的沖突等一種非常復雜的道德情景。

[1][2]邁克爾·沃爾澤：《正義與非正義戰爭》，任輝獻譯，社會科學文獻出版社2015年版，第180—181頁，第186頁。

[1]邁克爾·沃爾澤：《正義與非正義戰爭》，任輝獻譯，社會科學文獻出版社2015年版，第186頁。