福祉亦或災難：智能武器的未來

袁藝

當前，信息化戰爭形態正由“數字化+網絡化”的初級階段，向“智能化+類人化”的高級階段加速演進，以戰斗機器人為典型代表的智能武器將主宰未來戰場。我國著名人工智能專家李德毅院士，把智能機器人比作是集汽車、新能源、移動通信、衛星定位導航、移動互聯網、云計算、大數據，乃至人文藝術等多個學科、多種技術于一身的人造精靈，是人類走向智慧生活的重要伴侶。依此類推，未來的戰斗機器人則可視為將軍們麾下無懼死亡、勇往直前的人造忠誠戰士。

正如聰明的孩子往往更加調皮和不聽話一樣，武器智能化一旦超過一定程度，“聰明過了頭”，就會存在自作主張、失去控制，甚至危及人類自身安全的危險。人類面臨著既要利用武器高度智能化帶來的可以替人打仗的無比好處，又要回避武器高度智能化帶來的巨大失控風險，軍事技術和武器發展由此陷入一個兩難困境。

智能武器的失控風險

據稱“Robot”（機器人）一詞，是由捷克作家卡雷爾·恰佩克在1921年的科幻作品《羅薩姆的機器人萬能公司》中首創，原意是“農奴式被強迫的勞動者”，用來稱呼那些造反的機器仆人。可以說，從一開始，機器人失控對人類的威脅，就成為人類心中揮之不去的心理陰影。

人類對機器人失控的擔心，不僅反映在科幻小說和影視作品中，還反映在很多學者嚴肅認真的學術探討中。《機器人戰爭——機器人技術革命與21世紀的戰爭》的作者彼得·W·辛格就認為，機器人控制世界需要四個基本條件：第一，機器人必須獨立，能夠不依賴人類而自我補充能量、修復和再造；第二，機器人必須在智力上勝過人類，但不具有人類好的品質（如同情心或道德觀念）；第三，機器人必須具有生存本能，以及控制其周圍環境的某種興趣和意志；第四，人類必須不能有介入機器人決策的有效控制界面，人類必須沒有能力決定、干涉，甚至影響機器人的決策與行動。從發展趨勢來看，這四個基本條件在技術上都沒有不可逾越的紅線。因此，從理論上講，如果不采取有效措施，智能武器失控是完全有可能的。

與民用機器人相比，軍用機器人失控的危害性更大，有人甚至擔心，軍用機器人會不會成為“人類終結者”。這一擔心，不是杞人憂天，更不是天方夜譚。人是萬物之靈，靈就靈在“有腦子”。人之所以能控制老虎，不是人比老虎強壯，而是人比老虎聰明。機器人的體能、技能超過人類并不可怕，但如果機器人的智能超過人類，人類還能不能控制這種比人類還“聰明”的機器人，那就不好說了。

智能武器失控的可能形式

不同自主程度的智能武器失控的形式是不一樣的，造成的危害也不盡相同。大致分析，智能武器失控的情況可能主要有以下幾種。

智能武器因發生故障而失控。在民用機器人方面，因機器人故障而出人命的事早有發生。1985年，蘇聯發生了一起家喻戶曉的智能機器人棋手殺人事件。全蘇國際象棋冠軍古德柯夫同機器人棋手下棋連勝3局，機器人棋手突然向金屬棋盤釋放強大的電流，在眾目睽睽之下將這位國際大師擊倒，這應該是智能機器人發生故障導致的。

隨著機械制造水平和智能化程度的提高，未來智能武器出現機械故障的可能性減小，但出現軟件故障的可能性大增。

武器系統因軟件故障而導致的事故并不鮮見。2005年，美國空軍幾架戰斗機在一次編隊飛行時，一架戰斗機突然自動向地面重要設施發射了一枚導彈，并造成嚴重事故。經查明，事故原因是飛機的火控系統電腦出了故障。2011年，在美軍幾次軍演和值勤過程中，三軍通用戰場態勢分析系統多次發生軟件故障不能正常工作，出現黑屏、無法顯示友軍信息、無法完成態勢合成，甚至出現運行中斷、死機等故障，導致戰場態勢無法及時更新、融合，作戰打擊方案無法按時生成。

智能武器受到復雜電磁環境干擾而失控。據一名剛從伊拉克歸來的美軍軍士描述，他的“魔爪”機器人如果受到無線電干擾，就會出現“行為異常”。另一名軍士講述，如果他的機器人沒有信號，就會“變得古怪”。按理說，如果由于某種原因使得信號受到干擾或被中斷，機器人應該停止行動才對。當追問軍士“古怪”究竟是什么意思，他回答說：“它會偏離道路，沖你而來，四面旋轉等等。”未來戰爭中，戰場電磁環境只會變得越來越復雜，智能武器能不能適應復雜電磁環境，能不能在強烈電子干擾條件下，實時接收人類指令并精準執行作戰任務，這都需要經過大量的試驗和實戰檢驗后才能得出結論。

智能武器也可能因為判斷失誤而出現失控。戰場上的敵我識別不僅對于人類士兵來說是件難事，對于智能武器來說同樣也不好解決。美國軍方一位機器人項目負責人說：“機器人戰士可以發現一個人并確定他的位置，然后殺死他。但問題是，怎樣才能不誤傷自己人。對于人類來說，區分敵人和自己都很難，更何況機器人。”

事實上，人工智能控制的武器由于判斷失誤，已經造成巨大慘案。1988年7月3日的波斯灣，美國海軍“文森尼斯”號巡洋艦正在海上游弋執行巡邏任務。該艦因裝備了自動化程度極高的新型“宙斯盾”防空系統，綽號為“機器人巡洋艦”。這時，該艦突然發現一架伊朗民航的A300客機將飛過上空。雖然艦上防空系統處于半自動模式，但電腦系統將客機識別為伊朗空軍的F-14戰斗機，結果艦長授權開火，發射“標準”防空導彈擊落了客機，造成機上290人全部遇難，包括60多名12歲以下的兒童。

智能武器因無限自我繁殖而失控。自我繁殖可能是未來納米級智能武器的一種高級功能。納米機器人借助陽光、塵土、海水等物質和能量，可像細菌一樣自我繁殖。殺不絕的納米機器人軍團自然是威力無窮，但一旦失去控制，后果也是不堪設想的。據專家估計，一個失去控制的正在自我復制的納米機器人，完成130個復制周期只需要3個半小時，考慮到納米機器人向外移動擴張等因素，最多只需數周時間就可以摧毀地球上的一切生物。

智能武器因具備獨立意識反叛人類而失控。從目前來看，普通電腦的運算結果仍然是明確和可以預見的，因而是可控的，但未來隨著人工智能水平的持續提高，特別是具備自學習和自進化能力后，電腦的“智商”不斷提高，極可能出現類似人類“思想”的高級思維活動，以及只有人類才具備的喜怒哀樂、自我認同、妒忌羨慕、征服欲望等復雜情感。那么，運算結果就可能是不確定和不可預測的，正是這種隨機的不確定性思維，潛伏著機器人威脅人類安全的危險因素。這就是未來高級智能武器可能失控的內在技術原理。目前，科學家正在制造可以產生類似人類無意識反應的機器人，機器人在緊張時會出汗，聽到恐怖故事時甚至會起雞皮疙瘩，這或許是機器人邁向具備人類思想意識的第一步。

應對智能武器失控的措施

未來高度智能化的機器，可能為人類帶來巨大福祉，也可能為人類帶來滅頂之災，人類即將進入歷史上可能最好也可能最壞的時代。對于高度智能化的武器會不會成為“人類終結者”，人們或許還存在分歧，但對于必須采取各種措施限制和避免智能武器濫用武力這一點，各方意見高度一致。

著名科幻小說家艾薩克·阿西莫夫1940年在其經典小說《我，機器人》中，首先提出了“機器人三原則”，即：機器人不應傷害人類；機器人必須聽從人類的命令，除非該命令與第一定律相悖；機器人必須保護自己，除非這種保護與以上兩條相矛盾。“機器人三原則”雖然有預見性地制定了機器人與人類相處的基本準則，但主要適應于民用的服務型機器人，如果應用到戰斗機器人身上，還需要做很大的修改才能適應。例如，戰斗機器人應該在達成作戰目的的前提下，以最小傷害程度殺傷敵人，能不奪人性命解決問題就不要使用致命性武器；戰斗機器人必須堅決聽從己方指令去消滅敵人，不能聽從敵方指令，或受外部環境干擾而改變己方指令；戰斗機器人必須保護自己，但接到己方要求其自毀指令時除外。為努力做到上述幾點，始終把智能武器關在人類“控制圈”內，研究人員還真想出了不少點子。

首要和保底的手段，就是在智能武器中嵌入獨立于其自身控制系統的自毀模塊。在智能武器走出生產線即將正式啟動之前，就要設置好這種“后門”式的自毀模塊。一旦智能武器失去控制，人類可以不受外部環境或智能武器自身干擾，實時啟動自毀程序，實現智能武器不可逆轉的徹底死機或主機殉爆。這一辦法，對于“低智商”的智能武器是可行的。將來一旦出現更加“聰明”的智能武器，能夠“意識”到這一自毀模塊的存在，它可能就會想方設法地去除或干擾自毀模塊，因此必須確保自毀模塊的隱蔽性和可靠性。

在智能武器控制軟件中加入倫理控制程序。智能武器的指揮控制中樞是電腦，而電腦的“智商”全靠預編軟件來實現，在智能武器控制軟件中加入倫理控制程序來限制智能武器的行為，從理論上講，可以避免其“胡來”。美國佐治亞理工學院移動機器人實驗室的羅納德·阿金，設計了名為“潛在行動的多維數學決策空間”的控制程序，作為戰斗機器人的“道德適配器”。這套融合了人類悔恨、同情、內疚等情緒的控制程序，將機器人攜帶的武器系統根據殺傷力分組，每組武器都有特定的愧疚臨界值。“道德適配器”可根據傳感器接收到的數據和情報，把機器人所有可能的行動分為“道德的”和“不道德的”兩種，并根據需要選擇適當的武器系統。機器人在使用大威力武器前，必須經過“道德適配器”的審核，只有當使用武器的愧疚臨界值低于標準值才可使用。

精確選擇智能武器的目標打擊部位。2006年，美國國防部長辦公室下屬機構——國防安全工作小組，研究討論了如何通過允許“武裝自主系統”“開火摧毀敵方武器系統而非疑似作戰人員”的做法，以減輕人們對潛在“機器人殺手”的種種擔憂。換言之，機器人應該朝坦克或吉普車開火，而不是朝里面的人開火。約翰·S·坎寧是美國海軍水面作戰中心的首席工程師，也是該小組成員之一。他說：“我們的武裝無人系統的設計，要能自動識別、瞄準我們的敵人所用的武器，并能使武器而不是使用這些武器的敵人失效或者遭到摧毀。這樣，我們就有可能解除對我們構成威脅的部隊的武裝，卻不必殺死相關人員。”隨著人工智能的發展，電腦的模式識別能力將有極大提高，智能武器完全可以把單獨的武器和作戰人員區分開來。

只給智能武器配備非致命性武器，把殺人武器交到機器人手中始終讓人不放心，因此有人認為，如果要給機器人配備武器，那也應該配備非致命性武器。這些武器不是用來摧毀或者殺戮，而是用來讓目標失去戰斗力但并不對其造成永久性傷害。正如美國陸軍戰爭學院教授史蒂文·梅茨所講的那樣，“機器人技術和非殺傷性手段，這兩者的結合極其重要。這樣，你可以命令系統只是制服目標，剩下的事情交給警察，而不是‘將目標全部殺死，后事交由上帝處理。”這一辦法應該說是完全可行的，未來戰爭中失能性武器的可選擇范圍很大，對人員可使用“腦控武器”“嘔吐射線”武器、次生波武器、被稱為“痛苦射線”的定向能“主動拒止系統”、網罩武器，甚至發射橡皮子彈的警用武器等非致命性武器，對裝備可使用電磁脈沖武器、網絡攻擊武器、高功率微波武器、致發動機熄火的阻燃泡沫彈等非爆炸性武器。從某種意義上說，新機理、新概念武器為智能武器的失控問題提供了很好的解決方案。