識界　該不該賦予機器人殺ISIS的權力？

識界該不該賦予機器人殺ISIS的權力？

想象一下這樣的未來場景：以美國為首的聯軍正在逼近敘利亞的拉卡（Raqqa），決心消滅ISIS。多國部隊出動一批致命的自主機器人，圍著城市四處飛行，追蹤敵人。利用面部識別技術，這些機器人識別和殺死ISIS的指揮官，斬落了這個組織的頭目。在聯軍和平民傷亡最少的情況下，瓦解了不知所措、士氣低落的ISIS部隊。

這聽起來大快人心，好像是很好地運用了技術優勢。事實上，有很多人不這么認為，包括人工智能領域的很多專家。

去年7月，眾多人工智能研究人員發表了一封公開信，警告稱這種技術已經發展到一定程度，幾年以后——而無需幾十年——就有可能部署“致命自主武器系統”（Lethal Autonomous Weapons Systems，它還有一個不相稱的簡稱，Laws，意為“法律”）。不像核武器，這類系統能以低廉成本大規模生產，成為“明天的AK-47”。

“它們早晚會出現在黑市上，落入恐怖分子、希望更好地控制民眾的獨裁者和想要進行種族清洗的軍閥的手中，”他們表示，“在軍用人工智能領域開啟一場軍備競賽是一個壞主意，應該對超出人類有效控制的攻擊性自主武器施加禁令，以防止這樣的軍備競賽。”

美國大體上已承諾放棄使用攻擊性自主武器。本月早些時候，聯合國在日內瓦舉行了有94個軍事強國參加的新一輪談判，旨在擬定一項限制此類武器使用的國際協定。

主要論據是道德層面上的：賦予機器人殺人的代理權，將越過一條永遠不應被越過的紅線。

因為開展反對地雷的運動而獲得諾貝爾和平獎的喬迪·威廉斯（Jody Williams）是“阻止殺手機器人運動”（Campaign To Stop Killer Robots）的發言人，他表示自主武器比核武器更可怕。“如果一些人認為把人類的生殺大權交給一臺機器是可以的，人性又何以處之？”

除了純粹的道德問題以外，還有其他令人擔憂的問題。殺手機器人會降低戰爭中的人員成本，爆發沖突的可能性是否會因此提高？如何阻止這類系統的擴散？當它們出問題的時候誰來負責？

在一個哲學研討會上，反對殺手機器人的道德理由已是足夠明顯。問題在于，你越是近距離觀察它們在戰爭硝煙中可能的用處，就越難分辨出道德的界限。（有限自主的）機器人已經被用于戰場上，應用在拆彈、排雷和反導系統等。它們的應用范圍還將大為擴大。

軍工界用其最愛使用的置身事外的論調，對機器人不同的自主等級進行了區分。第一類被稱為“人在環中”（humans-in-the-loop），包括被美軍和其他軍隊廣泛使用的“捕食者”無人機。第二類是“人在環中系統”（humans-in-the-loop system），人對機器人武器系統進行監督，包括防空炮。但現代戰爭的速度和強度讓人懷疑這種人類的監督能否形成有效控制。第三類是“人在環外系統”（humans-out-of-the-loop system），比如完全自主的無人機，這種可能是最致命的，但也很可能是最容易禁止的。

人工智能研究人員通過發表公開信，引起人們對戰爭、武器以及和平的思考。