這個殺手非常冷

張燕

這類自主武器可以在人工智能的幫助下自行學習，并在沒有人為干預的情況下摧毀目標

在科幻電影里，機器人殺手是個老掉牙的題材.人們已經(jīng)不再像幾十年前那樣，為這種冷酷的機器尖叫。在目睹了工業(yè)機器人、護理機器人等類似產(chǎn)品后，對機器人能做什么，人們已經(jīng)有了更全面的認識。

但是，殺手機器人和那些提供便利服務的機器終究還是不同的，因為它涉及倫理問題。60多年前，科幻小說作家艾薩克·阿西莫夫（Isaac Asimov）就提出了著名的“機器人三定律”，首要一條就是“機器人不得傷害人類，或坐視人類受到傷害”。

隨著技術(shù)的進步，倫理屏障似乎正在被打破，冷血的機器人殺手逐漸從熒屏中走出來。為了阻止這種情況的發(fā)生，一場人類自我保護運動逐漸興起。

迫在眉睫的問題

科幻很遠，現(xiàn)實很近。機器人殺手的出現(xiàn)已經(jīng)是一個迫在眉睫的問題。

近期超過70個國家的軍事專家、科學家、非政府組織在日內(nèi)瓦參加了聯(lián)合國會議，就如何對待具有爭議的“殺手機器人”進行討論。為期一周的會議并未得出實質(zhì)性的結(jié)論。雖然大多數(shù)與會者表示支持進行立法管制，但是一小部分人表示反對。這種分歧助推了一種現(xiàn)實：殺手機器人正向我們走來。

殺手機器人走來的腳步聲會讓人感到不寒而栗。當然，在聯(lián)合國《特定常規(guī)武器公約》框架下，這種殺手機器人有另外一個名字：自主武器。這類自主武器可以在人工智能的幫助下自行學習，并在沒有人為干預的情況下摧毀目標。

隨著科技的發(fā)展，機器可以用人工神經(jīng)網(wǎng)絡處理所積攢的經(jīng)驗，類似于人類大腦，不斷對情況進行自主學習和判斷。而武器行業(yè)也積極利用最先進的技術(shù)生產(chǎn)出更有效率、速度更快的武器。擁有這種能力的武器，很容易讓人想起電影《終極者》里的殺手機器人。

紅十字國際委員會將自主武器定義為：“可以根據(jù)自身所處的環(huán)境中不斷變化的情況，隨時學習或調(diào)整運轉(zhuǎn)的武器。真正的自主武器能夠在無人干預或操控的情況下搜索、識別并使用致命武力攻擊目標?！?/p>

雖然全自主武器和殺人機器人到目前為止還沒有被使用，但在這一領(lǐng)域存在國際公約的灰色區(qū)域。在各國討論關(guān)于自主武器的生產(chǎn)和使用是否必須受國際公約管制時，盡管各國代表原則上同意，自主武器也必須受人類控制，并符合國際法，但美國和一些擁有大型軍備的國家提出明確的反對意見，不希望禁止這類武器，這些國家希望借此保證其在軍事上的優(yōu)勢地位。

美國國防部是最支持機器人研究的機構(gòu)之一，2013年美國智庫海軍研究辦公室曾向塔夫斯大學、布朗大學、倫斯勒理工學院、喬治城大學以及耶魯大學的研究人員發(fā)放750萬美元補助，以研究如何教授自動機器人分辨對錯。

目前美國已經(jīng)有不少具有部分自主功能的武器。軍用機器人要上戰(zhàn)場，需要適應戰(zhàn)場上的現(xiàn)實，輔助戰(zhàn)士執(zhí)行任務。例如導彈已經(jīng)可以自行識別、選擇和攻擊目標，無人機可以組成蜂群網(wǎng)絡并獨立執(zhí)行某些任務，阿富汗和敘利亞已成為美軍這些武器的試驗場。

倫理的交鋒

在對殺手機器人限制和列裝的時間競賽中，即使是樂觀者目前也認為后者會是勝利的一方。畢竟在人們感受到切膚之痛前，很難對收割生命的武器產(chǎn)生感性認識，一如歷史上先是出現(xiàn)了大規(guī)模殺傷性武器，并產(chǎn)生巨大的破壞后，人們才開始痛定思痛制定限制大規(guī)模殺傷性武器的公約。

機器人看似有益無害，目前在工廠里已經(jīng)有機器人和人一起上班，無人駕駛汽車也已經(jīng)上路測試，無人機已開始行進送貨服務，但當這些機器成為武器，踏上戰(zhàn)場的那一刻，不但所有的溫情脈脈都會被撕去，連戰(zhàn)爭的倫理都會被改寫。盡管責任要由握刀的人來承擔，但和刀終究要靠人揮動不同，自主武器可以自己選擇攻擊的時機，這無疑會極大削弱人的自我防護能力。

自主武器在接到攻擊指令后，不再需要人的開火指揮，攻擊的時機也由算法作出最優(yōu)選擇。它們在數(shù)分鐘、數(shù)天乃至數(shù)周長的時間里自行跟蹤目標，然后選擇所謂的最佳時間將目標消滅。如此一來，決定人生死瞬間的不再是作為對手的人，而是一臺冷冰冰的機器。

此外，自主武器更難區(qū)分攻擊目標。目前國際人道法重要的一條是，在攻擊時要清楚區(qū)分作戰(zhàn)者和平民，盡量避免攻擊平民和民用設施。機器不懂國際法，也無法依據(jù)道德而行動，難以區(qū)分攻擊目標。因此國際法專家們要求，人類必須始終擁有對攻擊的最后控制權(quán)。

殺傷性地雷可以被看作是一種最初級的自動運行武器，因為當其埋下后，何時爆炸就不由埋雷者控制了，而取決于應用的情景。然而就在地雷被口誅筆伐多年后，很多幾十年前布下的地雷。如今依然在作惡，每年造成1.5萬到2萬人喪生。

一旦殺手機器人成為現(xiàn)實，其危險要比地雷大得多。因開展反對地雷的運動而獲得諾貝爾和平獎的喬迪·威廉姆斯（Jody Williams）是“阻止殺手機器人運動”的發(fā)言人，他表示自主武器比核武器更可怕，“如果一些人認為把人類的生殺大權(quán)交給一臺機器是可以的，人性又何以處之？”

正是基于這種可怕的倫理沖突前景，在2013年，聯(lián)合國就開始呼吁暫緩研發(fā)能自主運作的戰(zhàn)爭機器人。遺憾的是，倫理的交鋒目前并未延遲研發(fā)的腳步，而阻止其到來的機會卻在指縫中溜走。

誰來阻擊

人類被機器人大軍屠殺是電影中的舊梗，之所以仍會出現(xiàn)常拍常新的版本，是因為人們從心底有揮之不去的恐懼和擔憂。

然而，軍火商沒有被這種擔憂所嚇阻，他們正貪婪地將手伸向數(shù)據(jù)和算法.直到殺手機器人破殼而出。他們對此振振有詞，認為當機器人取代人走上沙場，會減少人的犧牲。他們避而不談的是另一種邏輯，即研發(fā)這種機器人的一項重大危險是一各國會更輕易發(fā)動戰(zhàn)爭，因為人與人越來越冷漠。也更容易下達殺人指令。

正是由于感受到殺手機器人成為現(xiàn)實的威脅，自2014年開始各方在聯(lián)合國日內(nèi)瓦總部舉行對話，討論對殺手機器人進行限制，整個對話在特定常規(guī)武器公約的框架下進行。這個非正式對話在2017年演變?yōu)檎降恼勁?，超過70個國家以及更多的科學家、非政府組織參與。但各方立場相距甚遠，整個談判進展遲緩。

基礎(chǔ)研究領(lǐng)域一直沒有放棄抵制殺手機器人的出現(xiàn)。物理學家斯蒂芬·霍金在世時，就曾在2015年和上千名人工智能領(lǐng)域的專家一道，發(fā)表了一封呼吁在世界范圍內(nèi)禁止殺手機器人的公開信。

科學家們警告，越過這一界限將啟動一場新的全球軍備競賽。信中稱，繼發(fā)明火藥和核武器之后。能夠在沒有人類干預下獨立識別并攻擊目標的武器系統(tǒng)的發(fā)展，將帶來“第三次戰(zhàn)爭革命”。

兩年后，不少人工智能企業(yè)也加入了反對的行列。特斯拉創(chuàng)始人埃隆·馬斯克。以及谷歌應用人工智能負責人穆斯塔法·蘇萊曼等116家機器人和人工智能企業(yè)的創(chuàng)始人簽署了一封公開信。這封信說，致命自主武器會讓“武裝沖突的規(guī)模超過以往任何時候，時間跨度快到人類無法理解”。