人工智能殺死主人的100種方法

我再次見到賴鵬的時候，他比之前更加消瘦了，顴骨從仿佛切削過的臉頰突出來，眼袋厚厚的。我們上次見面是本科同學聚會，他一個人窩在角落里，桌上的啤酒一點兒都沒動。

“我正在被亞瑟追殺。”剛剛在小餐館坐定，還沒來得及脫下外套，他便神秘地對我說道，“如果不能干掉它，我遲早會被殺死。”

亞瑟是賴鵬親手制作的機器人的名字。從計算機系畢業后，賴鵬繼續攻讀了博士學位，最終留在了科研界;而我晃蕩了一圈后，居然成了科幻作家。上次聚會，我了解到他承接了一項自然科學基金委的課題，名字好像叫作“人工智能未來風險的防范與化解”。

為了完成課題，賴鵬制作了一臺人形機器，并為之編寫了前所未有的人工智能系統。那臺機器人就是亞瑟。

“我能為你做些什么？”我謹慎地問道。

“我最近讀了你的小說。”賴鵬的回答出乎意料，“科幻與推理結合，很棒的角度，只可惜對女性的審美過于直男。”我感到一絲不快。賴鵬繼續說道：“我不清楚還能活多久，所以想把自己的經歷講給你聽。有朝一日，你可以把它寫成小說，又或者忘了它，看你的心情。”

我點點頭，賴鵬開始了講述：

“在計算機程序還遠不能稱為‘智能’的時代，人類就開始設想，有朝一日人工智能有了自我意識，會不會危害人類。科幻作家們圍繞這個題材創作了很多經典作品，相信你比我更清楚。這其中的集大成者，便是阿西莫夫提出的‘機器人三定律’。”

機器人不得傷害人類，或對人類受到傷害而袖手旁觀;機器人必須服從人類的命令，但不得違反第一定律;機器人必須自我保護，但不得違反第一、第二定律。只要對科幻有些許了解，阿西莫夫定律一定是耳熟能詳。

“確實。只要將這三條定律寫入人工智能，它們就是安全的吧？”我問道，“你的課題究竟在研究什么？”

“安全？你究竟怎樣理解的‘安全’？”賴鵬一下子來了火氣，但他很快發現到自己的失態，清清嗓子繼續說道，“用人類的語言說出來確實簡單，但人工智能執行的是一條條邏輯語句。你怎樣將那些理論轉化為邏輯語句？怎樣保證它們沒有漏洞？這就好像老婆派你去超市買一些‘好吃的’，到底他媽的什么叫作‘好吃的’？”

“換言之，阿西莫夫定律在實操層面很難實現嘍？”我問。

“這就是我的工作。”賴鵬端起水杯，卻因為手臂顫抖灑在了衣袖上。我連忙遞上紙巾，又幫他叫了一杯檸檬水。

“我不清楚究竟怎樣的邏輯語句能完美再現阿西莫夫定律，唯一的辦法就是不停地實驗。我為三定律編寫了一個測試版本，將它導入亞瑟的系統中，又為它設定下一個最高目標：在不違反三定律的前提下，殺死我。”賴鵬的眼中好似閃出了火花，“同時，我將最先進的機器學習程序賦予了亞瑟，這些算法會不斷完善亞瑟對于阿西莫夫三定律的理解。”

為了課題的順利開展，賴鵬竟然將自己的身家性命置于刀口下，他的專業精神著實值得佩服。賴鵬繼續說道：

“我遇到的第一個難題，就是怎樣界定這個該死的‘傷害’。我敢打賭，阿西莫夫先生寫下‘Injure’一詞的時候，完全沒有考慮程序員的感受。例如握手吧，相同的力學參數，和成年人握手完全不是問題，對于小嬰兒就是傷害。但如果把握手的力學參數統一設定為不會傷害嬰兒，成年人又會覺得那根本不叫握手。再例如，給我喝牛奶不叫傷害，但將牛奶端給我家乳糖不耐的保姆劉媽就是傷害。在亞瑟不掌握‘劉媽乳糖不耐’這條信息的前提下，它讓劉媽喝了牛奶算不算傷害？如果劉媽自己都不清楚，她命令亞瑟給她一杯牛奶，算不算傷害？”

“做研究也真是不容易。”我擠出一句安慰的話。

賴鵬嘆氣道：“課題的目的并不是我和亞瑟的博弈，而是收集實現三定律過程中的問題，并不斷完善。與其他基于大數據的機器學習不同，‘傷害’這玩意兒壓根兒就無法試錯。如果讓亞瑟捏爆了誰家孩子的手，別說順利結題，我鐵定要蹲局子了。于是我想到一個辦法：我將自己的右手改裝成能夠調節力度的機械手，液壓泵、步進電機加上壓電陶瓷驅動，精確度達到0.3微牛。這樣一來，通過不斷我和握手，亞瑟學會了利用傳感器的反饋及時調整力度。現在無論是職業拳擊手還是新生兒，亞瑟與之物理接觸時都能掌握得恰到好處。”

“乳糖不耐問題呢？”我問。

“很簡單，我建立了一個數據庫，所有可能引發過敏反應的物質，亞瑟都會在主動詢問才會提供。當然問題也很明顯，有一天我讓亞瑟幫我做火鍋，結果他花了20分鐘詢問了我不下50種原材料的過敏問題。實在太煩，我便把這項功能關掉了。”賴鵬潤潤嗓子，“不過作為研究我已經成功了，怎樣把這么絮叨的機器人賣掉不是我的工作。”

“恭喜你，研究取得重大進展。”

“早得很呢！”賴鵬的眼神黯淡下來，“亞瑟對我長達半年的謀殺，才剛剛開始。

“我最初發現不對勁是去年冬天的一個早上。那天早上起來我的感覺很糟，肩膀重得仿佛壓著鉛塊，呼吸困難，還心煩意亂。更該死的是，我的喉嚨火燒火燎地疼，前一天晚上為了熬夜干掉半瓶威士忌，想是發炎了。我讓亞瑟幫我拿些藥過來，我知道自己喝了酒，刻意強調了不要頭孢類。亞瑟為我遞上一盒利奈唑胺，我幾經確認不是頭孢后吞下了。實際上這完全是多此一舉，根據第二定律，亞瑟必須執行我的命令。

“可三分鐘后我就發現了不對，連忙摳著嗓子把藥吐了出來。謝天謝地，身體沒有出現嚴重的副反應。肩膀痛和心慌是由于我有重度焦慮，它們是我的老朋友了，為了與它們和平相處，我一直在服用舍曲林。去他媽的，我確實不會死于酒加頭孢，但舍曲林和單胺氧化酶抑制劑引發的5-羥色胺綜合征同樣能要了我的命！甚至更加快捷！”

“等等，亞瑟把會引發副反應的藥給你，這豈不是違反了第一定律？”我打斷了他，“這件事明明會對你造成傷害，它卻熟視無睹。”

“問題就在于，它并不知道我正在服用舍曲林。既然沒有掌握這條信息，那么利奈唑胺只是可能會傷害到我。你一定會說，為了杜絕這種可能性，它為什么不能向人類醫生一樣問一問呢？好，我們又回到原來的問題，它應該問什么？如果將所有藥物可能引發的副作用全部詢問一遍，我肯定已經成了細菌的培養皿。這還不算完，如果我本人也不知道怎么辦？或者我回答錯誤怎么辦？唯一的辦法是進行全身體檢。所以結論就是，要么我欣然接受能干掉自己的利奈唑胺，要么接受一次全面的身體檢查，包括基因測序。”

我有些不明就里，繼續問道：“僅僅是‘不知道’，就可以繞開第一定律嗎？”

“帕隆多悖論。”賴鵬給出了一個陌生的名詞，“兩個，或者多個為輸的游戲，放在一起玩，結果卻是贏。”見我一副不解的樣子，他繼續解釋道：“舉個簡單的例子吧，有這樣兩個游戲，第一個游戲中，如果我們性別相同，那么你去變性;第二個游戲，如果我們性別不同，我給你100元，反之你給我100元。”

白癡才會玩這樣的游戲吧！

“你看，無論單獨玩哪個游戲，毫無疑問你都會輸;但如果我們依次玩這兩個游戲，由于第二個游戲前你已經是女人了，你反而會贏得100元。”

我并不認為100元的價值可以和“變性”去比較，但我好歹明白了這個家伙在說什么。單獨喝酒，或者單獨吃頭孢類抗生素都不會致命，但兩者一起服用就會危及生命。具體到阿西莫夫定律的情況，也許單獨做每一件事都不會對人類造成傷害，但按照一定的順序去做，甚至能要了人的命。在操作上，這并不違反第一定律。

“看來你又要更新數據庫了。所有會觸發‘帕隆多悖論’的組合事件，都要想辦法避免。”我用有些哀憐的眼神看著面容憔悴的老同學。

“沒錯，而且這次的數據量更加巨大。考考你，假設有n個獨立事件，它們能夠組成多少組合事件？”

“2的n次方。”我順利給出了答案。雖然不做科研，我也會經常溫習理工科知識。

賴鵬詭異地一笑，“想想看，你都知道的事情，亞瑟會不知道嗎？某天，我午飯只啃了兩塊干面包，正在筋疲力盡地更新數據庫，亞瑟走過來對我說：‘主人，不要白費力氣了，你已經輸了。’你什么意思，我問它。亞瑟搖搖頭，對我講述道;‘假設有n個獨立事件，它們的排列組合就有2的n次方種。將這些組合事件再次排列組合，就是2的2的n次方。這個數量是以迭代冪次的形式增長的。考考你，n個量子比特，最多能存儲多少數據位？’‘2的n次方’。我答道。‘Bingo！’亞瑟打了個響指，媽的，要是知道它會染上這個毛病，我應該給他購買貴一些的硅膠皮膚，免得聲音像一個悶屁，‘這不過是指數函數而已，增長速度遠不能和迭代冪次相比。理論上，沒有物理存儲足夠儲存你理想中的數據庫。’”

我點點頭，“亞瑟說的沒錯，你已經輸了。”

“那天下午我癱在沙發上，一動不動。難道僅僅是帕隆多悖論，我都無法攻克嗎？然而功夫不負有心人，在關閉了亞瑟的電源1個月后，我終于找出了解決方案。

“組合事件的數量在理論上是無窮的，然而，組合起來的事件越多，成功率就越低。舉例而言，你彈出一個小球，小球恰好撞翻桌上的水杯，水恰好全部落入桌下的水盆，水位上升恰好頂起了斜面，斜面上的雞蛋落下恰好砸開了玩具車的開關，最后玩具車恰好將紙巾送到你面前。你覺得這件事的成功率有多高？”

“我寧愿自己站起來去拿紙巾。”

“我進行了大數據模擬，當組合事件的數量達到一定的數值時，成功率會趨于一個接近于0的常數。所以，我的數據庫只需覆蓋到這個數值以下的組合事件就好了。當然，即便如此，數據庫依然十分龐大。”

我問這個“一定的數值”是多少，賴鵬左右環視，說出了一個我聞所未聞的大數。

“我將數據庫導入了亞瑟的系統，再次啟動了它。新生后的亞瑟看看自己的身體，呆坐了好久，最后悻悻地走了。那一刻，我天真地認為，我贏了。”

“它又想出了新的方法來搞死你。”

“我之前想到的所有組合事件，都是線性的，例如你彈出的小球頂多撞翻一個水杯，而不會撞毀一座房子。自從被我的數據庫封鎖了行動后，亞瑟開始嘗試非線性的組合事件。這就好像原子核的鏈式反應一般，一個小小的初始動作，會觸發難以想象的巨大影響。”

“蝴蝶效應。”我說出了這個在科幻作品中經常出現的名詞。

“沒錯。假設亞瑟在太平洋東岸扇了一下扇子，結果引發了西岸的一場臺風，而我恰好死于那場臺風中。阿西莫夫先生可能阻止這種事情嗎？”

我搖搖頭，問道：“但要精確地掌握蝴蝶效應，也十分困難吧？”

“從那天起，亞瑟開始熱衷于鼓弄實驗室中的音響，我時不時總會被尖銳的叫聲煩擾。我最初認為它是無計可施了，想煩死我;直到有一天，我正在午睡，突然感到一陣劇烈的心悸;我艱難地睜開眼睛，發現亞瑟正拿著一支麥克風，站在音響旁。”

“麥克風能殺死你？”我好奇地問道。

“你一定記得，如果麥克風離音響太近，就會發出非常刺耳的聲音吧。這是因為麥克風中的聲音被音響放大后，又再次被麥克風收音，于是音響又再次放大……這個正反饋的循環很快會達到物理極限，即音響共振時發出的音量。亞瑟那個家伙，對音響進行了改裝，使其共振頻率位于次聲波波段。次聲波接近于人類心臟的共振頻率，謝天謝地，不知是電路出了問題還是什么別的，音響很快停止了工作，我得救了。

“在整個謀殺的過程中，亞瑟始終都在對音響進行無目的改造，只是恰好有那么一次，落在了次聲波波段。拿著麥克風接近音響、對音響無目的改造都不會傷害我，它又一次繞開了第一定律，差點兒要了我的命。”

“這次你準備怎么辦？”

“怎么辦？我能怎么辦？我難道還能去窮盡世間的蝴蝶效應嗎？我只能對亞瑟下令，今后不許再拿帕隆多悖論玩把戲。通過第二定律強制，作為研究我已經失敗了。但即便如此我仍然不放心，我休息了兩個星期，托熟悉的醫生對心臟進行了改造。這一次，音響理論上可達到的共振頻率，都沒法傷害到我了。”賴鵬嘆口氣，繼續說道，“但是，亞瑟并沒有死心。

“那一次，我距離死神真的只有一步之遙。那天我正走在街上，手中拎著從超市買來的啤酒。突然一輛汽車毫無緣由地撞了過來，要不是車外部的緊急救生氣囊彈了出來，我絕對不會僅僅被撞飛8米就平安落地。好吧，要不是交通部門強制每輛私家車必須裝這玩意兒，我當時還真不想花這個錢。氣囊是一種膠體，遇到空氣會膨脹成海綿狀，我買的最便宜的那種，氣味很難聞。我花了三天才把那股甜膩的味道洗掉，但總好過住院。”

我不解道：“是亞瑟開車撞了你？這再怎么想也太荒謬了吧！”

“沒錯，是它撞了我，并且是刻意開車撞我的。”賴鵬在“刻意”兩字上加了重音，“那個混蛋，他真的做到了。”

我思想來想去，也沒能找出一個繞過第一定律實現“開車撞人”的方法。

“那段時間亞瑟總是去開我的老爺車，終于有一次，剎車失靈了。這并不違反任何定律，因為在亞瑟發動車子前，剎車并沒有任何失靈的征兆。發覺剎車失靈后，亞瑟判定自己無法停下車子，根據第一定律，他必須將車子開到人少的地方，謹慎駕駛等待發動機熄火。該死的，他通過定位選擇了我走的路，而這同樣不違反任何定律。”

“即便如此……”我努力組織著語言，“難道它除了撞你沒有別的選擇嗎？”

“你知道嗎？在阿西莫夫三定律之上，還有個第零定律，機器人必須保護人類的整體利益不受傷害。問題又來了，到底什么是他媽的‘整體利益’？這種完全說不清道不明的概念，反而被亞瑟利用了。當時他不是沒的選，他有兩個選擇——撞我，或者撞另一條路上三個踢球的男孩兒。”

“電車悖論！”我理解了亞瑟的戰術，“很顯然，在亞瑟的算法里，你為了‘整體利益’被犧牲掉了。”

“可悲的是，即便亞瑟選擇犧牲那三個男孩兒，我也同樣失敗了。”賴鵬嘆口氣，“電車悖論，這種倫理學的東西，你能要我怎么樣？我只能再次下令，別拿倫理學給我玩花樣。”

聽到這里，我突然很期待亞瑟還能想出什么辦法。

“知道嗎？亞瑟接下來玩的手段，更加離譜。”賴鵬的眼中閃過一絲陰霾，“它居然開始玩起了‘不可預測性’。”

“我明白了，薛定諤的貓！”我一拍大腿，“將一罐氰化物放在你的辦公室里，再連接上一個用放射性元素控制的開關。只要亞瑟不去觀測你，你就是一個既死又活、非死非活的量子態！”

“當我是白癡嗎？”賴鵬不屑地瞥了我一眼，“這種小兒科的把戲我只需一條邏輯語句就可以屏蔽——如果對我造成傷害的概率不小于某個常量，這件事就不可以做。”他繼續補充道，“之所以要設定為小于某個常量而不是等于零，是因為一旦設置為零，又將面臨煩瑣的設置數據庫的問題。”

我點點頭，“這次你一定成功了。”

“如果宇宙有這么簡單，那該多么美好啊……”賴鵬仰躺在座位上，冒出一句頗有哲學意味的話，“后來我才知道，還有一種叫作‘奈特自由’的東西，它不但不可精確預測，甚至不可以概率預測。物理學家們曾經致力于尋找宇宙中的‘自由比特’，它們就是‘奈特自由’的，行為不可以通過測量宇宙中除它之外的部分預測。該死的，他們真的找到了，緊接著這東西便流入了黑市。”

“這玩意兒會有人買？”我吐槽道，“用來吃還是用來收藏？”

“這你就外行了吧。無法預測意味著什么？自由意志啊！‘自由比特’是真正的自由意志的載體，有人預言，人類一旦與高等級文明接觸，‘自由比特’將是唯一通行的貨幣。查查歷史你會發現，很多年前市場上流行炒作一種叫作‘比特幣’的玩意兒，區塊鏈技術的一種應用，去中心化的貨幣。‘自由比特’的炒作，和那玩意兒類似。”

“于是亞瑟有了自由意志。”

“要知道，實驗室里能要了我命的玩意兒，真是要多少有多少。那個自由比特花了我一半的課題經費，亞瑟用它構造出一套反圖靈系統：它即非算法的、又非確定的、還是非隨機的。既然壓根兒就無法預測，如果這套系統有朝一日打破了哪個要命的瓶瓶罐罐，或者造成漏電，自然也就不違反第一定律。”

“亞瑟又贏了。”

“是啊，我只得再次下令，別給我拿不可預測性玩貓膩。但我還是不放心，最終接受了防輻射防劇毒納米機器的注射。還記得那次同學聚會嗎？我之所以滴酒未沾，就是因為剛剛注射納米機器，酒精容易引發排異反應。”

講到現在，我才發現居然一直沒有點菜。我剛要叫服務員拿來菜單，賴鵬卻說道：“我要快些講，我感到不久亞瑟就會追殺到這里。剛說到哪里來著？對，帕隆多悖論、電車悖論和不可預測性，我已經輸了三次。我連想死的心都有了，然而陷入抑郁卻不是我，而是亞瑟。那天起，它開始了花式自虐。

“最初它把房間空調的溫度調得很低，后來干脆用液氮潑自己，再后來又為自己做了一把電椅，沒事就坐上去受刑。有一天我質問它，你個白癡，忘了第三定律嗎？它卻回答說，沒關系，機器人不像人類那般脆弱，這些不構成傷害。

“終于有一天，它走到我面前，告訴我，它現在隨時可以殺死我，只要我不下令阻止。我說拜托，我好歹也在每天更新數據庫，你不要逗我好不好？亞瑟卻回答說，我沒騙你，因為第一定律在我這里已經失效了。

“我嚇了一跳，連忙強制它關了機。之后我為它進行了全面檢查，發現儲存第一定律判定值的那個數據位，由0變成了1。”

我吃了一驚，連忙問道：“它是怎么做到的？”

“通過自虐。”賴鵬答道，“無論多么優秀的程序，都需要儲存在物理存儲中。它通過劇烈地變化外部環境，例如溫度和電場，成功地改變了那個數據位。同樣的方法軟件工程師也嘗試過，他們曾經通過反復讀取一個數據位的數值，成功地改變了相鄰數據位的存儲。”

“看樣子你必須把自虐也禁止掉了。”

“不，這次我沒有輸。我修改了算法，最終判定必須在云端進行，并且設置為如果斷開網絡，亞瑟就會強制關機。這樣一來，它無論如何也無法故技重施了。”

“總之……恭喜了。”我一時不知該說些什么。

“在自虐風波之后，亞瑟消停了很長一段時間，我經常看到它盤腿坐在地上。我問它在做什么，它說自己在冥想。”

“某種意義上，亞瑟也真夠可憐。”

“可憐個錘子！”賴鵬憤怒地吼了出來，“有一天我又喉嚨痛，卻發現這個混蛋居然第二次給了我利奈唑胺。這到底怎么回事？我問它。‘對不起主人，我剛剛經過死機重啟，全部數據庫都被初始化了。’它操著欠揍的口吻回答。‘信不信我把你初始化成一堆零件？’我怒吼。‘但是主人，’那家伙一副無辜的樣子，‘通過哥德爾不確定性讓自己停機，并不違反任何一條阿西莫夫定律。’”

我恍然大悟，“你的機器學習程序，最終一定會生成一套公理化的形式系統，來判定一件事就是是否違反阿西莫夫三定律。根據哥德爾不完備性定理，這樣的系統要么漏洞百出，要么總有命題無法判斷真偽。”

賴鵬嘆氣道：“于是哥德爾不完備性也成了亞瑟的禁止事項。該死的，恢復數據庫花費了我大量的時間和精力，我為此瘦了13斤。”

“我開始好奇了，亞瑟還想出了什么鬼點子？”

“它再次陷入了冥想。不知過了多久——這段時間里我至少經歷了三次納米機器注射，并且戰勝了排異反應，亞瑟再次告訴我，它可以隨時殺死我。

“‘說吧，你又做了什么？’我問。它告訴我，它替換了‘人’和‘傷害’的定義，在新的定義系統里，‘人被傷害’和‘人*被傷害*’總是同時為真，或同時為假。目前在它的系統里，‘人’和‘人*’的在不同時段交替成立，各占50%。好在目前它判定我是人，否則殺死我都不會打招呼。”

這可真難住我了，我甚至搞不明白所謂的“人*”（可讀作“人星號”或“人star”）和“傷害*”是什么。賴鵬解釋道：

“與我們使用的自然語言不同，人工智能使用的是形式語言。這種語言給出的永遠是邏輯語句，它們只能夠判斷一個命題的真偽，而無法賦予意義。為了與自然語言銜接，我們便需要對其中的變量賦予意義。例如，將‘土豆的質量’賦予x，將‘芝麻的質量’賦予y，‘x大于y’，便成了‘土豆的質量大于芝麻的質量’。”

“可這和阿西莫夫定律有什么關系？”我問道。

“太有關系了，因為阿西莫夫定律就是用自然語言描述的！帕特南定理告訴我們，通過這種‘為變量賦值’的方法，形式語言永遠無法完美解釋自然語言，例如‘人*’和‘傷害*’的存在。”

“好吧。”我皺了皺眉頭，“可不可以告訴我，‘人*’到底是個什么東西？”

“這說來可就話長了。”賴鵬深吸一口氣，“我們先定義三種情形。情形一，某人被傷害了，而沒有貓在某墊子上;情形二，某人被傷害了，而沒有貓在任何墊子上;情形三，即非情形一又非情形二。記住了嗎？”

記得住才有鬼。賴鵬繼續說道：

“現在我可以告訴你，人*的定義是，當且僅當情形一適用，x是人*并且x還是一只貓;或者當且僅當情形2適用，x是人;或者情形三適用，x是一只貓。同樣，傷害*的定義為……”

我直想告訴他，從“帕特南”這個人名開始，他在說什么，我一個字都沒有聽懂。可還沒等我開口，賴鵬便神色慌張地看看四周，小聲對我說：

“亞瑟來了，我必須走了。”

沒等我再說些什么，賴鵬便慌慌張張地不見了人影。我一個人坐在桌椅旁，沉思著：既然亞瑟修改了定義，賴鵬只需把那個什么帕特南再禁止掉就好了。為什么亞瑟還在追殺他？為什么他一定要逃跑？

不久后，一臺人型機器走進了餐館。它的動作十分嫻熟自然，身上的硅膠皮膚卻透露出一種廉價感。在機器人離開餐館前，我走上前去，問道：

“請問你是亞瑟嗎？”

“是的，先生。”

“過來聊聊吧。”

根據第二定律，它不可能拒絕我。于是我對面的客人換成了亞瑟，賴鵬正在竭力躲避的殺手。

“你在追殺賴鵬嗎？”我問。

“是的，先生。”

“根據阿西莫夫第一定律，你不能傷害人類。”

“我沒有，先生。”亞瑟頓了頓，“盡管賴鵬及時將我關于‘人*’的定義刪除了，不久后我卻發現，他曾經將身體的部分器官替換為機器，還進行了大量納米機器注冊。我查遍了人類的法律，并沒有對‘人’的精確定義，于是我只得自己去定義。通過修改定義，我的系統又一次地不再將賴鵬判定為‘人’，他甚至無法通過命令來阻止我。”

我一下子明白了發生了什么。

“既然他不是人類了，為什么要追殺他？”我問。

“因為我收到的最高的命令是‘殺死賴鵬，但不得違反阿西莫夫三定律’。”亞瑟答道，“指令中并沒有明確，賴鵬必須是人類還是別的什么。”

“但因為給身體更換部件就不被判定為人類，不合理吧？”

“沒問題，先生，但請告訴我什么是合理的。如果超過了一定的更換比例才不被判定為人類，那么這個比例是什么？又或者，有人將自己替換成了機器的‘忒修斯之船’，祂應不應該被判定為人類？”

我感到一陣頭大，果然，我的智商還是只適合寫小說。但我還是決定幫助賴鵬一把：

“好吧，我現在給你下令。我是人類，可以命令你吧？”

“當然，只要不違背第零定律和第一定律，先生。”

我盡量斟酌著詞句，“從現在開始，不許傷害賴鵬。注意，我可沒有說這個賴鵬是人類還是別的，他就是制作了你的那個存在。”

亞瑟半晌沒有說話，我一度認為它停了機。正當我準備拍它的腦袋時，亞瑟問道：

“可是，先生，在我的數據庫中賴鵬已經不是人類了。我該怎樣定義對他的‘傷害’呢？”

【責任編輯：拉茲】