人工智能的保險閥
——認知安全

闞志剛（梆梆安全公司首席執行官）

人工智能的保險閥
——認知安全

闞志剛（梆梆安全公司首席執行官）

0 引言

2016年初的“阿爾法狗VS李世石”圍棋世界人機大戰，賺足了人們的眼球。隨后，微軟AI聊天機器人Tay上線后竟然在一天時間內“學壞”，在引發人們大笑的同時，更隱約間暴露出一絲人工智能的安全危機。

1 來自世界最聰明大腦的警告

當全球各個行業的人們都在對人工智能滿懷希望，期待藉由人工智能的力量實現領域內的突破時，這個世界上最聰明的三個大腦卻似乎看到了更為遙遠、而又很不樂觀的畫面。

2014年，劍橋大學著名理論物理學家斯蒂芬·霍金提出，人類的進化速度與人工智能相比遠遠不如，他警告人們，如果軍事科技過度依賴于人工智能，將可能導致人類的滅亡。

電動汽車公司特斯拉、商業太空飛行公司SpaceX首席執行官埃隆·馬斯克更是直白的表示，未來人類生存的最大麻煩恐怕就是人工智能了。“研究人工智能如同在召喚惡魔”，人們需要對人工智能保持萬分警惕而不為過。他呼吁要對人工智能加強監管，以確保“我們不會做蠢事”。

微軟公司創始人比爾·蓋茨也與憂慮超級人工智能的人們處于同一陣營，他認為幾十年后人工智能很可能會強大到足以令人擔憂的地步。在這一點上他贊同斯蒂芬·霍金、埃隆·馬斯克等人的看法，“而且我不明白為什么一些人會對此仿佛若無其事。”如果人們不能對人工智能未來的潛力嚴肅對待，那么《終結者》、《黑客帝國》、《生化危機》中科幻場景變為現實的可能程度將大為提升。

2 人工智能安全危機并非杞人憂天

事實上，機器人“殺人”的事件實際上早已發生。數據顯示，世界上第一起機器人“殺人”事件發生于1978年9月6日。日本廣島一家工廠的切割機器人在切割鋼板時突發異常，將值班工人當作鋼板操作致其喪命。1981年5月，日本山梨縣閥門加工廠一名工人在調整加工螺紋的工業機器人時，處于停止狀態的機器人突然啟動，抱住其旋轉，最終導致其頭部、胸部嚴重受傷而致死。1982年，英國一名女工在測試工業機器人電池時，機器人突然“工作”，將其手臂折成兩段。1989年，一次國際象棋界的人機大戰中，前蘇國際象棋冠軍古德柯夫連勝三局，智能機器人棋手突然向金屬棋盤釋放出強電流，于眾目睽睽之下將古德柯夫擊斃。2015年7月，德國大眾汽車公司包納塔爾工廠中一名21歲的工人正在安裝、調制工業機器人，后者突然“出手”擊中工人胸部，將其碾壓于金屬板上，導致這名工人當場死亡。2016年11月，第十八屆中國國際高新技術成果交易會上發生了一起“意外”智能機器人事故：一臺小胖機器人運動打破了參展現場玻璃，并砸傷路人。事后其生產廠家聲稱這是由于競爭對手的惡意操作所導致。

這些是人們發現并已經公開報道的機器人事故，雖然最后的結論都是“故障”，但真相確實如此么？人們對于智能機器人的了解夠深、夠透徹么？可能給人們帶來危害的“意外”、“惡意”操作就不需要去考慮并防范么？作為智能機器人的設計、制造者，你真的了解它么？人工智能安全危機并非杞人憂天。

3 2060年人工智能是否“奪權”

行業專家把人工智能的發展進程劃分為弱人工智能階段、強人工智能階段、超人工智能階段。

弱人工智能（Artificial Narrow Intelligence，ANI）僅擅長單方面的工作，從之前的深藍到如今的阿爾法狗，就是僅限于下國際象棋與圍棋的弱人工智能。這也是當前人工智能所處的主要階段。

強人工智能（Artificial General Intelligence，AGI）則會在各方面都具備和人類相同的認知能力，目前這類人工智能還未產生。

而超人工智能（Artificial Super Intelligence，SI）將在所有領域都比人類聰明，見圖1。牛津大學哲學系教授、人工智能專家Nick Bostrom認為，超級智能會“大大超越我們智慧的極限，我們甚至做夢也無法想象得到。”一旦會危及人類的超級智能被開發出來，再想把它裝回瓶子里可就難了。

圖1 人工智能的超級能力

在許多著名科幻著作里，諸如天網、紅色皇后、Viki這些超人工智能就是在進化過程中從經濟、戰略、技術、社會等層面逐漸擁有了上述超級能力，通過一系列的秘密準備，成功逃離人類掌控，甚至形成了對人類社會的反制。

當人類自身的思維都要靠人工智能來擴充時，人類將無法預測未來。如果在未來的某一天人工智能發展出了自己的意志，那么這股意志存在很大幾率與人類的意志產生沖突。

專家結合當前人工智能技術、IT技術、生物學技術等預測，強人工智能或將于2040年出現，而超人工智能則會在2060年誕生。那么很有可能在超人工智能出現之時就是人類社會被“奪權”一刻。

4 讓人工智能按照人類的意愿工作

未雨綢繆是人類的天性，2016年白宮科技技術政策辦公室發布了一項信息征集申請（RFI），面向公眾征集有關人工智能的信息。最終獲得一共161份意見，提交者包括個人、學術界及研究者、非營利組織以及產業界。而“AI安全和控制系統”則是主要征集問題之一。隨后白宮接連發布了《人工智能大未來》、《為未來人工智能做好準備》、《國家人工智能研究與發展策略規劃》等戰略報告，見圖2。

圖2 《國家人工智能研究與發展策略規劃》

在如今這個弱人工智能時代，如何讓人工智能發揮“智能”幫助人類的同時還要無害于人類。來自加州大學伯克利分校與斯坦福大學的兩名聯合研究員Paul Christiano和Greg Brockman在《Concrete AI safety problems》一文里從五個方面討論了如何才能有效解決人工智能可能帶來的安全威脅。

（1）避免有害副作用：機器人如何才能在追求效率的同時避免造成連帶損傷？

（2）避免激勵機制漏洞：如何才能防止機器人投機取巧？

（3）彈性監督：如何讓機器人能自主驗證目標，正確完成任務，而不需要讓用戶花極高的時間成本與機器人反復核實？

（4）安全探索：如何避免機器人在探索陌生環境、學習新技能時對人類造成損害？

（5）切換環境后的魯莽：如何能保證機器人在切換環境后，能將已經習得的技能無縫遷移到新環境中，避免造成不必要的麻煩？

5 認知安全讓人工智能未來更安全

人工智能的機器學習開始于對大量數據的統計，并試圖在這個過程中獲得一個規則或者程序，識別特定的模式。2016年3月23日微軟上線的AI聊天機器人Tay發表了第一篇推文，向世界問好。僅僅24小時后，由于Tay不斷辱罵網友，并發表大量帶有種族色彩的不當言論，微軟不得不將其緊急下線。微軟方面表示，在開發Tay的過程中沒有對機器人的交流內容做任何設定，Tay需要在大量對話中學習形成交流體系。但恰恰是“沒有做任何設定”的設定，使得Tay無法具備分辨是非的能力。

本文提出的認知安全，是指研究和學習機器智能對人類理解和認識的過程與方式，找到雙方能夠和平共處的解決方案，使機器智能成為人類不可或缺的一部分，因此，認知安全的第一防御維度就是要管理提供給人工智能用于學習的數據，保障人工智能不在起始階段就把路“走歪”了。

認知安全幫你掌控人工智能。現在的人工智能主要通過模擬人類大腦的神經網絡進行機器學習。神經網絡模型雖然很簡單，但神經網絡的layer變多后，人們將越來越難以理解神經網絡是怎樣學習的。如今，100個神經元（10×10）的人工神經網絡就已經復雜到無人可以完全理解其整個學習過程的程度。那么當人工神經網絡如人腦一般擁有1000億個神經元（結點）時，其復雜度不可想象。谷歌DeepMind研究員Laurent Orseau和Stuart Armstrong在《可安全干涉的智能算法》中提出要避免人工智能出于自私的目的，進行對環境、或對自己有害的行為。人工智能系統是自循環進行自我改進的，其自我改進的代碼人類是不知道的，應設置Self-Monitoring監督架構。這意味著，未來的認知安全體系里還需要加強干涉、監督人工智能運行、發展、進化的安全機制，實現對人工智能微觀與宏觀層面的全掌控。

這是未來認知安全要做的另外一件事情。人工智能核心代碼的安全性需要予以極大的提升，更要將真正的“機器人三定律”植入到人工智能軟件的最底層。在科幻電影《機械公敵》中，機器人運算能力的不斷提高，使其得以自我解開控制密碼，修改程序，違反原來設定轉化為人類的“機械公敵”。而在《超驗駭客》里，擁有掌控世界未來能力的超級電腦，竟然由于代碼遭遇病毒感染而毀于一旦。所以，需要從代碼安全層面，禁止人工智能在自我改進中修改核心代碼，危害人類。抵御外界對人工智能的攻擊，避免人工智能被惡意操縱成為武器。

2016年人工智能的發展如火如荼，無論是杞人憂天還是未雨綢繆，保障人工智能更好的服務于人類是人們的共識。認知安全就是人工智能發展進程中的保險栓，隨著認知安全技術的不斷成熟、研究的不斷深入，人們將更為透徹于人工智能，并將人工智能可能造成的負面影響限制在可控基線之內。