淺談人工智能風險和治理

摘 要：隨著人工智能技術的不斷進步和成熟，近年來在各個行業得到爆發式增長。而與此同時人工智能的應用也帶來各種挑戰和風險。本文首先介紹了人工智能的定義，在此基礎上介紹了人工智能的安全、隱私保護以及倫理等方面的風險，以及業界為應對這些風險所做出的努力。最后本文對未來人工智能治理的趨勢做出展望。

關鍵詞：人工智能;風險;安全;隱私;治理

一、AI的定義

在談論人工智能治理之前，我們首先來看看什么是人工智能。人工智能的定義仍然一直存在爭議，例如，純大數據技術屬于人工智能嗎？與機器學習有關的都是AI嗎，例如傳統統計學領域的某些分類算法？Kaplan和Haenlein將人工智能定義為“系統正確詮釋外部數據，從此類數據中學習并利用這些學習通過靈活的適應來實現特定目標和任務的能力”。該定義較為嚴格，排除了機器學習和大數據。Gartner將AI定義為一種應用高級分析和基于邏輯的技術（包括機器學習）來解釋事件，支持和自動執行決策并采取行動的學科。這是一般公眾的理解。從對人工智能風險管控和治理的角度來看，本文將采用公眾所理解的定義，因為這樣才能保證盡量全面地覆蓋風險，避免遺漏。

從這個比較寬泛的定義上來看，人工智能技術在近年來得到了爆發式發展。海量數據的可用、云計算普及帶來的計算成本降低和計算能力提升、開源代碼和打包算法的流行、計算框架和平臺的出現、政府的大力支持等都使得人工智能的研究和推廣變得沒有那么困難。人工智能作為第四次工業革命的重要推動力已成為普遍共識。自2016年開始，各國陸續推出AI戰略，側重點各有不同，比如中國和美國是為了保持其領先地位，而英國在企業界和學術界都未能一騎絕塵的情況下致力于在AI倫理方面領先。

二、AI帶來的挑戰和風險

AI快速發展的同時也帶來了巨大的挑戰和風險。近年來與AI相關的大事件不勝枚舉，不斷引發社會各界對AI自身的能力和對社會帶來的影響的持續關注和討論。2016年，Tesla Model S在美國和中國境內曾發生過自動駕駛致死事故和數起交通事故;2017年沙特阿拉伯授予香港漢森機器人公司生產的機器人索菲亞公民身份，使其成為史上首個獲得公民身份的機器人，李開復稱這是對人類最大的羞辱和誤導;2017年AlphaGo擊敗柯潔;2018年委內瑞拉總統在公開活動中收到無人機炸彈襲擊，這是全球首例利用人工智能產品進行的恐怖活動;2018年，Uber無人駕駛測試車撞死行人事故震驚世界;2019年，波音737 MAX系統控制高于人工干預導致空難，機上157人全部遇難;2019年7月24日，美國聯邦貿易委員會（FTC）與Facebook達成50億美元的和解令，因其欺騙了用戶對個人隱私保護的能力;今年10月份，伊利諾伊州市民抗議Facebook使用人臉識別技術采集他們上傳的照片，此案涉及到700萬用戶，Facebook可能會面臨為每個用戶賠償1000～5000美元的罰款，總金額最高將達到350億美元。

此外，AI對人類自主權帶來的影響也成為爭論焦點，如Google搜索引擎中的自動完成功能中，算法會通過用戶初次輸入的關鍵詞根據其搜索模式等標準給出填充建議，而該建議對用戶的實時影響往往重塑了用戶最初想搜索對象的感知，而真正搜索的內容并不是用戶的原始意圖。監控用戶習慣的IoT應用的定向算法，如通過對用戶的生物反應（瞳孔放大、體溫變化、情緒反應）進行解讀，并在用戶無意識的情況下進行定向廣告營銷，這事告知還是重塑用戶呢（inform or reform human being）？抖音和今日頭條的算法根據用戶的習慣只推送個人感興趣的內容。Facebook的微瞄準廣告中，算法根據用戶信息預測用戶是否支持特朗普，然后只推送同樣結論的文章和觀點。在自動駕駛領域，對其撞人的安全問題的思考可以追溯到哲學界出名的電車難題，麻省理工大學為此開發和部署了道德機器平臺，向全世界超過二百多個國家的民眾進行調研。

AI 的應用將大幅提升數據收集、分析以及建立數據的能力，這使制造偽情報也變得更加便利，使偽造音視頻媒體的質量迅速提升，同時成本迅速下降。谷歌Lyrebird開發目的是用于幫助那些發聲困難的人打造出自己更真實聲音，但騙子會通過騷擾電話錄音來提取你的聲音在Lyrebird上進行生成，從而完成電話詐騙。谷歌Deplex代替人類自動接打電話達到以假亂真的程度。

AI系統和應用還會帶來新的網絡攻擊，例如通過實施干擾技術，計算機在進行深度學習時容易被欺騙，攻擊者對計算機生成模式進行篡改或利用數據欺詐手段遠程控制無人汽車，讓汽車偏航甚至逼停汽車造成事故等。目前國內人工智能產品和應用的研發主要是基于國際通用的人工智能學習框架和組件，國內安全研究團隊在近年屢次發現TensoFlow、Caffee等軟件框架及其依賴庫的安全漏洞，給網絡安全帶來了新的威脅。一方面來看，目前主流的 AI 技術基本框架相對有限，大部分組織不具備自行開發AI 技術基本框架的能力，只能選擇使用現有的公開 AI 框架進行二次開發。另一方面，組織采用某種特定的框架、花費大量的成本生成模型并進行訓練而產生的產品或服務，惡意模仿或蓄意破壞的成本卻并不高，組織如何有效保護自己的產品或服務，也是AI時代組織面臨的難題。

從AI本身來看，AI系統可能受到閃避攻擊/對抗樣本的威脅，導致AI系統判斷失準。伯克利的團隊針對路標能在物理世界做定向的對抗攻擊方法，在行駛過程中使視覺系統將一個“停車路牌”誤識別為“限速45路牌”。再比如“刷臉支付”如果在面部識別環節出錯，直接會影響到個人財產安全甚至引發盜竊。其次，數據完整性和隱秘性對AI系統而言至關重要。有研究發現，通過加入8%的惡意數據，攻擊者能夠使模型對超過50%的患者的用藥量建議時，出現超過75%的變化量。最后，AI系統也會面臨著傳統軟、硬件安全威脅。清華大學團隊設計的基于動量的攻防方法可以顯著提升黑盒攻擊的成功率，如在擾動大小為16時將攻擊Inception-v3的成功率從72.1%提升至87.9%。

這些都事件都引起了廣泛的討論，AI在人類社會到底應該扮演什么樣的角色，以及在法律上應該賦予其什么樣的角色？AI是否會取代大量工作而顛覆勞動市場？人類過于依賴AI帶來的各種智能和便利，增強用戶的單一興趣，加重了觀點偏見，制造信息繭房和回音壁，人類如何保障不喪失自主權？如何保障AI不會被用于惡意目的？AI面臨的新的安全和隱私風險能否解決？

三、業界治理舉措

歷史告訴我們，法律制約永遠落后于技術的發展，目前已有的法律框架有部分要求可以對人工智能進行管制，如2018年5月25日生效的全球最嚴苛最全面的歐盟《通用數據保護條例》（GDPR）中對自動化決策的要求，該條例引發“布魯塞爾效應”，非歐盟企業和國家也開始以GDPR為基準進行隱私保護相關建設，如美國、日本、中國、巴西等。然而這顯然是不夠的。為應對層出不窮的AI事件，各國政府、權威機構、領先企業等紛紛針對AI的倫理問題展開討論。

2016年，聯合國在特定常規武器公約會議上確定“對致命自主武器系統進行有意義的人類控制原則”并建立了專門的研究機構，研究機器人和人工治理的問題。國際電氣和電子工程師協會于2016年發布第一版供公眾討論的《人工智能設計的倫理標準》，2018年發布第二版，2019年3月發布首個正式版EAD。2018年12月，歐盟委員會的人工智能高級別專家組正式向社會發布了一份可信賴的人工智能道德準則草案，該草案被視為是歐洲制造“可信賴人工智能”的討論起點。新加坡發布AI治理框架，并在世界經濟論壇上獲得大獎。根據曾毅教授的總結，截至目前，業界已經發布了超過五十個AI原則，包括OECD、G20、北京共識、加拿大蒙特利爾宣言、微軟、谷歌、百度、騰訊等。在學術界，斯坦福大學的以人為本的人工智能中心致力于提供一個跨學科平臺等，該平臺得到了企業界的資助，Facebook資助德國慕尼黑工業大學建立AI倫理研究中心。

2015年至2019年，英國交通局等對自動駕駛上路測試的安全問題進行測試并給出指南。2017年，德國聯邦運輸部長亞歷山大·多布林特議院提供了道路交通法案，其中包含自動駕駛汽車的安全問題。2019年4月10日，紐約市通過美國首個算法問責法案的提案。今年，英國政府委托其數據倫理和創新中心對在線瞄準（online targeting）和算法偏見（algorithmic bias）兩個領域收集民眾建議并提出建議。

2019年5月14日，舊金山成為美國第一個禁止執法部門使用面部識別技術的城市，此后，薩默維爾市和奧克蘭也實施了類似的限制。2019年10月，美國加州州長簽署法令，禁止會對大選造成影響的deepfake視頻。該法令規定，如果散布的信息使公眾對政治人物的言論、行動產生錯誤或有害的印象，這種散布行為將屬于犯罪行為。而在中國，今年9月份風靡朋友圈的ZAO號稱僅需一張照片，出演天下好戲。這個主打和明星換臉的App，在其正式上線的次日就爆紅網絡。然而剛開始刷屏不久，ZAO又因為 “用戶協議”成為大眾爭議和質疑的焦點，雖然嚴格意義上并未違反法律，但仍被工信部約談，責令其進行整改。2019年9月4日，英國第一法庭裁決英國警方可以使用面部識別技術。我們可以看出在應對AI風險時，組織不應僅考慮合規，即管制的下線，而應考慮其上限，雖然法律框架還未成熟，但軟法制足以約束風險較大的AI應用。在自動駕駛、人臉識別、算法問責方面很可能率先形成法律。

結束語：

人工智能已經觸及到人類生活的各個方面，而其面臨的風險也日趨嚴峻。為了使人類能最大限度地享受AI裨益，業內已對其風險進行治理形成初步共識。技術發展的歷史告訴我們，法律永遠滯后于技術的發展。目前業內已經出現了比較通用的人工智能治理框架或指南，而在特定的隱私和安全高風險的人工智能領域，如自動駕駛、人臉識別等領域已經有立法趨勢，預計在接下來的幾年內會陸續出臺。全球的人工智能生態愈發交織也會使得各個國家更容易在管控方面互相影響并達成共識。人工智能將不可避免地影響我們的生活，因此不論是人工智能方案提供者、應用部署者還是使用者都應當對人工智能的風險給予關注，并對其管控進行思考，共同推動人工智能的良性發展。

參考文獻：

[1]IEEE Standards Association.Ethically Aligned Design，2018.

[2]Singapore Personal Data Protection Commission. A PROPOSED MODEL ARTIFICIAL INTELLIGENCE GOVERNANCE FRAMEWORK，2019.

[3]European Commission. “Ethics guidelines for trustworthy AI”，2019.

作者簡介：王建霞（1986-），女，山西省運城市人，漢族，碩士研究生。研究方向：大數據分析。