直面人工智能信息安全威脅

宋揚 王曉峰 祁欣

人工智能（Artificial Intelligence，簡稱“AI”）是一門前沿交叉學科，它誕生于20世紀50年代初，經過60多年的技術演進和持續積累，其理論知識技術日益成熟，應用范圍領域也在不斷擴大。從2014年開始我國在人工智能領域取得重要進展，漢字識別、語音合成、語義理解、生物特征識別、機器翻譯等部分領域核心關鍵技術實現重要突破。國家先后發布了《中國制造2025》《國民經濟和社會發展第十三個五年規劃綱要（草案）》《新一代人工智能發展規劃》等規劃和文件，從科技研發、應用推廣和產業發展等方面提出了一系列措施，我國的人工智能技術已經成為經濟發展的新引擎之一，并為社會建設提供了新的機遇，進入了一個全新的快速發展階段。

人工智能將成為未來發展的重要科技技術之一，但是人工智能技術會對信息安全、個人隱私、社會倫理帶來較大的影響和沖擊，使網絡與信息安全面臨新的問題、新的挑戰，必須緊盯科技發展大勢，高度重視人工智能技術可能帶來的安全風險挑戰，進行安全風險及應對措施分析，從而推動和保障相關技術安全保密應用，最大限度降低風險，確保人工智能技術對保密管理和保密技術體系的影響可控。

人工智能信息安全威脅分析

人工智能技術的特點，導致人工智能信息安全威脅隨之有以下新的特點。

第一，倫理安全威脅。

大數據驅動知識學習、跨媒體協同處理、人機協同增強智能、群體集成智能、自主智能系統成為人工智能的發展重點，受腦科學研究成果啟發的類腦智能蓄勢待發。隨著人工智能技術的發展，人們在日常生活中會接觸越來越多具有“自主操控”特征的設備和機器，面臨現有法律、社會規范和道德倫理的挑戰。此外，人工智能技術的進步，可能會導致某些簡單、重復工作類職業的消失，導致相關從業人員的心理恐慌。

第二，社會秩序破壞安全威脅。

和傳統的信息系統不同，通過人工智能技術可實現對設備或者機器一定程度的自主智能操控。一方面，人工智能系統控制的機器人、無人駕駛汽車、無人駕駛飛機等設備或機器具備一定的自主行為，在受到安全威脅時對社會秩序有較大的破壞性，典型的就是無人駕駛汽車失控對交通系統的破壞；另一方面，人工智能系統機器行為給同一系統中的人帶來不可預見的干擾和影響，可能會導致破壞現有的秩序。

第三，隱私安全威脅。

由于大數據、傳感器等技術的廣泛應用，對于人、事、地、物、組織等社會管理和經濟運行實體的綜合、立體全方位刻畫成為可能。以人員為例，從孤立的、局部的個人情況、家庭信息、聯系方式、賬號密碼等信息，延伸到出行軌跡、社會交往、消費情況、健康狀況等，并且通過智能手機、互聯網、傳感設備的實時數據獲取、匯聚使得上述全方位刻畫數據從靜態發展為動態。如果上述被刻畫人員的數據曝光，將毫無個人隱私可言。

第四，系統整體性安全威脅。

在人工智能系統中，大量數據存儲于云端，經過大數據分析后向控制端發送指令，是一個形成“感、傳、智、用”閉環的統一系統。一旦受到攻擊和發生故障，造成的安全影響往往是整體性的、全局性的。即使局部的安全風險，也會被迅速擴散和放大，造成更為嚴重的安全威脅。

人工智能信息安全威脅的特點

一是影響面大。

人工智能作為一門交叉學科，涉及芯片、網絡、軟件、信息資源處理、傳感網、圖像處理、計算機視覺、語言識別、語義處理、機器學習等多種學科及技術領域，具有“跨界融合”的新特征。因此，人工智能帶來的信息安全威脅相比傳統的信息安全威脅影響面大，更難定位和分析。

二是危害性大。

傳統的信息安全攻擊和漏洞帶來的損失本質上是信息泄漏，信息的泄漏往往是靜態的、損失是可衡量的。而人工智能具有“自主操控”的新特征，與其控制的設備或機器（如機器人、無人駕駛汽車、無人駕駛飛機等）相結合，針對人工智能的攻擊具有強烈的動態性，甚至會威脅生命、影響人和社會的倫理，這給傳統的“保密就是保信息”的觀念帶來了極大的挑戰。

三是傳導性強。

隨著技術的迅速發揮和完善，人工智能已越來越多地進入到制造、金融、安防、醫療、教育、零售等社會各領域以及人們的家居、駕駛等諸多領域，攝像頭、拾音器、定位設備、感溫器、人體體征檢測設備、感光器等大量多種傳感器遍布于人們的工作和生活的各個角落，連接密集、節點增多、數據密集，導致非法入侵的觸點也大大增加，人工智能的信息安全漏洞可快速蔓延，迅速從設備傳導到使用的人員。

四是不可預見性強。

人工智能的“深度學習”特征以及其發展的相對不成熟，會導致較強的不可預見性，給信息安全和保密管理帶來更大的困難。相比人類而言，人工智能需要從學習樣本或者數據中學習有價值的信息，并針對某個情境獨立建造一個抽象模型進行具有一定高度的歸納總結。學習樣本或者數據并不是全樣本的實際數據，加之這些數據的不穩定性或潛在缺陷會給人工智能帶來不可靠、不準確和不公平，存在較大的安全風險。同時，由于數據在云端匯集、存儲，各數據要素的產生者、數據全集的所有者對信息的不可控性也大大增加。

人工智能信息安全威脅的應對措施

人工智能技術在帶來機遇的同時，也帶來了安全挑戰，需要提前在立法、機制、技術和管理方面做好信息安全應對。

首先，立法應對措施。

2016年10月，美國發布的《美國國家人工智能研究和發展戰略計劃》（The National Artificial Intelligence Research and Development Strategic Plan）中的7項重大計劃之一就是“了解并解決人工智能的倫理、法律和社會影響”，要解決人工智能技術帶來的安全影響，必須從立法角度進行應對。

歐盟、日本等人工智能技術起步較早的地區和國家，已經意識到人工智能進入生活將給人類社會帶來的安全與倫理問題，并已著手開展立法探索。2016年5月，歐盟法律事務委員會發布《就機器人民事法律規則向歐盟委員會提出立法建議》的報告草案，探討如何從立法角度避免機器人對人類的傷害。有效應對未來風險挑戰需強化立法研究，明確重點領域人工智能應用中的法律主體以及相關權利、義務和責任，建立和完善適應智能時代的法律法規體系。2016年11月，我國出臺了《網絡安全法》，全面規范了網絡空間安全管理方面的問題。我國應在人工智能相關法律法規制定上體現后發優勢，緊密關注國內外已經出現的人工智能技術倫理問題，做好相關防范工作。

其次，機制應對措施。

由于人工智能技術信息安全的復雜性，需要從機制上控制其帶來的信息安全風險和威脅，包括數據云存儲、大數據分析利用、智能終端設備管理、人工智能信息安全測評方法等。國家2017年7月發布的《新一代人工智能發展規劃》強調，要建立健全公開透明的人工智能監管體系，實行設計問責和應用監督并重的雙層監管結構，實現對人工智能算法設計、產品開發和成果應用等的全流程監管，促進人工智能行業和企業自律，切實加強管理等。

再次，技術應對措施。

加強人工智能的技術研究，對人工智能安全提出監測預警、風險評估、安全問責、研發設計人員安全準則等要求，強化人工智能技術的安全和可控。《美國國家人工智能研究和發展戰略計劃》認為主要應當具體體現在以下幾個方面：（1）透明，即以用戶可見的方式進行操作；（2）可信，即用戶可接受的系統輸出；（3）可審計，系統可評估；（4）可靠，系統按照用戶期望行動；（5）可恢復，用戶可在需要時恢復控制。

同時，需要在保密技術方面加強研究及開發，推動和保障人工智能技術安全保密應用，推出有針對性的安全保密管理軟件。同時，應在人工智能安全風險的技術應對中，采用大數據智能分析技術，輔助有效檢測識別各類網絡安全威脅，綜合分析網絡安全要素，評估網絡安全狀況，預測其發展趨勢，甚至結合當前安全策略和威脅情報形成安全智慧，主動調整已有安全防護策略，“人工智能+網絡安全”成為當前重要熱點技術之一。

國家《新一代人工智能發展規劃》指出“加強人工智能標準框架體系研究，逐步建立并完善人工智能基礎共性、互聯互通、行業應用、網絡安全、隱私保護等技術標準”。

結語

人工智能技術由人發展，最終服務于人，因此人工智能信息安全問題的最終產生者也是人，而人也是信息安全的關鍵要素，所以務必緊盯科技發展大勢，做好嚴密應對，以保障人工智能技術和產業的健康發展。