人工智能系統安全與隱私風險

徐大海

（北京欣智恒科技股份有限公司 北京市 100075）

人工智能是人類通過發明創造，賦予機器以人的才能、行為模式與思維習慣來代替人類進行各項生產活動或者更高精尖的操作。它的神奇與智能的一點就在于他可以自主的進行學習，進行錯誤的糾正，自我組織系統以及自行動的特征。人工智能一般而言是通過一定的程序進行目標制定，使人工智能具備人類一樣的思維方式，達到這個目標才能稱之為人工智能。人工智能構建在一定的生理結構與神經網絡，通過一些計算機算法，建立神經元網絡，模擬人類神經信號的傳遞。人工智能不僅涉及到計算機科學，也涉及到生物學，數學，硬件，外部環境等，人工智能的算法與硬件芯片等需要共同進步，才能管理好整個模塊促進人工智能技術的發展。而且人工智能也有著對于人類社會倫理、道德法律法規的挑戰，在實際的運行過程中，也要注意社會輿論公序良俗等。在與生產力結合大力發展經濟的同時，也要注重其對人們生活的影響，社會的深遠融合。

例如隨著各類人工智能應用的出現和發展，其中的安全隱患也逐漸暴露出來，2018年發生在美國亞利桑那州的優步無人車事故中，事發時處于自動駕駛模式的無人車并沒有檢測到前方行人，駕駛員也未及時進行干預，最終致使行人被撞身亡。并且人工智能增強了對隱私的直接監控(direct surveillance)能力。近年來，各式各樣帶有傳感器和處理器的人工智能產品不斷涌入人們的學習、工作和生活中，極大地增強了對隱私的直接監控能力。當你在自家大院載歌載舞時，有人可能正在通過無人機監視著你的一舉一動[1]。因此本文從人工智能系統安全與隱私風險的現狀，探討未來在人工智能系統安全研究方面的發展與防范措施。

1 人工智能系統攻擊措施

1.1 輸入環節

人工智能系統通過傳感器（攝像頭、麥克風、激光雷達、GPS 等）獲取外部環境數據，或者通過直接讀取文件獲取數據。

1.2 數據預處理環節

輸入的原始數據需要經過格式轉換、尺度變換、數據壓縮等預處理工作，以滿足機器學習模型輸入格式要求，同時降低數據量以保證系統工作的實時性[2]。

1.3 機器學習模型

機器學習模型是人工智能系 統的核心，即“大腦”，主要包括訓練和測試2 個階段。在訓練階段，機器學習模型利用預處理過的訓練數據對模型參數進行調節，以提升對于特定任務的 工作性能（通常用準確率、召回率等指標衡量）。對于強化學習，還存在模型與環境的動態交互過程．當訓練完成時，機器學習模型就進入了測試階段。訓練好的模型將根據輸入提供相應的輸出結果[3]。

1.4 輸出環節

人工智能系統會以標簽、置信度等多種形式給予輸出，為后續的分類、決策等任務提供支持．由于人工智能系統所處環境的開放性，輸入、輸出2 個環節會直接暴露在攻擊威脅環境中．在后續 的介紹中將會看到，即使在預處理環節或機器學習模型被隱藏的情況下，攻擊者仍然可以通過發送樣本的方式對系統內部結構進行推測并發動攻擊[4]。

2 各環節安全風險

2.1 輸入環節安全風險

人工智能一般通過各種電子傳感器進行信息的獲取，然后將采集的原始數據進行下一步的處理、轉換。一些攻擊者通過偽裝這些傳感器，如攝像頭、麥克風等進行數據的竊取，然后將樣本輸送到其他的裝置之中。這也是被視為最嚴重的攻擊之一[5]。

2.2 預處理環節安全風險

在使用者無意的情況下可能進行了數據的獲取傳輸工作。在數據處理階段只能就原始數據轉換成能夠被模型識別并最終輸入的樣式，因此在這個過程中仍然存在著風險。重采樣過程中由于文字或者圖片要被壓縮，會改變數據格式，因此也造成了更容易被攻擊。在實際的防控過程中，可以采用對重采樣情境下計入隨機質量檢測措施來增大被入侵者攻擊的可能性[6]。

2.3 機器學習模型安全風險

機器通過學習模型來進行下一步的動作與決策，這也是人工智能的核心部分，攻擊者在這個環節有許多方式進行攻擊，比如通過加入一部分有毒的數據代碼，使模型在學習數據時受到攻擊。還有可能在構造模型時進行異常干預，使機器在決策時出現錯誤；還有的是攻擊者通過內部觀察習得機器人的學習模式構建策略，探索模型運作的方式，進而發起攻擊[7]。

2.4 輸出環節安全風險

輸出環節的結果直接影響著人工智能系統的運行與決策。這些豐富的輸出端口也造成了攻擊者有許多的攻擊渠道，攻擊者可以對模型展開逆向追溯，獲取模型，或者利用置信度來構造對抗樣本。在實際運行過程中可以采用輸出值近似處理或者引入隨機波動，來探索的準確性，提高系統攻擊難度[8]。

3 人工智能帶來的隱私風險

人工智能的廣泛樣本都來源于海量的大數據與算法，雖然對人類提供了很大的便利，但是同時也造成了嚴重的隱私危機。主要是由于如何在人工智能的便利與人的隱私問題的取舍上取得一個平衡值[9]。在相關的法律保護措施以及條例中提供一定的幫助與借鑒。人工智能的核心便是需要大量的數據樣本搜集，不斷學習，這樣才能使人工智能走向越來越智能化。但是這也造成了人工智能對一個人隱私的權限越來越大了，獲取的途徑越來越多，安全性能越來越低。不管是搜索過什么買過什么看過什么都能隨時被人工智能抓取搜集到[10]。

不管是政府為主導進行各部門資源共享，還是企業為了收集用戶數據進行用戶細分市場，還是私人黑客為了牟利，都能非常方便的獲取人們的隱私。而且人工智能的傳感器端口有非常強的畫像識別功能。不管個人用戶的運動軌跡，行為偏好，個人習慣等，都能很容易被有關機構或者個人所獲取。人工智能本身就是擬人化的產物，今后的世界人工智能可能在我們的生活中無孔不入，扮演著類似于人的效果[11]。它與許多機器工具不同的一點是他可能具有社交功能，處于人與機器的中間地帶，這也造成了用戶可能對此不設防，最終被這些機器程序所操控。而且現今人工智能的發展并不足夠成熟，仍然有一定的法律風險與社會倫理問題，在算法與大數據方面仍然存在許多問題，可能會被輕易攻擊的端口，被篡改的程序等都是隱患[12]。

人工智能是超越人類智慧的存在，但是在某些時候，它的決策仍然是由人類所編寫決定的，因此也受到編寫者自己行為習慣、道德水準的影響，容易造成一定的偏差或者歧視現象。而且人工智能一直由于其類人化存在著嚴重的倫理問題，它的外表極具迷惑性，也會加劇人類更加暴露自己的隱私[13]。許多科學家甚至擔心人工智能的出現，會侵害人與人之間本身的正常社交，而使人類更傾向于與人工智能生活在一起。因為人工智能通過智能算法規避掉人類不喜歡的東西，最終人類只能處在不斷重復與自我欣賞的圈層內，固步自封。因此從生理心理還是社會的角度人工智能均有許多隱私方面的風險缺陷[14]。

4 降低風險應對措施

在移動互聯網、物聯網、大數據、云計算等技術的加持下，一個“萬物互聯，人人在線，事事算法”的人工智能時代正在到來。我國為了享受到人工智能的紅利的同時規避掉安全系統風險與隱私風險也提出了許多應對措施[15]。

4.1 完善相關法律體系

不管是計算機系統安全還是隱私保護條例，對于我國傳統的法律都提出了嚴峻的挑戰。因此在構建《個人信息保護法》，應當緊隨當下時代環境，提出更多的應對措施。比如在人工智能自動獲取用戶信息的時候，能建立一定的禁止機制，只有客戶自身同意獲取的信息才能采集用戶信息。對于每一項信息的采集用戶都有知情權與選擇權[16]。在實際立法過程中，可以去借鑒歐盟的《一般數據保護法》等條例。并且用戶有權對自己的數據進行處理，包括修改刪除等。刪除了的數據人工智能不得在進行搜集獲取[17]。并且對于用戶認為敏感的數據，人工智能有禁止行為，不能無度的獲取。只有有相關的政策法律保護，才能全面保護人們的系統安全與隱私問題。對于惡意抓取攻擊端口來獲取數據獲利的黑客或者機構應當明令禁止，出臺一定的處罰措施，負一定的法律責任[18]。

4.2 重視安全系統隱私保護路徑

相比于歐盟國家我國對于客戶安全系統隱私的保護措施，仍然有進步的空間。一方面我國應當重視安全系統，隱私保護增強技術，提高網絡安全的能力，對于個人信息應當進行一定的加密防火墻的措施。降低系統風險，數據被攻擊篡改，人工智能模型被反操控的可能，對于人工智能系統漏洞及時進行修復，對于數據模型的攻擊行為要保證一定的攻擊難度[19]。避免針對用戶數據進行萃取工具攻擊。在企業的細分市場競爭中，尊重用戶的隱私。國家與有關政府也應當開發一定的隱私評估工具，來協助企業在一定的范圍內進行識別最小化系統風險[20]。

5 總結

人工智能的逐步成熟，既是機遇也是挑戰。人工智能的深度學習功能、數據獲取能力能在一定程度上代替人類勞動，提高社會生產力，但是它的擬人化、智能化、學習化特征也造成了有較大的安全風險與隱私風險。如何發現、修復人工系統中的安全缺陷，規避人工智能應用風險也成為了人類和社會日漸關心的問題。本文分析了相應的安全隱私風險，討論了未來在人工智能系統安全隱私保護研究方面的發展與應對措施。