人工智能所伴生的安全問題

人工智能自身存在著脆弱性，例如對抗樣本就是人工智能的內生安全問題。對抗樣本是機器學習模型的一個有趣現象，反映出了人工智能算法的弱點。攻擊者通過在源數據上增加人類難以通過感官辨識的細微改變，但是卻可以讓機器學習模型接受并做出錯誤的分類決定。一個典型的場景就是圖像分類模型的對抗樣本，通過在圖片上疊加精心構造的變化量，在肉眼難以察覺的情況下，讓分類模型產生誤判。對抗樣本除在圖像識別領域存在，也在其他領域存在，如語音、文本等。從網絡安全領域看，同樣存在類似于對抗樣本的攻擊問題，攻擊者通過對惡意代碼插入擾動操作就有可能對人工智能模型產生欺騙。例如，有人就設計了一個惡意樣本，讓分類器將一個存有惡意行為的軟件認定為良性的變體，從而可以構造能自動逃逸PDF惡意軟件分類器的攻擊方法，以此來對抗機器學習在安全中的應用。上述安全問題都可能會導致同樣后果，就是導致人工智能系統發生錯誤的決策、判斷，以及系統被控制等問題。

巨大的安全挑戰

人工智能技術存在著巨大的安全性挑戰。目前人工智能系統還無法超出固有的場景或對特定語境的理解，人工智能技術在下棋或游戲等有固定規則的范圍內一般不會暴露其脆弱性，當環境數據與智能系統訓練的環境大相徑庭，或者實際的應用場景發生變化，或者這種變化超出機器可理解的范圍時，人工智能系統可能就會立刻失去判斷能力。……