智能無人系統安全防御體系研究*

吳煒霞，向紅權，石 凱

（中國電子科技集團公司第三十研究所，四川 成都 610041）

0 引 言

隨著無人平臺的廣泛應用，其面臨的信息安全問題也成了研究熱點[1]。具有自主運動和決策能力的智能無人系統，不僅要面對傳統針對無人平臺的網絡攻擊，也要面對針對智能系統發起的新型安全攻擊。這將使智能無人系統面臨的安全威脅比有人系統更難發現和應對。由于沒有人工操作員在線實時地監視、操作、決策和控制，導致智能無人系統面對異常或未經授權的系統行為時更加難以察覺。研究人工智能安全防御，推動無人平臺安全向智能安全轉變，構建智能無人系統的安全防御體系，具有很強的現實意義和學術價值。

2006年，多倫多大學的Hinton教授在頂級期刊Science上發表論文，并對深度學習進行定義，開啟了深度學習研究和發展的熱潮。深度學習方法帶動了語音、計算機視覺、自然語言處理等人工智能相關技術領域的跨越式發展，也在諸多行業應用中取得巨大成功[2]。

隨著人工智能在無人平臺中的廣泛應用，人工智能面臨的安全威脅也引入到智能無人系統中。2013年，谷歌研究人員首次證實深度神經網絡面臨對抗樣本攻擊威脅[3]，由此引發了學術界對人工智能的安全性和可信賴性的擔憂。近年來，國內外高度重視人工智能的安全性，開展了大量的技術研究[4-5]，規避人工智能帶來的安全風險挑戰。目前，國內外針對人工智能安全的研究內容包含：對抗樣本攻擊和防御、訓練數據投毒攻擊和防御、模型可解釋、算法后門攻擊和防御、聯邦學習、差分隱私機器學習、深度偽造及檢測、機器學習開源框架平臺安全漏洞挖掘修復等多個領域。……