警惕人工智能 帶來的網(wǎng)絡(luò)安全威脅

王超

近年來，人工智能越來越成為引領(lǐng)未來的戰(zhàn)略性技術(shù)，世界主要發(fā)達(dá)國家紛紛把發(fā)展人工智能技術(shù)、推進(jìn)人工智能在網(wǎng)絡(luò)安全領(lǐng)域的深度應(yīng)用作為提升國家網(wǎng)絡(luò)空間核心競爭力、維護(hù)國家網(wǎng)絡(luò)空間安全的重大戰(zhàn)略。然而，人工智能技術(shù)是把“雙刃劍”，在大力發(fā)展人工智能網(wǎng)絡(luò)安全技術(shù)的同時，必須高度重視可能帶來的網(wǎng)絡(luò)安全風(fēng)險，加強(qiáng)前瞻預(yù)防與約束引導(dǎo)，最大限度地降低風(fēng)險，確保人工智能在網(wǎng)絡(luò)安全領(lǐng)域安全、可靠、可控發(fā)展。

一、推進(jìn)人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的深度應(yīng)用成為全球趨勢

（一）人工智能技術(shù)成為國家網(wǎng)絡(luò)空間競爭的新高地

當(dāng)前，發(fā)達(dá)國家紛紛加強(qiáng)網(wǎng)絡(luò)安全領(lǐng)域的人工智能戰(zhàn)略布局。美國把人工智能技術(shù)提升到能給網(wǎng)絡(luò)安全，甚至國家安全帶來顛覆性變革的戰(zhàn)略的高度。在我國，工信部于 2017 年12 月發(fā)布《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃（2018-2020 年）》，明確倡導(dǎo)人工智能先進(jìn)技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的深度應(yīng)用，提出到2020年要實現(xiàn)的目標(biāo)，即“完善人工智能網(wǎng)絡(luò)安全產(chǎn)業(yè)布局，形成人工智能安全防控體系框架，初步建成具備人工智能安全態(tài)勢感知、測試評估、威脅信息共享、應(yīng)急處置等基本能力的安全保障平臺”。

（二）人工智能技術(shù)成為 IT 企業(yè)布局網(wǎng)絡(luò)安全技術(shù)產(chǎn)業(yè)的新抓手

人工智能技術(shù)正在引發(fā)網(wǎng)絡(luò)安全產(chǎn)業(yè)變革熱潮。根據(jù) CB Insights 的統(tǒng)計結(jié)果，在應(yīng)用人工智能領(lǐng)域，網(wǎng)絡(luò)安全是活躍度排名第四的行業(yè)。一方面，新興IT 企業(yè)著力研發(fā)基于人工智能的網(wǎng)絡(luò)安全技術(shù)，并強(qiáng)勢崛起成為領(lǐng)域獨角獸企業(yè)。另一方面，大型互聯(lián)網(wǎng)和網(wǎng)絡(luò)安全企業(yè)紛紛加碼網(wǎng)絡(luò)安全領(lǐng)域人工智能技術(shù)的創(chuàng)新和應(yīng)用。

（三）人工智能技術(shù)成為應(yīng)對網(wǎng)絡(luò)安全風(fēng)險的新方案

網(wǎng)絡(luò)安全專業(yè)人員不足和網(wǎng)絡(luò)攻擊發(fā)現(xiàn)能力薄弱，日益成為抵御網(wǎng)絡(luò)安全風(fēng)險的短板。人工智能技術(shù)以其強(qiáng)大的運(yùn)算能力逐步成為應(yīng)對網(wǎng)絡(luò)安全挑戰(zhàn)的新方案。一方面，人工智能技術(shù)能夠大幅提高分析效率。一個信息安全分析師一天的日志數(shù)據(jù)分析量，人工智能只需幾分鐘就能完成。另一方面，人工智能有助于提升威脅檢測效果。基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法，人工智能技術(shù)能夠主動識別網(wǎng)絡(luò)中的異常行為，現(xiàn)已充分應(yīng)用于物聯(lián)網(wǎng)設(shè)備防御、惡意軟件預(yù)防、安全運(yùn)營中心效率提升、風(fēng)險量化，以及網(wǎng)絡(luò)流量異常和惡意移動應(yīng)用檢測等領(lǐng)域 。

二、人工智能技術(shù)發(fā)展引發(fā)新的網(wǎng)絡(luò)安全風(fēng)險

（一）易遭受“投毒攻擊”

當(dāng)前，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能算法嚴(yán)重依賴于數(shù)據(jù)的分布，如果黑客改變數(shù)據(jù)分布生成惡意的對抗樣本，向人工智能系統(tǒng)發(fā)起“投毒攻擊”，就可能造成人工智能系統(tǒng)的識別錯誤。

OpenAI 在最新研究報告中指出，攻擊者將對抗樣本輸入圖像識別的機(jī)器學(xué)習(xí)模型，就能夠使人工智能系統(tǒng)在視覺上產(chǎn)生幻覺，從而出現(xiàn)錯誤的圖片識別結(jié)果。一旦人工智能技術(shù)在無人駕駛等領(lǐng)域推廣普及，“投毒攻擊”很可能對人們的生命、財產(chǎn)安全產(chǎn)生巨大威脅。

（二）底層開源框架是薄弱環(huán)節(jié)

當(dāng)前，Google、FaceBook、IBM、百度等國際 IT 巨頭紛紛開源其人工智能系統(tǒng)，幫助應(yīng)用開發(fā)人員屏蔽底層實現(xiàn)細(xì)節(jié)，構(gòu)建起以自身技術(shù)框架為基礎(chǔ)的應(yīng)用生態(tài)。然而，不時曝出的安全漏洞提高了人工智能系統(tǒng)的安全風(fēng)險。2017 年 12 月，奇虎 360、美國佐治亞大學(xué)和美國弗吉尼亞大學(xué)的安全研究人員一致認(rèn)為，Google 開源的 TensorFlow、FaceBook 開源的 Caffe 和 Torch 等深度學(xué)習(xí)框架對第三方開源基礎(chǔ)庫過度依賴，這會導(dǎo)致其存在大量的安全威脅。安全人員在上述三個框架中發(fā)現(xiàn)了 15 個安全漏洞，極易導(dǎo)致人工智能系統(tǒng)遭到拒絕服務(wù)攻擊、逃逸攻擊、系統(tǒng)損害攻擊的影響。

（三）基于人工智能技術(shù)的網(wǎng)絡(luò)攻擊多樣化

一方面，人工智能技術(shù)降低了網(wǎng)絡(luò)攻擊門檻。隨著大量人工智能模型開源，黑客入侵的工具愈發(fā)多樣化，其可以利用開源工具欺騙識別系統(tǒng)。另一方面，基于人工智能技術(shù)的網(wǎng)絡(luò)攻擊危害嚴(yán)重。人工智能技術(shù)會進(jìn)一步豐富攻擊模式，以自動化方式提升復(fù)雜攻擊的速度與效率，加大魚叉式網(wǎng)絡(luò)釣魚等勞動密集型網(wǎng)絡(luò)攻擊的危害;追蹤、分析信息系統(tǒng)進(jìn)化趨勢和安全軟件更新特點，設(shè)計出新的、更強(qiáng)大的惡意程序來發(fā)動網(wǎng)絡(luò)攻擊。利用人工智能技術(shù)操作無人機(jī)或其他智能設(shè)備發(fā)起定向攻擊，可能導(dǎo)致物理設(shè)備損害，威脅關(guān)鍵信息基礎(chǔ)設(shè)施安全，危及個人生命、財產(chǎn)安全。

（四）新一輪軍備競賽難以避免

當(dāng)前，以美國為首的發(fā)達(dá)國家不斷拓展人工智能技術(shù)的網(wǎng)絡(luò)安全應(yīng)用范圍，并逐步向軍事領(lǐng)域擴(kuò)散。美國海軍已開始將人工智能技術(shù)用于進(jìn)攻型網(wǎng)絡(luò)行動中。考慮到人工智能技術(shù)可能對軍事領(lǐng)域產(chǎn)生的變革性影響，世界各國為了鞏固、提升網(wǎng)絡(luò)空間話語權(quán)，勢必會加強(qiáng)基于人工智能技術(shù)的網(wǎng)絡(luò)攻擊系統(tǒng)的研發(fā)，打造新的網(wǎng)絡(luò)攻擊“殺手锏”，新一輪全球網(wǎng)絡(luò)軍備競賽恐難避免。

三、幾點建議

（一）重點突破人工智能網(wǎng)絡(luò)安全技術(shù)

一是重視和加強(qiáng)前瞻性基礎(chǔ)研究，加大對感知技術(shù)、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等人工智能算法的研發(fā)支持力度，提升算法的可解釋性、透明性、運(yùn)行效率等。二是加強(qiáng)基于人工智能的漏洞挖掘、安全測試、威脅預(yù)警、攻擊檢測、應(yīng)急處置等網(wǎng)絡(luò)安全技術(shù)攻關(guān)，強(qiáng)化人工智能安全態(tài)勢感知、測試評估、威脅信息共享和應(yīng)急處置等能力。三是支持應(yīng)用技術(shù)研究，重點加強(qiáng)對抗性機(jī)器學(xué)習(xí)研究，分析機(jī)器學(xué)習(xí)對抗性攻擊對人工智能系統(tǒng)的危害程度，提出應(yīng)對的技術(shù)方案，提升算法的魯棒性。

（二）加快優(yōu)化人工智能開發(fā)框架

一方面，研發(fā)推廣應(yīng)用國內(nèi)人工智能技術(shù)開發(fā)框架，重點支持自動駕駛、城市大腦等國家新一代人工智能開放創(chuàng)新平臺發(fā)展，帶動和引領(lǐng)國內(nèi)人工智能企業(yè)構(gòu)建涵蓋機(jī)器學(xué)習(xí)、語義分析、控制決策等眾多技術(shù)在內(nèi)的體系化開源平臺，推進(jìn)人工智能開源代碼、開源軟件的信息匯聚和技術(shù)交流，推動國內(nèi)企業(yè)逐步擺脫對 TensorFlow 等國外開源開發(fā)框架的依賴。另一方面，提高開發(fā)人員的安全技能和意識，將安全理念貫穿到需求、設(shè)計、實施、測試和發(fā)布響應(yīng)等各個階段，堅持在開發(fā)階段發(fā)現(xiàn)漏洞，強(qiáng)化安全測試，提高人工智能開發(fā)框架的安全性。

（三）積極應(yīng)對人工智能型網(wǎng)絡(luò)攻擊

一方面，加強(qiáng)關(guān)鍵信息基礎(chǔ)設(shè)施等重要信息系統(tǒng)的安全防護(hù)能力。結(jié)合關(guān)鍵基礎(chǔ)設(shè)施控制系統(tǒng)的體系架構(gòu)特征，有針對性地開展漏洞挖掘、安全測試，排查關(guān)鍵信息基礎(chǔ)設(shè)施的安全風(fēng)險隱患，提升關(guān)鍵信息基礎(chǔ)設(shè)施的抗偵聽、抗攻擊和恢復(fù)能力。另一方面，以人工智能技術(shù)對抗人工智能技術(shù)，推動人工智能先進(jìn)技術(shù)在網(wǎng)絡(luò)防御領(lǐng)域的深度應(yīng)用。

（四）聯(lián)合抵制人工智能型網(wǎng)絡(luò)安全軍備競賽

隨著人工智能網(wǎng)絡(luò)安全技術(shù)的不斷成熟，研發(fā)、利用、推廣人工智能型網(wǎng)絡(luò)攻擊武器的安全威脅日益加劇。我國應(yīng)著力加強(qiáng)與各國的網(wǎng)絡(luò)安全交流與合作，盡快就抵制人工智能型網(wǎng)絡(luò)安全軍備競賽達(dá)成共識。一是積極開展雙邊、多邊對話，就抵制人工智能技術(shù)在網(wǎng)絡(luò)攻擊領(lǐng)域的使用進(jìn)行溝通與協(xié)商，推動形成有力的管控舉措并逐步推廣。二是推動在聯(lián)合國框架下制定各國普遍接受的防范網(wǎng)絡(luò)武器擴(kuò)散的國際公約，確立國家及各行為體在防范網(wǎng)絡(luò)武器擴(kuò)散方面的基本準(zhǔn)則，明確將人工智能型網(wǎng)絡(luò)攻擊武器列入國際禁運(yùn)、禁用的網(wǎng)絡(luò)武器清單。