人工智能在安全領(lǐng)域的應(yīng)用

張濱

（中國移動通信集團(tuán)公司信息安全管理與運行中心，北京 100053）

當(dāng)前，全球科技革命和產(chǎn)業(yè)革命方興未艾，新技術(shù)行業(yè)融合創(chuàng)新不斷，在移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等新理論新技術(shù)以及社會發(fā)展相關(guān)的強(qiáng)烈需求的共同驅(qū)動下，人工智能(Artificial Intelligence，AI）加速發(fā)展，逐漸成為了產(chǎn)業(yè)革命和行業(yè)融合的關(guān)鍵技術(shù)。人工智能可以通過對數(shù)據(jù)的采集、分析和挖掘，形成有價值的信息和知識模型，實現(xiàn)對人類智能行為的模擬，具備一定環(huán)境下的自適應(yīng)特性和學(xué)習(xí)能力。人工智能的要素一般包括數(shù)據(jù)、模型、運算力、應(yīng)用場景幾個方面。基于以上幾種要素的不斷發(fā)展進(jìn)步，逐漸演化并形成了若干人工智能關(guān)鍵技術(shù)，包括機(jī)器學(xué)習(xí)、知識圖譜、自然語言處理、計算機(jī)視覺、生物特征識別等。

隨著人工智能相關(guān)學(xué)科的發(fā)展，理論建模、技術(shù)創(chuàng)新、軟硬件發(fā)展等整體推進(jìn)，各類人工智能應(yīng)用能夠大幅度提升智能制造水平、社會智能水平，推動我國制造強(qiáng)國和網(wǎng)絡(luò)強(qiáng)國建設(shè)，推動社會各領(lǐng)域從數(shù)字化、網(wǎng)絡(luò)化向智能化加速躍升，從而深刻改變甚至顛覆現(xiàn)有人類社會的生產(chǎn)生活方式。

然而，人工智能的發(fā)展和應(yīng)用給信息安全領(lǐng)域帶來了希望和挑戰(zhàn)。一方面人工智能在信息安全領(lǐng)域的應(yīng)用能夠顯著提升安全防護(hù)能力，另一方面人工智能自身也存在著數(shù)據(jù)安全、對抗欺騙、隱私保護(hù)、數(shù)據(jù)爆炸、動態(tài)環(huán)境適應(yīng)和數(shù)據(jù)的可靠性等方面的安全問題。與此同時，人工智能技術(shù)、平臺等也存在安全風(fēng)險，會嚴(yán)重影響人工智能在各個應(yīng)用領(lǐng)域的健康發(fā)展。本文分析了當(dāng)前信息安全領(lǐng)域?qū)θ斯ぶ悄艿男枨笠约跋嚓P(guān)應(yīng)用場景，分析了人工智能面臨的安全挑戰(zhàn)，提出了人工智能安全應(yīng)用及安全防護(hù)建議，旨在推動信息通信及網(wǎng)絡(luò)信息安全行業(yè)對人工智能帶來的安全挑戰(zhàn)達(dá)成充分認(rèn)識，促進(jìn)人工智能在行業(yè)的安全、可靠、可控發(fā)展。

1 安全領(lǐng)域的應(yīng)用需求

1.1 網(wǎng)絡(luò)安全方面

應(yīng)用人工智能可以從海量網(wǎng)絡(luò)數(shù)據(jù)、多樣的安全攻擊手段中快速檢測出網(wǎng)絡(luò)攻擊并能依據(jù)網(wǎng)絡(luò)環(huán)境變化進(jìn)行自適應(yīng)安全防御，人工智能在網(wǎng)絡(luò)安全領(lǐng)域的優(yōu)勢主要包括大幅提升安全監(jiān)測的精準(zhǔn)度。網(wǎng)絡(luò)流量規(guī)模巨大，安全設(shè)備及系統(tǒng)產(chǎn)生大量日志等重要安全信息，應(yīng)用人工智能技術(shù)可以解決大規(guī)模數(shù)據(jù)處理分析、精準(zhǔn)識別網(wǎng)絡(luò)攻擊、減少安全誤報等安全挑戰(zhàn)。及時發(fā)現(xiàn)復(fù)雜的攻擊行為。復(fù)雜的網(wǎng)絡(luò)攻擊中，攻擊者往往會采用各種逃避手段，將常見的攻擊報文偽裝成正常報文，避免被安全設(shè)備發(fā)現(xiàn)。基于人工智能技術(shù)，結(jié)合應(yīng)用場景能夠識別異常的網(wǎng)絡(luò)通信，發(fā)現(xiàn)復(fù)雜的網(wǎng)絡(luò)攻擊行為。人工智能在網(wǎng)絡(luò)安全方面有如下應(yīng)用。

（1）網(wǎng)絡(luò)入侵檢測。收集網(wǎng)絡(luò)流量樣本、安全日志、系統(tǒng)日志等重要數(shù)據(jù)，可以利用貝葉斯方法、神經(jīng)網(wǎng)絡(luò)、決策樹等人工智能技術(shù)，實時檢測溢出攻擊、Web攻擊、木馬、蠕蟲等多種網(wǎng)絡(luò)攻擊行為，解決常見基于規(guī)則匹配的入侵檢測方法存在的誤報多、準(zhǔn)確率低的問題，大幅提升網(wǎng)絡(luò)入侵檢測準(zhǔn)確率與可用性。

（2）網(wǎng)絡(luò)安全態(tài)勢感知。收集安全領(lǐng)域不同設(shè)備產(chǎn)生的結(jié)構(gòu)不一，而又相互關(guān)聯(lián)的安全數(shù)據(jù)，利用人工智能常見算法進(jìn)行關(guān)聯(lián)、分析，能夠評估網(wǎng)絡(luò)設(shè)備運行狀況、網(wǎng)絡(luò)行為以及用戶行為等因素所構(gòu)成的整個網(wǎng)絡(luò)的當(dāng)前狀態(tài)和變化趨勢，實時地感知和預(yù)判網(wǎng)絡(luò)基礎(chǔ)設(shè)施面臨的威脅，達(dá)到動態(tài)監(jiān)測以及指導(dǎo)決策的目標(biāo)。

（3）惡意代碼檢測。傳統(tǒng)惡意代碼檢測通常采用各種代碼匹配的方式進(jìn)行，而惡意代碼傳播過程中會通過各種變形來躲避查殺，導(dǎo)致檢測中的誤報和漏報問題。另外，惡意代碼監(jiān)測要獲得惡意代碼樣本后進(jìn)行人工分析、提取特征，然后才能進(jìn)行檢測、查殺，整個過程對人員安全技術(shù)水平要求極高且具有明顯的滯后性。使用AI技術(shù)進(jìn)行惡意代碼檢測，特別是將二進(jìn)制文件以灰度圖像的形式表示，可利用圖像中的紋理特征對惡意代碼進(jìn)行聚類。通過分析惡意代碼圖像、惡意文件頭個數(shù)等信息，使用決策樹、隨機(jī)森林等AI算法能夠準(zhǔn)確發(fā)現(xiàn)惡意代碼。

1.2 業(yè)務(wù)安全方面

當(dāng)前，針對業(yè)務(wù)的攻擊方式已日趨智能化，并不斷衍生出各種各樣的灰色攻擊方式，常見的包括惡意秒殺、惡意刷信用、薅羊毛攻擊等，采用人工智能技術(shù)能夠有效降低業(yè)務(wù)安全風(fēng)險：及時發(fā)現(xiàn)業(yè)務(wù)濫用。應(yīng)用人工智能技術(shù)對用戶正常行為模式建立業(yè)務(wù)模型，識別常見的業(yè)務(wù)攻擊類型，形成業(yè)務(wù)防護(hù)手段。開展用戶畫像?；谟脩粼谛袨?、習(xí)慣、喜好、社交等多方面特征，能夠?qū)τ脩暨M(jìn)行畫像，并對用戶進(jìn)行分類，有助于識別正常用戶、受控惡意用戶等，從而實現(xiàn)基于用戶分類進(jìn)行業(yè)務(wù)管控。人工智能在業(yè)務(wù)安全方面有如下應(yīng)用。

（1）灰黑產(chǎn)行為識別?；谫~戶、設(shè)備、網(wǎng)絡(luò)環(huán)境、操作、行為、用戶計費信息等數(shù)據(jù)，使用常見監(jiān)督式等人工智能技術(shù)開展用戶業(yè)務(wù)使用行為分析，可以發(fā)現(xiàn)常見的灰黑產(chǎn)的業(yè)務(wù)攻擊情況，如通過批量注冊用戶實施各類薅羊毛行為。

（2）業(yè)務(wù)風(fēng)控。隨著業(yè)務(wù)日益復(fù)雜化、多樣化，面對大規(guī)模的業(yè)務(wù)數(shù)據(jù)，服務(wù)提供商針對每一項業(yè)務(wù)進(jìn)行業(yè)務(wù)風(fēng)控面臨著極大挑戰(zhàn)。基于用戶行為、習(xí)慣、喜好、社交等數(shù)據(jù)，使用人工智能技術(shù)為用戶進(jìn)行智能畫像將用戶進(jìn)行分類，同時，不同行業(yè)、不同應(yīng)用場景可以共享、優(yōu)化用戶分類信息，達(dá)到復(fù)雜數(shù)據(jù)下進(jìn)行自動建模與分析，建立精準(zhǔn)的用戶評估與業(yè)務(wù)風(fēng)控體系。

1.3 信息安全方面

在信息安全領(lǐng)域，常常需要開展自然語言處理、圖像識別等工作，人工智能在這些領(lǐng)域具有成熟的算法、成熟的應(yīng)用：多媒體識別能力?；谌斯ぶ悄芗夹g(shù)的文本、圖片、音頻、視頻等內(nèi)容識別算法已經(jīng)在眾多行業(yè)擁有成熟的應(yīng)用，識別準(zhǔn)確率、效率等遠(yuǎn)高于傳統(tǒng)技術(shù)。自動模型訓(xùn)練?；跇颖緮?shù)據(jù)，應(yīng)用人工智能技術(shù)能自動生成判定規(guī)則/模型，可以進(jìn)行病毒樣本、惡意URL、釣魚網(wǎng)站等領(lǐng)域的分析。人工智能在不良信息管控方面有如下應(yīng)用。

（1）多媒體內(nèi)容識別。采用基于人工智能技術(shù)來識別暴恐音視頻、情色圖片識別等多媒體內(nèi)容，同時輔助人工審核的方式能夠完美解決內(nèi)容安全問題。在多媒體內(nèi)容機(jī)器識別領(lǐng)域，一般采用深度學(xué)習(xí)技術(shù)不斷地訓(xùn)練海量的數(shù)據(jù)，抽取目標(biāo)特征，最后達(dá)到識別特定目標(biāo)的目的?；谌斯ぶ悄艿亩嗝襟w識別技術(shù)可應(yīng)用在不良網(wǎng)站識別、騷擾電話識別、垃圾短/彩信識別等領(lǐng)域。

（2）惡意網(wǎng)站識別。一方面，可以應(yīng)用人工智能技術(shù)對網(wǎng)絡(luò)流量歷史數(shù)據(jù)進(jìn)行分析與識別，建立正常通信模型，基于模型識別非正常的網(wǎng)絡(luò)訪問；另一方面，可以利用遞歸神經(jīng)網(wǎng)絡(luò)模型來檢測訪問的URL，同時使用向量編碼、分詞序列等技術(shù)來解析URL，從而識別釣魚網(wǎng)站URL。

2 人工智能安全應(yīng)用實踐

2.1 網(wǎng)絡(luò)安全應(yīng)用

（1）在惡意URL識別方面。針對現(xiàn)網(wǎng)中冒充10086、銀行的釣魚網(wǎng)站，以及包含病毒、惡意軟件的網(wǎng)頁鏈接等惡意URL鏈接，可利用人工智能分析技術(shù)、內(nèi)容分析來自動化分析URL及網(wǎng)頁內(nèi)容；同時，面對已確認(rèn)的惡意URL，通過關(guān)聯(lián)分析，溯源黑產(chǎn)，進(jìn)一步挖掘惡意URL鏈接。目前通過人工智能分析，每天挖掘出仿冒建行、工行、農(nóng)行、郵儲等各行業(yè)的潛在釣魚網(wǎng)站超過2 100個，提升了20%的查全率，基于域名注冊信息的聚類分析方法可推廣使用，通過識別惡意網(wǎng)頁鏈接，能夠避免用戶訪問，從而避免經(jīng)濟(jì)損失。

（2）在網(wǎng)絡(luò)安全監(jiān)控與態(tài)勢感知方面。實時監(jiān)控中國移動現(xiàn)網(wǎng)中網(wǎng)絡(luò)設(shè)備和安全設(shè)備的狀態(tài)，利用人工智能技術(shù)，對受攻擊情況、攻擊來源以及易受到攻擊服務(wù)進(jìn)行建模分析，實現(xiàn)攻擊的主動發(fā)現(xiàn)、精準(zhǔn)檢測和自適應(yīng)防護(hù)。主要包括僵尸網(wǎng)絡(luò)主控C&C端主動發(fā)現(xiàn)、入侵攻擊精準(zhǔn)檢測、自適應(yīng)攻擊防護(hù)等具體應(yīng)用領(lǐng)域。能夠提前主動發(fā)現(xiàn)超過30%的攻擊手段并進(jìn)行主動防御，同時能夠提升攻擊檢測精準(zhǔn)度。

2.2 業(yè)務(wù)安全應(yīng)用

（1）在物聯(lián)網(wǎng)卡監(jiān)控應(yīng)用方面。針對中國移動物聯(lián)網(wǎng)卡在發(fā)放、售賣、使用過程中出現(xiàn)的濫用、DDoS攻擊、發(fā)布違規(guī)信息等問題，基于人工智能的物聯(lián)網(wǎng)卡監(jiān)控利用位置數(shù)據(jù)、日志數(shù)據(jù)、賬單數(shù)據(jù)等進(jìn)行管理風(fēng)險、業(yè)務(wù)風(fēng)險、內(nèi)容風(fēng)險分析，對涉嫌違規(guī)物聯(lián)網(wǎng)卡進(jìn)行分級管控，對物聯(lián)網(wǎng)卡安全進(jìn)行指標(biāo)預(yù)警等。能夠提高物聯(lián)網(wǎng)卡識別準(zhǔn)確率到90%以上，相關(guān)外部投訴比例同比下降50%。

（2） 灰黑產(chǎn)行為識別應(yīng)用方面。中國移動的流量、話費促銷活動，常常被非法的“黑卡用戶”批量獲取，并將搶獲的獎勵在淘寶等平臺銷售牟利，而普通用戶則無法獲取相應(yīng)的獎勵。針對以上灰產(chǎn)場景，從用戶的業(yè)務(wù)日志、上網(wǎng)日志、計費信息等多個渠道對用戶數(shù)據(jù)進(jìn)行分析，達(dá)到準(zhǔn)確找出“黑卡用戶”并對其進(jìn)行封殺的目的。利用人工智能分析技術(shù)，黑卡用戶的查找準(zhǔn)確率達(dá)到99%，促銷信息被普通用戶獲取的比例達(dá)到90%以上。

（3）業(yè)務(wù)風(fēng)險防控方面。針對互聯(lián)網(wǎng)業(yè)務(wù)中的各類業(yè)務(wù)風(fēng)險，如登錄注冊環(huán)節(jié)的掃號拖庫撞庫、垃圾注冊、短信轟炸、賬號盜用獲取利益等。通過結(jié)合大數(shù)據(jù)實時計算與深度學(xué)習(xí)技術(shù)，進(jìn)行風(fēng)險事前預(yù)警、事中攔截、風(fēng)控數(shù)據(jù)的事后溯源與黑產(chǎn)團(tuán)伙分析，從而做到風(fēng)險事件的全鏈路管控。人工智能技術(shù)的引入可實現(xiàn)業(yè)務(wù)風(fēng)險的自動化識別，減少企業(yè)的損失。

2.3 信息安全應(yīng)用

（1）通信信息詐騙治理方面。中國移動開展了基于“場景式/劇情式”的電信欺詐聯(lián)動分析治理，通過各類詐騙場景及號碼行為分析，研究形成針對多種詐騙場景的分析模型，進(jìn)而挖掘識別疑似詐騙事件。目前已建設(shè)并持續(xù)完善“國際攔截、網(wǎng)間聯(lián)動+封堵、網(wǎng)內(nèi)嚴(yán)打”的詐騙電話防控體系，僅國際詐騙電話月均攔截量達(dá)906萬余次，網(wǎng)間虛假主叫攔截量達(dá)3 600余萬次。

（2）垃圾短信治理方面。中國移動采用指紋識別技術(shù)開展垃圾短信自動識別，使用人工智能文本分類等技術(shù)，自動識別廣告推廣類、色情類等文本信息，以解決現(xiàn)有文本類垃圾變形多、更新快、擴(kuò)散廣的問題。目前，采用文本機(jī)器學(xué)習(xí)和自動化識別技術(shù)縮短了識別垃圾短信的耗時，月均減少垃圾短信發(fā)送量約8 500萬條。

（3）騷擾詐騙電話語音自動識別方面。開展了基于語音自動分析的騷擾詐騙電話識別，使用相似音頻模糊識別技術(shù)，對疑似騷擾詐騙通話進(jìn)行自動化分析，實施攔截騷擾詐騙電話。將語音自動識別技術(shù)應(yīng)用到騷擾詐騙電話中，能夠提升騷擾詐騙電話識別及攔截能力，間接減少用戶的經(jīng)濟(jì)損失。

3 人工智能安全風(fēng)險分析

人工智能風(fēng)險分析如圖1所示，由系統(tǒng)層、算法層及應(yīng)用層構(gòu)成。系統(tǒng)層包括數(shù)據(jù)平臺、云平臺、存儲硬件、存儲數(shù)據(jù)等基礎(chǔ)設(shè)施以及深度學(xué)習(xí)框架Tensorflow、Caffe、Mxnet等；人工智能算法能力層包括語音識別、圖像識別故障異常檢測等算法能力，深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、多任務(wù)學(xué)習(xí)等深度學(xué)習(xí)算法；最上層為人工智能應(yīng)用層，主要包括人工智能的典型應(yīng)用，如機(jī)器人、無人機(jī)、智慧家庭、精準(zhǔn)營銷以及之前提到的人工智能安全應(yīng)用實踐中的應(yīng)用等。

圖1 人工智能風(fēng)險分析圖

3.1 系統(tǒng)安全風(fēng)險

人工智能應(yīng)用與算法本身運行在通用的各種IT系統(tǒng)之上，因此系統(tǒng)安全是人工智能安全的基礎(chǔ)。在底層系統(tǒng)存在安全隱患的情況下，一旦被攻陷上層人工智能應(yīng)用的安全會受到極大影響。系統(tǒng)安全風(fēng)險包括基礎(chǔ)安全風(fēng)險與框架安全風(fēng)險。

基礎(chǔ)安全風(fēng)險包括基礎(chǔ)設(shè)施安全風(fēng)險、物理/硬件安全風(fēng)險、數(shù)據(jù)安全風(fēng)險、云平臺漏洞以及大數(shù)據(jù)平臺漏洞等?？蚣馨踩L(fēng)險包括軟件漏洞、軟件權(quán)限被控制以及端口與服務(wù)安全風(fēng)險。

目前大部分AI系統(tǒng)是在深度學(xué)習(xí)框架基礎(chǔ)上實現(xiàn)，主流的深度學(xué)習(xí)系統(tǒng)框架非常多，包括TensorFlow、Torch以及Caffe等。深度學(xué)習(xí)框架的使用可以讓應(yīng)用開發(fā)人員無需關(guān)心神經(jīng)元網(wǎng)絡(luò)分層以及培訓(xùn)分類的實現(xiàn)細(xì)節(jié)，更多關(guān)注應(yīng)用本身的業(yè)務(wù)邏輯。開發(fā)人員可以在框架上直接構(gòu)建自己的神經(jīng)元網(wǎng)絡(luò)模型，并利用框架提供的接口對模型進(jìn)行訓(xùn)練。深度學(xué)習(xí)框架掩蓋了它所使用的組件依賴，同時也隱藏了系統(tǒng)的復(fù)雜程度。每種深度學(xué)習(xí)框架又都是實現(xiàn)在眾多基礎(chǔ)庫和組件之上，很多深度學(xué)習(xí)框架里還包括圖像處理、矩陣計算、數(shù)據(jù)處理、GPU加速等功能。

3.2 算法安全風(fēng)險

人工智能算法能力層包括深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等多種算法以及基于以上算法形成的語音、圖像等識別能力，該層面臨的安全風(fēng)險包括如下。

（1）非受控算法風(fēng)險：即人工智能算法演進(jìn)失控，甚至走向預(yù)期相反方向，可能引發(fā)倫理道德問題。

（2）AI對抗算法風(fēng)險：根據(jù)人工智能算法能力，針對性的訓(xùn)練出對抗算法，來規(guī)避原有算法能力，常用于人工智能防御。

（3）惡意樣本注入：攻擊者利用樣本進(jìn)行逃逸攻擊，使原有識別模型失效，如攻擊自動駕駛汽車系統(tǒng)，將停車標(biāo)志識別為“通行”或其它標(biāo)志，可能導(dǎo)致交通事故，而把支票上的數(shù)字識別出錯則會直接帶來經(jīng)濟(jì)損失。

（4）算法自身缺陷：因算法能力無法獲取全局最優(yōu)解。

3.3 應(yīng)用層安全風(fēng)險

人工智能可以提供的應(yīng)用日益增長，也產(chǎn)生許多安全風(fēng)險。安全風(fēng)險包括如下。

（1） 系統(tǒng)失控：該風(fēng)險由非受控算法導(dǎo)致，可能造成人工智能誤操作。

（2）DoS攻擊/死機(jī)：該風(fēng)險可能造成人工智能能力中斷，如黑客對于語音識別系統(tǒng)大量訪問，則普通用戶無法獲取到語音識別數(shù)據(jù)。

（3) 系統(tǒng)被控：該風(fēng)險由軟件漏洞、弱口令等原因造成，可能造成黑客利用人工智能設(shè)備進(jìn)行攻擊，例如智能家電如冰箱和烤面包箱被僵尸網(wǎng)絡(luò)控制，進(jìn)行DDoS攻擊或者挖礦。

4 人工智能安全管控建議

4.1 系統(tǒng)安全防護(hù)措施

針對上述AI系統(tǒng)軟件安全漏洞導(dǎo)致安全風(fēng)險，可以考慮以下安全措施。

（1） 使用最新版本的軟件和第三方庫，并及時更新補(bǔ)丁。

（2） 編程采用安全的函數(shù)，避免函數(shù)使用不當(dāng)產(chǎn)生的安全漏洞。

（3）采用專業(yè)軟件測試工具；聘請專門的軟件安全測試專家或團(tuán)隊對AI系統(tǒng)進(jìn)行測試，及時發(fā)現(xiàn)可能存在的安全漏洞。

（4）加強(qiáng)AI模型的保護(hù)，采用高強(qiáng)度的加密算法對AI模型進(jìn)行保護(hù)；或者采用其它更高級的數(shù)據(jù)保護(hù)機(jī)制進(jìn)行保護(hù)，如SGX等。

（5）對AI模型進(jìn)行剪枝來防御后面攻擊：通過剪除原模型的神經(jīng)元，在保證正常功能一致的情況下，可以減少后門神經(jīng)元起作用的可能性。利用細(xì)粒度的剪枝方法，可以去除組成后門的神經(jīng)元，防御后門攻擊。

4.2 算法安全防護(hù)措施

針對上述AI算法模型的安全威脅，可以加強(qiáng)AI算法模型訓(xùn)練與測試，使其構(gòu)造對抗樣本的難度加大，從而使得AI算法模型更加健壯。具體地說，可以嘗試以下方法。

（1）數(shù)據(jù)清洗。數(shù)據(jù)清洗主要是對惡意的訓(xùn)練數(shù)據(jù)進(jìn)行篩選移除；對訓(xùn)練數(shù)據(jù)和模型進(jìn)行嚴(yán)格檢查，盡量使用安全可控的模型和數(shù)據(jù)。

（2）提高AI系統(tǒng)本身的安全性，如增加反調(diào)試等，防止逆向攻擊。

（3）對抗訓(xùn)練。對抗訓(xùn)練可通過在訓(xùn)練時加入對抗樣本的方式仿真測試時可能的數(shù)據(jù)分本，降低模型對對抗樣本識別的錯誤率。

（4）防御蒸餾。針對AI算法模型的安全威脅，學(xué)者提出如防御蒸餾、對抗訓(xùn)練、輸入重構(gòu)等防御技術(shù)對抗閃避攻擊。防御蒸餾通過對多個DNN進(jìn)行串聯(lián)，將前一個DNN生成的分類結(jié)果被用于訓(xùn)練后一個DNN，降低AI模型對輸入擾動的敏感度，提高AI模型穩(wěn)定性。

（5）輸入重構(gòu)方法。則是通過對輸入樣本加噪音、去噪音等方法進(jìn)行變形，這種變形不會影響模型正常分類，但能夠一定程度上抵抗對抗樣本。

4.3 應(yīng)用安全防護(hù)措施

針對系統(tǒng)失控、DoS/死機(jī)、系統(tǒng)被控等安全風(fēng)險，應(yīng)用層在滿足數(shù)據(jù)安全、終端/應(yīng)用物理安全的同時，還應(yīng)需具備如下安全能力。

（1）應(yīng)用終端安全：應(yīng)用應(yīng)遵循“最小權(quán)限原則”，保持權(quán)限和服務(wù)的最小化運行，采用訪問控制、身份認(rèn)證、權(quán)限限制等機(jī)制提高系統(tǒng)的可靠性和完整性，縮小攻擊面；其次，應(yīng)嚴(yán)格限制調(diào)試進(jìn)程在系統(tǒng)中的權(quán)限，提高調(diào)試功能可控性；另外，應(yīng)盡量避免設(shè)備缺省密碼固化等硬編碼問題。

（2）業(yè)務(wù)安全：可對業(yè)務(wù)行為、狀態(tài)進(jìn)行監(jiān)測，避免業(yè)務(wù)超限；可對威脅情報交換、共享，為攻擊檢測、安全防護(hù)、聯(lián)動處置、信息共享提供一個決策信息平臺；對部分業(yè)務(wù)應(yīng)具備分級管控的能力、具備金庫機(jī)制。

（3）日志審計：應(yīng)保留系統(tǒng)重要日志，并具備對系統(tǒng)日志進(jìn)行日志審計能力。

5 總結(jié)

人工智能在全球呈現(xiàn)出加速發(fā)展的態(tài)勢，在很多領(lǐng)域已經(jīng)展示出巨大的應(yīng)用前景，人工智能已經(jīng)成為國際競爭的新焦點、經(jīng)濟(jì)發(fā)展的新引擎。隨著萬物互聯(lián)、云計算等技術(shù)發(fā)展，人工智能應(yīng)用數(shù)據(jù)規(guī)模、計算能力將爆發(fā)式增長，人工智能也會對社會各方面深度介入并改變甚至顛覆人類現(xiàn)存生產(chǎn)工作和交往方式，世界也將走向人工智能時代。

在人工智能快速發(fā)展的同時，應(yīng)對清醒地認(rèn)識到人工智能的首要問題是安全問題，人工智能發(fā)展的安全性將給社會帶來極大挑戰(zhàn)。人工智能技術(shù)在造福人類的同時也可能加大技術(shù)對社會的危害性，基于人工智能的安全對抗也會是長久的過程。因此，產(chǎn)業(yè)各方應(yīng)對人工智能安全性有統(tǒng)一的認(rèn)識，以法律和倫理為界，加強(qiáng)在人工智能技術(shù)研究與開發(fā)領(lǐng)域的合作，建設(shè)安全管控能力，確保人工智能是安全、可信賴的，共同應(yīng)對智能機(jī)器人在信息安全、倫理道德以及社會等層面帶來的安全挑戰(zhàn)。