前 言

人工智能依托于物聯網、云計算、大數據技術的迅速發展，在科學發現、經濟建設、社會生活等各個領域具有廣泛應用.但是，人工智能技術面臨著嚴峻的安全與隱私挑戰，并且這些挑戰會隨著人工智能技術的普及和發展愈演愈烈.人工智能安全與隱私保護可以說是人工智能技術發展過程中不可忽視的瓶頸和關鍵挑戰.現階段學術界對于人工智能安全與隱私保護的重視程度越來越大，國內外相關學者進行了大量研究并取得了不錯的研究成果.

為進一步推動人工智能安全與隱私保護技術的研究，促進密碼學與網絡安全理論與技術的發展及應用，及時報道我國學者在該領域的最新研究成果，《計算機研究與發展》策劃和組織了“人工智能安全與隱私保護技術”專題.

本期專題通過公開征文共收到52篇普通投稿和5篇特邀稿件，反映了人工智能安全與隱私保護技術領域多個方面的最新研究成果.經過嚴格評審，最終共精選錄用論文15篇.這15篇論文涵蓋了人工智能攻擊檢測與溯源技術、秘密共享與分組密碼算法、分布式深度學習隱私與安全等研究內容，在一定程度上反映了當前國內在人工智能安全與隱私保護技術研究領域的主要研究方向.

1 綜 述

以深度學習為主要代表的人工智能技術正在悄然改變人們的生產生活方式，但深度學習模型的部署也帶來了一定的安全隱患.研究針對深度學習模型的攻防分析基礎理論與關鍵技術，對深刻理解模型內在脆弱性、全面保障智能系統安全性、廣泛部署人工智能應用具有重要意義.“針對深度學習模型的對抗性攻擊與防御”一文從對抗的角度出發，探討針對深度學習模型的攻擊與防御技術進展和未來挑戰，從對抗性攻擊生成機理分析、對抗性攻擊生成、對抗攻擊的防御策略設計、對抗性攻擊與防御框架構建4個方面對現有工作進行系統的總結和歸納，并討論了現有研究的局限性.最后，提出了針對深度學習模型攻防的基本框架，并在此基礎上總結了面臨的技術挑戰.

分布式深度學習擺脫了模型訓練過程中數據必須中心化的限制，實現了數據的本地操作，允許各方參與者在不交換數據的情況下進行協作，顯著降低了用戶隱私泄露風險.但生成對抗式網絡攻擊、成員推理攻擊和后門攻擊等典型攻擊揭露了分布式深度學習依然存在嚴重隱私漏洞和安全威脅.“分布式深度學習隱私與安全攻擊研究進展與挑戰”一文首先對比分析了聯合學習、聯邦學習和分割學習3種主流的分布式深度學習模式特征及其存在的核心問題，并從分布式深度學習隱私和安全2個角度出發，分別闡述了分布式深度學習所面臨的各類隱私和安全攻擊，并歸納和分析了現有隱私和安全攻擊的防御手段，最后從隱私與安全攻擊角度，對分布式深度學習未來的研究方向進行了討論和展望.

人工智能系統中隱藏的漏洞無處不在，它可能引發嚴重的危害，比如2011年的震網蠕蟲病毒，2017年發生的WannaCry勒索攻擊，2019年發現的的波音737MAX客機控制系統漏洞，這些事件凸顯著漏洞檢測技術的重要性，模糊測試是實現漏洞檢測的關鍵技術之一.“模糊測試技術綜述”一文首先總結出模糊測試的基本工作流程，并對每個環節中面臨的任務以及挑戰分別進行了討論.然后重點介紹了目前模糊測試的主流方向，并結合物聯網和內核安全領域，分析了特定領域中使用模糊測試的獨特需求以及相應的解決方法.最后，結合安全領域以及機器學習等新興領域的研究進展，分析了模糊測試面臨的挑戰和機遇，為下一步的研究提供了方向參考.

人工智能模型訓練需要大量的專業知識、數據和計算資源，訓練后的模型是重要的資產，并作為服務為用戶提供API接口.但是這個過程中會存在惡意用戶企圖非法使用甚至竊取相關機器學習模型及數據.此外，一些公司將機器學習模型直接進行出售，但是又擔心該模型會被非授權轉售或泄露.因此，水印概念被擴展到人工智能領域，嵌入需保護的模型，并用來保護人工智能模型，尤其是訓練成本較高的神經網絡模型.“神經網絡水印技術研究進展”一文首先介紹水印技術及其基本需求，并對神經網絡水印涉及的相關技術進行介紹.然后對目前存在的多種神經網絡水印技術進行對比，根據技術手段分為白盒和黑盒水印兩類進行詳細分析，并分析水印魯棒性攻擊、隱蔽性攻擊、安全性攻擊等多種神經網絡攻擊.最后，針對神經網絡水印技術未來的研究方向與挑戰進行探討.

惡意軟件給信息技術的發展帶來了很多負面的影響，而如何有效檢測惡意軟件則一直備受關注.隨著人工智能技術的蓬勃發展，惡意軟件的檢測技術開始與機器學習、深度學習技術相結合，這種新的檢測技術能夠更好地檢測先前未見過的新式樣本，更能夠滿足當前社會的安全需求.作為新型惡意軟件檢測技術的代表，惡意軟件智能檢測技術具有泛化能力強的特點，還能夠在一定程度上降低人工的參與.“Windows平臺惡意軟件智能檢測綜述”一文首先介紹了當前的惡意軟件智能檢測相關工作和智能檢測所需的主要環節，然后從智能檢測中常用的特征、如何進行特征處理、智能檢測中常用的分類器、當前惡意軟件智能檢測所面臨的主要問題4個方面進行了系統地闡述與分類.最后，總結現有智能檢測相關工作的優缺點，闡明了該領域未來潛在的研究方法，旨在助力惡意軟件智能檢測的發展.

2 人工智能攻擊檢測與溯源

人工智能系統中新生威脅以及其復雜多變的攻擊方式對人工智能安全和隱私造成嚴重影響，新型安全和隱私攻擊層出不窮，它們持續時間長，空間跨度大，攻擊形式多樣，對攻擊的快速檢測與溯源帶來了巨大的挑戰.

本部分共收錄4篇論文，主要圍繞竊密攻擊檢測、APT攻擊溯源、惡意軟件檢測、代碼注入攻擊檢測等方面展開.“一種無監督的竊密攻擊及時發現方法”將每個用戶視為獨立的主體，通過對比用戶當前行為事件與其歷史正常行為的偏差檢測異常，采用無監督的檢測算法，以會話為單元進行檢測，實現了對竊密攻擊及時的檢測.“隱私保護的基于圖卷積神經網絡的攻擊溯源方法”一文提出了一種具有隱私保護的基于圖卷積神經網絡的APT攻擊溯源方法.通過監督學習解決了因多日志關系連接導致的狀態爆炸，對Louvain社區發現算法進行優化，從而提高了檢測速度及準確性，利用圖卷積神經網絡對攻擊進行有效的分類，并結合屬性基加密實現了日志數據的隱私保護.“一種基于多特征集成學習的惡意代碼靜態檢測框架”一文提出基于多特征集成學習的惡意軟件靜態檢測框架.通過提取惡意軟件的非PE結構特征、可見字符串與匯編碼序列特征、PE結構特征以及控制流圖調用關系等5部分特征，構建與各部分特征相匹配的模型，并采取權重策略投票算法對五部分集成模型的輸出結果做進一步聚合，實現了對多種惡意軟件的檢測.“面向數字貨幣特征的細粒度代碼注入攻擊檢測”一文提出了一種細粒度的代碼注入攻擊檢測內存特征方案，利用勒索軟件在被攻擊者支付過程中表現的數字貨幣內存特征，結合多種通用的細粒度內存特征，實現了一種細粒度的代碼注入攻擊檢測系統.

3 秘密共享與分組密碼算法

分組密碼算法作為對稱密碼的一個重要分支，在人工智能和信息系統安全領域有著廣泛應用，同時也是構建其他密碼算法或密碼協議的密碼元語.近年來，伴隨無線傳感器網絡以及射頻識別技術的發展和廣泛應用，對資源受限的設備進行數據加密需要使用輕量級的密碼算法.本部分收錄3篇論文，主要圍繞輕量級可調分組密碼、差分密碼分析、圖像秘密共享等方面展開.“RAIN：一種面向軟硬件和門限實現的輕量分組密碼算法”一文設計了一種基于國際上分組密碼設計廣泛采用的SPN結構的RAIN算法，通過迭代混淆層S盒和擴散層字混合提供強雪崩效應，不僅保證強的安全性，還兼顧了軟硬件實現.“基于深度學習的SIMON32/64安全性分析”一文將神經網絡技術應用于SIMON32/64的安全性分析，分別采用前饋神經網絡和卷積神經網絡模擬多差分密碼分析當中的單輸入差分-多輸出差分情形，設計了應用于SIMON32/64的6～9輪深度學習區分器，并通過對前饋神經網絡和卷積神經網絡的7輪深度學習區分器向前向后各擴展1輪，提出了針對9輪SIMON32/64的候選密鑰篩選方法，大幅降低了SIMON32/64安全性分析中的時間復雜度和數據復雜度.“基于區域卷積神經網絡的圖像秘密共享方案”一文采用基于卷積神經網絡的Faster Region-CNN(RCNN)模型將秘密圖像分割成重要性級別不同的多個區域，然后在此基礎上分別構建漸進式圖像秘密共享方案(PSIS)和具有重要影子圖像的圖像秘密共享方案(SISE)，重要影子圖像在重構每個區域上比普通影子圖像具有更大的權重，提升圖像分類和識別的效率.

4 深度學習安全與隱私保護

深度學習目前已在很多領域具有廣泛應用，比如在圖像分類、語音識別、自然語言處理等，但由于網絡的開放性使得目前深度學習模型的安全和隱私存在嚴重隱患，傳統的網絡防御手段已逐漸不能適應日益復雜的網絡環境.

本部分收錄3篇論文，主要圍繞圖重構、模型隱私風險評估、模型指紋檢測等方面展開.“一種面向圖神經網絡的圖重構防御方法”一文提出了一種面向圖神經網絡的圖重構防御方法GRD-GNN，分別從圖結構和節點特征考慮，采用共同鄰居數和節點相似度2種相似度指標檢測對抗連邊并實現圖重構，使得重構的圖結構刪除對抗連邊，且添加了增強圖結構關鍵特征的連邊，從而實現有效防御.“通用深度學習語言模型的隱私風險評估”一文針對自然語言處理中通用語言模型的安全性問題，提出了一條針對通用文本特征的隱私竊取鏈，從更多維度評估通用語言模型使用中潛在的隱私風險，方案僅根據通用語言模型提取出的文本表征，攻擊者就能夠以近乎100%的準確度推斷其模型來源，以超過70%的準確度推斷其原始文本長度，最終推斷出最有可能出現的敏感詞列表，從而幫助攻擊者重建原始文本的敏感語義，揭示了目前通用語言模型中仍存在巨大的隱私風險.“針對深度神經網絡模型指紋檢測的逃避算法”一文設計了一個指紋樣本檢測器Fingerprint-GAN，利用GAN學習正常樣本在隱空間的特征表示及其分布，根據指紋樣本與正常樣本在隱空間中特征表示的差異性，檢測到指紋樣本，并向目標模型所有者返回有別于預測的標簽，使模型所有者的指紋比對方法失效，揭示了目前模型指紋保護方案的脆弱性.

本專題的出版得到了各位投稿作者、審稿專家和編輯部的大力支持，專題所涉及的領域極為活躍，并且發展迅速，學科前沿日新月異，這對審稿人和特邀撰稿人帶來極大挑戰，在此表示衷心感謝.由于專題容量所限，對來稿只能優中選優，有些優秀成果并未能收錄到專題中來，敬請各位作者諒解.我們要特別感謝《計算機研究與發展》編委會和編輯部，從專題的立項到出版，各個環節都依賴于編輯部一絲不茍的工作作風和任勞任怨的工作態度.由于時間緊張及水平所限，在專題的審稿出版過程中，難免有不當之處，敬請各位稿件作者、各位專題讀者諒解.再次感謝為本專題的出版做出貢獻的所有人.