人工智能全生命周期安全風險綜合評估方法*

石 凱，陳 捷，張鋒軍，曾夢岐，李慶華，許 杰

（中國電子科技集團公司第三十研究所，四川 成都 610041）

0 引言

隨著人工智能技術的不斷發展，人工智能的應用也越來越廣泛，在人臉識別、語音識別、自動駕駛、視頻監控、人機對弈、惡意軟件分析等領域都取得了令人滿意的成果[1]。如今，人工智能技術的應用正在改變人類社會的發展軌跡，為人們的生產生活帶來了便利，但是也催生出了針對人工智能的攻擊手段，暴露出其背后的安全風險，人工智能安全風險可能會導致人類社會的重大生命和財產損失[2]。因此，以人工智能本身為視角進行信息安全評估，做到全生命周期、全流轉過程“可管可控”[3]，從而進一步對人工智能在數據流動、算法框架、模型訓練和部署應用等階段的全生命周期進行安全風險評估十分必要。

保障人工智能安全性的重要手段之一就是進行安全風險評估。針對人工智能全生命周期進行安全風險評估[4]，可以發現內部人員、使用數據、訓練平臺、部署設備和管理體系等方面已存在或是潛在的風險隱患。評估后將存在的風險量化為具體的風險值，使用戶更加直觀地了解系統中存在的風險，并根據風險等級的大小采取不同優先級的安全措施來預防、控制，以降低安全事件發生的可能性。

1 安全風險評估方法研究

目前，針對人工智能技術安全風險評估的相關研究較少，但關于系統安全[5]、網絡安全[6]、信息安全[7]、云計算安全[8]、數據安全[9]等領域的安全風險評估已有大量研究成果并應用于各行各業，主要有定性風險評估、定量風險評估和綜合安全風險評估3 類方法。

（1）定性的風險評估方法：主要依靠評估者的經驗、知識、技能等，該方法評估結果比較全面。典型的定性分析方法有因素分析法、邏輯分析法、歷史比較法等。但其主觀性太強，要求評估者本身的素質很高。

（2）定量的風險評估方法：是指運用數量指標評估網信系統的安全風險的方法。主流的定量評估方法有：基于聚類或決策樹等機器學習算法的風險分析法、基于圖的風險分析法及風險因子分析法等。定量的風險評估方法的評估結果更直觀，但存在復雜過程簡化后，安全風險因素失真，導致評估結果被曲解的缺點。

（3）定性與定量相結合的綜合評估方法：融合了定性、定量的風險評估方法的優點，現今廣泛地應用于網信系統的安全風險評估中。但該方法無法定量評價整個系統網信系統的安全風險等級，即無法得出系統整體安全風險狀況的級別。

本文首先構建人工智能在準備階段、訓練階段和部署應用階段及維護階段的資產，從訓練數據、智能框架、算法模型、管理體系等方面入手，梳理與人工智能相關的安全風險因素，構造資產影響、威脅頻度和脆弱性程度3 個維度的評價表，以及對應這3 個維度的人工智能安全風險隸屬度等級表，形成具有普適性的人工智能全生命周期的指標體系。其次，針對人工智能安全風險評估技術受主觀因素影響較大的問題，本文利用馬爾可夫鏈和信息熵的特點，基于構造的風險熵和權重量化各類安全風險，弱化領域專家主觀評價在整體評估中的作用，同時保證了評估的有效性和科學性。

2 人工智能全生命周期安全風險評估指標體系構建

人工智能安全風險是指安全威脅利用人工智能資產的脆弱性，造成人工智能安全事件或造成相關影響的可能性等。而人工智能安全風險評估則是依照評估指標對擁有的資產進行安全風險的評估。因此，安全風險評估指標體系構建主要有人工智能資產劃分和人工智能安全風險評估指標體系構建2 個階段。

2.1 人工智能資產劃分

在遵循可靠性、可解釋性、魯棒性和隱私保護等原則的前提下，針對人工智能資產進行安全風險評估[10]。本文梳理的人工智能資產如圖1 所示。

圖1 人工智能資產

人工智能資產按照人工智能應用過程分為采集、訓練和應用階段。數據采集器是指數據采集的設備和方法；數據集則包含數據的清理、存儲、傳輸、使用和維護等方面的數據[11]；軟件框架主要指開源的pytorch、tensorflow 等訓練框架，以及開源算法，是構建針對特定需求算法模型的必要開發組件；算法模型則是在加入訓練數據訓練后得到的特定算法或者智能模型；行業應用則是將智能模型具體部署在某個行業進行應用；基礎設施是指運行訓練后的智能模型所承載的基礎設施環境，如電力、散熱等。

2.2 評估指標體系構建過程

基于人工智能資產構建安全風險指標體系，構建過程如圖2 所示，分為5 個階段使得指標盡可能典型、全面、科學[12]。

圖2 人工智能全生命周期安全風險評估指標體系構建流程

（1）通過查閱梳理報告、文獻、書籍、標準、規程等資料，將得到的信息作為基礎理論依據。

（2）結合基礎理論依據識別、梳理出各階段影響人工智能安全的主要威脅。

（3）查閱企業資料進行應用行業的調研[12]，進一步探究人工智能在該行業的全生命周期應用流程。

（4）識別初步的風險項，選取安全風險評估的關鍵指標，經過增、刪調整進一步確立，若存在分歧或異議則回到第一步，重新執行該過程。

（5）最終確定人工智能全生命周期安全風險評估指標體系。

通過上述指標體系的構建過程，形成了從數據、框架、算法模型、管理和基礎設施5 個層面構建的具有普適性的人工智能全生命周期安全風險評估指標體系，評估因素如圖3 所示。

圖3 安全風險評估因素

梳理后的人工智能安全風險評估因素，其相應的評估指標體系如表1 所示。

表1 安全風險評估指標體系

3 人工智能全生命周期安全風險評估

建立評估指標體系后，對人工智能全生命周期安全風險進行評估，評估過程如圖4 所示。

圖4 安全風險評估流程

安全風險評估的過程主要分為構建隸屬度、確定風險熵、確定權重向量、各類安全風險量化和整體安全風險評估5 個步驟。

3.1 隸屬度矩陣構建

結合人工智能的特點及應用模式定義人工智能全生命周期中的資產、風險、脆弱性以及威脅。

（1）資產：人工智能環境中有價值的數據、算法模型、智能框架、應用環境、運行環境等。

（2）風險：人工智能全生命周期中威脅主體利用資產的脆弱性對其機密性、完整性及可用性造成損失或者破壞的可能性[12]。

（3）脆弱性：人工智能全生命周期中被威脅利用的系統缺陷或者漏洞，越脆弱被攻擊的可能性越大。

（4）威脅：人工智能全生命周期中有危害的、不能預料事件發生的可能性。

對資產的影響、威脅頻度及脆弱性的評估都依據模糊理論對各因素進行剖析處理[12]，以構建安全風險因素集和評判集，構建過程如下：

（1）構建安全風險因素集Wi，表示在第i類下有n個風險因素，Wi={Wi1,Wi2,…,Win}，其中n是i類人工智能安全風險下風險因素的個數。

（2）構造評判集，即在第i類人工智能安全風險下資產影響、威脅頻度和脆弱性的判斷集合，即Bc={bc1,bc2,…,bcm}，Bt={bt1,bt2,…,btm}，Bf={bf1,bf2,…,bfm}，其中m為對應判斷集中元素的個數。人工智能系統資產影響、威脅頻度和脆弱性的評價如表2、表3、表4 所示。

表2 人工智能資產重要程度的評價

表3 人工智能威脅程度的評價

表4 人工智能脆弱性嚴重程度的評價

（3）構建安全風險評估的評價和評判映射，依據評判集B對因素集Wi各人工智能安全風險因素實行評價，再賦予評語，由此構建的模糊映射：f:Wi→F(B)。F(B)是B上的模糊集，Wj→f(Wj)=(pj1,pj2,…,pjm)∈H(B)，其中f表示人工智能全生命周期安全風險因素Wj對評判集中各評語的支持程度，安全風險因素Wj對評判集B的隸屬向量為Pj=(pj1,pj2,…,pjm)，得到隸屬度矩陣：

接下來是對各安全風險進行打分，如通過大量咨詢專家、頭腦風暴和打分表等形式，對各安全風險依照評價表進行打分評定，求其均值。對評分結果進行歸一化處理，處理公式如下：

由式（1）可得該風險j的評語k的隸屬度矩陣Pc。m是評語的數量，本方法中m=5。同理能夠求出Wj類風險下各風險因素對資產影響、威脅頻度及脆弱性的評定矩陣Pt和Pf。

3.2 確定風險熵

在Wi類風險下，根據式（2）得出資產影響、威脅頻度及脆弱性的隸屬度矩陣后，根據式（3）、式（4）得到資產影響權重、威脅頻度權重及脆弱性嚴重程度的熵值[13]。

pjk(k=1,2,…,m)越逼近相等，其熵值越大，相應的安全風險Wi對其評估的不確定程度越大，當m個狀態概率全都出現相等的情況下，表明等概率分布的平均不確定性最大。求極值可得，當pjk=1/m時，達到最大熵[12]Hmax=lnm。使用最大熵Hmax作標準，對式（3）進行歸一化，可得該風險向的相對重要程度的熵值[14]為：

3.3 確定權重向量

當pjk(k=1,2,…,m)的值相同時，即pjk=1/m，ej具有最大值1，且0 ≤ej≤1，當ej最大時，表明專家組的評估意見分散，即該風險因素對系統的安全風險評估的貢獻不大，因此可用來衡量安全風險項的權重。資產影響、威脅頻度及脆弱性嚴重程度的權重向量的計算式為：

式中：0 ≤φj≤1。同理，可以計算出其他類風險的資產影響、威脅頻度以及脆弱性嚴重程度的權重向量。

3.4 量化各類安全風險

當量化人工智能系統的資產影響時，依據專家組的經驗知識給予評價集中每個人工智能安全風險指標項對應的權重，得到權重指標向量X=(x1,x2,…,xn1)，式中n1為資產影響的評價集中元素的數量，可得到其威脅為：

同理，人工智能系統威脅頻度的安全風險項對應的權重指標向量Y=(y1,y2,…,yn2)，其中，n2為威脅頻度評價集中評價要素的數量，可以得到其威脅是：

同理，人工智能系統脆弱性嚴重程度的評判集合指標向量Z=(z1,z2,…,zn3)，其中，n3為脆弱性嚴重程度的評價集中元素的數量，那么其威脅是：

人工智能系統各Wi類的風險為：

式中：k1，k2和k3一般都為1/3，可根據實際需求微調。LR的值越大則風險等級越高，對照表5 進行判定。

表5 安全風險隸屬度等級對照表（預設的安全風險隸屬度等級對照表）

3.5 量化評估人工智能系統整體安全風險

將馬爾可夫鏈與人工智能安全風險評估指標體系相結合，建立各安全風險類之間的狀態轉移矩陣Q，即：

式中：狀態轉移q基于專家組知識得到人工智能安全風險所有可能出現的狀態集，并以此構建狀態轉移矩陣。風險類有6 種，總共18 個風險因子。qij表示風險類Wi相關的安全風險因素（包括其他安全風險類下的安全風險因素）的權重的和。進一步對Q中的元素進行歸一化處理，計算公式類似于公式（2），得到歸一化后的狀態轉移矩陣為：

轉移矩陣γ和穩態概率能使下列方程成立：

其中，對角線上的元素是指單獨發生該安全風險的情況，非對角線上的元素是指人工智能安全風險可能相互轉移的情況。因此，人工智能系統的資產影響、威脅頻度風險值及脆弱性的安全風險值量化公式為：

結合式（14）、式（15）、式（16）計算可得人工智能全生命周期的安全資產影響、威脅頻度風險、脆弱性風險的量化值。最后根據式（10）即可得到人工智能系統整體安全風險值LR。

4 結語

本文基于現有人工智能安全風險評估技術，一方面，提出了一種針對人工智能整體性安全風險評估方法。以模糊數學為紐帶，將定性和定量的安全風險評估方法相結合，以信息熵為錨點，構造熵權向量，結合資產影響、威脅頻度、脆弱性和構建的安全風險隸屬度等級表對人工智能進行整體性的安全風險等級評估，同時保留了對各類安全風險的評價及評估。另一方面，提供了一種面向全局的人工智能安全風險展現方法。通過將馬爾可夫鏈理論應用于各安全風險類，形成各個風險類在穩定狀態下的轉移矩陣和概率分布，使得人工智能安全風險狀態更直觀、全面地展現。