神經(jīng)網(wǎng)絡可解釋性可視化方法研究

于芝枝

（國家知識產(chǎn)權局專利局專利審查協(xié)作廣東中心，廣州 510535）

0 引言

隨著深度學習的快速發(fā)展，神經(jīng)網(wǎng)絡已經(jīng)在圖像分類、目標檢測等領域取得了重要成果［1］。神經(jīng)網(wǎng)絡依舊存在系統(tǒng)的理論基礎缺乏、需大規(guī)模訓練數(shù)據(jù)等缺點，人們對其工作機制缺乏足夠的理解，導致在安全性、可靠性要求較高的領域尚未得到實質性應用。為了更好地理解神經(jīng)網(wǎng)絡，研究其模型工作機理以及改進現(xiàn)有模型策略，可視化工作關注其神經(jīng)元提取特征和特征間關聯(lián)，有助于理解模型，學習到知識，以及內(nèi)在工作機理。同時可視化工作使得整個神經(jīng)網(wǎng)絡訓練過程和訓練信息具體化，有助于設計和訓練一個更好的模型。

1 可視化方法分類

根據(jù)可視化方法適配神經(jīng)網(wǎng)絡中模型部位、階段，可視化方法可大致分為：特征可視化、關系可視化和過程可視化等三種方法。

1.1 特征可視化

特征可視化指神經(jīng)網(wǎng)絡提取特征具象化。Zeiler 等［2］提出采用多層反卷積網(wǎng)絡，將激活值投影到輸入空間，通過遮擋方式找到圖像對分類結果影響較大的部分區(qū)域。Girshick 等［3］提出使用圖像不同部位區(qū)域輸入網(wǎng)絡，通過觀察特征變化進行可視化。

1.2 關系可視化

關系可視化指模型學習到的特征間關系以及神經(jīng)元間關系可視化操作。關系可視化通常需要降維或聚類算法輔助。朱衛(wèi)坪等［4］結合t-SNE 降維與K-means 聚類算法，對海量、高維、多元的化工產(chǎn)品數(shù)據(jù)進行降維可視化，分析實現(xiàn)節(jié)能減排的重要指標。Liu 等［5］將CNN 定義為有向無環(huán)圖，提出混合可視化，解釋神經(jīng)元學習到的特征及相互作用。

1.3 過程可視化

過程可視化指可視化神經(jīng)網(wǎng)絡結構和訓練信息。其目的是厘清深度學習模型的工作機制。過程可視化通常需要可視化工具或系統(tǒng)輔助實現(xiàn)。Yosinski 等［6］利用深度可視化工具箱實時地、交互式可視化網(wǎng)絡中神經(jīng)元對輸入圖像或視頻的影響。Chung 等［7］利用ConvNetJS 系統(tǒng)動態(tài)調(diào)整神經(jīng)元、增加或刪除網(wǎng)絡層等操作，引導網(wǎng)絡過程訓練。

2 特征可視化舉例

Grad-CAM（Gradient-weighted Class Activa?tion Mapping）［8］利用網(wǎng)絡反向傳播的梯度計算出特征圖每一個通道的權重，從而得到熱力圖，屬于特征可視化范疇。Grad-CAM 無需重新訓練，可用于不同任務的網(wǎng)絡，如圖像分類、看圖說話、圖像問答等。Grad-CAM 計算見公式（1）和公式（2）。

其中，A表示最后一層卷積層輸出特征層，k表示特征層A的第k個通道，c表示類別，Ak表示特征層A第k個通道數(shù)據(jù)，表示Ak對應類別c的權重（其計算見公式（2））。

式（2）中，yc表示針對類別c的預測概率，表示特征層A第k個通道坐標（i，j）處的數(shù)據(jù)，Z表示特征層的寬度×高度。

Grad-CAM可視化流程如下：

（1）首先通過歸一化指數(shù)函數(shù)softmax 得到分類概率yc，對最后一層卷積層的所有特征圖A求偏導，得到和A大小相同的偏導矩陣。

（4）將二維矩陣進行激活函數(shù)Relu 處理，把負數(shù)變?yōu)?，得到矩陣。

在文獻［8］中，為了識別圖1 中的類別“狗”，利用Grad-CAM 獲得一個粗糙的熱力圖，并與原圖進行疊加，效果如圖2所示。

圖1 原圖

圖2 效果圖

3 結語

神經(jīng)網(wǎng)絡可解釋性促進深度學習在現(xiàn)實中的應用，同時也會擴展深度學習領域知識邊界。依據(jù)神經(jīng)網(wǎng)絡模型結構，本文把其可解釋性可視化方法分類為：特征可視化、關系可視化和過程可視化，并對其概念進行了解釋。最后利用Grad-CAM 特征可視化方法舉例，闡述其工作原理。