基于強化學習算法的神經網絡模糊測試技術優化研究

張宇豪，關 昕

(華北計算技術研究所，北京 100083)

0 引言

深度神經網絡在圖像處理[1]、語音識別[2]、自然語言處理[3]、醫療診斷[4]等領域取得了巨大成功。但其也存在一些安全隱患，在安全性要求高的系統中，神經網絡的微小錯誤可能造成嚴重后果，因此對其進行測試顯得尤為重要。

神經網絡是由數據驅動，大多數傳統的軟件測試方法不適用于神經網絡測試，需要根據神經網絡特性研究新的測試方法。目前針對神經網絡測試的研究已經取得一定進展，相關學者提出了面向神經網絡的覆蓋準則以及對應的測試方法。這些方法通過最大化神經元覆蓋率，找到最佳測試樣本，進而發現神經網絡的錯誤行為。文獻[5]提出了一個面向深度學習系統的白盒測試框架DeepXplore。文獻[6]提出了第一個差異模糊測試框架DLFuzz，通過最大化神經元覆蓋率，并生成對抗性樣本，發現神經網絡中的異常行為。文獻[7]提出了第一個用于神經網絡的模糊測試框架TensorFuzz，可以發現模型中的數值型錯誤。文獻[8]提出了基于覆蓋的模糊測試框架DeepHunter，用于檢測神經網絡的缺陷。覆蓋度量指標是用于衡量測試充分性的準則。傳統軟件測試在代碼級別[9]和模型級別[10]分別定義了許多覆蓋度量指標。而神經網絡的特殊結構導致傳統覆蓋指標無法應用于神經網絡測試中[11]，如語句覆蓋在測試中可以很容易達到100%。根據神經網絡的內部邏輯，文獻[5]首次提出了神經元覆蓋作為覆蓋指標，它指的是神經網絡中激活神經元的比例。文獻[12]借鑒 MC/DC標準的思想提出了基于符號變化、值變化的覆蓋指標。文獻[13]在神經元覆蓋的基礎上提出了一組多粒度覆蓋指標。文獻[7]使用神經元的激活值構成的激活向量作為覆蓋指標。這些指標從不同角度反應了神經網絡的內部狀態。

由于模糊測試具有自動化程度高，不依賴程序源碼等特點，模糊測試是目前測試神經網絡的重要方法之一。但是在現有神經網絡模糊測試方法中，對測試樣本進行變異往往采用隨機變異策略，導致生成的測試樣本質量不高，很難實現高覆蓋率。針對這一問題，本文使用強化學習指導變異策略選擇過程，通過設計合理的獎勵規則，使得模糊器在進行樣本變異時，向神經元覆蓋率最大化的方向進行，找到覆蓋率更高的變異策略。并以此設計了一種面向神經網絡系統的模糊測試方法。

1 理論基礎

1.1 基于覆蓋的模糊測試

模糊測試是軟件測試中最常用的方法之一。其核心思想是通過生成隨機、不合法的測試用例，在有限的時間內盡可能多地覆蓋目標程序的代碼路徑或執行路徑，發現程序中的潛在漏洞。典型的模糊測試過程如圖1所示，從種子庫中根據優先級選擇一個種子輸入，通過變異選擇器選擇變異策略，由變異器執行變異生成變異樣本。在此之后，使用變異樣本運行待測試程序。如果變異樣本產生新覆蓋則將變異樣本保存在最佳測試樣本池中。同時，它還可以跟蹤執行的細節，例如執行路徑和異常報告。

圖1 基于覆蓋的模糊測試過程

目前，模糊測試技術在人工智能領域得到了廣泛研究。通過對模糊測試[15]進行適應性改造，可以將其應用于神經網絡測試中，將目標傳統程序映射為神經網絡、模糊測試的種子映射神經網絡的輸入、覆蓋反饋映射為神經元覆蓋。但目前面向神經網絡的模糊測試方法仍然不夠完善，制定合適的覆蓋標準和有效的變異策略仍是當前研究重點。

1.2 強化學習

強化學習[16]是一種機器學習方法，旨在讓智能體與環境進行交互，從中學習如何采取動作來最大化獎勵。強化學習的基本架構如圖2所示，由智能體、環境、動作、獎勵組成，其基本思想是，智能體從環境中感知狀態，然后采取動作來影響環境，并從環境中獲得獎勵或懲罰。在不斷與環境交互的過程中，智能體通過學習來改善自己的決策策略，從而使它能夠更好地完成任務。強化學習技術在很多領域被廣泛應用，如自動駕駛[17]、多智能體系統[18]、醫療保健[19]、游戲[20]等。

圖2 強化學習基本架構

馬爾可夫決策過程是描述強化學習問題的數學框架，其為將模糊測試形式化為強化學習問題提供了基礎。馬爾可夫性質是指在一個隨機過程中，未來的狀態只依賴于當前狀態，而不受過去狀態的影響。在該過程中，智能體能夠基于此刻的狀態來選擇一個動作執行，并接收來自環境的反饋，如獎勵和執行動作后的下一個時刻的狀態。智能體的主要目標是尋找一種最優策略，以最大化未來的期望回報，即智能體希望通過選擇最佳的動作序列來實現長期的最大累積獎勵。

2 基于強化學習的神經網絡模糊測試技術建模

2.1 問題建模

在模糊測試中，每一次生成新樣本的過程就相當于一次與環境的交互，這個過程可以看做是一個在有限狀態和動作空間中的序列決策問題。通過將該過程形式化為強化學習問題，使得智能體能夠不斷學習并優化它的變異選擇策略。經過不斷地試錯和更新，智能體可以逐步學習到一個最優變異策略，指導生成更高質量的新樣本。

將強化學習過程形式化為一個有限馬爾可夫決策過程，如公式(1)：

MDP=(S，A，P，R)

(1)

其中：S表示一個有限狀態集、A表示一個有限動作集、P表示智能體在狀態st下執行動作at后轉移到st+1的轉移概率函數、R表示在狀態st下采取行動at的獎勵。策略π是一個當前狀態st要選擇的動作at的映射函數。在執行動作后，狀態變為st+1，并反饋相應的獎勵rt+1。強化學習的目標就是最大化累積獎勵R。

在強化學習問題中，狀態、動作和獎勵是3個關鍵的元素。將強化學習算法應用于神經網絡模糊測試中，需要將傳統的模糊測試過程抽象建模為強化學習算法可解的問題，即從中抽取動作、狀態和獎勵3個元素[21]。以下主要介紹如何定于動作、狀態和獎勵3個元素。

2.1.1 環境狀態

在強化學習中，狀態表示智能體可以獲得的當前環境的有效特征，智能體依據當前環境狀態來智能地選擇下一步的動作，以達到特定的目標。而在模糊測試中，變異器以一種策略對不同的測試樣本進行變異，從而生成具有高質量的新樣本。所以在模糊測試中，環境狀態應該定義為測試樣本，初始測試樣本做為初始環境狀態st，在選擇一個變異動作a后，生成的變異樣本為新的環境狀態st+1。具體以測試樣本圖像的矩陣形式來表示對應狀態s。

2.1.2 變異動作

模糊測試的一個核心步驟就是對樣本進行變異，生成能覆蓋更多路徑的新樣本。對應到強化學習中，智能體選擇的動作為變異操作，強化學習模型根據當前環境和策略選擇合適的動作。因此動作空間由變異操作組成。通過對常用圖像變異方法進行總結，選擇如表1所示的8種方法作為變異動作空間A，這些變異方法在計算機視覺領域應用廣泛，與此同時也可以使圖像語義損失最小化[22]。

表1 變異動作空間

需要強調的是，每次變異需要確保生成的變異樣本語義不發生改變，一旦變異樣本語義發生改變，即使產生了新覆蓋，也沒有任何意義。為了確保變異生成的樣本不會偏離初始樣本的語義，每個樣本的變異動作只選取一次仿射變換，同時使用公式(2)約束像素變換。這種方法起到限制修改像素的數量和修改像素的絕對值的作用。如果修改的像素數量非常少，則變化程度可以很高；如果修改的像素數量非常多，則對應的變化程度應該更低[8]。

(2)

該式由L0距離和L∞距離組成，L0表示被修改的像素數量，L∞表示像素修改的最大值。其中s和s′分別表示原始輸入和變異輸入，α和β分別表示修改像素數量的比例和限制像素修改值比例，size(s)表示圖像i的像素數。如果被修改像素的數量非常少，則假設它語義不發生改變，L∞的值不受限制。如果被修改的像素數量非常大，則限制最大改變值為β×255。

2.1.3 獎勵反饋

獎勵反饋是指智能體在環境中采取特定行動后所獲得的反饋信號。正面獎勵信號通常表示智能體采取的行動是增益行為，而負面獎勵信號表示行為有害。這些獎勵反饋可以直接指導智能體選擇行動，以此最大化未來獎勵，進而幫助智能體采取最佳的行動策略。在傳統的模糊測試中，通常將是否觸發異常的程序狀態來衡量測試的好壞。但觸發異常狀態往往需要大量時間，難以及時調整變異策略。為了解決該問題，可以用覆蓋率指標衡量測試的好壞。通常具備高覆蓋率的樣本可以充分探索神經網絡的網絡空間，進而有更高的概率觸發神經網絡的異常行為。在神經網絡模糊測試中，將測試樣本輸入目標網絡并獲取神經元覆蓋率反饋，若覆蓋率增加，則認為當前樣本質量較高，強化學習算法根據覆蓋率增益來更新變異策略。神經元覆蓋率的增益作為強化學習的獎勵反饋R計算方法，如公式(3)所示：

(3)

其中：C_current表示當前樣本的覆蓋率，C_previous表示先前樣本的覆蓋率，C_target表示目標覆蓋率，通常設為1。如果當前樣本覆蓋率相比之前有所增加，則認為該變異策略是有效的。

2.2 D3QN深度強化學習模型

本文使用D3QN(Dueling Double Deep Q Network)強化學習算法來求解問題。它通過借鑒Double DQN[23]和Dueling DQN[25]兩種算法的優點，在DQN(Deep Q-Network)算法的基礎上進行改進。它使用Double DQN算法的損失函數，減少過高估計的風險，提高學習的穩定性；使用Dueling DQN 算法的網絡結構，加速收斂。其余流程和DQN算法一致。D3QN算法在解決本文定義的連續狀態、離散動作的問題時，可以發揮更好的作用。

D3QN算法是一種將深度學習和Q學習算法相結合的強化學習方法。它使用深度神經網絡擬合動作價值函數Q(s，α；θ)，從而輸出當前狀態下每個動作對應的Q值。隨后使用ε-greed策略，在動作選擇時，可以以概率ε選擇一個隨機動作，或者以1-ε的概率選擇當前價值網絡計算的最大Q值對應的動作，如公式(4)所示。在訓練初期，往往將ε設置為較大的值，使智能體盡可能多的進行探索，避免陷入局部最優解。隨著訓練的進行，該算法會逐漸降低ε的值，如從1逐漸減小至0，這表示當前預測結果的可靠性大大提升。隨著這個過程不斷進行，預測結果會逐漸收斂，形成一個最優策略。

(4)

同時在智能體與環境的交互過程中會產生一系列經驗序列(s，α，r，s′)，將其保存在經驗回放池中作為訓練樣本，每次訓練時從經驗回放池中隨機抽取小批量的數據進行計算。經驗回放機制通過隨機抽樣歷史經驗數據，避免使用關聯數據直接進行訓練，降低了訓練樣本的相關性，提高了結果的可靠性。

D3QN對損失函數進行了改進。在DQN算法中對經驗回放池進行隨機采樣，通過損失函數L(θ)的最小化來更新參數θ，從而逐步逼近最優的動作價值函數。L(θ)如式(6)所示，而DQN算法往往選取最大動作價值來近似，這會導致過高估計問題。

(5)

L(θ)=E[(y-Q(s，α，θ))2]

(6)

為了解決DQN算法的過高估計問題。D3QN使用兩個獨立的Q網絡：一個價值網絡和一個目標網絡。目標網絡用于輸出能夠獲得最大Q值的動作，而價值網絡用于評估這個動作的Q值，生成目標值y′，其公式見式(7)。這種分離使得更新過程更加穩定，降低了過高估計的風險。

(7)

D3QN算法還對網絡結構進行優化，提高了動作價值函數Q(s，α；θ)的準確性。其網絡結構如圖3所示。相比于傳統結構，在該網絡結構中，隱藏層后多了一個新的結構。即狀態經隱藏層處理后分解為兩個分支。一個用于學習狀態值函數V(s)，另一個用于學習優勢函數Ads(s，α)，如式(8)所示。最后將狀態值函數V(s)和優勢函數A(s，α)使用式(9)進行組合以計算Q值。其中V(s)用來估計在狀態s下采取任意行動的期望回報。A(s，α) 用來估計采取動作α相對于其他可能動作的優勢。正優勢函數的動作通常對應更可靠和穩定的決策，選擇這樣的動作有望在大多數情況下獲得正獎勵反饋。提高決策的穩定性，并加速訓練收斂過程。

(8)

圖3 強化學習算法的網絡結構

Q(s，α)=V(s)+Adv(s，α)

(9)

3 基于強化學習的神經網絡模糊測試框架

3.1 總體框架

本文提出的面向神經網絡的模糊測試方法的總體框架如圖4所示，分為模糊測試模塊和強化學習模塊。其中模糊測試模塊由初始測試樣本種子庫，種子優先級選擇，變異選擇器，覆蓋分析器組成。在測試過程中，根據種子優先級選擇從初始測試樣本種子庫選擇合適的樣本，其次變異選擇器根據強化學習的訓練策略對種子進行變異，生成變異樣本。將變異樣本輸入神經網絡，統計每一層神經元的輸出值來計算覆蓋率，若覆蓋率提高，則將該樣本擴充到最佳測試用例集中。該樣本可以再次被選中進行變異，不斷重復該過程直到滿足結束條件。在過程中最關鍵的組件是變異選擇器，通過強化學習算法訓練的最佳變異策略，變異選擇器可以生成高質量的變異樣本，為整個測試提供支撐。

圖4 整體框架

3.2 模糊測試模塊

3.2.1 種子優先級選擇

模糊測試需要從初始樣本種子庫中迭代地選擇種子，用于生成后續的測試樣本。如何選擇種子直接影響了后續樣本變異的效率。本文根據種子被選擇的次數設置種子的選擇概率，被選擇的次數越少對應概率越高，同時當種子被選擇的次數達到一定數量后，該種子的選擇概率將被設置成一個較小值。

該策略的基本思想是優先選擇較少被選擇的種子。新生成的變異種子由于獲得了更高的覆蓋率，被視為高質量種子，因此具有更高的選擇概率。同時，當某個種子被選擇的次數達到一定數量后，該種子的選擇概率會變為一個固定的小概率值，防止某些種子在測試過程中反復被選中，從而浪費資源。

3.2.2 變異選擇器

變異選擇器根據強化學習的最優策略對樣本進行變異。本文采用的變異方法分別是像素變換和仿射變換。其中像素變換包括對比度變換、亮度變換、噪聲變換、模糊變換。仿射變換包括平移變換、縮放變換、旋轉變換、反射變換。變異選擇器根據最優變異策略可以組合這些變異方法，實現不同級別的變異，以產生更多樣化的測試樣本。

相較于傳統的變異選擇器的隨機變異策略，該變異選擇器加入了強化學習方法，利用神經元覆蓋率的增加作為反饋信息，得到最佳變異策略。不同于傳統模糊器的盲目性和隨機性。通過強化學習算法指導變異選擇器可以更好地選擇種子變異方法，使變異后的種子能最大程度地增加覆蓋率或引發更多的行為錯誤。

3.2.3 覆蓋分析器

在模糊測試中，覆蓋分析器是用來分析程序執行過程中的覆蓋情況。通過分析覆蓋信息，可以評估測試用例的有效性和發現潛在問題的能力，有助于確定測試是否足夠全面和有效。覆蓋分析器的結果可以用于指導進一步的測試樣本變異策略，以增加覆蓋率。一種沒有任何覆蓋引導的模糊器會盲目地對種子進行變異操作，不知道生成的測試輸入是否可用。這樣的模糊器經常會保留那些不帶來新的有用信息的種子，顯著降低了模糊測試的有效性。本文選擇了4種不同的準則作為不同的反饋。這些準則可以有效表示神經網絡的內部狀態。

1)神經元覆蓋(NC)：

神經元覆蓋[5]度量神經網絡中激活神經元的比例。神經元覆蓋將神經元的狀態分成激活和非激活兩部分。給定一個輸入，如果它的輸出值高于預設的閾值，神經元就會被激活。如公式(10)所示：

(10)

2)K多段神經元覆蓋(KMNC)：

K多段神經元覆蓋[13]度量神經網絡中一組神經元覆蓋其上下界范圍的程度。給定一個神經元n和輸出的上下界，將上下界劃分為k個部分。如果神經元輸出在某一段，則認為該段被覆蓋。如公式(11)所示：

(11)

3)神經元邊界覆蓋(NBC)：

神經元邊界覆蓋[13]度量神經元主功能范圍之外的邊緣區域被覆蓋的程度。給定一個輸入x，若φ(x，n)值超過上下邊界，則表明邊緣區域被覆蓋。其上下邊界公式為：

UpperCornerNeuron=

{n∈N|?x∈T：φ(x，n)∈(highn，+∞)}

(12)

LowerCornerNeuron=

{n∈N|?X∈T：φ(x，n)∈(-∞，lown)}

(13)

神經元邊界覆蓋公式為：

NBCov(T)=

(14)

4)強神經元覆蓋(SNAC)：

強神經元覆蓋[13]度量神經元的上界邊角區域的覆蓋程度。

(15)

3.3 強化學習模塊

強化學習模塊基于D3QN算法進行訓練學習最佳變異策略，指導變異測試樣本生成。該模塊根據輸入樣本選擇變異操作，生成新樣本傳入神經網絡，利用獎勵反饋更新變異策略，該過程如圖5所示。

圖5 強化學習算法訓練流程

首先把神經網絡、初始樣本池作為輸入，隨機初始化價值網絡的參數θ和目標網絡的參數θ=θ′，并根據參數初始化兩個網絡。在一個新回合中，從初始樣本池中隨機選取一個樣本作為初始環境狀態s，根據價值網絡選擇變異動作α，基于變異動作α對樣本進行變異生成新樣本并將其輸入到神經網絡中執行。在執行完畢后，返回覆蓋率獎勵r并得到新的環境狀態s′，同時將該四元組(s，α，r，s′)存儲到經驗重放池D中。在進行訓練時，從經驗重放池中隨機采樣得到N個四元組數據(s，α，r，s′)，使用目標網絡計算損失函數L(θ′)，通過最小化L(θ′)更新參數θ′。通過梯度下降更新價值網絡參數，每隔一定步數將目標網絡的參數更新為目前價值網絡的參數值。一個回合的終止條件是，當生成樣本出現識別錯誤或不滿足式(2)函數關系時，則停止學習，通過不斷學習最終得到一種最優策略，它能夠智能地選擇變異動作以最大化獎勵。

4 實驗與結果

4.1 數據集和模型

本文選擇了兩個流行的公開數據集MINST[26]和CIFAR-10[27]作為實驗數據集。MNIST是一個用于手寫數字圖像識別的數據集，其中6萬張圖像作為訓練集，1萬張圖像作為測試集，分為10類(即從0到9的手寫數字)。每個MNIST圖像是一個尺寸為28×28×1的單通道圖像。

CIFAR-10是一個用于圖像分類的圖像集合，其中5萬張圖像作為訓練集，1萬張圖像作為測試集，分為10個不同類別。每個CIFAR-10圖像是一個尺寸為32×32×3的三通道彩色RGB圖像。由于CIFAR-10數據集更大、復雜性更高，CIFAR-10的分類任務通常比MNIST的分類任務更難。

本文將分別采用LeNet1、LeNet4、LeNet5在MNIST數據集上進行手寫數字分類任務，采用VGG16在CIFAR-10上進行圖像分類任務。神經網絡模型的具體參數如表2所示。

表2 神經網絡模型

4.2 評價指標

本實驗從等價類原則出發，選取如表3所示的4種不同粒度的神經元覆蓋度量指標。分別是神經元覆蓋(NC)、k-多段神經元覆蓋(KMNC)、神經元邊界覆蓋(NBC)、強神經元激活覆蓋(SNAC)。這些指標的粒度不同，反應神經網絡內部狀態也不同，選取這4個指標，可以有效檢驗本文方法的效果。具體描述見3.2.3節。

表3 評價指標

4.3 對比方法

DeepHunter是一個自動模糊測試框架，用于尋找神經網絡模型的潛在缺陷。DeepHunter提出了蛻變變異的概念，即圖像語義在種子變異過程中保持不變的性質。該技術通過8種圖像變異策略變異種子，并利用多個覆蓋度量指標作為反饋，從不同角度指導測試用例生成。同時該技術提出了隨機選擇和概率選擇兩個種子選擇策略，提高了模糊測試揭示故障和探索模型內部狀態的有效性與效率。DeepHunter的有效性和效率在3個流行的數據集和7個具有不同復雜性的模型上得到了驗證。

Tensorfuzz是一個基于覆蓋引導的模糊測試方法。該技術提出了一種激活向量的覆蓋準則，并使用最近鄰算法計算測試過程中的覆蓋率。在Tensorfuzz中，由覆蓋信息指導神經網絡的初始樣本進行變異，進而完成神經網絡測試。

4.4 參數設計

在本實驗中，將神經元覆蓋中神經元激活閾值設置為0.5。對于K多段神經元覆蓋，設k=1 000，這表示每個神經元的激活值對應主函數區間分為1 000段。對于神經元邊界覆蓋和強神經元激活覆蓋，將訓練中遇到的最小激活值l設置為下限，最大激活值u設為上限，δ是神經元輸出值的標準差。具體如表4所示，這些是原始研究[13]中推薦的設置。

表4 參數設計

4.5 實驗結果分析

實驗的目標是證明本文所提出的方法能夠生成優秀的測試樣本，提高不同粒度下的神經元覆蓋率。在實驗中，采用了本文提出的方法以及兩個對比方法，在兩個不同數據集上，分別針對四種不同的神經網絡進行了測試。在LeNet模型中將執行1 000個測試樣本作為終止條件，在VGG模型中將執行500個測試樣本作為終止條件，得到在神經元覆蓋(NC)、K-多段神經元覆蓋(KMNC)、神經元邊界覆蓋(NBC)、強神經元激活覆蓋(SNBC)這 4種覆蓋度量準則下的覆蓋率。具體的測試結果如表5所示。

表5 不同方法達到的覆蓋率峰值

表5總結了初始樣本對應的覆蓋率以及DeepHunter、Tensorfuzz和本文方法在不同模型下達到的覆蓋率。相比于初始樣本的覆蓋率，本文方法在不同模型下的所有覆蓋率指標均得到了提升。相比于Tensorfuzz，本文方法在LeNet和VGG16模型下覆蓋率均取得了較大提升。相比于DeepHunter，本文方法在使用LeNet模型的KMNC、SNAC和NBC指標中都獲得了更高的覆蓋率，在VGG16模型上同樣可以獲得更高的覆蓋率，在LeNet1模型中本文方法實現的NC指標提升不高。

在LeNet 1的NC實驗中，本文方法提升覆蓋率效果不佳。這是因為神經元覆蓋的閾值設計使得在小尺度模型上很難覆蓋深度狀態，覆蓋率提升閾值出現的時間更早，從而很難找到覆蓋率增加的樣本，使得獎勵反饋機制失效，最終變異策略變成了隨機變異。

在KMNC上，本文方法可以穩定提高覆蓋率。這是因為KMNC這種小粒度測試指標可以為系統提供更多的反饋，從而更好地指導學習變異策略。

在SBNC和NBC上初始覆蓋率就比較低是因為SBNC和NBC主要關注邊界區域的神經元，即激活值超過主邊界區域的神經元。而神經元激活值超過主邊界區域的情況相對較少，因此覆蓋率不高，但是經過變異，也可以提升覆蓋率。

綜上所述，本文方法根據強化學習算法生成最優變異策略，使其指導生成的樣本可以獲得更高的神經元覆蓋率，驗證了本文方法是一種有效的變異策略優化方法。

5 結束語

本文的主要研究內容是基于強化學習算法對神經網絡模糊測試中的測試樣本變異環節進行優化，將神經網絡模糊測試建模為一個馬爾可夫決策過程，定義了適用于神經網絡模糊測試的環境狀態、獎勵反饋、變異動作，并通過強化學習算法學習一個最佳變異策略，指導樣本變異過程，生成最佳變異樣本。與隨機變異相比，本文提出的方法可以更快地推動樣本向覆蓋率更高的方向變異。通過實驗表明，本文的方法可以生成高質量測試樣本，提高測試覆蓋率。在未來的研究中，將利用現有的變異策略，提高測試前期生成樣本的質量；設計更加有效的強化學習模型和參數，提高其性能。