一種基于在軌深度學習的壓縮率確定方法

張舒嘯，施 琦，陳 雯，余金培

（1.中國科學院 微小衛星創新研究院，上海 201203；2.上海科技大學 信息科學與技術學院，上海 201210；3.中國科學院大學，北京 100049）

0 引言

如何對遙感圖像中的重要目標進行精確的識別分類，是衛星遙感領域的一個難點和重要研究方向。近年來，對遙感圖像目標檢測的技術有不少發展，鈕賽賽等［1］、方青云等［2］都基于YOLO 模型實現了遙感圖像目標檢測。但是遙感在軌圖像存在數據量大，存儲、下傳到地面的速度受限，時間延遲大的問題。如果能及時進行在軌識別處理，可提高時效性，降低對星上存儲及數據下傳的壓力，當然這會增加在軌識別處理的資源要求。星上硬件設備受限，計算能力不足，要做到在軌識別，需要以識別精度為代價來降低計算成本，在計算量受限的條件下進行遙感圖像目標識別則更是困難。深度學習能較好地解決識別分類的問題，但是深度學習模型有大量參數，會消耗大量計算和存儲資源，不利于在星上部署。模型壓縮可以有效地去除冗余信息，節省存儲空間，減少計算量，適合于這種資源受限的應用場景。剪枝作為模型壓縮的重要手段，已被廣泛運用。

對于剪枝技術的研究有很多：LUO 等［3］提出了過濾器級別的剪枝方法ThiNet；HE 等［4］提出基于軟更新的軟濾波器剪枝（Soft Filter Pruning，SFP）方法對網絡進行剪枝；YU 等［5］提出了一種根據情況自適應修改通道數量的網絡模型，將不同壓縮率的網絡訓練到一個網絡里。以上幾種方法都是預定義的剪枝方法，除此之外還有一些自動剪枝的方法。HE［6］提出了一種基于深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）的自動壓縮方法。LIN 等［7］提出了ABCPruner 修剪方法，LIU 等［8］提出了一種基于元學習的修剪方法，DONG 等［9］使用可變形結構搜索和知識蒸餾的方法來搜索小型網絡。

預定義剪枝方法的壓縮率以及每一層的剪枝比例一般通過人工設置，缺乏選擇依據。自動剪枝方法如果通過人工設置總的壓縮率，同樣缺乏選擇依據。自動剪枝方法如果通過相應算法得到每一層的剪枝比例，壓縮算法結束之前不知道總的壓縮率是多少，且最終得到的總的壓縮率可能不滿足資源限制要求。該搜索方法無法折衷考慮準確率和運算量對實際應用場景的影響。為了根據應用需求確定壓縮率，本文研究貢獻如下：1）提出了一種描述壓縮后計算量與準確率關系的函數模型；2）運用該模型可以根據不同應用場景需求確定合適的壓縮率；3）運用該模型可以對不同的壓縮方法進行比較。

1 壓縮方法

本文從預定義剪枝方法中選取等比例剪枝作為代表，從自動剪枝方法中選取自動機器學習（Automated Machine Learning，AMC）算法作為代表進行實驗。

1.1 等比例剪枝

MITTAL 等［10］通過實驗論證了對過濾器的隨機裁剪能得到基于權重裁剪模型相似的準確率。LIU 等［11］則提出了剪枝的本質是對模型的結構的調整，而不是對重要權重的保留。在此之前的壓縮方法主要是手動設置模型結構，調整壓縮率，如Thi-Net，或者是對每一層的結構采用相同的比例進行剪枝，如SFP。由于手動調整結構不具有一般性，本文將對每一層采用相同的比例進行剪枝，剪枝后從頭開始訓練，然后對剪枝效果進行評估。對神經網絡的第i層進行剪枝如圖1 所示。

圖1 對神經網絡的第i 層進行剪枝Fig.1 Pruning of the ith layer of the neural network

1.2 AMC

AMC 算法［6］由HE 等提出，是一種基于強化學習的壓縮方法，此壓縮方法的核心是DDPG。動作空間at∈(0，1]，表示第t層的剪枝率，狀態空間S為(t，n，c，h，w，stride，k，FLOPs[t]，reduced，rest，at-1)。其中：t為層數；n為輸出通道數；c為輸入通道數；h為輸入層的高；w為輸入層的寬；stride為步長；k為卷積核的大小；FLOPs[t]為第t層浮點運算次數（floating point operatens，FLOPs）；reduced 是之前層減掉的FLOPs；rest 是剩余層的FLOPs；at-1是一個（0，1］的動作空間，表示第t-1 層的剪枝率；獎勵函數R=-Error 或R=-Error*log(FLOPs)，這兩種獎勵函數前一種是確定FLOPs，只針對準確率進行學習，后一種獎勵函數要同時對兩者進行學習。此方法有兩個神經網絡：Actor和Critic，其損失函數分別為

式 中：ri為 第i個獎勵函數；si為第i個狀態；ai為 第i個動作；Q為動作價值函數；b為獎勵函數的均值；θ為網絡參數；γ設置為1；μ(si)為狀態si下的動作a。

2 計算量與準確率的函數關系

一般情況下，模型壓縮后的計算量越小，即模型壓縮率越大，此時準確率越低。模型壓縮就是用準確率的下降換取資源需求的減少。然而不同的應用場景，對于壓縮率的要求不同，對壓縮后模型的準確率要求也不盡相同。為了更加清晰地展示不同情況下準確率下降與消耗資源減少的關系，以便更好地確定壓縮率，用函數來擬合準確率與模型壓縮之后計算量之間的關系。

由于模型的準確率和計算量之間關系的限制，需要擬合的函數需滿足以下條件：1）對于任何分類任務，定義域是［0，100］，值域是［0，100］的子集，單位是%；2）函數在定義域內連續且單調遞增。

選擇滿足上述條件的函數能在一定程度上避免過擬合。通過分析比較多種函數模型后發現分子分母為同階多項式的函數可以很好地擬合出準確率與計算量的關系改變趨勢。而深度學習模型計算量大，考慮實際需求，減少擬合函數所需要的最少數據點，可以減少總的計算量，定義函數關系如下：

式中：x為剪枝后模型所需計算量占初始模型所需計算量的百分比，即x=1-ratio，ratio 表示壓縮率，即壓縮的計算量占初始模型計算量的百分比；y為模型的Top1 準確率，即正確分類的目標數量占總數的百分比；p1、p2、p3、q1、q2為要擬合的參數。

3 模型參數的擬合

要用函數（3）擬合準確率與計算量的關系，需要在定義域［0，100］內采樣n個點(x1，y1)，(x2，y2)，…，(xn，yn)。為了更完整地擬合整條曲線，取一個極限的點(0，y0)，其中y0的值為理論情況下的極限值，即在不通過模型計算的情況下將隨機生成的結果作為模型輸出結果能得到的準確率的理論值，最后最小化損失函數F為

接下來，需要針對p1、p2、p3、q1、q2計算F的偏導數；再使用梯度下降法來得到p1、p2、p3、q1、q2的值。梯度下降的參數的迭代更新公式為

式中：φ可以用p1、p2、p3、q1、q2這些參數替換；lr為學習率；為偏導數。

通過式（5）可以得到計算量與準確率的關系，并可根據準確率或者準確率與壓縮率的折衷關系來確定壓縮率。不同的場景對壓縮率的要求各不相同，可根據實際需要求壓縮率，如設定一個閾值ε，并求，或者直接根據準確率求，此時的壓縮率即可滿足要求。

4 仿真分析及結論

本次實驗使用了CIFAR10 數據集［12］和遙感圖像數據集UCMerced Land-Use［13］，其中CIFAR10 數據集有60 000 張圖片，其中50 000 張為訓練集，10 000 張為測試集，分為10 個類，每張圖片的大小為32×32×3。UCMerced Land-Use 數據集共有21類，每個類100 張圖片，每張圖片的大小為256×256×3，訓練時將圖片裁剪為224×224×3，隨機將每個類別的80 張圖片作為訓練集，20 張圖片用作測試集。

實驗內容為在CIFAR10 數據集上分別用等比例剪枝和AMC 自動剪枝方法對ResNet20、ResNet56［14］、VGG16［15］深度神經網絡以不同的壓縮率進行剪枝，將剪枝后的模型在數據集上進行訓練和測試，并將結果中80%的數據用函數擬合不同模型下準確率與計算量的關系，剩下的20%的數據用來檢驗擬合數據的效果。

神經網絡都采用交叉熵損失函數，等比例壓縮方法采用壓縮后從頭訓練方式，AMC 方法按照原文采用訓練后微調的方式，兩種方法都訓練200 批次，初始學習率為0.1，并在第100、150 批次分別衰減0.1，AMC 微調100 個批次。

擬合函數采用隨機梯度下降法，等比例壓縮算法共有19 個數據點，其中15 個用于擬合，4 個數據點用于測試，AMC 算法共有7 個數據點，其中6 個數據點用于擬合，1 個數據點用于測試，共迭代60 000 次，初始參數為1 到100 的隨機數；初始學習率為0.1，并在第500次和第59 500次迭代衰減0.1。

除了上文提到的函數模型式（3）外，還嘗試使用其他模型來擬合準確率與計算量關系的曲線，如圖2 所示。

圖2 其他常用模型擬合效果Fig.2 Fitting effects of other commonly used models

這些數據為用等比例剪枝的方法在ResNet20上壓縮后在CIFAR10 上分類的結果。這三種方法在測試集上的均方根誤差分別為13.96、19.22、4.66。這些方法的擬合效果都不夠理想，而線性插值方法要得到好的結果需要的數據點過多。分子分母為更高階的函數也可以擬合，但是更容易出現間斷點，且對數據量的需求更高。因此，式（3）給出的函數可以較好滿足應用需求。擬合曲線參數及擬合效果見表1。表1 第一列中的Method1 為使用等比例剪枝的方法，Method2 為使用AMC 自動剪枝算法，最后一個數字表示數據集，1 表示CIFAR10，2 表示UCMerced Land-Use 數據集，第一行的p1、p2、p3、q1、q2表示擬合參數，RMSE 是擬合的曲線在測試數據上的均方根誤差，用以檢測擬合曲線的擬合效果。

表1 擬合曲線參數及擬合效果Tab.1 Fitting curve parameters and fitting effects

不同剪枝方法在相同模型上進行壓縮后的比 較圖如圖3 所示。

圖3 不同剪枝方法在相同模型上進行壓縮后的準確率比較Fig.3 Comparison of the accuracy of the same model obtained by different pruning methods after compression

圖2中的3張圖片分別為對ResNet20、ResNet56、VGG16 用2 種方法以不同的壓縮率壓縮后在CIFAR10 數據集上的準確率，其中，橫坐標表示壓縮后的模型的計算量占原始模型的百分比，縱坐標表示準確率。可以看到，在壓縮率較低時，兩種壓縮方法各有優劣，在壓縮率較高時等比例剪枝方法較好。2 種壓縮方法壓縮ResNet20 后在UCMerced Land-Use 數據集上的結果如圖4 所示。

圖4 兩種壓縮方法壓縮ResNet20 后在UCMerced Land-Use 數據集上的結果Fig.4 Results of the ResNet20 model on the UCMerced Land-Use dataset obtained by the two compression methods after compression

圖4 中的圖片表示以同樣的方法使用ResNet20在UCMerced Land-Use 數據集上的結果，可以看到數據的變化趨勢與在CIFAR10 數據集上相同。

通過以上實驗可以得到以下結論：

1）采用式（3）擬合的曲線與其他函數形式相比誤差較小，能較好地反映變化的趨勢。

2）有了以上曲線模型后，可以針對應用場景需求，根據準確率要求或者準確率與壓縮率的折衷人工確定模型壓縮率后進行壓縮，從而可解決選擇壓縮率時無選擇依據的問題。

3）可以根據得到的擬合曲線對不同的壓縮方法性能進行比較，只要比較曲線與x=0、x=100、y=0 三條直線圍成的面積大小（即曲線在定義域內的定積分）即可。從圖3 可以看出，不同的壓縮方法要減少相同的計算量時損失的準確率是不一樣的，等比例剪枝和AMC 算法在壓縮率較小時，效果不相上下，當壓縮率較大時，等比例剪枝效果更好。

4）壓縮方法對同一個模型壓縮后在不同數據集上的表現相似，使用該方法可以在一定程度上根據一個數據集上的表現推斷此壓縮方法在另一個數據集上的表現。

5 結束語

本文針對衛星在軌識別使用深度學習方法時壓縮率的選擇問題，給出了計算量降低與準確率損失的量化關系擬合方法。該方法可給出壓縮率與準確率兩者之間的折衷關系，為設置壓縮率提供依據，可以避免使用算法搜索得到壓縮率方法存在的問題。同時，有了壓縮率與準確率之間的折衷關系的曲線后，還可以對不同的壓縮方法進行比較。