基于共軛梯度法的CNN圖像分類模型研究

王日彤

（東北大學理學院 遼寧省沈陽市 110819）

圖像分類是計算機視覺領域最重要的任務之一，其主要過程包括數據預處理，圖像特征提取和分類決策。近年來隨著深度學習的發展，卷積神經網絡（CNN）模型替代傳統圖像分類模型成為圖像分類任務的主流模型，有很好的圖像分類效果。常用的模型有VGG、ResNet、DenseNet 等等。

在卷積神經網絡（CNN）模型中，首先定義損失函數用于計算模型預測值與真實值之間的誤差，然后計算損失函數對模型各參數的梯度值，最后利用優化算法對模型參數進行迭代更新。當前深度學習的主流優化算法為梯度下降法及其變種形式，標準梯度下降算法在每一步迭代的過程中需要使用全部訓練樣本，雖然參數更新方向最穩定，但時間與空間的消耗巨大。因此在實際問題中通常使用隨機梯度下降算法（SGD），每一步只使用隨機抽樣的一個樣本更新參數方向[1]，這減少了迭代的計算量。后來研究人員主要在方向和學習率兩方面進行了改進，2015年Diederik 等人綜合了前人算法的優勢并提出了Adam 算法，在后續發展中Adam 算法成為最常用的算法之一。

考慮到深度學習關于優化算法的研究主要依據梯度下降法，本文基于共軛梯度法，在CIFAR-10 圖像分類數據集上設計實驗，構建卷積神經網絡（CNN）模型并采用修正的三項PRP 共軛梯度法（M-PRPCG）與Adam 算法分別訓練模型，比較實驗結果。

1 算法設計

共軛梯度法是介于梯度下降法與牛頓法之間的一個方法，它僅需要利用一階導數信息，不但克服了梯度下降法收斂慢的特點，又避免了牛頓法需要儲存和計算海塞矩陣并求逆的缺點。共軛梯度法不僅是解大型線性方程組最有用的方法之一，也是解大型非線性最優化問題最有效的方法之一[2]。其主要思想是結合梯度下降方向與共軛性，構建一組共軛方向，并沿該方向進行參數更新。參數更新公式為：

表1：修正的三項共軛梯度算法

表2：實驗結果

其中gt為模型參數的梯度，βt為一個參數，根據選取的不同有PRP、FR、DY 等共軛梯度法。在工程數值優化領域中，PRP 共軛梯度法在實際問題中的數值效果很好[3]，其βt的選取為：

2017年Bakhtawar Baluch 等人在文獻[4]中結合了PRP 共軛梯度法與三項共軛梯度算法的優點，提出了新的三項PRP 共軛梯度算法，具有不依賴于任何線搜索的充分下降性質，同時證明了在Wolfe 線搜索準則下對非凸問題的全局收斂性。新的三項PRP 共軛梯度算法參數更新方向dt公式為：

其中，

線搜索的目的是讓目標函數有足夠的下降量。

本文設計的用于訓練卷積神經網絡模型的修正的三項PRP 共軛梯度算法（M-PRPCG）描述見表1。

算法利用了公式（4）的參數更新方向dt。由于實際圖像分類任務中整個模型的參數量達到千萬級別，若每次更新一個參數都進行線搜索計算會造成計算與存儲成本過高，因此在線搜索部分進行調整。首先考慮到線搜索的目的是讓目標函數即損失函數有充分的下降量以及在每輪更新過程只能利用本輪和上輪的數據，因此在計算當前步的學習率過程中添加超參數γ 對項進行近似，其中 為公式（8）不等式兩邊的差值估計，即為損失函數的下降量。然后近似計算學習率圖像數據集中存在大量離群樣本會導致部分參數梯度過大，這造成在某個方向上的學習率變大，進而導致模型不收斂。因此設定一個限制項α 對學習率大小進行控制，當學習率αt≥α 時，令αt=α，這樣就使得模型可以正常收斂。

修正的三項PRP 共軛梯度法（M-PRPCG）在迭代點處利用梯度構造了一組共軛的下降方向，使得參數在各方向上的更新均不沖突。算法利用一階梯度信息并配合線搜索確定學習率，計算方便的同時又解決了梯度下降法收斂精度不高的問題，因此可以應用到深度學習圖像分類任務中來。

圖1：模型收斂曲線

2 實驗分析

2.1 實驗平臺數據

實驗采用深度學習框架Pytorch，所用數據集為CIFAR-10 圖像分類數據集，包含60000 張32*32 的彩色圖像，有10 類物體圖片，每類6000 張，分為訓練集和測試集。其中，訓練集為5000 張圖片，測試集為1000 張圖片。

實驗平臺選擇為windows10 系統，CPU 為Intel(R)Core(TM)i5-7300HQ CPU@2.50GHz，GPU 型號為GTX-1050TI，顯存為4g，使用NVIDIA CUDA 對GPU 進行加速。

采用的卷積神經網絡（CNN）模型為ResNet18 和VGG16，為當前深度學習領域主流的圖像分類模型。

2.2 實驗評價指標及結果分析

實驗以測試集分類準確率為評價指標，即分類正確的樣本數量占總樣本數量的比重。設分類正確的樣本數為b，總樣本數為a，則分類準確率（Accuracy）為：

實驗是在CIFAR-10 圖像分類數據集上進行，使用ResNet18和VGG16 作為卷積神經網絡模型，再利用修正的三項PRP 共軛梯度法（M-PRPCG）與當前主流的Adam 算法對模型進行訓練，其中迭代輪數epochs 設為100，批樣本數batch_size 設為256，學習率learning rate 設為0.01，M-PRPCG 算法中的參數設置為

采用M-PRPCG 算法和Adam 算法訓練的模型在訓練集與測試集上的圖像分類準確率見表2。

圖1 為ResNet18 模型和VGG16 模型在測試集上的分類準確率收斂曲線。

從圖1 的收斂曲線可以看出，雖然在訓練初期修正的三項PRP共軛梯度算法（M-PRPCG）準確率有較大幅度的振動，但仍可以快速收斂到一個較高的值。從表2 的實驗結果可以看出，在相同的CNN圖像分類模型上，采用修正的三項PRP共軛梯度法（M-PRPCG）訓練出的模型在測試集上的準確率均高于使用Adam 算法訓練出的模型的準確率。

實驗結果表明，使用修正的三項PRP 共軛梯度法（M-PRPCG）訓練出CNN 圖像分類模型的分類準確率更高，實驗效果更好。

3 結束語

對于深度學習的CNN 圖像分類模型的優化算法部分，本文應用的修正的三項PRP 共軛梯度算法（M-PRPCG）具有不依賴于任何線搜索的充分下降性質，能夠保證在每次參數更新后損失函數有足夠的下降量。本文在CIFAR-10 圖像分類數據集上使用修正的三項PRP 共軛梯度算法（M-PRPCG）分別對ResNet18 和VGG16 模型進行訓練。實驗結果表明，本文所設計的修正的三項PRP 共軛梯度算法（M-PRPCG）相比于Adam 算法有更好的圖像分類效果，可以應用到圖像分類任務中去。