基于樣本倍增、深度神經網絡與SVM的少樣本圖像識別技術

秦俊舉, 曹選平， 夏校朋

(1 成都紡織高等專科學校 機械工程學院, 成都 611731；2 電子信息控制重點實驗室 成都 610036)

0 引 言

基于深度神經網絡的圖像識別技術已得到廣泛的應用。但是其缺點在于需要大量圖像樣本進行訓練，才能保證較好的識別效果。但某些應用下，如遙感圖像或紅外圖像的目標識別中，由于圖像采集的高成本和高難度使得不易獲得大量的訓練圖像,會導致訓練不收斂，或識別準確率大大降低。針對該問題，人們研究了一系列方法，以提升少樣本下圖像識別的準確度[1]。

任佳等引入支持向量機，利用貝葉斯網絡各觀測節點不同時刻下的預測信息，通過樣本回歸對缺失數據進行修復，解決了小樣本下的BN參數學習問題[2]；鄭欣悅提出結合表征學習和注意力機制的少樣本學習方法VAE-ATTN[3]。首先，通過預訓練變分自編碼器(variational autoencoder,VAE)學習豐富的隱特征；其次，對提取出的隱特征構建注意力機制；最后，使用分類器進行圖像分類；田霞針對基于元學習的少樣本圖像分類，設計了多尺度關系網絡[4]。首先，在特征提取器加入多尺度特征,將卷積神經網絡的輸出在深度方向進行拼接；其次,設計多尺度特征的結合方式；最后,將關系特征通過神經網絡進行度量學習，提高了少樣本學習基準集的分類準確率,緩解了過擬合情況；徐培針對少樣本的應用場景,提出了如何有效地組織樣本和高效檢測目標等系列方法[5]；王寧針對人臉圖像容易受外界影響，且存在少樣本情況，提出先驗采樣約束結合擴展遮擋字典的細化稀疏識別算法，在光照、表情、角度變化情況下,取得了較滿意的識別結果[6]。

除了對少樣本情況下的識別算法優化改進，還對少樣本倍增算法進行研究。例如通過圖片的亮度改變、加噪聲、翻轉、隨機裁切、縮放等制造出大量樣本；使用如GAN的生成模型，生成大量接近真實的樣本；使用經典的特征提取算法，再使用SVM等淺層網絡來訓練, 需要較少的數據量。

1 傳統深度神經網絡識別算法的局限

基于深度神經網絡的圖像識別算法有很多，比較著名的有YOLO(You Only Look Once)、SSD、FasterRCNN等算法。其中,YOLO算法以運算速度快，可以達到實時運算，且識別準確率高而聞名。YOLO把一整張圖片應用到一個神經網絡中去，網絡把圖片分成不同的區域，給出每個區域的邊框預測和概率，并依據概率大小對所有邊框分配權重。最后設置閾值，只輸出得分(概率值)超過閾值的檢測結果。

本文以該算法為例說明其識別準確率與樣本數量的關系。首先對YOLO算法性能進行測試。選取的圖像樣本集為在網上搜集的漁船、貨輪、驅逐艦、護衛艦、航母等5個類別的7 200余張圖片，每個類別約1 200張。利用其中約60%的圖像作為訓練樣本集A1；20%的圖像作為驗證樣本集A2；另外20%作為測試樣本集A3，進行網絡訓練。YOLO算法識別過程如圖1所示。

圖1 YOLO圖像識別算法

深度神經網絡的識別準確率隨樣本數量而變化。樣本數量越少，識別準確率下降的就越大，見表1。而對某些特定應用，如雨霧環境監視等，高質量、足量的樣本圖像并不易獲得，因此研究少樣本下的識別有重要意義。

表1 識別準確率隨樣本數量變化

2 本文提出方法

本文提出一種將少樣本倍增、深度神經網絡與SVM相結合的識別算法。

首先，采用樣本倍增手段，對現有的少樣本圖像進行旋轉、加噪、視角變換等操作，從而生成更多類似實際場景的樣本，在一定程度上緩解樣本數量偏少給深度神經網絡訓練帶來的不利影響；

其次，采用YOLO深度神經網絡對倍增后的樣本進行訓練，得到目標的高維特征，包括類型識別結果(目標類型、屬于該類型的概率)及其它特征(目標像素的長寬比)等；

最后，采用SVM支持向量機。首先利用經典的圖像特征提取算法(SIFT特征點提取、Hough直線檢測等)提取目標特征(船舶姿態及SIFT特征點等)，再與YOLO提取的高維目標特征一起構建支持向量，使用SVM對支持向量進行訓練和識別。

但本文采用深度神經網絡獲取目標的高維特征信息，使用經典特征提取算法提取目標常規特征，構建包含高維特征信息、常規特征信息的特征向量，使用SVM支持向量機訓練，達到深度學習神經網絡與淺層神經網絡的統一運用，以提高少樣本下的分類識別能力。算法流程如圖2所示。

圖2 基于樣本倍增、深度神經網絡、SVM的少樣本圖像識別算法

2.1 樣本倍增

樣本倍增可以通過旋轉、縮放、平移、模糊、加噪等操作來實現。縮放是最簡單的操作，可以模擬物體的遠近程度。旋轉、平移可以通過透視變換來實現。

2.1.1 透視變換樣本倍增

世界坐標系(X,Y,Z)到攝像機坐標系(x,y,z)的變換。該變換可以由世界坐標系到攝像機坐標系的平移和旋轉得到，式(1)：

(1)

其中，M為3×3的旋轉矩陣；C和r表示3×1的平移單位矢量；(X,Y,Z)和(x,y,z)分別表示變換場景前和變換后的點坐標。

攝像機坐標系(x,y,z)到二維圖像坐標系(u,v)的變換得到，式(2)：

(2)

體的三維世界坐標(X,Y,Z)可以得到二維圖像坐標(u,v)，反之是無法實現的。對同一相機來說，其相機內參數矩陣和外參數矩陣是一定的，對同一空間物體，通過施加不同的透視變換矩陣[M,r]，可以得到不同視角的樣本圖像，達到樣本倍增的目的。圖3表示的是一幅原圖經透視變換后生成另一幅圖。可以看出，該透視圖與原來的圖像樣本相比有較大的視角差異，可以達到樣本倍增目的。

圖3 原圖及經透視變換后生成的樣本圖像

2.1.2 模糊變換樣本倍增

模糊變換可以通過圖像下采樣后插值放大來實現。也可以使用低通濾波的方法來實現，如高斯濾波等，如圖4所示。這些濾波操作削弱了圖像中的高頻分量，使邊緣信息變得模糊。

圖4 圖像縮放后再插值放大后的模糊效果、高斯模糊產生的模糊效果

2.1.3 加噪變換樣本倍增

噪聲可以模擬圖像在實際場景中所受到的成像影響。但對圖像所加的噪聲影響需要在最大程度上滿足實際真實情況。以海上監視應用為例，船舶圖像主要受海霧影響。根據經典的大氣散射物理模型，Narasinhan等人給出霧、霾天氣條件下單色大氣散射模型[7]，即窄波段攝像機所拍攝的圖像像素I(x)可表示為式(3)：

I(x)=Aρ(x)e-βd(x)+A(1-e-βd(x)),

(3)

其中，x為空間坐標；A表示天空的亮度；ρ(x)為空間坐標x處的場景反照率；d(x)為空間坐標x處的場景深度；β為大氣散射系數。因此，對原圖I(x)處理，模擬典型條件下的場景反照率、大氣散射系數及場景深度，從而生成模擬的海上艦船圖像，如圖5所示。

除此之外，還有其它變換倍增方法，如水平反轉變換(如圖6所示)等。

圖5 大氣散射物理模型及海霧對圖像質量影響模擬

圖6 圖像水平翻轉倍增

2.2 深度神經網絡(YOLO)特征提取

經過倍增后的樣本集按60%劃分為新的訓練集B1，20%劃為新的驗證集B2，另外20%作為新的測試集B3。對訓練樣本集B1和驗證樣本集B2進行YOLO算法的訓練和驗證，并使用訓練后的權重對測試樣本集B3進行識別，可以得到目標的類型信息。除此之外，還能得到目標屬于該類型的概率，及目標在圖像中的位置(4個坐標點)、目標的長寬比信息。這些信息均可作為SVM支持向量機的特征輸入。

2.3 特征算子特征提取

對于新的測試樣本集B3，借助傳統的特征提取算法，如邊緣提取、hough直線檢測、SIFT特征點檢測等技術，可以提取船舶相對圖像水平方向的角度，作為目標姿態的表征。如圖7所示，首先通過邊緣提取算法得到目標的邊緣信息，然后對目標的水平紋理圖像進行hough變換，提取水平線條，進而得到水平線條與圖像水平方向的夾角，作為支持向量機的一個特征輸入。除此之外，還可以提取目標的特征點，如SIFT特征點，將提取出的特征點作為支持向量的特征輸入。

2.4 SVM支持向量構建

支持向量機(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢。

利用YOLO訓練得到的權重，通過測試可以得到測試樣本集B3的目標類型、識別概率、目標長寬比，以及通過特征算子可以提取目標姿態、目標SIFT特征點等信息。這些信息共同構成多維支持向量輸入，測試樣本集B3的真實類型作為SVM支持向量機的輸出，對SVM開展訓練。訓練完成后，可以使用訓練好的SVM對原始的測試樣本集A3進行識別。SVM支持向量構成見表2。

圖7 Hough直線檢測結果及船舶的SIFT特征點分布圖

表2 SVM支持向量構成

3 仿真實驗

采用各種變換方法對1/40總樣本數的少樣本圖像進行倍增，共倍增約22倍。將上述樣本的60%作為訓練樣本集B1，20%作為驗證樣本集B2，另外20%作為測試樣本集B3。

采用倍增后的訓練樣本集B1及驗證樣本集B2對YOLO算法進行訓練。進行21 000次迭代，選取IOU最優的迭代次數，最終確定的迭代次數為18 000次。使用其權重識別驗證測試樣本集B3，得到包括目標識別類型及類型概率、目標像素長寬比等信息，作為SVM的特征向量輸入。

根據YOLO識別算法框選出的目標圖像，提取目標側舷的水平線條，計算相對于圖像水平方向的角度，度量船身姿態，作為SVM支持向量的輸入。

同時，對框選出的目標圖像進行SIFT特征點提取。由于SIFT特征點為128維向量，維度高，數據量大。因此，為避免SIFT算子導致SVM訓練時間明顯增加，這里只選取20個SIFT特征點。并對128維的向量降維，使用SIFT向量各維度平方和作為SIFT特征的近似表征。由表2可知，本文的SVM支持向量由24個維度組成，對應輸出則是B3的真實類型標簽。

接著使用SVM訓練測試樣本集B3。最優的處罰因子c和核函數g的選擇對分類精度影響很大，在本文的試驗中，用函數SVMcgForClass自動選擇c和g的值。圖8是優化過程中的參數選擇結果。用得到的最優c和g，通過svmtrain函數訓練分類模型。

圖8 訓練過程中的參數選擇

SVM訓練完成后，使用訓練生成的model模型對待測試樣本集A3 (共計5類，每類240幅)進行類型識別測試。使用libsvm 中的svmpredict函數來測試分類精度，實驗結果如圖9所示。

圖9 SVM最終識別結果

從圖 9可以看出，本文所采用的算法最終識別準確率達到了61.36%，顯著優于原YOLO算法在1/40樣本時44.08%的識別率。

4 結束語

本文采用少樣本倍增、深度神經網絡與支持向量機相結合的方法，對于特定樣本集，在樣本數量為總樣本1/40的情況下，識別準確率達到為61.36%，顯著優于原YOLO算法在1/40樣本時44.08%的識別準確率。驗證了該算法在少樣本識別中的有效性。

但該算法性能受樣本倍增手段是否符合實際情況、特征向量的構建是否合理等諸多因素影響，存在一定的不確定性。因此，提高識別能力最核心、有效的保證仍然首選高質量、足量的真實樣本。但盡管如此，作為一種重要的補充手段，該算法可以在一定程度上彌補由于樣本數量不足引起的識別能力下降，仍然具有重要的研究價值。