基于隨機擾動的過擬合抑制算法

李文舉，蘇 攀，崔 柳

(上海應用技術大學計算機科學與信息工程學院，上海 201418)

1 引言

當前的深度學習模型為了在復雜多變的自然場景下得到的預測更為精準，通常在模型中使用多種網絡結構和激活函數，使其能夠從輸入樣本中提取出盡可能多的特征，這些模型在大型數據集上獲得了較為優異的預測性能。但是當這樣的大型網絡模型在小數據集上進行訓練時，由于可能存在很多冗余的特征，容易產生過擬合，從而導致模型預測性能不理想。當前針對模型的過擬合問題，主要是在模型的訓練過程中對提取的樣本特征采用一些正則化方法，例如：Dropout， 歸一化[1-4]等，或是直接使用預訓練權重進行初始化，然后在新的數據集上進行微調。

其中，Dropout和歸一化方法主要針對樣本的特征進行操作，除此之外，在2019年和2020年，Yang B[5]、Chen Y[6]分別提出了條件卷積和動態卷積，可以根據輸入樣本的特征對卷積核參數進行調整。

本文提出了RPM (Random Perturb Module) 模塊，在訓練過程中，通過向樣本特征中添加隨機擾動的方法幫助神經網絡模型消除冗余特征并強化關鍵特征。使得網絡能夠學習到更好的網絡權重并顯著減輕過擬合。本文所提方法分別在兩個交通標志識別數據集(CTSRD和GTSRB)以及一個目標檢測數據集(PASCAL VOC 2012)上進行了實驗。

交通標志識別對于自動駕駛具有重要意義，準確的識別交通標志可以幫助提升自動駕駛的安全性。然而傳統的交通標志識別算法無法滿足其對實時性和準確性的要求。隨著深度學習的發展，交通標志識別模型的預測性能也得到了快速的提升。2020年，Wang J等[7]提出了一種基于殘差網絡[8]的交通標志識別算法，其使用ResNet18模型在CTSRD數據集上進行訓練，最后獲得了91.9%的識別精度。2021年，鄭秋梅等[9]在交通標志識別任務中對ResNet34的殘差塊進行修改，并加入注意力機制，最終在GTSRB數據集上到達了97.7%的識別精度。本文在交通標志識別任務中分別使用了ResNet34和ResNet50兩個模型以及其改進算法進行了實驗。

目標檢測是比圖像分類更為復雜的視覺任務，在對目標進行準確分類的同時，還需要找出目標的準確位置。本文所提的RPM模塊在經過充分優化的Faster R-CNN[10]、RetinaNet[11]、SSD[12]和YOLOv3[13]四個模型上進行了實驗，這更能體現所提模型的有效性。

2 相關工作

2.1 網絡訓練與過擬合問題

近年來，深度學習模型在計算機視覺領域內占據著主導地位，隨著研究的逐漸深入，提出了越來越多的適應不同視覺任務的網絡結構，例如殘差網絡[8]、膠囊網絡[14]、注意力機制[15，16]等，使得深度學習模型的學習能力越來越強大，在各種大型數據集上的表現越來越優秀。但是當這些大型模型在一些較小的數據集上進行訓練時，在沒有預訓練權重的情況下就容易產生過擬合問題。

另一種產生過擬合的情況是，模型在長尾數據集上進行訓練，樣本較多的類別由于過度采樣產生過擬合，樣本較少的類別則產生欠擬合的問題，最終模型得到較差的預測性能。

過擬合產生的根本原因，是由于訓練數據集和模型的學習容量不匹配，導致模型學習到了很多無關的特征，并錯誤的將其作為樣本的必要特征。針對過擬合問題，主要有兩種解決方案：一是在模型訓練方法上進行改進，例如使用dropout網絡層對神經元進行隨機丟棄，或是利用在大數據集(例如ImageNet)上訓練得到的網絡權重進行初始化，然后在小數據集上進行微調，或是使用歸一化層在一定程度上減輕過擬合，增強模型的泛化性能；二是直接對訓練集進行數據擴充。

鑒于在某些場景下，獲取高質量數據是非常昂貴的，因此本文提出了RPM模塊，它可以向模型中添加隨機擾動，從而減輕模型過擬合。

2.2 深度學習中的卷積計算

最近幾年，卷積算子的動態性逐漸成為研究熱點。2018到2019年，J Dai等[17，18]分別提出了可變形卷積算法的第一代和第二代算法，可變形卷積可以改變自身卷積核的形狀，以適應不同形狀的預測目標。Yang B等[5]等則提出了條件卷積，它可以根據輸入特征計算卷積核的參數。2020年，Chen Y等[6]提出動態卷積，其可以根據輸入樣本對多個同一層級的卷積核進行融合并形成一個新的卷積核，然后對輸入特征進行卷積。

3 RPM模塊

由2.1節，過擬合的產生是由于訓練數據集太小或類別樣本數不一致而導致的，致使模型將非必要的特征錯誤的認定為必要特征。本文針對過擬合問題，提出了RPM模塊，結構如圖1所示，其中X表示輸入特征圖，Y表示輸出特征圖。在訓練過程中，RPM模塊可以通過擾動層(disturbance layer)向模型中添加隨機擾動，強化樣本的主要特征，弱化無關的冗余特征。

事實上，卡夫卡心中的父親形象已經超越了一般的倫理概念范疇而開始具有宗教學、社會學等多個層面的含義，他把對父親的感受和現實世界的運行機制關聯起來，由此在他心中也形成了一種蘊含著極其復雜的社會文化內涵和個人情感的體驗。卡夫卡的父親形象與他所認知的世界有著深遠的聯系，對于父親形象的描繪和建構，來自于卡夫卡作為一個敏感作家的親身生存體驗，也來自于他的文化記憶和積淀，成為了一個關于現實世界的絕妙比喻。這也是為什么在卡夫卡的許多作品中，世界就像是一個沒有人能夠窺視到全貌，弄清楚結構的錯綜復雜的迷宮，人們永遠無法真正接近它，卻又無時無處不感受到它的威嚴和壓迫。

圖1 RPM結構圖

RPM模塊可以根據輸入特征計算均值，然后生成高斯分布的隨機擾動張量，最后將擾動張量和輸入特征圖相加，得到輸出特征圖，如式(1)所示

(1)

其中，x表示RPM的輸入特征圖，y表示RPM的輸出特征圖，C是調節因子(默認為2.5)，控制擾動的大小，g表示激活函數。隨機擾動僅在訓練時起作用，在模型的測試階段不再使用隨機擾動，因此對模型的推理速度沒有影響。

4 實驗結果和分析

這一部分內容對RPM模塊在中國交通標志識別數據集CTSRD、德國交通標志識別數據集GTSRB和PASCAL VOC2012數據集上進行了實驗。CTSRD是一個交通標志分類數據集，由中科院自動化研究所模式識別國家重點實驗室提供，包含58個交通標志類別，共6164張交通標志圖片，其中訓練集包含4170張，測試集包含1994張；GTSRB是最常用的交通標志識別數據集，包含43個交通標志類別，超過50000張圖片。

在交通標志的分類任務中，本文使用ResNet作為基礎網絡，并在每一個殘差塊的輸出部分加入RPM模塊。

圖2 改進的殘差模塊

PASCAL VOC2012數據集是常用的目標檢測、語義分割數據集，包含20個類別，17125張圖片。本文的實驗環境在表1中進行了說明。

表1 實驗環境

4.1 交通標志分類實驗

為了驗證所提RPM模塊的有效性，這一部分在ResNet34模型和ResNet50模型的殘差塊中加入RPM模塊，在CTSRD數據集和GTSRB數據集上進行實驗。訓練時的參數設置如表2所示。

表2 實驗參數

如圖3所示，由于CTSRD數據集存在長尾效應，因此從CTSRD數據集的58個交通標志類別中挑選了45個類別，訓練集中每個類別最少包含14個樣本，最多包含446個樣本。

圖3 CTSRD數據集的類別樣本數

由于長尾效應的存在，在訓練模型時容易對樣本較多的類別產生過擬合，而樣本較少的類別產生欠擬合，如圖4和圖5所示，其中“ours＿0”和“ours＿1分別表示本文在ResNet34和ResNet50模型基礎上加入所提的RPM模塊的方法。可以看出，ResNet34和ResNet50模型僅在epoch為3之后就陷入了嚴重的過擬合。

圖4 基于ResNet34模型的實驗對比

圖5 基于ResNet50模型的實驗對比

當ResNet34和ResNet50不使用預訓練權重進行初始化時，模型在訓練集上的預測精度和測試集上的預測精度存在很大的差距，即存在過擬合現象。但是，當模型中加入RPM模塊之后，模型最終在測試集上和訓練集上預測精度的差距被縮小，即過擬合現象有所緩解。而GTSRB數據集由于不存在長尾效應，因此在這一數據集上訓練得到的模型不存在過擬合問題，實驗結果如表3所示，其中帶“*”的模型表示使用了本文所提的RPM模塊；“預訓練權重”表示模型在開始訓練之前，使用了預訓練權重進行初始化；“隨機初始化”表示模型在開始訓練之前，權重僅進行隨機初始化。無論是采用預訓練權重進行初始化還是隨機初始化權重進行訓練，本文所提的算法均獲得了更好的實驗效果，其中使用預訓練權重的 ResNet50*模型，在CTSRD數據集和GTSRB數據集上分類精度分別達到了96.9%和99.4%。

表3 交通標志數據集分類實驗結果

實驗表明，當模型不采用預訓練權重進行初始化，同時數據集又具有長尾效應時，模型容易產生過擬合的問題。所提的RPM模塊可以適當緩解模型的過擬合問題，并在一定程度上提高模型的識別精度。

4.2 目標檢測任務

目標檢測是一種比分類更復雜的視覺任務，不僅要求對圖像中的目標樣本進行分類，還需要找出目標所在的準確位置。為了更進一步說明RPM模塊的有效性，本節分別在Faster RCNN[10]，RetinaNet[11]，SSD[12]和YOLOv3[13]模型中使用RPM模塊進行訓練，其中Faster R-CNN、RetinaNet和SSD模型均使用ResNet50作為主干網絡，本文所提改進算法和4.1中的分類算法一致，即在殘差塊的輸出部分加入RPM模塊；YOLOv3采用Darknet作為主干網絡，同樣是在殘差塊的輸出部分加入RPM模塊。并針對PASCAL VOC 2012目標檢測數據集進行了實驗。實驗時的參數設置如表4所示。

表4 目標檢測任務實驗參數

實驗中所用RetinaNet，YOLOv3和Faster RCNN模型均采用在COCO 2014數據集上預訓練的權重進行初始化，SSD模型采用英偉達提供的預訓練權重進行初始化，然后在PASCAL VOC 2012目標檢測數據集進行實驗。由于受顯存大小限制，SSD300和SSD300*的批大小設為8，RetinaNet和RetinaNet*的批大小設為2，YOLOv3和YOLOv3*的批大小設為4，Faster R-CNN和Faster R-CNN*的批大小設為4，帶“*”的模型表示采用了RPM模塊，表5和表6為對比試驗結果。

表5 目標檢測模型的識別精度

表6 目標檢測模型的召回率

根據實驗結果，在SSD300、Faster RCNN、YOLOv3和RetinaNet模型中加入RPM模塊，使得的AP分別提升了8.5%、1.1%、0.3%和1.3%。RPM模塊在SSD300模型上的性能提升最為明顯，是因為其預訓練權重是在Pascal VOC 2007數據集上訓練得到的，這一數據集相比本文實驗所用的Pascal VOC 2012數據集相對較小，因此隨機擾動更有利于進一步提升模型的性能。而Faster RCNN、YOLOv3和RetinaNet則使用了COCO數據集上預訓練的權重，這一數據集相比本文實驗所用的Pascal VOC 2012數據集更大，樣本復雜度也更高，因此在當前的數據集上進一步進行訓練基本不存在過擬合的問題。

因此本文的實驗表明，在網絡訓練過程中，對模型加上適當的噪聲干擾可以減輕模型的過擬合問題，并在一定程度上提升預測性能。

5 結論

本文針對神經網絡模型在小數據集和長尾數據集上訓練容易產生過擬合問題，提出了RPM模塊，在訓練過程中給樣本特征加入隨機擾動，使模型可以獲得更好的泛化性能。經實驗表明，所提的RPM模塊可以有效的減小模型在長尾數據集上訓練造成的過擬合現象，而且即使是預訓練模型，同樣可以在一定程度上提高模型的預測性能。