跨信道注意力權(quán)重最大區(qū)域掩蓋的正則化方法

卷積神經(jīng)網(wǎng)絡(luò)(CNN)憑借著其豐富的表達(dá)能力以及對復(fù)雜參數(shù)的處理能力在圖像去噪

、分類

和超分辨率重建

等領(lǐng)域得到爆發(fā)式發(fā)展。研究發(fā)現(xiàn),CNN擬合情況跟訓(xùn)練集數(shù)目近似呈現(xiàn)對數(shù)比例關(guān)系。在訓(xùn)練樣本不足時,由于CNN模型中有大量參數(shù),在訓(xùn)練時會錯把一些無法泛化的詳細(xì)、繁雜的特征當(dāng)作分類特征,從而出現(xiàn)過擬合現(xiàn)象

。ResNet

、VggNet

、WRNNet

、MobileNet

、MoblieNetV3

、EfficientnetV2

、DenisNet-SE

等在訓(xùn)練時都會有不同程度的過擬合現(xiàn)象出現(xiàn)。

對于外界的聲音，比如說我太狠了等等。我不在乎這些說法，我承認(rèn)確實我很狠，但我沒有原則性的錯誤，所以我不在意他們的說法。

在實際應(yīng)用中,樣本獲取困難,多為小樣本情況。常采用數(shù)據(jù)集增強(qiáng)(翻轉(zhuǎn)、隨機(jī)裁剪等)、模型集成、早停、正則化

等方法來解決過擬合現(xiàn)象。其中,數(shù)據(jù)集增強(qiáng)對過擬合緩解有一定的限度,模型集成會使訓(xùn)練時間倍增,早停會使訓(xùn)練模型的準(zhǔn)確率降低。正則化方法中

正則化

、批歸一化(BN)

、Dropout

等的應(yīng)用較為普遍。

、BN正則化方法對緩解過擬合有一定限度,緩解過擬合效果小。Dropout雖然效果很好,但是存在很大的隨機(jī)性和流動性,不普遍適用于現(xiàn)有的模型和數(shù)據(jù)集。

為了提高Dropout的普適性,學(xué)者們基于Dropout機(jī)制提出了DropPath

、CorrDrop

、DropFilterR

、DropBlock

、AttentionDrop

和TargetDrop

等改進(jìn)方法。DropPath采用隨機(jī)丟棄其中一些支路的策略,僅適用于Block支路較多的模型。DropBlock將隨機(jī)丟棄特征單元的方案改進(jìn)為自適應(yīng)丟棄特征區(qū)域的策略,但隨機(jī)丟棄的特點(diǎn)同樣容易造成過擬合或欠擬合。CorrDrop和AttentionDrop的丟棄策略較為極端,均是屏蔽掉具有較明顯特征的單元或具有特征不夠明顯的特征的區(qū)域。……