自適應特征整合與參數優化的類增量學習方法

徐 岸，吳永明，2，鄭 洋

1.貴州大學 省部共建公共大數據國家重點實驗室，貴陽 550025

2.貴州大學 現代制造教育部重點實驗室，貴陽 550025

當前深度學習模型在完成單一任務（例如語音識別[1]、圖片識別[2]）方面已經超過了人類水平。但是與能夠不斷學習和執行連續任務的人類智力相比，這種成功仍然有限。讓模型能夠具有連續學習能力一直是人工智能領域所面臨的難題[3-5]。最近增量學習成為了目前深度學習研究工作中的熱點和難點問題。增量學習旨在讓神經網絡模型適應非平穩且不間斷的數據流環境，從而實現更高水平的機器智能。然而，增量學習模型存在災難性遺忘（catastrophic forgetting），即模型在學習了新知識后，對先前學習過的知識發生遺忘[6-8]。解決增量學習中所產生的災難性遺忘是人工智能系統走向更加智能化重要一步[9-10]。

針對增量學習中所產生的災難性遺忘問題，研究人員提出了很多方法。Kirkpatrick等[11]基于貝葉斯概率提出EWC（elastic weight consolidation）算法，該算法通過對舊模型全局參數重要性進行估算，并在新模型訓練時對重要參數進行約束。該方法在任務數據關聯性較強的數據下表現較好，但在連續圖片分類任務中算法性能極劇下降。Li 等[12]利用知識蒸餾與微調方法結合提出LwF（learning without forgetting）算法。該方法首次將知識蒸餾與增量學習結合，通過舊模型訓練新模型使得新模型具有舊模型的泛化能力。但在連續任務后期，LwF 依然存在大量知識被遺忘的現象。Rebuffi[13]通過設置額外的內存來保持具有代表性的部分歷史任務數據。然而在有數據隱私限制的情況下，這種方法是不被允許的，同時在大數據場景下，保留部分樣本對模型性能提升較小。莫建文等[14]利用變分自編碼器生成歷史任務數據的偽樣本，通過新模型對偽樣本的學習減輕對舊知識的遺忘。然而，對于復雜的圖像數據（如自然圖像），訓練大型生成模型效率很低。Zhu 等[15]提出PASS（prototype augmentation and self-supervision）算法，該算法通過自監督學習概括和轉移連續任務中的數據特征，并在深層特征空間中采用原型增強來維持以前任務的決策邊界。吳楚等[16]提出一種任務相似度引導的漸進深度神經網絡，該方法通過對比任務間的相似度，并以此對先前任務的參數進行修剪再遷移從而提高算法性能。但在差異性較大的任務之間的相似性表示可能會失效。

本文提出了一種自適應特征整合與參數優化的類增量學習方法（adaptive feature consolidation with parameter optimization，AFC-PO），以緩解在增量式場景下圖片分類場景下深度學習模型所產生的災難性遺忘問題。鑒于增量學習有限的模型容量但需要學習無限的新信息的情景，本文考慮分別對數據特征與模型參數進行處理。因此，模型將知識蒸餾技術作為基礎框架，以非樣本保留的方式使用數據特征對模型進行迭代訓練，同時，限制增量任務模型中重要參數的變化。AFC-PO 包括了自適應特征整合與重要參數優化兩個部分。一方面，在自適應特征整合模塊，首先對前后任務的模型主干網絡的輸出特征進行整合，并使用自定義差異損失維護舊任務模型主干網絡的特征表示。然后在模型分類層利用輸出特征構造具有模糊性的軟標簽作為語義監督信息，以此吸收先前任務的知識。另一方面，在增量學習階段有選擇地保留或刪除知識，即對模型參數重要性進行評價，并在學習新任務時，對重要參數的改變施加懲罰，從而有效防止新模型覆蓋于以前任務相關的重要知識。

1 相關描述和問題定義

1.1 類增量學習

在現實世界中，數據是以數據流的形式存在，并且總是受存儲限制和隱私約束等問題的制約，導致一些數據不能長時間存儲，這使得在數據流中的神經網絡模型需要適應時間和存儲的變化[17-18]。這要求網絡模型在不忘記舊任務知識的情況下學習新知識，以實現模型穩定性和可塑性之間的平衡。對于神經網絡模型需要不斷學習適應的場景，將它稱之為增量學習或者持續學習。其中，連續圖片分類任務是增量學習中具有挑戰性的任務場景，這種數據類型增量任務被稱為類增量學習（class incremental learning，CIL），如圖1 所示，在類增量學習中新的類別不斷地到來時，模型的輸出層需要增加相應的神經元節點，同時，模型需要對已學習過的數據進行分類預測，即在連續任務序列中每一個任務都包含與其他任務不相交的圖片類型，模型需要對不同任務階段學習過的所有圖片進行分類。

圖1 類增量學習流程概括圖Fig.1 Overview of class incremental learning process

類增量學習問題定義如下：假設X和Y分別為訓練集和標簽集。而在連續不斷的數據流中，訓練集則為X1,X2,…,Xt，其中t表示為增量任務階段。第i個增量任務階段的數據集Xi(1 ≤i≤t) 對應其標簽集Yi。類增量學習任務序列中每一個任務階段都包含與其他任務不相交的圖片類型，那么可形式化表示為Xi?Xj=?(i≠j)。由于AFC-PO為非樣本保留方法，則模型在第t個任務階段時，前t-1 個階段的數據不可用，模型只擁有第t個任務階段的數據集Xt。在一般情況下，在第t個任務階段模型f t通過主干網絡對任務數據特征進行提取，然后通過由全連接網絡構成的分類輸出層進行分類預測。在本文中使用ResNet作為主干網絡，其形式化表達為：

式中，表示第t個任務階段主干網絡ResNet 中的參數，rt表示通過主干網絡提取出的特征。模型分類輸出層通過全連接網絡將數據特征rn映射為其所屬類別。那么由全連接網絡構成的分類輸出層的映射關系可表示為：

式中，表示第t個任務階段分類輸出層全連接網絡中的參數，ct表示通過模型輸出的結果。結合上述式（1）、式（2）可以獲得在第t個任務階段模型f t的映射關系：

1.2 知識蒸餾框架

知識蒸餾旨在將知識從預訓練模型（即教師模型）轉移到目標網絡（即學生模型），從而實現更好的泛化性能。在類增量學習的場景下，舊任務模型通常被視為教師模型，則新模型被視為學生模型。在增量學習階段，新模型需要繼承舊模型參數作為模型的初始參數開始訓練。

在增量學習中，研究人員提出了很多基于知識蒸餾的方法。iCaRL[13]保留一部分歷史樣本，并聯合蒸餾損失與交叉熵損失讓模型在保留舊類別區分能力的基礎上，具備區分新類別的能力。UCIR[19]通過最大化教師模型和學生模型嵌入的特征之間的余弦相似性來解決遺忘問題。另一方面，LwM[20]最小化舊任務中輸出層得分最高的類與主干網絡所提取特征的差異，以此緩解模型主干網絡特征表示的顯著性變化。

之前的大部分工作都是聯合蒸餾損失和交叉熵損失構造損失函數。與此同時，大部分研究都會使用獨熱（One-Hot）標簽作為監督信息[21-22]。然而大部分情況下，一個樣本不是嚴格屬于某個類別。數據標簽中含有豐富的語義信息，所以真實數據標簽表示的是樣本隸屬于各個類的可能性。因此本文將不單獨使用獨熱標簽，而是通過對舊模型分類輸出層的特征（軟標簽）與獨熱標簽進行處理，構造具有模糊性的軟標簽作為語義監督信息。其次，對前后任務的模型主干網絡部分構造差異損失，并將前后模型主干網絡的自適應特征進行整合，以此維護舊任務模型主干網絡的特征表示。

2 算法描述

針對增量式場景下圖片分類場景下深度學習模型所產生的災難性遺忘問題，提出一種自適應特征整合與參數優化的類增量學習方法。在本章中，首先基于知識蒸餾模型框架提出了一種自適應的特征整合方法，以防止前后模型在主干網絡和分類輸出層出現顯著性變化。一方面，自適應的特征整合方法在主干網絡根據前后模型的主干網絡輸出特征構造差異損失，并將舊模型與新模型的主干網絡特征整合。同時，在分類輸出層通過舊模型輸出的軟標簽與獨熱標簽通過Softmax進行整合，構造具有模糊性的軟標簽作為語義監督信息。另一方面，提出了參數優化方法，在知識蒸餾框架的基礎上，對參數的重要性進行評價，對重要參數的改變施加懲罰，從而有效防止新模型覆蓋與以前任務相關的重要知識。

2.1 自適應特征整合方法

類增量學習需要具備識別已知類別和新增類別的能力，同時，知識蒸餾模型框架具備將知識從舊任務模型轉移到新任務模型的能力。因此本文考慮把知識蒸餾作為基礎框架，如圖2 所示，在第n個任務數據到來時，首先，數據通過第n-1 個任務階段模型分別獲得當前數據在舊模型上主干網絡與分類輸出層的表征信息，然后，利用自定義差異損失與蒸餾損失對當前模型進行訓練。自適應特征整合方法（AFC）通過對前后任務網絡模型的主干網絡和分類輸出網絡特征進行處理，以此緩解新模型對舊知識的遺忘。

圖2 自適應特征整合方法流程圖Fig.2 Adaptive feature integration method process

具體而言，當模型在第t個任務階段時，主干網絡部分根據當前階段模型與t-1 階段模型對當前數據集Xt進行特征提取，那么兩個階段模型主干網絡提取到特征分別為rt-1與rt。本文為使前后兩階段的特征差異盡可能小，從而防止模型出現顯著性變化，因此利用L2范數構造特征差異損失：

其中，n表示在第t階段模型數據集的樣本數量。基于知識蒸餾框架造特征差異損失使得新模型特征進行自適應調整。同時，t-1 階段模型主干網絡的輸出特征rt-1具有更多的舊模型視覺語義信息，因此考慮將rt-1與rt進行整合，其形式化表示為：

式中，Rt表示為整合后的特征。Rt通過分類輸出層進行預測分類，以此維持分類輸出層的決策邊界。

在特征分類層，將當前階段數據集Xt輸入到t-1階段模型中，模型輸出分類特征ct-1。盡管t-1 階段模型無法對t階段數據進行分類預測，但是其輸出分類特征ct-1具有豐富的視覺語義信息，即ct-1可以理解為當前數據Xt在舊模型中隸屬于t-1 階段已知類型的可能性。同時，模糊性是數據普遍存在的一種特性。大部分情況下，一個樣本不是嚴格屬于某個類別。因此利用當前階段任務數據的One-Hot 標簽ht與t-1 階段模型分類特征ct-1進行整合，并通過Softmax 構造具有模糊性的樣本數據軟標簽，其形式化為：

其中，zt表示第t個任務階段One-Hot標簽ht與t-1 階段模型分類特征ct-1進行整合的結果，m表示當前階段已知類型和新增類型的數量，表示通過Softmax函數后第i個類型的可能性。通過式（5）獲得具有模糊性的軟標簽st作為語義監督信息，因此本文希望數據Xt通過新模型獲得預測結果與軟標簽st盡可能接近，使模型具有舊模型的泛化能力，從而保證模型對已知的類型不發生遺忘。因此，基于和st的損失函數可以通過知識蒸餾形式化為：

模型通過對前一階段模型具有視覺語義的輸出特征的學習能夠讓新模型吸收先前任務的知識。總體而言，在第t個任務階段，自適應特征整合方法對模型訓練的損失函數為式（4）和式（7）的結合：

式中，λ為兩項的調節因子超參數。

2.2 參數優化方法

在自適應特征整合方法中，本文所提方法對數據樣本在前后階段模型各部分的特征進行了處理。而在參數優化方法（PO）中將關注于增量學習過程中模型自身的參數變化。該方法對模型中每個參數的重要性進行評價，并對重要性高參數的變化施加懲罰。從而有效防止新模型覆蓋與以前任務相關的重要知識。

具體而言，當模型在第t個任務階段時，為度量模型中每個參數的重要性，需要對t-1 階段模型參數進行保留，因此參數優化方法同樣也是基于知識蒸餾框架。如圖3所示，該方法通過觀察前后模型參數的變化程度對模型的影響，從而判斷參數的重要性。首先，利用微分性質測量模型f t在學習數據Xt后模型參數變化程度，那么可近似表示為：

圖3 參數優化方法概括圖Fig.3 Overview of parameter selection methods

其中，dij表示前后模型參數的變化量，形式化描述為，gij表示在數據樣本Xt上模型參數的梯度。如果梯度gij在當前數據樣本中的值越大，則說明與其對應的參數對當前模型的越重要。在模型訓練過程中，不是一次性訓練完所有的數據，而是將數據分成不同批進行訓練。所以參數對應重要性評價可以利用δij表示：

式中，b表示不同的數據樣本批次，N表示為總批次數量。通過上述式子可以獲得對模型全局參數的評價，對重要參數的變化進行懲罰。然而，本文所提模型僅對重要程度高的添加懲罰項，那么在PO 方法中采取對大于平均評價值的參數進行懲罰，其形式化描述為：

根據式（10）、式（11）可以獲得模型參數的重要性評價，利用l2正則對重要參數進行限制。同時結合自適應特征整合方法可以得到本文所提算法的損失函數：

其中，λ與μ為調節因子超參數，λ與μ通過后續實驗給出。

綜上所述，為緩解類增量場景中所產生的災難性遺忘，本文提出了一種自適應特征整合與參數優化的類增量學習方法（AFC-PO），根據上述算法表述以及損失函數得到AFC-PO算法，其具體實現步驟如下：

算法1AFC-PO算法

3 實驗結果與數據分析

3.1 數據集及評價指標

本文實驗部分在兩個基準數據集CIFAR-10 和CIFAR-100上進行實驗驗證，這兩個數據集被廣泛用于持續學習中。CIFAR-10有10個類別的RGB彩色圖片，包含50 000張訓練圖片和10 000張測試圖片，且每個圖片尺寸均為32×32。CIFAR-100包含來自100個類別的60 000張32×32彩色圖像樣本，其中50 000張作為訓練樣本，10 000張作為測樣本，其圖片尺寸大小與CIFAR-10 相同。為了模擬增量學習任務，本文隨機將數據集CIFAR-10和CIFAR-100圖片分別分成多個任務數據集，并且每個任務數據類型都與其他任務的數據類型不相交。

在算法評價方面，使用了持續學習中常用的模型評估指標[23]，平均準確度和模型遺忘度。

（1）準確率

平均準確度是在新任務學習完成后，模型對先前所有學習過的圖片類型預測準確度的平均值，其形式化表達如下：

式中，acct,i為任務t時第i類的準確率，kt表示任務t時的數據類型數目。平均精確度顯示了模型在整個持續學習過程中整體性能。

（2）遺忘率

遺忘率則是展現了增量學習算法的穩定性[24]。對于第t個任務的遺忘率的量化形式如下：

其中，較低意味著模型在任務t時，對第i類數據的遺忘程度較小。在任務t時的總體遺忘率需要通過對模型學習過的任務數量進行歸一化：

3.2 實驗設置

本文主要選取以下代表性方法作為對比方法進 行實驗驗證與結果對比。基于正則化策略方法（（EWC[11]、SCP[21]）、基于知識蒸餾的方法（LwF[12]）、基于自監督原型增強的方法（PASS[15]）、基于回放策略的方法（ICaRL[13]），以及使用微調（Finetune[23]）方法作為基線（Baseline）方法進行對比實驗。同時，對本文所提方法中自適應特征整合方法和參數優化方法進行消融實驗。

本研究提出的AFC-PO模型設置如下：在模型設置方面，與大多數工作相同[12-13，15]，本文使用ResNet-18 作為主干網絡，ResNet-18 表征學習模塊最后展開維度為256，同時，將兩層全連接網絡作為分類輸出層。使用Adam 優化器最小化目標函數，其中初始學習率設置為0.001，權重衰減率設置為0.000 5。模型在100個周期后停止訓練，數據批量大小設置為64。

在損失函數的調節因子超參數設置方面，為使模型適應于增量學習，防止災難性遺忘，本文對調節因子超參數λ和μ進行了實驗研究。CIFAR-100 數據集上將圖片按類型分為5個增量任務，即20種類型圖片為一個任務。將5個增量任務完成后對模型進行測試，實驗結果如圖4所示，從圖中可以觀察到，當調節因子超參數μ為0.1時，算法精度較高且較為穩定。將參數μ固定，觀察λ對算法精度的影響，可以發現當λ為100，模型平均正確率表現達到最高。實驗結果表明知識蒸餾方法對模型精度影響較大，即AFC-PO算法對超參數λ更敏感。

圖4 不同λ 和μ 對AFC-PO模型正確率的影響Fig.4 Effect of different λ and μ on correct rate of AFC-PO model

3.3 消融實驗

為驗證所提方法中自適應特征整合方法（AFC）和參數優化方法（PO）的有效性，本文選擇在CIFAR-10數據集上進行了消融實驗。CIFAR-10數據集上將圖片按類型分為5個增量任務，在每次增量任務結束后對模型進行測試。實驗結果如表1 所示，實驗中將FineTune[23]方法作為基線方法，PO 方法與AFC 方法的平均分類準確率相較于FineTune 分別提升9.17 和17.54 個百分點。而將兩者組合，即AFC-PO 方法，其平均分類準確率相較于FineTune 提升31.93 個百分點。實驗證明，本文所提的AFC-PO方法對數據特征和模型參數進行處理，能夠有效地降低災難性遺忘的影響。

表1 消融實驗結果Table 1 Results of ablation studies 單位：%

3.4 對比實驗

連續圖像分類任務在CIFAR-10和CIFAR-100的平均準確率對比實驗結果如表2 所示。在此實驗中將數據按類型平均分為5 個增量任務。本文對最好的對比實驗結果都進行了加粗。根據實驗結果可以發現，相較于其他方法，AFC-PO方法在增量學習任務中取得了顯著優異的結果。在CIFAR-10數據集中的連續任務階段（從第二個任務階段開始），相較于目前先進的PASS 方法，AFC-PO分別提升3.45、11.57、15.18、9.22個百分點；在CIFAR-100數據集中分別提升了0.50、0.64、1.71、0.35個百分點。在兩個數據集中，平均準確率分別提升9.22、0.18個百分點。而相比于基于數據回放的ICaRL方法，通過實驗結果可以觀察到ICaRL 在大型數據集上的效果較差。由于CIFAR-100類型較多，導致保留的各類型數據樣本過少，從而使得保留樣本對模型性能提升杯水車薪。而AFC-PO 方法明顯優于數據回放的ICaRL 方法，這表明AFC-PO方法可以有效地緩解類增量學習中所產生的災難性遺忘，而無需存儲舊的訓練樣本。AFC-PO方法在使用知識蒸餾方法的基礎上，對歷史任務數據的深層視覺語義特征進行自適應特征整合與學習，以此吸收先前任務數據特征的知識，同時對歷史模型重要參數選擇性的優化，這使得AFC-PO的算法性能表現更加優越，同時表明了算法較強的可塑性，能夠有效緩解災難性遺忘。

為驗證算法模型對歷史任務的記憶程度，本文在CIFAR-100 數據集上對每個增量任務階段模型訓練完成后對任務1 的測試數據進行測試，測試結果如圖5 所示。AFC-PO方法在第五階段模型對任務1數據的測試準確率達到57.55%，相比于PASS方法增加了8.45個百分點。實驗表明本文所提的AFC-PO 方法相較于上述方法對歷史任務知識的記憶能力有顯著的提升。AFCPO 方法能夠吸收先前任務的知識，從而使得模型對舊任務知識的記憶程度更高。

圖5 不同增量階段模型對任務1測試準確率（CIFAR-100）Fig.5 Accuracy of different incremental stage models for task-1 testing（CIFAR-100）

如表3、表4 所示，為了驗證本文所提的AFC-PO 方法模型的穩定性，在數據集CIFAR-10 和CIFAR-100 上進行了遺忘率對比實驗。實驗結果表明AFC-PO 方法在遺忘率方法明顯優于其他方法，證實了AFC-PO方法有更好穩定性。在數據集CIFAR-10和CIFAR-100的第5 個任務階段，AFC-PO 比ICaRL 遺忘率分別提高了12.22 和56.89 個百分點，這表明AFC-PO 方法能夠應對連續的復雜圖像任務，并且保持對舊知識的記憶。

表3 CIFAR-10上各階段模型的遺忘率Table 3 Forgetting rate of each stage on CIFAR-10 單位：%

表4 CIFAR-100上各階段模型的遺忘率Table 4 Forgetting rate of each stage on CIFAR-100 單位：%

圖6 顯示了LwF、ICaRL 和本文所提出的AFC-PO方法通過混淆矩陣進行比較。對角條目表示正確分類結果，非對角條目表示錯誤分類結果。由于在新任務訓練時，新舊數據類型之間的嚴重不平衡，如圖6（a）、（b），LwF與ICaRL傾向于將數據樣本分類為新類。而AFCPO（圖6（d））能夠消除大部分類增量學習不平衡所帶來的影響，并在不依賴舊類的存儲數據的情況下獲得更好的算法性能。

圖6 CIFAR-100上混淆矩陣對比圖Fig.6 Comparison of confusion matrix on CIFAR-100

綜上所述，自適應特征整合方法和參數優化方法維護模型在穩定性與可塑性之間的平衡。AFC-PO 方法則采用非樣本保留方法，在實驗中獲得了顯著的實驗效果，能夠有效緩解持續學習中的災難性遺忘問題。

4 結束語

針對深度網絡模型在連續圖片分類任務中所產生的災難性遺忘問題，本文提出一種自適應特征整合方法和參數優化（AFC-PO）方法，該方法以知識蒸餾技術作為基礎框架，以非樣本保留的方式對模型進行訓練。AFC-PO 方法首先對前后任務的模型主干網絡的輸出特征進行整合，并使用自定義差異損失維護舊任務模型主干網絡的特征表示。同時，在模型分類層利用輸出特征構造具有模糊性的軟標簽作為語義監督信息，以此吸收先前任務的知識。此外，在增量學習階段有選擇地保留或刪除知識，即對模型參數重要性進行評價，并在學習新任務時，對重要參數的改變施加懲罰，從而有效防止新模型覆蓋與以前任務相關的重要知識。并在CIFAR-10 與CIFAR-100 上進行了實驗驗證。在實驗中與具有代表性的方法相比，AFC-PO能夠有效地緩解災難性遺忘。在將來的工作中，計劃將進一步評估AFC-PO模型在更多數據集上的可行性，同時關注于歷史任務模型內部的參數之間變化對模型遺忘程度的影響。