增量學習研究綜述

劉冰瑤，劉進鋒

（寧夏大學信息工程學院，銀川 750021）

0 引言

隨著深度學習在計算機視覺領域的不斷應用，如圖像分類、目標檢測、語義分割等，雖然在解決離線學習的問題上表現良好，但以在線方式訓練模型完成一系列任務時仍具有挑戰性。人類的學習是一個漸進的過程，需不斷地接受和學習新知識，并對原有知識進行補充和修正。為使深度學習接近或達到人類的智能水平，學習系統需在不斷變化的環境中積累知識，這個過程被稱為持續學習（continual learning）或增量學習（incremental learning），與之概念等價的還有終身學習（lifelong learning）。具體來說，增量學習的要求是模型在推理過程中連續不斷地學習和更新自己，既能學習新的概念，同時又保持識別舊知識的能力。因此，增量學習是一種能夠進行無遺忘在線學習的框架。

由于神經網絡與人腦結構有所不同，神經網絡訓練很難從批量學習模式轉變為連續學習模式，基于深度神經網絡的系統在使用新數據進行持續更新時，會出現嚴重的遺忘問題——在舊任務上的表現通常會顯著下降，我們稱之為災難性遺忘。為了緩解災難性遺忘，我們希望模型既有可塑性，即從新數據中整合知識與提煉已有知識的能力；又具有穩定性，即防止新輸入數據對已有知識的干擾。因此，增量學習的總體任務是解決穩定性-可塑性困境。

在計算和存儲資源有限的條件下，為使增量學習過程與人類在現實場景中的學習過程更接近，我們設定在其學習時需具有以下特點：①隨著模型更新，需保持其在新任務和舊任務上的性能良好，即學習到新知識的同時，又具有識別舊知識的能力；②由于增量學習在學術和工業中的應用，模型在訓練過程中會受到隱私約束，或計算能力與內存會隨新任務數量的增加而緩慢增長，所以原始的訓練數據不允許再被訪問；③為使模型具有內在的增量性，在連續數據流中，隨著新數據到來我們要求模型是可以連續不斷地學習和更新的。

2019年，Van de Ven等基于是否在測試時需要提供任務標識，將增量學習進一步劃分為三種子領域：任務增量學習、類別增量學習和域增量學習。任務增量學習是要求在推理過程中使任務標識保持已知的增量學習，不同時刻到達的數據分屬于不同任務，并要求提供任務ID，其共同目標是設計一個網絡，既可以以最小的規模運行，又可以保持良好的性能。類別增量學習旨在區分任務內部和任務之間的類別，不同時刻到達的數據屬于同一任務中不同類別，其模型最終要求輸出類別。域增量學習旨在連續區分每個任務內部的類，而不是區分不同的任務，即不同任務之間的結構相同，而輸入分布不同，并在推理過程中不需要提供任務ID。

1 相關方法

近年來，人們為避免災難性遺忘，解決模型穩定性和可塑性困境提出了大量方法，本文將從基于回放（replay）、基于正則化（regularization）以及基于參數隔離（parameter isolation）三個方面進行闡述。

1.1 基于回放的方法

基于回放的方法允許將部分早期階段的訓練數據即舊數據存儲在緩存中，在新任務學習時，舊數據將被用于重放或原型演練，以此來防止模型在學習新任務時對舊任務產生的災難性遺忘。此時，緩存大小、存儲數據選擇、數據存儲形式、新舊數據的混合方式都是重要的影響因素。基于回放的方式包括基于記憶、基于生成重放等方法。

1.1.1 基于記憶的方法

基于記憶的方法通常需要一個記憶緩沖區來存儲與之前任務相關的數據實例或其他相關信息，在學習新任務時，重放這些信息以鞏固之前學習的知識。

在圖像分類的任務中，Rebuffi 等首先提出了在類增量學習過程中同時學習分類器和特征表示的策略，稱為基于表征學習的增量分類器（iCARL）。在表征學習期間，iCARL利用所存儲的舊類別具有代表性的少量數據實例和來自新任務的實例進行訓練。在分類過程中，iCARL 采用最接近樣本均值的分類策略，將給定圖像的標簽分配給與原型最相似的類，利用潛在特征空間中數據實例之間的距離來更新內存緩沖區。但此方法保留了部分舊樣本以及新任務的所有數據一起訓練，對存儲空間及計算能力有一定的要求。

1.1.2 基于生成重放的方法

基于生成重放的方法是基于記憶方法的替代方案，使用可以再現與之前任務相關信息的生成模塊來替代內存緩沖區。通常，大多數基于生成重放的方法只生成以前的數據實例及其對應的標簽。

Shin 等提出了一種深層生成重放（deep generative replay，DGR）方法，該方法通過GAN模型模仿以前的訓練示例所生成的偽數據來對多個任務進行順序學習，并將其與對應的標簽進行配對。但其缺陷是算法的有效性在很大程度上取決于生成器的質量。

Zhang 等提 出 了 深 度 模 型 整 合（deep model consolidation，DMC），它首先使用標記數據為新類訓練一個單獨的模型，然后利用公開可用的未標記輔助數據，將新舊模型結合起來，克服了由于無法訪問遺留數據而帶來的困難，并在這些輔助數據中挖掘出豐富的可轉移表示來促進增量學習。此外，使用輔助數據而不是新類別的訓練數據，可以確保新模型公平地吸收來自舊模型的知識。

除了基于記憶和基于重放兩種方法外，Hu等提出了一個因果框架來解釋類別增量學習中的災難性遺忘問題，通過對其分析，解釋了如何在舊數據和新數據之間建立暢通的因果路徑來緩解遺忘。從中提取出增量學習過程中的因果效應，證明這種提取在因果關系上等同于數據重放；并提出消除增量動量效應，實現新舊類預測的平衡。其方法基本上等同于數據重放的因果效應，但沒有重放存儲的任何成本。

1.2 基于正則化的方法

基于正則化的方法通常是對各種模型參數和超參數在更新過程中進行限制，達到在學習新任務的同時鞏固之前學習的知識的目的，以緩解持續學習中的災難性遺忘。基于正則化的方法包括對重要模型參數進行優化約束、以舊模型為目標添加蒸餾損失等方法。

1.2.1 正則化損失函數

其中最典型的方案是通過正則化損失函數來鞏固之前所學知識。在圖像分類任務中，Kirkpatrick 等首先提出了一種稱為可塑權重鞏固（EWC）的方法。EWC 在損失函數中引入了一個新的二次懲罰項，以限制模型修改對之前學習任務較重要的權值。為使參數限定在任務之間常見的低損失區域，而不是只更新新任務的低損失區域，其中權重的重要性通過Fisher信息矩陣的對角線來計算，從而緩解災難性遺忘問題。

1.2.2 基于知識蒸餾的方法

基于知識蒸餾的方法是將知識蒸餾的思想融入到增量學習中，將前一個任務上訓練模型中的知識提取到新任務上訓練的模型中，以鞏固之前學習的知識。

在圖像分類方面，Li和Hoiem提出了一種抗遺忘學習的方法（learning without forgetting，LwF）。在學習新任務之前，LwF 存儲以前模型參數的副本。然后，它將在新任務數據實例上得到的模型作為舊任務的分類器目標，新任務的分類器以達到ground truth 作為目標，計算新任務與舊任務損失的和來作為最終的損失。通過保證舊任務分類器的輸出，緩解對舊知識的遺忘。

Kang 等提出了一種基于自適應特征鞏固的知識蒸餾（AFC）方法。他們推導出每個特征分布差異和損失變化之間的關系，通過知識蒸餾調整每個特征圖的權重，實現損失增加最小化，此方法目的是最小化預期損失增加的上界。

Wang 等設計了一種基于特征增強和壓縮的類增量學習范式（FOSTER）。他們將梯度提升算法應用于類增量學習，保留舊模型只訓練新模型，所有類別的logits 都通過組合新特征提取器和舊特征提取器來表示，使用知識蒸餾來消除創建新模型時所存在冗余參數和特征維數等問題，最終將擴展模型壓縮到其原始大小。

1.3 基于參數隔離的方法

基于參數隔離的方法通常是在新任務上擴大舊模型，并對不同任務之間分配不同的模型參數，進行不同程度的隔離，以防止后續任務對之前學習的知識產生干擾。

Mallya 等提出了PackNet 方法，該方法首先固定舊任務的參數，其次針對每個新任務訓練整個神經網絡，訓練完成后，使用基于權重的修剪技術釋放不必要的參數，保留冗余的空間模型。

Zhang 等提 出 了 一 種 持 續 進 化 分 類 器（CEC），主要針對增量學習中的少鏡頭場景。他們首先將表征學習和分類器學習分離，其中表征學習被凍結以避免產生遺忘，分類器學習部分被CEC 取代，利用圖模型在分類器之間傳播上下文信息，使其適應不同的任務。

Kanakis 等提出了多任務學習的重參數化卷 積（reparameterized convolutions for multitask learning,RCM）方法，該算法將模型參數分離為濾波器組和調節器兩部分。每一層的濾波器組部分是預先訓練的，并在編碼公共知識的任務之間共享，而調節器部分是特定于任務的，并分別針對每個新任務進行微調。

在 圖 像 分 類 方 面，Fernando 等提 出 了PathNet。在第一個任務的訓練中，選擇幾條通過網絡的隨機路徑。然后，利用競賽選擇遺傳算法為任務選擇訓練的最佳路徑。然后對于接下來的每個任務，凍結前面任務所選擇的所有路徑上的模型參數，其余參數按照上述流程重新初始化并再次訓練，最終得到最好的路徑。

除上述方法外，利用元學習方法凍結模型參數子集也受到了近年來的關注。Hurtado 等提出了一種名為元可重用知識（meta reusable knowledge，MARK）的方法，該方法對所有學習任務都有一個單一的公共知識庫。對于每個新任務，MARK 使用元學習更新公共知識庫，并使用可訓練的掩碼從任務知識庫中提取相關參數。

2 結語

本文首先介紹了增量學習的背景、存在的問題及目前對抗該問題的主流技術：基于回放，基于正則化和基于參數隔離，并分別對其思路及代表性方法進行闡述。在上述方法中，最穩定有效的是基于參數隔離和基于回放兩種方法。因為特征提取僅在輸出端施加效果，違反了端對端表示學習的規則，在新舊數據分布不均時，從舊網絡中提取新數據的特征難以捕捉，故基于正則化的方法有時會起到負面作用。

目前，在增量學習的方法中，新舊任務之間的性質差異幾乎不存在，且在數據集的設置上，不同任務之間沒有類重疊。然而，在現實場景中，在時間先后順序上出現的數據并沒有標記，且具有公共類，所以現有的增量學習與現實場景仍存在差距。增量學習的方法大多數集中在處理圖像分類問題上，但其他研究方向中的增量學習任務也值得研究，如：圖像語義分割、目標檢測、語言任務等。另外，探索增量學習的可解釋的、穩健的、輕量級的方法也具有深遠的現實意義。