基于知識蒸餾的視頻描述輕量化模型及性能優化

關鍵詞：視頻描述生成；模型壓縮；輕量化；知識蒸餾；預訓練模型

中圖分類號：ＴＰ３９１． １ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）１１－２５４７－１１

０引言

視頻描述生成是計算機視覺和自然語言處理中一項具有挑戰性的任務，旨在生成給定視頻內容的文本描述［１－３］，能為視覺受損或聽力受損的人士提供無障礙服務、自動化內容審查系統識別不當或違規內容、為非母語觀眾自動生成字幕描述等［４］。視頻描述生成的應用十分廣泛，包括視頻內容推薦、視頻搜索與分類、視頻標簽生成、視頻剪輯與編輯。

視頻描述任務可以分為密集視頻描述和通用視頻描述，二者的區別主要在于任務目標的廣度和深度。密集視頻描述是一個更具有挑戰性的任務，它的視頻內容包括多個事件，相對來說更復雜。Ｋｒｉｓｈｎａ 等［５］提出了一個全新的密集視頻描述算法，使用處理模塊（Ｐｒｏｐｏｓａｌｓ Ｍｏｄｕｌｅ）和描述模塊（Ｃａｐ-ｔｉｏｎｉｎｇ Ｍｏｄｕｌｅ）對密集視頻問題進行描述。Ｙａｎｇ等［６］提出了一個多模態的單階段密集事件描述模型Ｖｉｄ２Ｓｅｑ，允許它無縫地預測相同輸出序列中的事件邊界和文本描述。

多模態的視頻描述模型旨在利用不同的數據來源提供更精確、更全面、更豐富的視覺描述，提高視頻理解的準確性和效率。Ｌｕｏ 等［７］提出了ＵｎｉＶＬ 模型（一種統一的基于多模態理解和生成的視頻、語言預訓練模型），包括２ 個單模態編碼器，一個交叉編碼器和一個帶有變換器（Ｔｒａｎｓｆｏｒｍｅｒ）主干的解碼器，使用視頻幀特征和由語音轉化的文本信息作為輸入。設計了５ 個訓練目標和２ 種訓練策略以使ＵｎｉＶＬ 模型的訓練過程更有效。

在解決視頻描述生成問題時，使用深度學習［８－９］，具有一些優勢和特點。傳統方法主要依賴于手工設計的特征提取器和規則，而深度學習可以通過端到端的學習從原始數據中自動學習特征表示和模式。然而，基于深度學習的視頻描述生成模型的實現需要巨大的算力資源予以支撐，難以部署和應用于日益普及的資源受限制的嵌入式設備。因此，研究輕量化的視頻描述生成模型變得十分必要。

模型壓縮技術能夠有效減小深度學習模型的大小和復雜度，其中一種代表性的方法是知識蒸餾［１０－１３］。知識蒸餾通過將復雜模型的知識傳遞給簡化模型，來提高模型的性能和泛化能力。視頻描述生成屬于自然語言和計算機視覺的交叉領域，與之相同的圖像描述生成已經有很多模型壓縮算法的相關工作，而視頻描述任務壓縮的相關研究幾乎沒有。輕量化視頻描述模型面臨的主要挑戰有：① 難以在壓縮率和生成質量上平衡，在大部分模型壓縮工作中，壓縮過后的模型在性能和精度上都有著很大幅度的下降；② 算法的泛化性較差，對于不同大小、種類的數據集可能需要完全不同的壓縮算法。

為了解決上述問題，本文提出了一種視頻描述輕量化模型構造方案，包括輕量化模型的構建以及采用知識蒸餾的方法提高其性能。具體而言，本文通過減少模型子模塊的層數和參數剪枝的壓縮方法大幅減小了參數量；再采用知識蒸餾，通過提出合適的損失函數指導學生模型的訓練，達到提高性能的效果。本文選用ＵｎｉＶＬ模型作為基準模型，使用大規模與訓練從而學習到豐富的視覺和語言知識。ＵｎｉＶＬ 模型在視頻描述生成任務上表現突出，足以擔當知識蒸餾中的教師模型。本文針對通用視頻描述生成和密集視頻描述生成，構建２ 個輕量化模型，這２ 個描述任務的輕量化模型都采用和ＵｎｉＶＬ 教師模型相同的架構，但內部模塊的層數不同，并采用不同的壓縮策略。

實驗結果表明，本文模型的參數量壓縮了３／４，同時性能指標的取值下降不超過１０％ 。針對不同類型的數據集，本文的壓縮方案可以經過微調進行移植，具有一定的泛化性。以下是本文的２ 個主要貢獻：

① 本文針對不同的描述任務提出２個視頻描述輕量化模型，在結構上與基準模型保持相同，有利于使用知識蒸餾讓輕量化模型更容易學習和泛化，同時方便對其進行提升性能的操作。輕量化模型的壓縮幅度可以達到基準模型的３／４。

② 對于壓縮過后的輕量化模型，本文采用知識蒸餾方法進行優化，通過計算輸入、注意力圖矩陣和輸出層的蒸餾指導模型進行訓練，使輕量化模型充分地學習到教師模型的知識，達到提升輕量化模型性能的效果。

１ 基準模型架構

本文以ＵｎｉＶＬ 模型［７］作為基準模型，它是一個在ＨｏｗＴｏ１００Ｍ［１４］數據集上通過多模態自監督學習預訓練的視頻描述生成模型，適用于視頻理解和文本生成。ＵｎｉＶＬ 模型由基于Ｔｒａｎｓｆｏｒｍｅｒ 的模塊組成，包括２個單模態編碼器、１個融合編碼器和１個解碼器。２個單模態編碼器分別負責處理編碼視覺信息和文本信息，融合編碼器負責將２個模態的信息對齊融合，由解碼器輸出描述結果。對于處理文本的編碼器，ＵｎｉＶＬ 使用詞嵌入方法處理的３０ ５２２ 個標記（ｔｏｋｅｎ）詞匯表輸入到ＢＥＲＴ 模型中。對于處理視頻的視頻編碼器，ＵｎｉＶＬ 使用的是經過Ｓ３Ｄ 模型提取到３Ｄ 特征［１５］，再將其輸入到一個Ｔｒａｎｓｆｏｒｍｅｒ 的編碼器中提取３Ｄ 特征的序列信息。２ 個模態的信息經過特征融合再通過解碼器輸出描述內容。本文將在基準模型的基礎上構建輕量化模型，同時提出隱藏層、注意力層和解碼器共同指導的知識蒸餾優化策略，使用這些損失函數對輕量化模型進行優化，使其性能逼近基準模型，表達能力得到提升。

２ 輕量化模型的構建

本文構建輕量化模型的標準主要根據：① 模型需要足夠輕量化；② 模型方便學習到教師模型的高級知識，以配合知識蒸餾使其表達能力提升。降低Ｔｒａｎｓｆｏｒｍｅｒ 的復雜度，可以考慮減少層數、減少注意力頭數、減少隱藏層維度、降低詞嵌入維度和正則化剪枝等方法。由于模型的整體架構是基于Ｔｒａｎｓｆｏｒｍｅｒ 的多模態模型，要使模型的整體架構不變，其中每個模態的一些固定組成部分就需要保留，例如視頻編碼器中的注意力（Ａｔｔｅｎｔｉｏｎ）層、前饋網絡層和歸一化層等，這些層是能夠滿足視頻描述任務的必要組件。所以本文的壓縮層面確定在各個模態的層級。下面本文將探討針對基準模型的輕量化模型的最小模型架構。從基準模型出發，不斷減少各個模塊的層數，大致實驗結果如表１所示。

Ｖ、Ｔ、Ｃ、Ｄ 分別表示視頻編碼器、文本編碼器、融合編碼器、融合解碼器，＃ Ｐ 表示模型參數量，ＢＬＥＵ３、ＢＬＥＵ４ 表示描述任務的評價指標分數，分數越高說明性能越好，ＢＬＥＵ４（ＫＤ）表示輕量化模型利用知識蒸餾算法進行優化過后的性能。由表１可以看出，由于預訓練模型提供的強大先驗知識，在保持原有的教師模型結構的同時減少各個模塊的層數對模型的表達能力影響很小，而參數量的下降則是顯而易見的，各個模塊都為１ 層的輕量化模型的參數量能夠達到教師模型的１ ／ ４。當教師模型和學生模型的規模差距不大時，知識蒸餾的優化策略就很難發揮作用，意味著學生模型很難從教師模型中學到知識。ＢＬＥＵ４（ＫＤ）列參數量減小到原來的一半才能體現出知識蒸餾的優化效果。由此可以得出結論：模型規模（深度）差距越大的模型之間使用知識蒸餾策略可以達到越好的效果。

因此，本文確定能滿足視頻描述任務的輕量化模型的各個模塊層數為１，這樣可以保證輕量化模型經過知識蒸餾優化后達到最理想的性能。所以本文直接減少教師模型的層數。考慮到相同架構的模型之間能夠利用知識蒸餾技術更好地學習到知識，本文的視頻描述算法的輕量化模型采用和基準模型ＵｎｉＶＬ 一樣的架構，同樣由文本編碼器、視頻編碼器、融合編碼器和融合解碼器組成。輕量化模型架構及與教師模型的規模關系和指導關系如圖１ 所示。這種方法相較于其他方法，在保證輕量化模型的基本架構和教師模型一致的情況下，可以更為顯著地提高計算效率，同時可以體現和教師模型之間的差距，使得蒸餾效果達到最佳，從而提高模型性能。由于輕量化模型由教師模型壓縮獲得，本文的輕量化模型將沿用教師模型５ 個任務的損失函數。教師模型利用蒸餾損失（Ｄｉｓｔｉｌｌ Ｌｏｓｓ）來指導輕量化模型進行訓練，所以輕量化模型需要加上額外的蒸餾損失共同作用，也就是本文采用的主要優化手段。

２．１通用視頻描述數據集的輕量化模型

對于通用視頻描述數據集，因為視頻時長短、包含的事件獨立且內容簡單，往往不需要太復雜的模型就可以很好地完成描述任務。而對于密集視頻描述數據集，模型的參數量和復雜度需要適當增加，以保證描述效果。因此，本文針對上述２ 類數據集分別構建不同的輕量化模型，將通過減少模型子模塊的層數和參數剪枝２種壓縮方式來構建這２種不同復雜度數據集的輕量化模型。

本文將基準模型作為教師模型，由于采用預訓練模型進行初始化，模型已經具有一些底層的先驗知識。對于通用視頻描述數據集的輕量化模型（學生模型），不僅需要將子模塊的層數減少，還需要對文本編碼器的嵌入（ｅｍｂｅｄｄｉｎｇ）層做剪枝。將子模塊的層數減少可以大幅度降低模型的復雜度，實現輕量化。對嵌入層做剪枝操作主要是考慮到在一個龐大的語料庫中，很少的詞就能覆蓋大部分句子，而通用描述模型的描述內容往往不會很復雜，所以可以根據詞頻來適當剪枝模型。

關于剪枝算法，本文采用類似Ａｄａｐｔｉｖｅｓｏｆｔｍａｘ［１６］的思想，突出了自適應嵌入剪枝，該方法根據詞頻將詞匯表劃分成幾個區間，然后根據不同詞頻的區間分配剪枝閾值ｔ，權重ｗ 取絕對值后小于閾值的部分用０ 進行填充，大于閾值的部分保留權重值。剪枝閾值ｔ 直接決定了剪枝掉的權重個數，再根據剩下的權重個數填充維度。將權重值為０ 的參數去掉。按第一個維度進行維度匹配，達到減少非重要參數的效果，如式（２）所示。這樣可以降低低頻詞所占用的學習資源，使訓練更高效地進行。

２．２密集視頻描述數據集的輕量化模型

密集視頻描述數據集的視頻片段往往時長較長，包含多個獨立的事件，模型需要學習到的知識較多，所以模型相對來說也較復雜。本文在通用視頻描述數據集的學生模型上保留了ｅｍｂｅｄｄｉｎｇ 層的完整性，未對其做剪枝。高級語意的學習依舊采用知識蒸餾的方式，通過教師模型的軟標簽指導學生模型進行訓練。這里的教師模型不同于通用視頻描述數據集的教師模型，因為需要擬合更加復雜的密集視頻數據集，具有更深的結構來保證其能夠更好地掌握語意特征。

無論是通用視頻描述數據集還是密集視頻描述數據集，由于每個模塊的層數降低，導致模型無法很好地學習到高級語意信息，學生模型必然會在精度上受到影響，本文通過知識蒸餾的方式用教師模型指導學生模型進行訓練，讓學生模型能夠學習到數據的復雜結構和高級特征，具有更好的表達能力。

２．３訓練與優化策略

輕量化模型與教師模型的訓練過程的區別在于多增加了一組蒸餾損失函數進行訓練。首先由不同模態的編碼器處理的視頻文本對作為輸入，輸入到融合編碼器中實現不同模態的數據交互、對齊和融合。對于通用視頻描述數據集，最大的文本標記輸入為４８，最大視頻特征輸入為４８。對于密集視頻描述數據集，最大的文本標記輸入為１２８，最大視頻特征輸入為９６。編碼器、解碼器都是用Ｔｒａｎｓｆｏｒｍｅｒ 結構，每層都包括１２ 個注意力頭，向量維度為７６８。最后的文本描述階段使用大小為５ 的ｂｅａｍ ｓｅａｒｃｈ方法來處理長短不同的生成結果。這樣模型就能從帶有掩膜的視頻和文本中學到完整的信息。

教師模型通過５ 個任務進行預訓練，包括視頻－ 文本聯合（ｊｏｉｎｔ ）、條件掩碼語言模型（Ｃｏｎｄｉｔｉｏｎｅｄ Ｍａｓｋｅｄ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ，ＣＭＬＭ）、條件掩碼幀模型（Ｃｏｎｄｉｔｉｏｎｅｄ Ｍａｓｋｅｄ Ｆｒａｍｅ Ｍｏｄｅｌ，ＣＭ-ＦＭ）、視頻－文本對齊（Ａｌｉｇｎｍｅｎｔ，Ａｌｉｇｎ）和語言生成任務（Ｄｅｃｏｄｅｒ）。教師模型通過優化損失函數的總和，同時為５ 個任務訓練模型，本文的輕量化模型也采用了同樣的訓練策略，損失函數為：

本文的優化策略主要是設計基于知識蒸餾的損失函數，優化損失函數的設計原則應該包括：① 考慮能夠度量輕量化模型與復雜模型之間的差異；② 考慮復雜模型的輸出作為額外的知識，即軟標簽提供的額外知識；③ 考慮控制模型輸出平滑程度的參數溫度的設置。本文的蒸餾策略類似于ＴｉｎｙＢｅｒｔ［１７］，使用文本編碼器和視頻編碼器的隱藏層輸出、注意力輸出和解碼器的輸出作為知識，３ 種類型的損失共同指導學生模型進行訓練。得益于本文輕量化模型的合理構造方案，輕量化模型在性能上與復雜模型具有一定差距，可以使用復雜模型的軟標簽作為輕量化模型的標簽進行知識蒸餾。溫度方面本文采用了默認的溫度值，也就是不對軟標簽再做平滑處理。其中，文本編碼器和視頻編碼器的隱藏層輸出因為經過了自注意力層和前饋網絡層的提取，包含豐富的視覺和文本知識，解碼器的輸出則包含融合的２ 個模態的互信息知識。同時，本文也考慮了教師模型的不同層對輕量化模型的指導作用和不同剪枝率所帶來的性能表現作為蒸餾模型的優化策略。蒸餾過程和具體指導方式如圖２所示。

計算出損失函數后，選擇ＡｄａｍＷ［１８］優化器降低損失，它在原始的Ａｄａｍ 優化器的基礎上引入了權重衰減（Ｗｅｉｇｈｔ ｄｅｃａｙ）的概念，用于正則化模型參數。Ｌ 越低，說明模型的預測結果與真實結果差距越小，模型的性能也就越好。

３實驗結果分析

本文使用２個數據集ＭＳＲＶＴＴ［１９］ 和Ｙｏｕｃｏｏｋｉｉ［２０］，分別代表通用視頻描述數據集和密集視頻描述數據集，對本文的算法評估。ＭＳＲＶＴＴ 包括來自２０ 個類別的２００ ０００ 個視頻片段。本文使用１３０ ２６０ 個訓練剪輯－文本對進行訓練，２ ９９０ 個訓練剪輯－文本對進行測試。Ｙｏｕｃｏｏｋｉｉ 數據集是視覺社區中最大的面向任務的教學視頻數據集之一，包含來自２ ０００ 個烹飪食譜的８９ 個未修剪的長視頻，視頻總時長達到１７６ ｈ。本文使用和ＵｎｉＶＬ 相同的設置，共有１ ２６１ 個訓練視頻和４３９ 個測試視頻，即９ ７７６ 個訓練剪輯－文本對和３ ３６９ 個測試剪輯－文本對。本文分別采用ＢＬＥＵ３、ＢＬＥＵ４ ［２１］、ＭＥＴＥＯＲ［２２］、ＲＯＵＧＥ［２３］和ＣＩＤＥｒ［２４］指標評價視頻描述模型，這也是視頻描述任務中較為權威的幾種評價方法。本文將壓縮過的學生模型、蒸餾過后的模型、ＵｎｉＶＬ 模型及一些主流的視頻描述模型在模型大小和評價指標上做對比，直觀地體現了本文蒸餾模型的優勢，具體見實驗結果。

３．１實驗設置

本文所有參數設置都參考了在視頻描述任務中有著領先表現的ＵｎｉＶＬ 模型［７］，在一臺搭載了３０８０ｔｉ 顯卡的主機上微調了教師模型、學生模型和蒸餾模型。對于通用描述數據集，本文將訓練和驗證的ｂａｔｃｈ＿ｓｉｚｅ 設置為３２，初始學習率為３×１０－５ ，微調１０ 個ｅｐｏｃｈ。對于密集描述數據集，訓練和驗證的ｂａｔｃｈ＿ｓｉｚｅ 設置為１６，初始學習率和ｅｐｏｃｈ 與通用描述數據集相同。

首先對于Ｙｏｕｃｏｏｋｉｉ數據集的密集視頻描述模型，需要對教師模型做微調，使用ＨｏｗＴｏ１００ｍ 預訓練模型初始化參數，將ｍｏｄｅ 設置為ｔｅａｃｈｅｒ，經過１０ 個ｅｐｏｃｈ 后選擇性能最好的模型保存其參數，得到教師模型。然后調整模型的大小，將所有層數降為１ 層，將ｍｏｄｅ 設置為ｓｔｕｄｅｎｔ，經過１０ 個ｅｐｏｃｈ 得到最好的學生模型，保存為學生模型。最后加入蒸餾算法，模型大小不變，保持和學生模型一致，將ｍｏｄｅ 設置為ｄｉｓｔｉｌｌ，經過１０ 個ｅｐｏｃｈ 得到最好的蒸餾模型。

對于ＭＳＲＶＴＴ 數據集的通用視頻描述模型，本文在微調教師模型時發現，如果使用基準教師模型，也就是１２ 層文本編碼器和視頻編碼器微調出來的教師模型并不是最好的。采用知識蒸餾時，教師模型的性能要盡可能高，這樣才能更好地指導學生模型進行訓練。對此，本文對通用視頻描述的教師模型進行了調整，將文本編碼器設置為６ 層，視頻編碼器設置為８ 層，這樣的教師模型實測性能最好。通用視頻描述模型的學生模型也區別于密集視頻描述模型，本文在將所有層數降為１ 層后，采用剪枝的方法對通用描述模型的學生模型進一步壓縮，使學生模型更好地擬合ＭＳＲＶＴＴ 數據集。

在Ｙｏｕｃｏｏｋｉｉ數據集的實驗過程中，發現教師模型不同層的輸出對學生模型的指導作用亦有差距，即使用不同層的輸出作為軟標簽和學生模型做知識蒸餾。在ＭＳＲＶＴＴ 數據集中，采用不同的剪枝率也會對結果產生影響，所以本文設計了實驗來研究不同層和不同剪枝率對知識蒸餾效果的影響。

３．２不同層的指導作用

Ｙｏｕｃｏｏｋｉｉ 數據集中的每個視頻內容往往很復雜，包含多個非獨立的事件，本文認為這類數據集為密集視頻描述數據集。對于密集視頻描述數據集，本文針對２ 個編碼器和解碼器的不同層設計了實驗。首先固定使用解碼器的第３ 層（最后一層），分別使用１、３、６、１１、１２ 層的編碼器輸出作為教師軟標簽。不同層的指導作用如圖３ 所示，就ＢＬＥＵ４ 參數來看，使用１、３、６、１１、１２ 層作為軟標簽的性能分別為１０． ４２、１０． ５５、１０． ３０、１０． ４０、１０． ２８。總體呈現的趨勢是越淺層的蒸餾效果越差，但是在使用第１１ 層作為教師軟標簽時效果達到最好的１０． ５５。原因在于，由于最后一層的特征太專一、空間小，容易過擬合，而倒數第二層特征更一般化、空間大，在數據集相似度不高的情況下使用倒數第二層的效果更好，它的特征更通用、更容易遷移。

使用編碼器的第１１層作為教師軟標簽，更換解碼器的不同層輸出作為知識來指導學生。因為解碼器的任務是根據編碼器生成特征表示來生成輸出，而解碼器的最后一層通常包含了解碼器學習到的最抽象的高級語義特征表示，所以在解碼器端還是采用第３ 層（最后一層）作為知識指導學生模型效果最好。

３． ３自適應嵌入

ＭＳＲＶＴＴ 數據集相較于Ｙｏｕｃｏｏｋｉｉ 數據集的時長短，往往一個視頻片段只包含一個獨立的事件，這樣的數據集被認為是通用視頻描述數據集，所以針對ＭＳＲＶＴＴ 數據集，本文需要確定一個模型復雜度更低的學生模型來避免過擬合問題的出現。本文在Ｙｏｕ-ｃｏｏｋｉｉ 輕量化模型的基礎上對模型的ｅｍｂｅｄｄｉｎｇ層做剪枝，可以稱為自適應嵌入（Ａｄａｐｔｉｖｅ Ｅｍｂｅｄｄｉｎｇ，ＡＥ），ＡＥ 配合剪枝技術可以使模型進一步得到壓縮。ＡＥ 的主要原理是，根據Ｚｉｐｆ 法則［２５］，在一個龐大的語料中，很少的詞就能覆蓋大部分句子，可能一輪訓練下來，低頻詞被更新的次數屈指可數。根據這一法則，將３０ ５２２ 個詞匯表劃分成２個區間，分別為高頻詞區間和低頻詞區間，對每個低頻詞，本文會分配不同的權重，根據低頻詞的權重從詞匯表中刪除（剪枝）或者合并到特殊的未知詞（Ｕｎｋｎｏｗｎ Ｗｏｒｄｓ，ＵＮＫ）標記中，這樣可以減少嵌入層的參數量和計算量。由于本文模型是預訓練模型經過微調獲得的，模型經過大量無監督學習學習到輸入數據模式、結構和相似性等知識，可以減少本文使用ＡＥ 剪枝掉一些專業術語或是特定領域的術語的影響，因為模型也可以用高頻詞去描述這些不常出現的專業術語。

本文把需要剪枝的低頻詞的比例定義為剪枝率，采用不同的剪枝率進行實驗，結果如圖４ 所示，剪枝率到達０．９時ＢＬＥＵ-４ 到達最高值，為４３．２５。由圖４ 可知，模型性能隨著剪枝率的增加而變好，說明模型對于數據集來說存在大量冗余，僅僅使用很少的低頻詞就可以完成大部分的描述任務，較高的剪枝率可能有助于網絡選擇最相關和最有用的特征，從而改善性能。由此可見，對通用數據集進行剪枝操作是十分有必要的。

３．４實驗結果

本文的教師模型在Ｙｏｕｃｏｏｋｉｉ 和ＭＳＲＶＴＴ 數據集上微調的結果如表２ 和表３ 所示。對現有的幾種模型進行比較，模型都沒有額外的訓練數據，也就是輸入只有視頻幀信息的模型。教師模型表示本文的基準模型，學生模型表示經過壓縮后的輕量化模型，蒸餾模型表示經過教師模型的軟標簽指導的蒸餾模型。分析表２ 可得，在Ｙｏｕｃｏｏｋｉｉ 數據集上，本文的輕量化模型在所有指標上的性能效果顯著，達到了１５．５２ 和１０．５５，超過了除教師模型外的其他所有模型，體現了知識蒸餾的效果。表２ 后２ 列展示了本文的輕量化模型對比教師模型的參數量差距和壓縮比例，本文的蒸餾模型在壓縮了７５％ 的參數量的情況下還能保持卓越的性能。進一步分析表２ 學生模型和蒸餾模型的表現，在ＢＬＥＵ-３和ＢＬＥＵ-４ 上本文的蒸餾模型對比同樣大小的學生模型分別提高了５． １％ 和８． ２％ ，達到了１５． ５２ 和１０． ５５。對比ＵｎｉＶＬ教師模型的ＢＬＥＵ-４ 性能１１． ４８只下降了８％ ，而參數量只有教師模型的２５％ ，只剩下６３ Ｍ。由表３ 可以看出，對于通用視頻描述數據集，結合了ＡＥ方法的壓縮率甚至達到了７８％ ，性能也逼近教師模型。

本文從以下幾個方面分析蒸餾模型取得效果的原因：① 使用教師模型的軟標簽作為蒸餾模型的真實標簽，軟標簽能夠表示不同類別之間的相關性和相對置信度，使得學生模型可以更好地理解類別之間的關系，而不僅僅是簡單地進行分類。② 教師模型在大規模數據上進行訓練，具有較強的泛化能力。將教師模型的知識傳遞給學生模型，學生模型可以借鑒教師模型的泛化能力，從而在面對新的、未知的數據時能夠更好地進行預測和生成。③ 通過使用教師模型生成的軟目標來指導學生模型的訓練，可以減少學生模型對具體訓練樣本的過度擬合，使其更加關注通用的模式和特征，從而提高泛化能力。教師模型的軟標簽對學生模型的訓練起到了指導作用，使得學生模型的性能得到了提升。

在Ｙｏｕｃｏｏｋｉｉ 數據集中，學生模型的參數只有教師模型的１／４，性能大概是教師模型的８４％ 。使用知識蒸餾將其性能提升至教師模型的９２％ ，而模型大小不變。在ＭＳＲＶＴＴ數據集中，本文找到了表現最好的教師模型，文本編碼器為６層，視頻編碼器為８ 層，其余不變。而學生模型則在原來壓縮的基礎上又做了嵌入層的剪枝，使得模型更好地擬合小規模數據集。通過知識蒸餾的蒸餾模型在除了ＭＥ-ＴＥＯＲ性能上都有所提升，但是效果不明顯，因為使用預訓練模型學習到的底層知識已經足以應對小規模數據集的描述任務。

４結束語

本文分別介紹了通用視頻描述數據集和密集視頻描述數據集的教師模型、學生模型和蒸餾策略，對于視頻描述任務的子模型及如何提升其性能做出了探討。針對不同復雜度的數據集來確定合適學生模型。本文提出了５ 個蒸餾損失共同指導學生模型進行優化訓練，通過實驗驗證了不同層的指導效果不同。對大模型進行壓縮，然后使用知識蒸餾算法提高其精度這一方法是可行的，關鍵在于如何確定合適的教師模型、學生模型和蒸餾策略。在合理的壓縮策略和蒸餾策略的優化下，輕量化模型的參數量能夠降低７５％ ，同時性能指標的取值下降不超過１０％ 。

作者簡介

陳凱 男，（１９９８—），碩士研究生。主要研究方向：深度神經網絡壓縮與加速。

唐振華 男，（１９７９—），博士，副教授。主要研究方向：深度神經網絡壓縮與加速、基于內容的圖像／ 視頻重定向及其質量評價、分布式視頻編碼與通信。

崔振雷 男，（１９９７—），碩士研究生。主要研究方向：深度神經網絡壓縮與加速。

李健澤 男，（１９９９—），碩士研究生。主要研究方向：深度神經網絡壓縮與加速。