一種面向IPv6物聯網網關的邊緣智能優化技術

許文元，方維維，孟娜

（北京交通大學計算機與信息技術學院，北京100044）

0 引言

隨著技術上的不斷創新，物聯網已經發展成為一個無處不在的全球計算網絡。根據思科公司預測，到2030年世界上將會超過5000億臺設備連接到現有的互聯網[1-2]，為人們的生產生活提供服務。然而物聯網在擁有如此光明未來的同時，卻也不得不面臨一個互聯網中存在已久的棘手問題，即全球IPv4地址枯竭導致眾多設備無法真正的接入到全球互聯網絡。這嚴重制約了互聯網尤其是物聯網的應用和發展，所以國際互聯網工程任務組（IETF）提出了新一版互聯網協議IPv6，用以保證所有的可入網設備都能夠接入全球互聯網絡，從而促使物聯網的發展進入了新時期。

然而，可以預見的是隨著大量物聯網設備的加入，海量物聯網設備數據會被匯集至物聯網網關設備中并轉發入互聯網世界中導致互聯網服務質量變差。而研究發現并非所有的物聯網網關設備轉發的信息均是目標用戶的需求，因此減少物聯網網關的無效數據轉發，縮小無效帶寬占用成為構建高效IPv6物聯網系統的一個待解決難題。一個基本解決方案是讓物聯網網關設備智能化，使得物聯網網關設備能夠根據目標用戶的需求識別出待上傳數據中的有效數據和無效數據，通過減少無效數據傳輸來減少網絡中傳輸的數據總量，縮減帶寬占用。

幸運的是，經過幾十年的發展，深度神經網絡（Deep Neural Network，DNN）可以為設備的智能化提供充分的技術支持。然而，目前大多數高性能的DNN模型都需要大量的算力支持，例如：當圖片分辨率為224×224時，執行一次推理，VGG-19[3]則需要196億次浮點運算[4]，因此傳統的深度神經網絡依賴于能夠提供強大算力的云服務器。而與強大的云服務器不同，廣泛的物聯網網關設備計算和存儲能力往往是受限的，所以無法直接部署深度神經網絡模型

為了解決以上問題，本文提出一種結合知識蒸餾（Knowledge distillation）與模型早退（Model early exit）的深度神經網絡訓練方案，構建一個適用于資源受限的物聯網網關設備的多退出點輕量級神經網絡模型，部署在實際IPv6網絡環境中的實驗結果表明，物聯網網關設備裝載入優化模型后，網絡帶寬占用以及服務時間都得到了大幅減小。

1 相關工作

現有的深度神經網絡模型通常具有數百萬甚至數十億的參數，嚴重地阻礙了在資源受限的設備中的部署應用。為了解決該問題，在過去的幾年中，模型壓縮[5]與模型早退開始成為神經網絡研究者關注的主要方向。

神經網絡模型壓縮通過減少模型的參數量來降低模型的復雜性。先期的研究工作大致可歸為以下5類：①模型剪枝，②模型量化，③知識蒸餾，④緊湊模型，⑤低秩分解，模型剪枝通過刪除模型結構中不重要的權重參數來減少模型參數量，Han[6]通過設定權重閾值來確定模型權重的重要性，將低于閾值的權重刪除，并通過微調模型來保持模型的精度。但是其方法會導致模型結構稀疏化，從而需要特殊的軟件或者硬件支持來達到網絡模型的推理加速。在此基礎上，Li[7]通過使用L1范數來確定神經網絡模型濾波器的重要性，通過刪除不重要的濾波器來減少網絡模型參數，相比于文獻[6]，它不依賴于特殊的軟硬件支持，因此具備更好的部署性[8]，但是當剪枝比例逐漸增大時，文獻[6-7]不得不考慮隨之而來的模型精度下降問題。模型量化通過減少神經網絡模型權重的比特數來降低模型的計算與存儲需求[9]，然而較低比特表示的網絡模型往往帶來較大的性能損失[10]；低秩分解通過將權重矩陣分解為多個小矩陣來加速運算[11]，但是其依舊需要特殊硬件支持；緊湊模型[12]即設計新型緊湊模型結構，所以其只適用于具備專業知識體系的研究人員。Hinton[13]提出知識蒸餾的概念，通過使用訓練好的較大網絡模型（教師模型）指導訓練待訓練的精簡神經網絡模型（學生模型）來完成知識的傳遞，然后將計算量更低體積更小的學生網絡模型部署于資源受限的設備中以減少推理時間。之后不同的蒸餾學習范式被相繼提出，例如：多教師知識蒸餾[14]。由于知識蒸餾技術的有效性，研究人員也將其與其他的優化方法進行結合，Polino[15]將模型壓縮與知識蒸餾結合來進一步提高模型的執行速度；Anil[16]將知識蒸餾方法應用于大規模分布式環境中。

模型早退技術基于深度神經網絡模型前期的輸出也能夠滿足一部分場景精度需求這一事實[17]，通過避免執行深度神經網絡模型深層來達到減少算力的需求。文獻[17]通過在原有的深度神經網絡模型的基礎上添加分支來滿足模型早退的需求，極大減少了模型的推理時間；Teerapittayanon[18]又通過使用“云-邊緣服務器-邊緣設備”三級層次結構并在每層結構設置模型退出點來完成模型早退；Passalis[19]通過重用前期層信息優化多退出點模型；Tan[20]將模型早退與模型劃分技術結合優化神經網絡模型推理。

2 研究方法

本文選取VGG神經網絡為框架，它被廣泛應用于圖像檢測等領域且性能表現優異。

2.1 知識蒸餾

知識蒸餾通過引入教師網絡（復雜且精度較高模型）引導學生模型（精簡模型）訓練來完成知識的傳遞，其中引導方法以及引導程度是決定知識蒸餾效果的關鍵。

引導的方法直接決定著學生是否能夠準確的學習到教師網絡所傳授的知識，文獻[13]使用KL散度（Kullback-Leibler Divergence）來衡量教師網絡與學生網絡的輸出分布差異，以表征學生網絡對于教師知識的學習程度。KL散度又稱相對熵，是用來衡量兩個概率分布間差異的非對稱度量，如公式（1），概率函數中一個為真實分布p(xi)，對應教師網絡的輸出分布，另外一個為擬合的理論分布q(xi)，對應為學生的輸出分布，當KL散度為0時，擬合的理論分布與真實分布完全相同即q(xi)=p(xi)，表示學生網絡已經完全學會教師網絡的知識，因此本文通過最小化教師網絡與學生網絡輸出的KL散度來不斷地讓學生網絡模型逼近教師網絡模型，從而達到知識蒸餾的目的。

引導程度決定學生與教師網絡的輸出分布所能達到的近似程度，文獻[13]借鑒工程學的概念將其定義為溫度。引用溫度的目的是知識蒸餾希望將教師網絡產生的信息知識盡可能多地蒸餾到學生網絡中而不是僅僅讓學生網絡模型學習到教師網絡模型的分類結果，對應的好處為這樣蒸餾出來的學生網絡模型具備和教師網絡模型一樣的概率分布和泛化能力，文獻[13]將溫度加入到Softmax層中以改善Softmax輸出值對于知識傳遞的影響，改進的Softmax如公式（2）所示：

其中pi表示第i類經過加入溫度的Softmax輸出的軟標簽，通過加入溫度T可以讓Softmax的輸出值變緩如圖1-圖2所示，有利于蒸餾出更多的知識信息供學生網絡學習。引入KL散度將學生模型的損失函數公式更新為公式（3）：

圖1 無溫度Softmax輸出值

圖2 溫度為5時Softmax輸出值

2.2 模型早退

知識蒸餾方法雖然在保持模型精度的同時，極大減少了模型存儲和計算需求。但是，對于一些特殊的任務而言其可能能夠接受一定的精度損失從而換取更高的推理速度，因此，本文提出在知識蒸餾學生網絡模型中加入多退出點機制來滿足此類任務需求。

深度神經網絡模型通過在其主干網上添加分支來允許任務從模型的前期退出從而達到節約計算時間的目的，每條分支稱為一個多退出點。文獻[17]通過聯合優化的方法來訓練帶有多退出點的網絡模型，并給予每條分支節點賦予退出閾值來判定當前任務是否可以從當前退出點退出，但是同步優化多退出點模型的操作存在內存占用過高，訓練耗時過大的問題，因此本文提出了原基異步訓練來生成帶有早退節點的學生網絡模型。原基異步訓練的基礎模型是3.1小節通過知識蒸餾訓練好的輕量級學生網絡模型，并通過添加分支的方式讓原基模型發展成為帶有多分支的深度神經網絡模型。

異步訓練中針對每一分支依舊使用交叉熵損失函數來作為優化目標，目標函數為：

y為數據的真實標簽，y→為預測標簽，r為當前輸入數據x在權重參數W下的輸出，其中參數權重W部分權重來自于原基網絡，如公式（5）所示：

與文獻[17]不同，本文不在各個分支網絡使用退出閾值來判定當前任務是否可以從當前分支退出，而是構建了一個任務自動判別器來自動判別任務類型來選擇合適的網絡分支滿足當前任務需求。

3 實驗

3.1 實驗設置

本文使用CIFAR10作為模型訓練實驗數據集，它由60000張彩色圖片構成，其中包含50000張訓練圖片，10000張測試圖片，共分為10個類別，每個類別擁有5000張訓練圖片與1000張測試圖片。選擇經典的深度神經網絡VGG-19（包含16個卷積層和3個全鏈接層）作為知識蒸餾教師網絡，VGG11（包含8個卷積層和1個全鏈接層）作為知識蒸餾學生網絡同時為多退出點網絡的原基網絡，多退出點網絡除原基網絡外另加入兩條分支，與原基網絡的重疊層數分別為3、5，本文分別稱其為退出點1和退出點2，原基網絡為退出點3。所有訓練網絡的靜態學習率設置為0.0006，一次批處理圖像128張，其中教師網絡訓練50輪次，學生網絡訓練40輪次，退出點2訓練10輪次，退出點1訓練5輪次。實際部署中，客戶端與服務器網絡連接帶寬為1MB/s，采用TCP連接的方式。

3.2 知識蒸餾評估實驗

如上3.1小節所述，教師網絡對學生網絡的引導方法以及引導程度影響知識蒸餾結果的好壞，實驗中選取經典的KL散度作為知識蒸餾引導方法，然后探究不同的引導程度對于知識蒸餾學生網絡模型收斂以及精度的影響。

引導程度除3.1小節所述溫度外，還有教師網絡與學生網絡的損失占比值α如公式（3）所示。圖3展示了相同溫度下，不同損失占比對于學生網絡收斂性影響，可以看到隨著教師網絡損失值占比增大（α值增大，詳見公式（3））即教師網絡對于學生網絡的影響增損失值更低。而隨著溫度增高，教師網絡與學生網絡輸入KL散度函數的輸入值變緩（如公式（2）），而真實的學生網絡輸入值未受影響，即等價于教師網絡對于學生網絡的控制作用變弱從而導致學生網絡占據主導作用，學生網絡的損失值起點越高，收斂點的損失值越高如圖4所示。

圖3 同溫度下α對學生模型損失函數影響

圖4 同α條件下，溫度值對損失函數的影響

隨后測量不同溫度以及損失占比下學生網絡的精度值，如圖5所示，無蒸餾環境下直接訓練學生網絡模型其精度值為83.63%，使用蒸餾方法后訓練的學生網絡模型精度值均高于無蒸餾方法直接訓練網絡模型的精度值。當溫度值為3以及教師網絡損失值占比為0.8時，得到學生網絡精度最高值為85.52%，蒸餾方法下學生網絡的最低精度值為83.78%，在溫度值和損失占比分別為2和0.3時取到。蒸餾方法下學生網絡的精度提升0.15%-1.89%。

圖5 不同溫度與α下蒸餾下模型精度

3.3 模型早退評估實驗

通過蒸餾方法，我們得到了一個比無蒸餾方法更好的輕量級網絡模型，在此基礎上，使用3.2小節原基異步訓練方案訓練多退出點精簡神經網絡模型并測試其精度如圖6所示，退出點2分支網絡其精度為84.88%，退出點1分支網絡的精度82.74%。圖7展示了各退出點網絡的一次推理時間，退出點2分支網絡相比于原始網絡推理時間減少了40.25%，退出點1分支網絡相比于原基網絡推理時間減少了64.59%，模型識別速度加速比區間為3.04X-8.57X。

圖6 不同退出點模型精度圖

圖7 不同退出點與教師網絡模型推理速度

3.4 真實系統運行評估實驗

根據訓練模型的網絡結構，我們提供給用戶三級處理速度選擇，分別為快、中、慢，這對應多退出點網絡中的退出點1分支網絡，退出點2分支網絡以及原始網絡。我們構建一個識別應用用以測試我們的優化模型對邊緣網關設備的效力提升。如圖8所示，未部署智能識別模型的邊緣網關面對客戶需求時需要向網絡中傳輸10000張圖片，其中客戶真正需求照片數為1000張，照片傳輸有效率為10%。而部署智能識別模型后，根據用戶指定的速度需求，邊緣網關分別只需向網絡中傳輸1057、1006、1000張圖片，極大減少了網絡中傳輸的數據量。由于多退出點精簡神經網絡識別模型的精度限制，所以圖片的傳輸有效率分別為88.17%、92.84%、93%（如圖9所示），但均高于無智能識別模型時圖片傳輸的有效率。同時我們假設每張圖片的大小為1MB，如圖10所示，使用多退出點精簡網絡識別模型后，不同指定速度下物聯網網關的服務效率分別提升了88.51%、88.39%、87.4%。

圖8 不同識別速度選擇下網絡中傳輸的圖片數圖

圖9 不同識別速度選擇下網絡中傳輸圖片有效率

圖10 不同識別速度選擇下服務時間縮減率

4 結語

本文通過結合知識蒸餾與模型早退方案構建了一個具備多退出點的精簡神經網絡模型，使得物聯網網關設備能夠快速部署和運行深度神經網絡模型的同時保持較高的模型精度。通過在真實IPv6網絡環境下物聯網網關設備中部署多退出點神經網絡模型的實驗結果表明，我們最大可以減少90%的網絡帶寬占用以及提升88.51%的服務效率。在接下來的工作中，我們將嘗試使用更加有效的知識蒸餾方法如將非對稱性的KL散度轉換為Wasserstein距離作為學生學習教師知識程度的度量，我們還將探究模型中合適的早退點以提供給用戶更多更優的識別速度選擇。另外，目標檢測依舊是我們感興趣的方向，我們也將考慮將方法擴展到目標檢測中。