面向航空應用的神經網絡輕量化設計

程陶然 李陽

摘要：隨著深度神經網絡性能的不斷提高，應用領域不斷擴展，然而網絡參數規模和計算需求也在大幅增加，極大地限制了神經網絡的應用范圍。該文面向航空領域應用，考慮到機載嵌入式計算環境的資源限制，對深度神經網絡模型的輕量化設計方法進行了總結分析。神經網絡的輕量化設計主要通過模型壓縮和計算結構優化實現對網絡參數存儲空間的壓縮和運算速度提升，具體方法包括模型裁剪、參數量化與編碼、可分離卷積、知識提取、矩陣低秩分解等。

關鍵詞：神經網絡；輕量化；模型壓縮；結構優化

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2019）11-0191-02

開放科學（資源服務）標識碼（OSID）：

Abstract： With the performance improvement of deep neural network（DNN）， it is used in more field. However， the scale of parameters and computing requirements are also greatly increased， which limits the application scope of DNN. In this paper， the lightening design method of DNN is summarized for aviation applications. The lightening design of the neural network is aimed to reduce the storage space and improve the computing speed. It is mainly achieved by model compression and optimization of computing structure， including model clipping， parameter quantization and coding， separable convolution， knowledge extraction and low rank matrix decomposition.

Key words： Neural Network； lightening design； model compress； structure optimization

1 背景

自2016年AlphaGo擊敗了圍棋世界冠軍，以神經網絡為代表的人工智能走進了大眾視野，各行各業都掀起了“AI+”的熱潮。而在學術界，神經網絡的快速發展開始于2006年“人工智能教父”Hinton提出的“預訓練網絡”[1]。之后，隨著神經網絡規模增加，計算能力提升，神經網絡算法在圖像分類、目標識別、自然語言理解、自動駕駛乃至游戲操作等領域先后取得突破性進展。在航空領域，神經網絡的應用前景十分廣闊，經典的目標識別算法可以幫助飛行員更容易地發現目標，智能輔助決策算法有助于解決海量信息帶來的認知負荷，對無人機更是意義重大。

為了獲得更好的特征提取能力，現有的優秀神經網絡算法大多層數眾多，計算量龐大。例如，2015年在ImageNet挑戰賽中成功超過人眼識別能力的殘差神經網絡（ResNet-152）共有152層網絡結構，參數數量超過70M，乘加運算次數高達11.3G[2]。這導致神經網絡算法對運行設備的內存空間、計算量和計算速度等都提出了較高的要求，必須依賴大型服務器的計算能力才能滿足應用的實時性。

然而，在航空領域飛行器對機載設備重量、功耗等方面都有嚴格的限制，機載嵌入式計算環境中處理器的性能、計算資源的規模、存儲及內存空間的大小都十分有限，難以滿足現有神經網絡算法的需求。因此，要想在航空應用中使用神經網絡實現智能算法，必須對神經網絡進行輕量化設計，使其在有限的機載計算環境中仍有較高的性能。

2 神經網絡模型壓縮

隨著神經網絡層數不斷加深，訓練所消耗的時間和服務器功耗大幅度增長，越來越多的技術人員意識到模型壓縮的重要性?！吧疃葔嚎s（Deep Compress）”[3]一文堪稱深度神經網絡模型壓縮的經典之作，文章通過模型裁剪降低網絡連接數量級，之后通過參數量化與編碼進一步壓縮參數存儲體積，從而大幅度壓縮深度神經網絡的規模。深度神經網絡的輕量化方法大多都是基于此延伸出來的。

2.1 模型裁剪

深度神經網絡連接數量級非常高，但其中有許多連接是不重要的或不必要的。通過一定的剪枝策略裁剪掉對網絡功能實現貢獻度較低的連接，可以顯著地擴展網絡的稀疏性，有效降低網絡規模。

最基本的剪枝策略是根據連接權重數值的大小確定其重要性，對低于一定閾值的連接進行裁剪，降低網絡連接數量。另一方面，網絡中每個節點的數值通常由多個連接共同確定，當節點數值趨近于0時，對后續計算的影響將極其微小，裁剪掉這些節點不會影響網絡整體功能的實現。基于上述基本思想，延伸出了基于激活響應熵值的裁剪策略[4]、基于泰勒展開的裁剪策略[5-7]、基于相關性的裁剪策略[8]等。

模型裁剪方法在卷積神經網絡中應用尤為廣泛，大量的卷積操作不僅參數規模龐大，計算規模也十分龐大。對卷積核進行剪枝處理，減小網絡規模的同時還能夠大幅度降低網絡運行時的計算量。此外，由于剪枝后的網絡參數規模降低，強化訓練過程將會大幅度縮短，有效降低網絡的訓練時間。

2.2 參數量化與編碼

參數量化與編碼通過減少表示連接權重參數值所需要的比特位數，進一步壓縮神經網絡的參數存儲體積，解決機載嵌入式環境下存儲、帶寬和內存空間受限的問題。為了提高計算精度，神經網絡模型通常使用高精度浮點數進行計算，然而大多嵌入式硬件平臺都不支持浮點計算，這促使了神經網絡參數定點化處理的研究。

8位定點數可表示的范圍是-16.00-15.875，滿足絕大多數神經網絡的參數表示需求，只是最大精度為0.125，比浮點數表示有所損失，但是在經典神經網絡模型上進行測試，參數定點化處理后，經過一定的訓練微調，模型精度損失低于1%[9]。通過在神經網絡中綜合使用8位和16位定點數對權重、偏移量、激勵函數參數等進行不同表示，能夠進一步降低參數量化帶來的模型精度損失。

此外，通過使多個連接共享同一權重，減少需要存儲的有效權重的數目，也可以減小參數存儲體積。權重共享通常使用k-聚類算法，所有在同一聚類中的權重共享同一個權重值，網絡中僅存儲各權重值所在聚類的位置索引。

最后，選擇合適的編碼機制，能夠進一步減少網絡所需的存儲空間。比如霍夫曼編碼（Huffman Coding），這是一種用于無損數據壓縮的最優前綴碼，使用變長碼字對源信號進行編碼，根據每個源信號出現的頻率，確定編碼表，出現頻率較高的信號使用較少的位數表示。經過聚類處理后的各連接權重值存儲為對應的位置索引，共享同一數值的連接存有相同的索引值，對索引值進行霍夫曼編碼，能夠有效降低存儲信息的位數。

3 神經網絡結構優化

神經網絡模型壓縮技術主要是針對參數的存儲空間進行優化，對計算量的優化有限。針對神經網絡在移動端的應用問題，有研究團隊致力于通過設計更高效的網絡計算方式來實現神經網絡模型的輕量化。機載嵌入式計算環境與移動端計算環境的硬件資源條件十分相似，移動端神經網絡所使用的結構優化方法對神經網絡模型在航空領域的應用具有重要意義。

3.1 可分離卷積

MobileNet[10]是谷歌公司針對智能手機應用設計的輕量化深度神經網絡模型，其突出特點在于使用深度可分離卷積（depth-wise separable convolution）替代標準卷積方法進行計算，從卷積層的運算特點著手，減小網絡參數數量并提升網絡計算速度。傳統的標準卷積其實一次性做了兩件事：普通的卷積計算和特征數量的變化，而深度可分離卷積，將這兩個步驟分開處理，分別進行深度卷積（depth-wise convolution）和節點卷積（point-wise convolution）。

以M個輸入特征圖N個輸出特征圖的卷積層為例，假定卷積核的尺寸為K×K，每個卷積核都要與輸入特征圖的每個維度進行卷積操作，即卷積核將擴展為K×K×M×N，如圖1（a）所示。拆分后，深度卷積使用濾波器對輸入特征圖的每個維度進行卷積操作，卷積核如圖1（b）所示；節點卷積使用1×1卷積，將M個輸入特征變為N個輸出特征，卷積核如圖1（c）所示。

3.2 知識提取

知識提取方法通過讓簡單的神經網絡模型向高性能復雜模型“學習”，來提高簡單模型的性能，獲取具備較高精度的輕量化神經網絡[11]。實驗證實，通過該方法進行訓練的簡單模型，其性能優于直接訓練的結果。在進行訓練時，簡單神經網絡模型將自身輸出與復雜模型相應輸出的偏差納入誤差計算，再與標準結果的誤差進行加權求和形成簡單模型的損失函數。通過這種方式簡單模型學習了復雜模型對數據間相近關系的理解，快速提升其識別精度。文獻[12]對普通的知識提取方法進行改進，引入比例因子Z來表征復雜模型中的樣本相似性，從而幫助簡單模型更快的學習復雜模型的“知識”。

3.3 矩陣低秩分解

矩陣低秩分解類方法以其既可以加速深度神經網絡計算又大大壓縮網絡中參數規模的優勢，廣泛用于輕量化深度神經網絡[13]。以全連接層為例，權重矩陣是二維張量，可以使用典型的低秩分解類方法SVD因式分解參數矩陣。

假定相鄰的兩個全連接層L1和L2分別有m、n個神經元，對應的權重矩陣W是一個m×n維的實數矩陣，用SVD法將其分解為[W=USVT]，其中，U是m×m維實數矩陣，S是m×n維實數矩陣，V是n×n維實數矩陣。用這種方法得到的U、V是正交矩陣，S是對角矩陣，在其對角線上具有奇異值，可以發現奇異值衰減很快，權重矩陣W可以很好地被近似。該方法在Frobenius的意義上是最優的，最小化了權重矩陣因式分解前后的均方誤差，有效降低了深度神經網絡部署到嵌入式平臺的存儲和計算需求。

4 總結與展望

本文面向航空領域應用，考慮到機載嵌入式計算環境的資源限制，對深度神經網絡模型的輕量化設計方法進行了總結分析。深度神經網絡的輕量化設計主要通過模型壓縮和計算結構優化實現網絡參數存儲空間的壓縮，提升計算和訓練速度，并控制模型精度損失在可接受的范圍內。兩大技術方向各有優勢，模型壓縮方法實現相對簡單，但是側重于存儲空間的優化，對模型計算量的優化較弱；結構優化方法不僅能夠取得較高的參數規模壓縮比例，對計算速度的提升也十分明顯，但是需要較高的設計技巧，實現過程相對復雜。未來要在航空領域應用深度神經網絡算法實現智能應用，應當綜合使用模型壓縮與結構優化方法，結合硬件平臺的條件，進行模型輕量化設計的同時保證模型性能。

參考文獻：

[1] Hinton G， Salakhutdinov R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 5786（313）： 504-507.

[2] He K， Zhang X， Ren S， et al. Deep Residual Learning for Image Recognition[C] // IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

[3] Han S， Mao H， Dally W J. Deep compression： Compressing deep neural networks with pruning， trained quantization and huffman coding [EB/OL].https：//arXiv.org/abs/1510.00149.

[4] Luo J H， Wu J. An entropy-based pruning method for CNN compression[EB/OL].https：//arXiv.org/abs/1706.05791.

[5] Yang T J， Chen Y H，Sze V.Designing energy-efficient convolutional neural networks using energyaware pruning[EB/OL]. https：//arXiv.org/abs/1611.05128.

[6] LeCUN Y， DENKER J S， SOLLA S A. Optimal brain damage[C]//NIPS89： Proceedings of the 2nd International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 1989： 598-605.

[7] HASSIBI B， STORK D G. Second order derivatives for network pruning： optimal brain surgeon [C]//NIPS93： Proceedings of the 1993 Advances in Neural Information Processing Systems. San Francisco， CA： Morgan Kaufmann Publishers， 1993： 164-171.

[8] Tian Q， Arbel T， Clark J J. Efficient gender classification using a deep LDA-pruned net[EB/OL]. https：//arXiv.org/abs/1704.06305.

[9] Gysel P， Motamedi M， Ghiasi S. Hardware-oriented approximation of convolutional neural networks[EB/OL]. https：//arXiv.org/abs/1604.03168.

[10] Andrew G， Zhu M， Chen B. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL]. https：//arXiv.org/abs/1704.04861.

[11] Hinton G， Vinyals O， Dean J. Distilling the knowledge in a neural network[EB/OL]. https：//arXiv.org/abs/1503.02531.

[12] 徐喆，宋澤奇.帶比例因子的卷積神經網絡壓縮方法[J].計算機工程與應用，2018， 54（12）： 105-109.

[13] Denton E， Zaremba W， Bruna J， et al. Exploiting linear structure within convolutional networks for efficient evaluation[C]//Advances in Neural Information Processing Systems， 2014： 1269-1277.

【通聯編輯：謝媛媛】