基于自適應(yīng)閾值的循環(huán)剪枝算法

摘 要： 針對(duì)YOLO系列目標(biāo)檢測(cè)算法中復(fù)雜的網(wǎng)絡(luò)模型和大量冗余參數(shù)問題，提出了一種基于自適應(yīng)閾值的循環(huán)剪枝算法：在經(jīng)過基礎(chǔ)訓(xùn)練和稀疏化訓(xùn)練后，進(jìn)入到自適應(yīng)閾值剪枝模塊，該模塊針對(duì)縮放因子分布情況，通過縮放因子對(duì)通道和卷積層的重要性進(jìn)行評(píng)估，自主學(xué)習(xí)到一個(gè)剪枝閾值，再對(duì)網(wǎng)絡(luò)模型進(jìn)行剪枝，此過程可以循環(huán)進(jìn)行，并在通道剪枝和層剪枝中應(yīng)用。該算法中的閾值不是人為設(shè)定，而是針對(duì)當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)獲得，通過剪枝獲得一個(gè)更優(yōu)的精簡(jiǎn)模型。算法實(shí)驗(yàn)基于YOLOv3在三個(gè)數(shù)據(jù)集上驗(yàn)證，結(jié)果表明，該算法對(duì)不同數(shù)據(jù)集、不同網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)出較強(qiáng)的適應(yīng)性，與傳統(tǒng)固定閾值相比，通過自適應(yīng)閾值剪枝的模型在檢測(cè)精度、壓縮效果、推理速度等方面都取得了更優(yōu)的效果。

關(guān)鍵詞： 深度學(xué)習(xí)； 卷積神經(jīng)網(wǎng)絡(luò)； 自適應(yīng)閾值； 通道剪枝； 層剪枝

中圖分類號(hào)： TP391.41"" 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1001-3695（2022）05-030-1467-05

doi：10.19734/j.issn.1001-3695.2021.09.0413

Adaptive threshold-based recurrent pruning algorithm

Wang Yizhong， Guo Zhendong， Fang Chen， Yang Guowei， Wang Qiqi， Guo Xiaoyong

（ College of Electronic Information amp; Automation， Tianjin University of Science amp; Technology， Tianjin 300222， China）

Abstract： For the problem of complex network model and large number of redundant parameters in YOLO series object detection algorithm，this paper proposed an adaptive threshold recurrent pruning algorithm，after the base training and sparsity training，it entered into the adaptive threshold pruning module，which evaluated the importance of channels and convolutional layers by scaling factors for the distribution of scaling factors，and learnt to a pruning threshold autonomously.Then it pruned the network model，and this process could be cyclic and applied in channel pruning and layer pruning.The thresholds in this algorithm were not artificially set，but were obtained by learning for the current network structure and obtaining a better streamlined model by pruning.It validated the algorithm experiments on three datasets based on YOLOv3，and the results show that the algorithm shows strong adaptability to diffe-rent datasets and different network structures，and the model pruned by adaptive threshold which achieves better results in terms of detection accuracy，compression effect，and inference speed compared with the traditional fixed thresholds.

Key words： deep learning； convolutional neural network； adaptive pruning threshold； channel pruning； layer pruning

深度學(xué)習(xí)作為人工智能領(lǐng)域的重要技術(shù)，在眾多領(lǐng)域展現(xiàn)出越來越重要的作用。2012年，AlexNet［1］以絕對(duì)優(yōu)勢(shì)取得ImageNet挑戰(zhàn)賽冠軍，并大幅刷新之前的記錄。此后，越來越多研究人員開始對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，在AlexNet之后出現(xiàn)了VGGNet［2］、GoogLeNet［3］、ResNet［4］、DenseNet［5］等網(wǎng)絡(luò)模型。這些深度卷積神經(jīng)網(wǎng)絡(luò)模型在后來的目標(biāo)檢測(cè)（object detection）［6］、目標(biāo)跟蹤（object tracking）［7］、實(shí)例分割（instance segmentation）［8］等眾多領(lǐng)域展現(xiàn)出深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大能力。復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)有更強(qiáng)的特征學(xué)習(xí)能力，但同時(shí)帶來了巨大的參數(shù)量和浮點(diǎn)運(yùn)算［9］。這些復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時(shí)候通常需要高性能的GPU支持，但部署在手機(jī)、無人機(jī)、嵌入式等設(shè)備時(shí)就會(huì)出現(xiàn)計(jì)算和存儲(chǔ)受限情況［10］。文獻(xiàn)［11，12］研究了網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)化特性，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)存在大量冗余參數(shù)。研究者相繼提出了一系列有效的壓縮加速算法，如網(wǎng)絡(luò)剪枝［13］、模型量化［14］、低秩分解［15］、知識(shí)蒸餾［16］等方法。

本文的工作主要針對(duì)YOLOv3［17］進(jìn)行剪枝，YOLO［17～19］系列目標(biāo)檢測(cè)網(wǎng)絡(luò)是當(dāng)前目標(biāo)檢測(cè)領(lǐng)域比較出色的算法，YOLOv3是其中比較經(jīng)典的版本，其檢測(cè)速度快、精度高，在工業(yè)中也有著廣泛的應(yīng)用。然而YOLOv3也存在模型較大、參數(shù)冗余的問題。本文的工作改善了傳統(tǒng)通道剪枝方法，針對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)參數(shù)的冗余問題，本文主要有兩個(gè)創(chuàng)新點(diǎn)：

a）提出一種自適應(yīng)閾值循環(huán)剪枝算法。通過一個(gè)自適應(yīng)閾值模塊，自主學(xué)習(xí)到一個(gè)剪枝閾值，最后對(duì)模型進(jìn)行微調(diào)，此過程可以循環(huán)進(jìn)行。不同數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)模型各不相同，和人為選定的固定閾值不同，該方法可以對(duì)不同數(shù)據(jù)集訓(xùn)練出來的網(wǎng)絡(luò)模型進(jìn)行針對(duì)性的剪枝，表現(xiàn)出很強(qiáng)的適應(yīng)性。

b）針對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)層數(shù)多導(dǎo)致的檢測(cè)速度低的問題，將自適應(yīng)閾值循環(huán)剪枝算法應(yīng)用到通道剪枝和層剪枝中，并且將自適應(yīng)閾值通道剪枝和層剪枝融合應(yīng)用，對(duì)不同數(shù)據(jù)集下的模型融合不同剪枝策略，達(dá)到一個(gè)最優(yōu)化的精簡(jiǎn)模型。

1 相關(guān)工作

綜合現(xiàn)有的深度模型壓縮方法，它們主要分為四類：

a）低秩分解：卷積神經(jīng)網(wǎng)絡(luò)中，卷積層連接參數(shù)可看成以四維張量形式，張量中會(huì)存在大量的冗余信息。低秩分解進(jìn)行網(wǎng)絡(luò)壓縮的思想在于用低秩的張量來表達(dá)原始網(wǎng)絡(luò)中的張量，減少原始網(wǎng)絡(luò)的冗余參數(shù)。常見的低秩分解方法包括奇異值分解（SVD）［20］、Tucker分解［21］等。文獻(xiàn)［22］提出了DRONE方法，通過最小化表示輸出的誤差而不是單純的權(quán)重矩陣誤差來對(duì)權(quán)重矩陣進(jìn)行分解。

b）權(quán)值量化：卷積神經(jīng)網(wǎng)絡(luò)在推理的時(shí)候可以用較低比特?cái)?shù)來近似權(quán)重比特?cái)?shù)，實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)輕量化。文獻(xiàn)［12，14，23］等方法都是對(duì)權(quán)重進(jìn)行量化。Yang等人［24］為了解決深度模型中提升模型深度帶來的計(jì)算復(fù)雜度提高的問題，采用的方法是首先共享所有重復(fù)結(jié)構(gòu)的權(quán)重，然后達(dá)到一定條件下解除共享。

c）知識(shí)蒸餾：Ba等人［25］提出了知識(shí)蒸餾的概念，用于將一個(gè)深且寬的網(wǎng)絡(luò)壓縮為一個(gè)小型網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過模仿原始網(wǎng)絡(luò)的輸出得到與原網(wǎng)絡(luò)差不多的性能。文獻(xiàn)［16，26］等方法基于知識(shí)蒸餾將一個(gè)深且寬的網(wǎng)絡(luò)壓縮成一個(gè)深而窄的輕型網(wǎng)絡(luò)。Chen等人［27］提出的蒸餾過程不需要原始訓(xùn)練數(shù)據(jù)的參與，利用GAN（generative adversarial network）生成圖像的特性來生成蒸餾所需數(shù)據(jù)。

d）剪枝：網(wǎng)絡(luò)剪枝是網(wǎng)絡(luò)壓縮算法中最受關(guān)注的方法，因?yàn)榫W(wǎng)絡(luò)剪枝算法表現(xiàn)出很好的壓縮效果，并且對(duì)網(wǎng)絡(luò)性能影響不大甚至?xí)嵘W(wǎng)絡(luò)的性能。通道剪枝是經(jīng)常使用的方法，它在最細(xì)粒度的級(jí)別上運(yùn)行，同時(shí)適合傳統(tǒng)的深度學(xué)習(xí)框架。Li等人［28］中用權(quán)重值的大小來評(píng)判filter的重要性，利用L1范數(shù)作為該filter的評(píng)價(jià)指標(biāo)，排序結(jié)果將一層中對(duì)網(wǎng)絡(luò)貢獻(xiàn)低的filter裁掉。組稀疏性［29］也被廣泛用于平滑訓(xùn)練后的剪枝過程。Liu等人［13］提出了一種通道剪枝方案，通過稀疏化尺度因子（BN層的scaling factor）來剪枝掉對(duì)網(wǎng)絡(luò)模型貢獻(xiàn)較小的通道。Zhang等人［30］用約束優(yōu)化中的經(jīng)典算法ADMM（alternating direction method of multipliers）來求解。由于每個(gè)通道的輸出都會(huì)經(jīng)過batch normalization（BN），可以巧妙地直接稀疏BN層的尺度因子。文獻(xiàn)［31］結(jié)合結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝的優(yōu)點(diǎn)，提出了一種SWP（stripe-wise pruning）的方法，對(duì)卷積核進(jìn)行剪枝。文獻(xiàn)［32］讓模型剪枝考慮對(duì)抗訓(xùn)練的因素，以及讓對(duì)抗訓(xùn)練目標(biāo)指導(dǎo)哪些參數(shù)應(yīng)該進(jìn)行裁剪，將模型剪枝看成一個(gè)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題。文獻(xiàn)［33］生成與原數(shù)據(jù)集相同分布的數(shù)據(jù)，并且將其與原始數(shù)據(jù)集進(jìn)行混合。對(duì)網(wǎng)絡(luò)輸入新數(shù)據(jù)和中間計(jì)算生成的特征圖幫助發(fā)現(xiàn)冗余的卷積核，進(jìn)行剪枝。文獻(xiàn)［34］為解決因卷積神經(jīng)網(wǎng)絡(luò)模型規(guī)模大，模型剪枝方法引起的精度下降問題，提出一種模型剪枝微調(diào)優(yōu)化方法。文獻(xiàn)［35］為了消除深度神經(jīng)網(wǎng)絡(luò)中的冗余結(jié)構(gòu)，找到具備較好性能和復(fù)雜度之間平衡性的網(wǎng)絡(luò)結(jié)構(gòu)，提出基于無標(biāo)簽的網(wǎng)絡(luò)剪枝。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

本文將在三個(gè)公開數(shù)據(jù)集上驗(yàn)證算法的實(shí)用性。這三個(gè)數(shù)據(jù)集數(shù)據(jù)分布、類別、數(shù)據(jù)規(guī)模等均不相同，可探究不同數(shù)據(jù)分布下對(duì)算法的影響。

1）CALTECH數(shù)據(jù)集［36］ caltech pedestrian detection benchmark 是一個(gè)行人檢測(cè)數(shù)據(jù)，分辨率640×480，該視頻由一輛車載攝像機(jī)在市區(qū)行駛過程中拍攝。總計(jì)約 250 000幀，350 000個(gè)標(biāo)注框，2 300位不同的行人被標(biāo)注。

2）KITTI數(shù)據(jù)集［37］ 該數(shù)據(jù)集是目前國(guó)際上最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺算法評(píng)測(cè)數(shù)據(jù)集。在目標(biāo)檢測(cè)任務(wù)中，該數(shù)據(jù)集由7 481張訓(xùn)練圖像和7 518張測(cè)試圖像組成，總共有80 256個(gè)帶標(biāo)簽的對(duì)象。

3）VOC2012數(shù)據(jù)集［38］ 該數(shù)據(jù)集是在PASCAL VOC大賽中使用的數(shù)據(jù)集，PASCAL VOC大賽是一項(xiàng)世界級(jí)的計(jì)算機(jī)視覺挑戰(zhàn)賽。該數(shù)據(jù)集一共包含了4個(gè)大類、20個(gè)小類的物體，具有11 530個(gè)圖像，其中包含27 450個(gè)ROI注釋對(duì)象和6 929個(gè)實(shí)例分割圖像。

4.2 實(shí)驗(yàn)參數(shù)

本文算法的實(shí)現(xiàn)基于PyTorch［39］框架，計(jì)算機(jī)操作系統(tǒng)為Ubuntu 16.04，CPU型號(hào)為Intel Xeon E5-2640V4，內(nèi)存32 GB。GPU型號(hào)為NVIDIA Tian XP，內(nèi)存12 GB。實(shí)驗(yàn)中選擇剪枝的目標(biāo)檢測(cè)模型為YOLOv3。這個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的主干網(wǎng)絡(luò)為DarkNet53，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。由于網(wǎng)絡(luò)剪枝對(duì)多層網(wǎng)絡(luò)模型剪枝效果更好，比如超過50層的神經(jīng)網(wǎng)絡(luò)，所以本實(shí)驗(yàn)選取YOLOv3網(wǎng)絡(luò)能更好地展現(xiàn)本算法的效果。

本算法首先在DarkNet框架下對(duì)YOLOv3進(jìn)行基礎(chǔ)訓(xùn)練，迭代次數(shù)設(shè)置為50 000，模型的batch size為64，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率分別在訓(xùn)練總次數(shù)的80%和90%時(shí)，變?yōu)橹暗氖种弧Ｌ荻认陆颠x取SGD，NMS設(shè)置為0.5，momentum設(shè)置為0.9。輸入網(wǎng)絡(luò)的圖片大小全都設(shè)置為416×416。

本實(shí)驗(yàn)從三個(gè)數(shù)據(jù)集中分別選取一張圖片，如圖4所示，推理100次，用于衡量推理速度。在稀疏化訓(xùn)練中，設(shè)置α=10-3，對(duì)CALTECH、VOC2012、KITTI、數(shù)據(jù)集分別設(shè)置epoch為200、300、300，其他參數(shù)均相同。對(duì)網(wǎng)絡(luò)模型剪枝后，在其基礎(chǔ)上進(jìn)行微調(diào)，微調(diào)參數(shù)設(shè)置與基礎(chǔ)訓(xùn)練均相同。

4.3 自適應(yīng)閾值道剪枝實(shí)驗(yàn)

首先對(duì)YOLOv3在三個(gè)數(shù)據(jù)集上分別進(jìn)行算法1的實(shí)驗(yàn)，如表1所示。

可以看出，在不同的數(shù)據(jù)集上，進(jìn)行迭代的次數(shù)各不相同， YOLOv3網(wǎng)絡(luò)模型在CALTECH、KITTI、PASCAL數(shù)據(jù)集上剪枝迭代次數(shù)分別為6、7、4次，表現(xiàn)出本文算法對(duì)數(shù)據(jù)集有很強(qiáng)的自適應(yīng)能力。迭代次數(shù)可以根據(jù)剪枝效果有針對(duì)性地進(jìn)行設(shè)定。在表中，對(duì)YOLOv3在CALTECH數(shù)據(jù)上進(jìn)行剪枝，第一次迭代剪枝時(shí)對(duì)應(yīng)的閾值為0.84，剪枝完成后，模型參數(shù)量減少了91.79%，BFLOPs減少了75.34%，mAP不降反而上升了0.16%，通過第一次剪枝，已經(jīng)對(duì)模型進(jìn)行大范圍“瘦身”。在迭代過程中，閾值不斷降低，表示對(duì)網(wǎng)絡(luò)模型貢獻(xiàn)少的通道越來越少，模型越來越精簡(jiǎn)。經(jīng)過六次迭代剪枝，YOLOv3參數(shù)量變?yōu)?7.8 MB，減少了92.39%，BFLOPs減少了76.45%，mAP提升了1.57%，推理速度提升了1.66倍。在KITTI和PASCAL數(shù)據(jù)集上，也有很好的表現(xiàn)。

4.4 融合通道剪枝和層剪枝實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)

在驗(yàn)證算法2的過程中，本文將自適應(yīng)閾值通道剪枝和層剪枝相結(jié)合，對(duì)YOLOv3在三個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，結(jié)果如表2所示。在層剪枝過程中，本文設(shè)置剪枝的層數(shù)分別為12、24、36。從實(shí)驗(yàn)結(jié)果可以看出，對(duì)模型壓縮程度有了一個(gè)很大的提升，mAP也沒有造成很大的損失。如在CALTECH數(shù)據(jù)集上，經(jīng)過自適應(yīng)閾值通道剪枝和剪枝36層后，模型大小僅有8.89 MB，雖然mAP與基礎(chǔ)模型相比損失了4.83%，但是推理速度提示70%，達(dá)到了一個(gè)很好的效果。這證明了該算法對(duì)不同的數(shù)據(jù)集有很強(qiáng)的適應(yīng)性。在今后的工作中，數(shù)據(jù)集對(duì)模型壓縮的影響也可以作為一個(gè)研究的方向。

為了進(jìn)一步驗(yàn)證算法的有效性，本文與幾個(gè)主流的壓縮模型作對(duì)比，文獻(xiàn)［13，40］提出的方法是設(shè)置固定閾值，在實(shí)驗(yàn)中，將閾值分別設(shè)置為0.6、0.7和0.8，也與現(xiàn)在主流的YOLOv5［42］進(jìn)行對(duì)比，選擇YOLOv5中對(duì)模型進(jìn)行壓縮的l、m、s三個(gè)版本。如表3所示，在單類別數(shù)據(jù)集CALTECH上、多類別數(shù)據(jù)集KITTI和PASCAL上，本算法剪枝模型勝于其他網(wǎng)絡(luò)模型。證明了本文算法可以更好地去掉模型中的冗余參數(shù)，得到一個(gè)更精簡(jiǎn)的模型。

5 結(jié)束語

針對(duì)目前網(wǎng)絡(luò)模型參數(shù)量多、模型較大、冗余參數(shù)過多、對(duì)硬件平臺(tái)要求較高的問題，本文提出了基于自適應(yīng)閾值的循環(huán)剪枝算法，對(duì)稀疏化訓(xùn)練之后的網(wǎng)絡(luò)計(jì)算縮放因子的分布情況，并根據(jù)縮放因子分布學(xué)習(xí)一個(gè)閾值，然后剪去重要性低的通道，通過一個(gè)循環(huán)的剪枝過程得到一個(gè)更精簡(jiǎn)的模型。這個(gè)學(xué)習(xí)過程是一個(gè)動(dòng)態(tài)的過程，對(duì)不同數(shù)據(jù)集和網(wǎng)絡(luò)結(jié)構(gòu)有很強(qiáng)的適應(yīng)性。同時(shí)將自適應(yīng)閾值通道剪枝和層剪枝相結(jié)合，從網(wǎng)絡(luò)寬度和深度方向進(jìn)一步壓縮，實(shí)驗(yàn)結(jié)果表明本文算法是有意義的。從結(jié)果上來看，盡管可以更有效率地獲得最精簡(jiǎn)模型，但是需要用大量時(shí)間完成循環(huán)剪枝的過程。在今后的研究中，將側(cè)重于從結(jié)構(gòu)化剪枝入手，獲得更精簡(jiǎn)的模型。

參考文獻(xiàn)：

［1］Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks［C］//Advances in Neural Information Processing Systems.2012：1097-1105.

［2］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2014）.https：//arxiv.org/abs/ 1409.1556.

［3］Szegedy C，Liu Wei，Jia Yangqing，et al.Going deeper with convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2015：1-9.

［4］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.2016：770-778.

［5］Huang Gao，Liu Zhuang，Van Der Maaten L，et al.Densely connected convolutional networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：4700-4708.

［6］Ren Shaoqing，He Kaiming，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks［C］//Advances in Neural Information Processing Systems.2015：91-99.

［7］Bertinetto L，Valmadre J，Henriques J F，et al.Fully-convolutional siamese networks for object tracking［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：850-865.

［8］He Kaiming，Gkioxari G，Dollár P，et al.Mask R-CNN［C］//Proc of IEEE International Conference on Computer Vision.2017：2961-2969.

［9］曹文龍，芮建武，李敏.神經(jīng)網(wǎng)絡(luò)模型壓縮方法綜述［J］.計(jì)算機(jī)應(yīng)用研究，2019，36（3）：649-656. （Cao Wenlong，Rui Jianwu，Li Min.Survey of neural network model compression methods［J］.Application Research of Computers，2019，36（3）：649-656.）

［10］Soulié G，Gripon V，Robert M.Compression of deep neural networks on the fly［C］//Proc of International Conference on Artificial Neural Networks.Cham：Springer，2016：153-160.

［11］Denil M，Shakibi B，Dinh L，et al.Predicting parameters in deep learning［EB/OL］.（2013）.https：//arxiv.org/abs/ 1306.0543.

［12］Han Song，Pool J，Tran J，et al.Learning both weights and connections for efficient neural networks［EB/OL］.（2015）.https：//arxiv.org/abs/1506.02626.

［13］Liu Zhuang，Li Jianguo，Shen Zhiqiang，et al.Learning efficient convolutional networks through network slimming［C］//Proc of IEEE International Conference on Computer Vision.2017：2736-2744.

［14］Gong Yunchao，Liu Liu，Yang Ming，et al.Compressing deep convolutional networks using vector quantization［EB/OL］.（2014）.https：//arxiv.org/abs/1412.6115.

［15］Gysel P，Motamedi M，Ghiasi S.Hardware-oriented approximation of convolutional neural networks［EB/OL］.（2016）.https：//arxiv.org/abs/1604.03168.

［16］Hinton G，Vinyals O，Dean J.Distilling the knowledge in a neural network［EB/OL］.（2015）.https：//arxiv.org/abs/1503.02531.

［17］Redmon J，F(xiàn)arhadi A.YOLOv3：an incremental improvement［EB/OL］.（2018）.https：//arxiv.org/abs/ 1804.02767.

［18］Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2016：779-788.

［19］Redmon J，F(xiàn)arhadi A.YOLO9000：better，faster，stronger［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：7263-7271.

［20］Kalman D.A singularly valuable decomposition：the SVD of a matrix［J］.The College Mathematics Journal，1996，27（1）：2-23.

［21］Balaevic＇ I，Allen C，Hospedales T M.Tucker：tensor factorization for knowledge graph completion［EB/OL］.（2019）.https：//arxiv.org/abs/1901.09590.

［22］Chen P，Yu H F，Dhillon I S，et al.Data-aware low-rank compression for large NLP models［C］//Proc of the 35th Conference on Neural Information Processing Systems.2020.

［23］Rastegari M，Ordonez V，Redmon J，et al.Xnor-net：ImageNet classification using binary convolutional neural networks［C］//Proc of Euro-pean Conference on Computer Vision.Cham：Springer，2016：525-542.

［24］Yang Shuo，Hou Le，Song Xiaodan，et al.Speeding up deep learning training by sharing weights and then unsharing［EB/OL］.（2020）.https：//openreview.net/pdf？id=jz7tDvX6XYR.

［25］Ba L J，Caruana R.Do deep nets really need to be deep？［C］//Advances in Neural Information Processing Systems.2014：2654-2662.

［26］Romero A，Ballas N，Kahou S E，et al.FitNets：hints for thin deep nets［EB/OL］.（2014）.https：//arxiv.org/abs/1412.6550.

［27］Chen Hanting，Wang Yunhe，Xu Chang，et al.Data-free learning of student networks［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：3514-3522.

［28］Li Hao，Kadav A，Durdanovic I，et al.Pruning filters for efficient convnets［EB/OL］.（2016）.https：//arxiv.org/abs/ 1608.08710.

［29］Wen W，Wu C，Wang Y，et al.Learning structured sparsity in deep neural networks［C］//Advances in Neural Information Processing Systems.2016：2074-2082.

［30］Zhang Tianyun，Ye Shaokai，Zhang Kaiqi，et al.A systematic DNN weight pruning framework using alternating direction method of multipliers［C］//Proc of European Conference on Computer Vision.2018：184-199.

［31］Meng Fanxu，Cheng Hao，Li Ke，et al.Pruning filter in filter［EB/OL］.（2020）.https：//arxiv.org/abs/ 2009.14410.

［32］Sehwag V，Wang Shiqi，Mittal P，et al.HYDRA：pruning adversarially robust neural networks［EB/OL］.（2020）.https：//arxiv.org/abs/ 2002.10509.

［33］Tang Yehui，Wang Yunhe，Xu Yixing，et al.SCOP：scientific control for reliable neural network pruning［EB/OL］.（2020）.https：//arxiv.org/abs/ 2010.10732.

［34］孫文宇，曹健，李普，等.基于全局信息的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝微調(diào)優(yōu)化方法［J］.北京大學(xué)學(xué)報(bào)：自然科學(xué)版，2021，57（4）：790-794. （Sun Wenyu，Cao Jian，Li Pu，et al.Pruning and fine-tuning optimization method of convolutional neural network based on global information［J］.Acta Scientiarum Naturalium Universitatis Pekinensis，2021，57（4）：790-794.）

［35］劉會(huì)東，杜方，余振華，等.基于強(qiáng)化學(xué)習(xí)的無標(biāo)簽網(wǎng)絡(luò)剪枝［J］.模式識(shí)別與人工智能，2021，34（3）：214-222. （Liu Huidong，Du Fang，Yu Zhenhua，et al.Label-free network pruning via reinforcement learning［J］.Pattern Recognition and Artificial Intelligence，2021，34（3）：214-222.）

［36］http：//www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/［EB/OL］.

［37］http：//www.cvlibs.net/datasets/kitti/index.php［EB/OL］.

［38］http：//host.robots.ox.ac.uk/pascal/VOC/voc2012/［EB/OL］.

［39］https：//pytorch.org/［EB/OL］.

［40］Zhang Pengyi，Zhong Yunxin，Li Xiaoqiong.SlimYOLOv3：narrower，faster and better for real-time UAV applications［C］//Proc of IEEE/CVF International Conference on Computer Vision Workshops.2019.

［41］Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：optimal speed and accuracy of object detection［EB/OL］.（2020）.https：//arxiv.org/abs/ 2004.10934.

［42］https：//github.com/ultralytics/yolov5［EB/OL］.