面向煤礦安全監測邊緣計算的YOLOv5s 剪枝方法

摘要：目前，邊緣計算與機器視覺相結合具有較好的煤礦安全監測應用前景，但邊緣端存儲空間和計算資源有限，高精度的復雜視覺模型難以部署。針對上述問題，提出了一種面向煤礦安全監測邊緣端的基于間接和直接重要性評價空間融合（IDESF）的YOLOv5s 剪枝方法，實現對YOLOv5s 網絡的輕量化。首先對YOLOv5s 網絡中各模塊的卷積層進行結構分析，確定自由剪枝層和條件剪枝層，為后續分配剪枝率及計算卷積核剪枝數奠定基礎。其次，根據基于卷積核權重幅值和層相對計算復雜度的卷積核權重重要性得分為可剪枝層分配剪枝率，有效降低剪枝后網絡的計算復雜度。然后，基于卷積核直接重要性評價準則，將卷積層的間接輸出重要性以縮放因子的形式引入直接重要性空間中，更新卷積核位置分布，構建包含卷積核輸出信息和幅值信息的融合重要性評價空間，提高卷積核重要性評價的全面性。最后，借鑒topk 投票的思想對中值濾波篩選冗余卷積核的流程進行優化，并用有向圖的鄰接矩陣中節點的入度來量化卷積核的冗余程度，提高了冗余卷積核篩選過程的可解釋性和通用性。實驗結果表明：① 從平衡模型精度和輕量化程度的角度出發，剪枝率為50% 的YOLOV5s_IDESF 是最優的輕量級YOLOv5s。在VOC 數據集上， YOLOv5s_IDESF 的mAP@.5 和mAP@0.5∶0.95 均達到最高，分別為0.72 和0.44，參數量降至最低2.65×106，計算量降低至1.16×109，綜合復雜度也降至最低，圖像處理幀率達到31.15 幀/s。② 在煤礦數據集上，YOLOv5s_IDESF 的mAP@.5 和mAP@0.5∶0.95 均達到最高，分別為0.94 和0.52，參數量降至最低3.12×106，計算量降低至1.24×109，綜合復雜度也降至最低，圖像處理幀率達到31.55 幀/s。

關鍵詞：智慧礦山；煤礦安全監測邊緣計算；卷積核剪枝；網絡輕量化；直接重要性評價準則；間接重要性評價準則；剪枝率；YOLOv5s

中圖分類號：TD76 文獻標志碼：A

0 引言

智慧礦山[1-2]融合了物聯網、大數據和人工智能等先進技術，為提升煤礦生產的安全性、效益性和可持續性提供了全新的解決方案?；跈C器視覺的煤礦安全生產監測成為智慧礦山體系中的關鍵組成部分[3]，通過實時感知和分析煤礦工作環境的圖像數據，全面監測礦工、礦車和礦井狀態，為事故的防范和管理提供有力支持。雖然基于深度卷積神經網絡（Convolutional Neural Networks， CNN）的目標檢測方法在不斷更新優化，但將其部署在礦端的邊緣計算設備上并開展實時檢測任務仍是一個具有挑戰性的工作，由于邊緣計算設備的計算資源有限，難以支持高計算復雜度的視覺算法運行[4]，基于卷積核剪枝的網絡輕量化方法為降低視覺算法的計算復雜度提供了一種有效的解決方案。

目前，網絡的結構化剪枝主要是基于特定的重要性評價準則[5-7]。在準則所屬的重要性評價空間中，重要性得分低于閾值的卷積核或層將被剪枝。根據是否與歐氏空間中卷積核的權重幅值直接相關，評價準則分為直接和間接重要性評價準則。直接重要性評價準則大多基于卷積核幅值的特定重要性排序策略。文獻[8]選擇L1 范數作為衡量卷積核重要性的指標，L1 范數越小，卷積核被剪枝的可能性越大。文獻[9-11]使用卷積核權重幅度的L2 范數或可學習縮放系數的L2 范數對卷積核進行全局排序，排名越低的卷積核越有可能被剪除。文獻[12]對卷積核之間的距離進行計算求和，得到“距離權重”，并以此權重作為評價卷積核重要性的指標。文獻[13]提出使用中值濾波作為基本方法，卷積核越接近卷積層的幾何中值，越能夠被其他卷積核替代。卷積核間接重要性評價準則主要是基于對卷積核輸出層面重要性的研究[14-15]。文獻[16-18]利用最小化卷積核子空間與原始模型輸出之間的代價函數，遍尋輸出對模型性能影響最小的卷積核組并剪枝。文獻[19-20]使用批量歸一化層中的縮放因子作為衡量卷積核輸出重要性的指標。文獻[21]用泰勒展開為卷積核的輸出分配門閾值，并修剪低于門閾值的輸出通道和對應的卷積核。文獻[22-23]提出了基于輸出特征圖的屬性或秩排序的剪枝方法，當特征圖的排名越低時，生成這些特征圖的卷積核越有可能被剪枝。文獻[24]提出如果第i+1 層中輸入特征圖的子集與第i 層中的原始輸出近似，則應修剪生成其他圖的卷積核。文獻[25]提出基于特征圖的相似度層次進行通道聚類，并且分組為一類的通道包含冗余通道及其對應的冗余卷積核。上述研究依據直接重要性或間接重要性評價準則來剪除冗余卷積核，都能夠輕量化網絡，但仍存在諸多問題：① 基于卷積核幅值的直接重要性評價準則缺乏對卷積核輸出結果的約束。② 基于卷積核輸出通道的間接重要性評價準則忽略卷積核信息相對重要性，易造成剪枝不徹底，無法達到最優網絡結構。③ 一般的剪枝方法中各層剪枝率都與全局剪枝率保持一致[26]，不利于降低網絡復雜度。

針對上述問題，本文提出了一種基于直接和間接重要性評價空間融合（An Indirect and DirectEvaluation Space Fusion， IDESF）的YOLOv5s 剪枝方法。先為各可剪枝層分配基于權重重要性得分的剪枝率，實現層剪枝率差異性分配，以有效降低剪枝后的網絡復雜度；再構建包含卷積核輸出信息和幅值信息的融合重要性評價空間，優化中值濾波篩選冗余卷積核的流程，量化卷積核的冗余程度，有助于提升卷積核重要性評價的全面性。

1 IDESF

1.1 YOLOv5s 的可剪枝層結構

YOLOv5s 中2 個主要的卷積模塊為CBL 模塊和跨階段局部（Cross Stage Partial， CSP）模塊。CBL模塊是由卷積層、批標準化層和激活層組合而成。CBL 模塊內部計算過程如下：

式中： fi為第i 層卷積層的輸出特征圖；conv2d 為二維卷積操作；Ni-1和Ni分別為第i?1 層和第i 層中的卷積核總數；si為第i 層的卷積核滑動步長；*為卷積操作；Fi-1_out為第i?1 層激活層的輸出特征圖；fi_out第i 層批標準化層處理后的特征圖；λ和β為可訓練的仿射變換參數；μB和σB分別為批量為B 的特征圖的均值和標準差；ε為極小值； g 為激活層的激活函數。

由于CBL 模塊中卷積層的輸出通道是批歸一化層的輸入特征圖通道，所以卷積層的卷積核、批歸一化層的特征圖通道及下一個卷積層的輸入通道可同時進行剪枝。當沒有殘差結構時，CBL 模塊中的卷積層都是可自由剪枝層。

CSP 模塊主要由CBL 模塊、殘差單元模塊、卷積層、批標準化層、激活層及殘差結構組成，其中殘差單元模塊由于存在特征圖通道一一對應相加的操作，在卷積層剪枝時需保證相加的2 個特征圖通道數一致，其具體組成如圖1 所示。

從圖1 可看出，殘差模塊中輸出特征圖Fi_cv1out與Fi0_cv2out 進行通道相加，為滿足要求并簡化算法，本文將Fi_cv1out 對應的卷積層和Fi0_cv2out 對應的卷積層中的卷積核保留個數設置為相同數值，且該數值為二者中保留卷積核數較少的數值，因此，與殘差單元模塊相關聯的卷積層視為條件可剪枝層。

1.2 基于權重重要性得分的卷積層剪枝率分配方法

文獻[27-31]的研究表明，卷積核的幅值可用來衡量其特征提取能力。卷積核的幅值越接近于零，越傾向于濾除輸入特征圖的信息，易造成信息丟失，但網絡計算復雜度的問題很容易被忽視?；贑OCO 數據集訓練的YOLOv5s 網絡的60 個卷積層中，各層卷積核權重中幅值較大的集中在淺層，而在中層和深層網絡中的權重幅值較小。

由于特征圖尺寸隨著網絡的加深而增大，直接增加了卷積層的每秒浮點運算數（Floating Point Operations Per Second，FLOPs），即淺層網絡的計算復雜度較低，而深層網絡的計算復雜度較高。因此，為了從幅值和計算復雜度2 個方面衡量卷積核各權重元素的重要性，本文設計了基于層相對浮點運算和權重幅值Mi， j，q的權重重要性得分φi， j，q。

式中：φi， j，q為第i 層第j 個卷積核上的第q 個權重重要性得分；Mi， j，q為第i 層第j 個卷積核上的第q 個權重幅值；O1 和Oi 分別為第1 層和第i 層的浮點運算數。

在已知全局剪枝率為P 的條件下，對全體可剪枝層的卷積核權重的重要性得分進行降序排序，以獲得權重重要性得分閾值φthred，所有得分低于閾值的權重認為是冗余可剪枝部分。

式中：Q 為所有可剪枝卷積層中權重元素的總個數；σ為開關函數，當輸入為真時，輸出為1。

將閾值φthred作為每個可剪枝卷積層的權重重要性得分基準，計算層剪枝率pi。

式中Ki為第 i 層卷積層的卷積核尺寸。

卷積核剪枝數Ei 通過取整的方式確定：

Ei = round（Nipi） （8）

式中round 為基于四舍五入的取整函數。

權重較小或計算復雜度較大的卷積層將被分配較高的剪枝率。

1.3 IDESF 框架

IDESF 框架如圖2 所示，首先，對YOLOv5s 進行稀疏化訓練，得到卷積核間接重要性因子（將仿射變換參數λi， j積核間接重要性因子）集合{λi， j}和卷積核集合{Gi， j}，Gi， j為第i 層的第j 個卷積核，即遍歷的所有目標卷積核；其次，對YOLOv5s 網絡的可剪枝卷積層進行剪枝率的差異性分配，得到各卷積層中待剪枝卷積核的數量；然后，將間接重要性因子引入卷積核之間的歐氏距離D 中，以構建融合重要性評價空間；最后，以topk 投票結果構建有向圖A，并通過該有向圖鄰接矩陣的入度來量化卷積核的冗余程度并剪枝。

1.3.1 融合重要性評價空間的構建

首先，構造尺寸為Ni×Ni的相似度矩陣S，用以衡量卷積層中各卷積核之間的緊密程度， 中的元素S ij，h為第i 層卷積層中的目標卷積核j 與第h 個卷積核之間基于距離L2 范數的相對相似性系數。

式中：Gi，h為第i 層的第h 個卷積核，即該層卷積層遍歷的所有卷積核；Gi，g為第i 層的第g 個卷積核，即除了目標卷積核之外的剩余卷積核。

其次，將文獻[13]中稀疏正則化訓練后的通道縮放系數作用在上層卷積層中對應目標卷積核與其他所有卷積核之間的歐氏距離上，目標卷積核Gi， j和剩余卷積核Gi，g之間的新空間距離為

D′ （Gi，j，Gi，g）= D（Gi，j，Gi，g） i; j 1≤g≤Ni （10）

λi， j值越大，更新后的目標卷積核 Gi， j與剩余卷積核Gi，g之間的距離越遠，越遠離幾何中心點；反之，λi， j值越趨近于0， 則該作用越可能將目標卷積核Gi， j 聚集到剩余卷積核Gi，g周圍，越接近幾何中心點。

將間接重要性λi， j融入直接重要性評價空間中，得到相似度矩陣：

遍歷第i 層中的所有目標卷積核Gi， j，并根據其與該層卷積層遍歷的所有卷積核Gi，h之間的信息相似度定義相似性級別R（Gi，h| Gi， j）。

相似性級別越小，代表Gi，h與Gi，j的信息相似性系數越高 ，即卷積核Gi，h與Gi，j越相似。

最后，采用topk 投票策略，第i 層卷積層的每個卷積核根據相似性級別投票選出前k 個與之最為相似的卷積核，形成冗余卷積核組Ωij_top（k）。其中，k 的初始值為第i 層中卷積核待剪枝數量。

Ωij_top（k） ={Gi，hjR（Gi，hjGi，j）≤k h = 1，2，…，Ni}（13）

1.3.2 卷積核冗余度的量化及剪枝

在融合重要性評價空間中，將卷積核視作節點，利用topk 投票選出的冗余卷積核組構建有向圖，并計算其鄰接矩陣Bi（A）。

式中mia，b為Bi（A）中第a 行第b 列的元素，1≤a≤Ni，1≤b≤Ni，當剩余卷積核Gi，g屬于目標卷積核Gi， j投票選出的冗余卷積核組時，這2 個卷積核之間的連接關系為1，否則為0。

根據鄰接矩陣計算有向圖 A 的入度矩陣Vi（B）。

式中vi，a為第 i 層卷積層的綜合評價空間有向圖 A 入度矩陣的第a 列元素，代表第a 個節點的入度，即該卷積核的入度。

根據卷積核入度數與該層卷積核總數一致與否，篩選出該卷積層中與其他任意卷積核信息都高度相似的冗余卷積核集合，該層冗余卷積核的數量為

當Hpreprune與該層分配的待剪枝數量Ei 不相等時，按步長為1 增加topk 投票的k 值，直至Hpreprune與Ei 相等，完成卷積層中的冗余卷積核剪枝。

2 實驗

2.1 數據集

采用公開的重要目標檢測數據集Pascal VOC[32]和本文依托的智慧礦山項目中所用的關于礦工礦車的私有數據集 2 種數據集來檢測本文方法的有效性。數據集Pascal VOC 共有20 個物體類別，包含2005—2012 年舉辦的Pascal VOC 挑戰賽的數據，本文主要將VOC2007 和VOC2012 的數據集中的訓練集Train（共11 540 張圖像） 進行合并訓練， 并用VOC2007 測試集（共4 952 張圖像）進行測試。將私有數據集定義為Miners and Harvesters dataset（MH?dataset），該數據集中的圖像來自真實作業礦場的監控視頻，通過Labelimg 對其進行標簽設置，其中包含礦工和礦車2 個類別，共包含2 819 張圖像，按9∶1 劃分為訓練集和測試集。

2.2 實驗設置

在2 個數據集上將所提出IDESF 剪枝算法與先進的輕量化模型及最新的剪枝算法如YOLOv5s?ghostnet 網絡、YOLOv5s_eagleEye 剪枝算法[33]、YOLOv5s_Soft Filter Pruning（YOLOv5s_SFP）軟剪枝算法[9]和YOLOv5s_FPGM（Filter Pruning via GeometricMedian） 剪枝算法[13]進行對比， 其中YOLOv5s_IDESF 剪枝算法與YOLOv5s_FPGM 剪枝算法的對比實驗可作為引入間接重要性因子的消融對比實驗。

本文的大部分訓練超參數都按照YOLOv5s 的默認超參數設置， 具體如下： ① YOLOv5s 方法和YOLOv5s?ghostnet 方法正常訓練及剪枝后各方法微調訓練時的優化器為Adam，學習率為0.001，迭代訓練輪數為100，batch-size 為32。② YOLOv5s 稀疏化訓練中的規則化函數為L1 范數，稀疏率初始值設置為0.000 2，稀疏化訓練輪數為100，batch-size 為8，優化器為Adam，學習率為0.001。③ 網絡剪枝時，保證不剪枝整層的條件下，剪枝率從20% 起，按10% 進行遞增，不使用優化器。

本文使用目標檢測中常用的mAP@.5、mAP@0.5：0.95、參數量、FLOPs 和幀速率作為模型評價指標，另外還增加了綜合復雜度指標Co，其計算方式為FLOPs 和參數量相加。

實驗使用的邊緣計算設備為Jetson Xavier NX，具有6 核Carmel ARM CPU， GPU 是384 個CUDA內核配備48 個Volta 架構的Tensor 內核， 預裝Ubuntu18.04 操作系統。

2.3 VOC2007 測試集的實驗結果

為了實現最佳剪枝，首先對不同剪枝率下各輕型YOLOv5s 目標檢測方法的性能進行比較，以確定最優輕型YOLOv5s 目標檢測方法。選擇YOLOv5s_FPGM 和YOLOv5s_SFP 與所提出的YOLOv5s_IDESF 方法進行不同剪枝率下的性能比較，結果見表1。

從表1 可看出， 對YOLOv5s 進行FPGM[13]剪枝，剪枝率從20% 上升至50% 時，mAP@.5 單調遞減且極差為0.2， mAP@0.5∶0.95 單調遞減且極差為0.2；當剪枝率從50% 繼續升高時，mAP@.5 和mAP@0.5∶0.95 損失較大。就輕量程度而言， 剪枝率從20% 上升至80% 時， YOLOv5s_FPGM 的計算復雜度FLOPs 和參數量未降低， 幀速率略有波動。對YOLOv5s 進行SFP[33]剪枝， 剪枝率從20% 上升至50% 時， mAP@.5 單調遞減且極差為0.11， mAP@0.5∶0.95 單調遞減且極差為0.13；當剪枝率從50% 繼續升高時，mAP@.5 和mAP@0.5∶0.95 損失較大。就輕量程度而言， 剪枝率從20% 上升至80% 時，YOLOv5s_SFP 的計算復雜度FLOPs 和參數量未降低， 幀速率略有波動。對YOLOv5s 進行IDESF 剪枝，剪枝率從20% 上升至50% 時，mAP@.5 變化非常平穩，極差為0.01，mAP@0.5∶0.95 略有提升；當剪枝率從50% 繼續升高時，mAP@.5 和mAP@0.5∶0.95 均高于同等剪枝率下的YOLOv5s_FPGM 和YOLOv5s_SFP。就輕量程度而言，剪枝率從20% 上升至80%時，YOLOv5s_IDESF 的計算復雜度FLOPs 和參數量均有顯著降低， 幀速率整體呈現波動上升趨勢。YOLOv5s_IDESF 在剪枝率低于50% 時精度保持較平穩，在剪枝率高于50% 時精度較高，但隨著剪枝率的上升，模型的計算復雜度、參數量越低，幀速率波動上升。因此，從平衡模型精度和輕量化程度的角度出發，剪枝率為50% 的YOLOV5s_IDESF 最優。

在VOC2007 測試集上， 將剪枝率為50% 的YOLOv5s_IDESF， YOLOv5s_FPGM 和YOLOv5s_SFP，與基于結構重組的YOLOv5s?ghostnet 和基于架構搜索的YOLOv5s_eagleEye 進行性能對比，結果見表2。

由表2 可看出， 與其他方法相比， YOLOv5s_IDESF 的mAP@.5 和mAP@0.5∶0.95 均最高， 分別為0.72 和0.44， 參數量降至最低， 為2.65×106，FLOPs 降低至1.16×109，排名前3，Co 也降至最低。與YOLOv5s 相比，YOLOv5s_IDESF 的FLOPs、參數量分別降低了39% 和55%，在邊緣計算設備上的圖像推理速度加快了5%，每秒處理圖像31 幀以上。

2.4 MH?dataset 測試集的實驗結果

在MH 數據集上驗證YOLOv5s_IDESF 在煤礦安全生產場景中的實際應用性能。3 種剪枝方法在不同剪枝率下得到的輕量級YOLOv5s 性能變化情況見表3。

從表3 可看出，在煤礦數據集上對YOLOv5s 進行FPGM[13]剪枝， 剪枝率從20% 上升至60% 時，mAP@.5 呈現上下波動趨勢， 極差為0.08， mAP@0.5∶0.95 逐漸下降，極差為0.03；當剪枝率從60% 繼續升高時，mAP@.5 損失變大。就輕量程度而言，剪枝率從20% 上升至80% 時， YOLOv5s_FPGM 的計算復雜度FLOPs 和參數量未降低，幀速率略有波動。對YOLOv5s 進行SFP[33]剪枝， 剪枝率從20%上升至60% 時， mAP@.5 和mAP@0.5∶0.95 呈現上下波動趨勢， mAP@.5 精度極差為0.05， mAP@0.5∶0.95 極差為0.03；當剪枝率從60% 繼續升高時，mAP@.5 和mAP@0.5∶0.95 損失較大。就輕量程度而言，剪枝率從20% 上升至80% 時， YOLOv5s_SFP的計算復雜度FLOPs 和參數量未降低，幀速率略有波動。對YOLOv5s 進行IDESF 剪枝， 剪枝率從20% 上升至50% 時， mAP@.5 呈上升趨勢， 極差為0.03， mAP@0.5∶0.95 極差為0.02， 精度變化非常平穩；當剪枝率從50% 繼續升高時， mAP@.5 損失較大。就輕量程度而言， 剪枝率從20% 上升至80%時， YOLOv5s_IDESF 的計算復雜度FLOPs 和參數量均有顯著降低，幀速率整體上呈現波動上升趨勢。YOLOv5s_IDESF 在剪枝率低于50% 時，mAP@.5保持穩定單調遞增，在剪枝率為50% 時mAP@.5 最高，但隨著剪枝率的上升，模型的計算復雜度、參數量降低，幀速率波動上升。因此，從平衡模型精度和輕量化程度的角度出發，剪枝率為50% 的YOLOV5s_IDESF 最優。

在MH?dataset 測試集上， 將剪枝率為50% 的YOLOv5s_IDESF、YOLOv5s_FPGM 和YOLOv5s_SFP，與基于結構重組的YOLOv5s?ghostnet 和基于架構搜索的YOLOv5s_eagleEye 進行對比實驗，結果見表4。

從表4 可看出， 與其他方法相比， YOLOv5s_IDESF 的mAP@.5 和mAP@0.5∶0.95 均最高， 分別為0.94 和0.52，參數量降至最低，為3.12×106，計算量降低至1.24×109， 排名前3， Co 也降至最低。與YOLOv5s 相比， YOLOv5s_IDESF 的mAP@.5 提高了8.1%，計算量、參數量分別降低了40% 和56%，在邊緣計算設備上的圖像推理速度加快了3%，實現每秒處理圖像31 幀以上。

3 結論

1） 在開源VOC 數據集上，從平衡模型精度和輕量化程度的角度出發，剪枝率為50% 的YOLOV5s_IDESF 是最優的輕量級YOLOv5s。與其他方法相比， YOLOv5s_IDESF 的mAP@.5 和mAP@0.5∶0.95均最高， 分別為0.72 和0.44， 參數量降至最低， 為2.65×106， FLOPs 降低至1.16×109，排名前3，綜合復雜度也降至最低。與YOLOv5s 相比， YOLOv5s_IDESF 的FLOPs、參數量分別降低了39% 和55%，在邊緣計算設備上的圖像推理速度加快了5%，實現每秒處理31.15 幀圖像。

2） 在煤礦數據集MH?dataset 上，從平衡模型精度和輕量化程度的角度出發， 剪枝率為50% 的YOLOV5s_IDESF 是最優的輕量級YOLOv5s。與其他方法相比，YOLOv5s_IDESF 的mAP@.5 和mAP@0.5∶0.95 均達到最高，分別為0.94 和0.52，參數量降至最低，為3.12×106，計算量降低至1.24×109，排名前3，Co 也降至最低。與YOLOv5s 相比，YOLOv5s_IDESF 的mAP@0.5 提高了8.1%，計算量、參數量分別降低了40% 和56%， 在邊緣計算設備上的圖像推理速度加快了3%，實現每秒處理31.55 幀圖像。

3） 未來將嘗試基于其他優秀的直接型和間接型的評價準則來構建融合空間并結合其他壓縮方法，例如量化和低秩分解等，以進步加速網絡運行。

參考文獻（References）：

[ 1 ]LUAN Hengxuan，XU Hao，TANG Wei，et al. Coal andgangue classification in actual environment of minesbased on deep learning[J]. Measurement， 2023， 211： .DOI：10.1016/j.measurement.2023.112651.

[ 2]王宇，于春華，陳曉青，等. 基于多模態特征融合的井下人員不安全行為識別[J]. 工礦自動化， 2023，49（11）：138-144.

WANG Yu， YU Chunhua， CHEN Xiaoqing， et al.Recognition of unsafe behaviors of undergroundpersonnel based on multi modal feature fusion[J].Industry and Mine Automation，2023，49（11）：138-144.

[ 3 ]董昕宇，師杰，張國英. 基于參數輕量化的井下人體實時檢測算法[J]. 工礦自動化，2021，47（6）：71-78.

DONG Xinyu， SHI Jie， ZHANG Guoying. Real-timedetection algorithm of underground human body basedon lightweight parameters[J]. Industry and MineAutomation，2021，47（6）：71-78.

[ 4 ]許志，李敬兆，張傳江，等. 輕量化CNN 及其在煤礦智能視頻監控中的應用[J]. 工礦自動化，2020，46（12）：13-19.

XU Zhi， LI Jingzhao， ZHANG Chuanjiang， et al.Lightweight CNN and its application in coal mineintelligent video surveillance[J]. Industry and MineAutomation，2020，46（12）：13-19.

[ 5 ]SHAO Linsong， ZUO Haorui， ZHANG Jianlin， et al.Filter pruning via measuring feature mapinformation[J]. Sensors， 2021， 21（9） . DOI： 10.3390/s21196601.

[ 6 ]LUO Jianhao， WU Jianxin. An entropy-based pruningmethod for CNN compression[EB/OL]. [2023-12-12].https：//arxiv.org/abs/1706.05791v1.

[ 7 ]HE Yang， DING Yuhang， LIU Ping， et al. Learningfilter pruning criteria for deep convolutional neuralnetworks acceleration[C]. IEEE/CVF Conference onComputer Vision and Pattern Recognition， Seattle，2020：2006-2015.

[ 8 ]LI Hao， KADAV A， DURDANOVIC I， et al. Pruningfilters for efficient ConvNets[EB/OL]. [2023-12-12].https：//arxiv.org/abs/1608.08710v3.

[ 9 ]HE Yang，KANG Guoliang，DONG Xuanyi， et al. Softfilter pruning for accelerating deep convolutional neuralnetworks[EB/OL]. [2023-12-12]. https：//arxiv.org/abs/1808.06866v1.

[10]SARVANI C H， RAM D S， MRINMOY G. UFKT：unimportant filters knowledge transfer for CNNpruning[J]. Neurocomputing，2022，514：101-112.

[11]CHIN T W， DING Ruizhou， ZHANG Cha， et al.Towards efficient model compression via learned globalranking[C]. IEEE/CVF Conference on Computer Visionand Pattern Recognition，Seattle，2020：1515-1525.

[12]ZHANG Wei， WANG Zhiming. FPFS： filter-levelpruning via distance weight measuring filtersimilarity[J]. Neurocomputing，2022，512：40-51.

[13]HE Yang，LIU Ping，WANG Ziwei，et al. Filter pruningvia geometric Median for deep convolutional neuralnetworks acceleration[C]. IEEE/CVF Conference onComputer Vision and Pattern Recognition ，Long Beach，2019：4335-4344.

[14]FATEMEH B， MOHAMMAD A M. Evolutionaryconvolutional neural network for efficient brain tumorsegmentation and overall survival prediction[J]. ExpertSystems with Applications， 2023， 213. DOI： 10.1016/j.eswa.2022.118996.

[15]ALESSIA A， GIANLUCA B， FRANCESCO C， et al.Representation and compression of Residual NeuralNetworks through a multilayer network basedapproach[J]. Expert Systems with Applications，2023，215. DOI：10.1016/j.eswa.2022.119391.

[16]ZHOU Hao， ALVAREZ J M， PORIKLI F. Less ismore： towards compact CNNs[M]. Cham： Springer，2016.

[17]áLVAREZ J M，SALZMANN M. Learning the numberof neurons in deep networks[J]. Neural InformationProcessing Systems， 2016. DOI： 10.48550/arXiv.1611.06321.

[18]WEN Wei， WU Chunpeng， WANG Yandan， et al.Learning structured sparsity in deep neural networks[EB/OL]. [2023-12-12]. https：//arxiv.org/abs/1608.03665v4.

[19]LIU Zhuang， LI Jianguo， SHEN Zhiqiang， et al.Learning efficient convolutional networks throughnetwork slimming[C]. IEEE International Conferenceon Computer Vision ，Venice，2017：2755-2763.

[20]HE Yihui， ZHANG Xiangyu， SUN Jian. Channelpruning for accelerating very deep neural networks[C].IEEE International Conference on Computer Vision，Venice，2017：1398-1406.

[21]YOU Zhonghui， YAN Kun， YE Jinmian， et al. Gatedecorator： global filter pruning method for acceleratingdeep convolutional neural networks[EB/OL]. [2023-12-12]. https：//arxiv.org/abs/1909.08174v1.

[22]MILTON M， BISHSHOY D， DUTTA R S， et al.Adaptive CNN filter pruning using global importancemetrics[J]. Computer Vision and Image Understanding，2022，222：. DOI：10.1016/j.cviu.2022.103511.

[23]LIN Mingbao，JI Rongrong，WANG Yan，et al. HRank：filter pruning using high-rank feature map[C].IEEE/CVF Conference on Computer Vision and PatternRecognition，Seattle，2020：1526-1535.

[24]LUO Jianhao，WU Jianxin，LIN Weiyao. ThiNet：a filterlevel pruning method for deep neural networkcompression[C]. IEEE International Conference onComputer Vision ，Venice，2017：5068-5076.

[25]CHANG Jingfei，LU Yang，XUE Ping，et al. Automaticchannel pruning via clustering and swarm intelligenceoptimization for CNN[J]. Applied Intelligence， 2022，52（15）：17751-17771.

[26]YU Ruichi， LI Ang， CHEN Chunfu， et al. NISP：pruning networks using neuron importance scorepropagation[C]. IEEE/CVF Conference on ComputerVision and Pattern Recognition， Salt Lake City， 2018：9194-9203.

[27]ZHU M，GUPTA S. To prune，or not to prune：exploringthe efficacy of pruning for model compression[EB/OL].[2023-12-12]. https：//arxiv.org/abs/1710.01878v2.

[28]HAN Song， POOL J， TRAN J， et al. Learning bothweights and connections for efficient neural network[J].Neural Information Processing Systems， 2015. DOI：10.48550/arXiv.1506.02626.

[29]FRANKLE J， CARBIN M. The lottery tickethypothesis： finding sparse， trainable neural networks[EB/OL]. [2023-12-12]. https：//arxiv.org/abs/1803.03635v5.

[30]GALE T， ELSEN E，HOOKER S. The state of sparsityin deep neural networks[EB/OL]. [2023-12-12]. https：//arxiv.org/abs/1902. 09574v1.

[31]MOSTAFA H，WANG Xin. Parameter efficient trainingof deep convolutional neural networks by dynamicsparse reparameterization[C]. 36th InternationalConference on Machine Learning， Long Beach， 2019：4646-4655.

[32]EVERINGHAM M，GOOL L，WILLIAMS C K I，et al.The pascal visual object classes （VOC） challenge[J].International Journal of Computer Vision，2010，88（2）：303-338.

[33]LI Bailin， WU Bowen， SU Jiang， et al. Eagleeye： fastsub-net evaluation for efficient neural networkpruning[C]. 16th European Conference on ComputerVision，Glasgow，2020，639-654.

基金項目：國家自然科學基金項目（62173349）；湖南省自然科學基金項目（2022JJ20076）；湖南省科技創新計劃項目（2022RC1090）。