基于卷積通道篩選的大規模圖像識別

李 鳳，呂 裕，張海曦,何貴青

(1 西北工業大學電子信息學院, 西安 710072；2 西北農林科技大學信息工程學院，陜西 咸陽 712199)

0 引言

圖像分類學是研究圖像種類和物種形成的科學，是控制和轉化圖像的基礎知識。近年來，隨著深度卷積神經網絡的出現和發展，計算機視覺領域正經歷著飛快的、具有歷史性的改變。通過使用深度卷積神經網絡，可以處理大規模的圖像數據，能夠在圖像分類、目標檢測、圖像分割等識別領域有效提高模型性能。

在深度卷積神經網絡的計算過程中，卷積層輸出的特征矩陣中每一個通道輸出的特征矩陣都代表著某種具體特征，各個特征矩陣對網絡性能的影響是不同的。每一個特征矩陣上元素值的大小反映了對某種特征的響應強度。由于網絡訓練是一個不斷更新參數的過程，因此無論特征矩陣上響應值大或小，都會參與到接下來的前向傳播和反向傳播的計算中，然而響應值很小的特征矩陣可能不具有對應卷積核所描述的特征。這種特征矩陣在參與后續計算時會對分類的結果產生不利的影響。從這個角度出發，把輸出這種類型的特征矩陣的通道定義為“壞通道”，并通過有效的特征篩選方法篩選掉這些通道。

作為一種特征選擇方法的有效手段，1范數和2范數能夠反映矩陣元素的大小。文中針對“壞通道”的特征矩陣響應值很小的特點，結合單變量特征選擇高效且易于操作的特點，分別使用1范數和2范數進行判定篩選，對特征矩陣進行計算，并根據值的大小進行排序，將排在末位的通道視作“壞通道”，并對其進行處理；另外設置判別項以限制對特征矩陣過激地操作對網絡性能帶來的不利影響；調整處理通道的數目，找到“壞通道”數目與卷積核數目的規律；最后將1范數和2范數結合，提出了更加有效的特征選擇方法。通過在多個數據集上與基礎網絡進行比較，并在此基礎上與其他的特征選擇方法進行橫向對比，結果證明了方法的有效性。

1 圖像識別相關理論

圖像識別算法最初是通過手工設計的方式來進行的，人們根據需要辨別的類別進行相應的特征設計，并用其對樣本圖像進行全局的運算以得到響應值，最后根據響應值通過分類器進行類別的判定。常用的特征提取方法有Haar-like、SIFT、HOG等。由于早期的圖像分類技術是通過手工設計的方法來提取想要辨別的特征，因此實際上只是利用了樣本圖像的低維淺層信息，無法提取到高維全局特征。

卷積神經網絡的出現巧妙的解決了這個問題，所利用的深度卷積模型可以從訓練數據中逐步學習樣本的層級特征，由顏色輪廓到具有圖形高級語義的抽象特征，因此其性能表現要優于手工設計特征的方法，而且提升了網絡的泛化性，降低了識別工作的難度。

在圖像識別領域中特征提取對于圖像識別十分重要，但提取得到的冗余無效特征不僅會降低網絡的性能，還會帶來額外的計算量，因此有效的特征選擇方法對于網絡性能的提升同樣至關重要。良好的特征選擇有助于提高模型性能，目前常用的特征選擇方法有:去掉取值變化小的特征、單變量特征選擇、線性模型和正則化。去掉取值變化小的特征通過初步篩選去掉絕大多數樣本都具有的特征；單變量特征選擇能夠對每一個特征進行測試，衡量該特征和響應變量之間的關系，根據得分扔掉不好的特征，這對理解數據有較好的作用；線性模型和正則化是使是重要的特征在模型中對應的系數越大，而跟輸出變量無關的特征對應的系數就會接近零，其中的正則化是把額外的約束或者懲罰項加到已有模型上，以防止過擬合并提高泛化能力，正則化主要包括1范數和2范數。

文中提出了一種基于通道篩選的特征選擇方法，該方法結合了單變量特征選擇的易操作性和有效性的特點，以及線性模型和正則化方法的1范數和2范數約束思想，是一種將1和2范數作為判斷依據進行單變量特征選擇的特征選擇算法。

2 基于通道篩選的特征選擇算法

2.1 網絡結構

基于卷積通道篩選的特征選擇算法流程如圖1所示。網絡由卷積層，最大池化層，激活層以及全連接層或平均池化層構成。樣本圖片首先經過卷積層部分，經過前面若干卷積層(藍色所示)直到尾部的卷積層(灰色所示)，尾部卷積層輸出的特征圖被送入到卷積通道篩選模塊。算法首先計算分別計算輸入的特征圖中每一個矩陣的1及2范數，并依據1范數值和2范數值分別由大至小排序，將其隊尾的通道視作“壞通道”，即無用通道，對這些通道進行處理，并將處理后的特征矩陣送入后續的全連接層或平均池化層中，進行最后的分類計算。

圖1 基于卷積通道篩選的算法流程圖

尾部的卷積層的具體位置，是根據最后一部分的具體結構(平均池化層或全連接層)來決定的，為了緩和由于通道篩選所導致的特征信息劇烈變化的問題，處理后的特征圖還需要幾層運算進行過渡。當最后一部分的結構是平均池化層結構時，將這個卷積層設在平均池化層前第3層，即倒數第4層；當最后一部分是全連接層時，將這個卷積層設在卷積層部分的最后一層。

2.2 算法實現

由于1范數具有較好的篩選特征信息的作用，2范數具有避免網絡過擬合的作用，因此選擇方法是將1范數和2范數相結合，共同指導卷積通道篩選的過程。將需要處理的卷積層輸出的特征圖提取出來，對特征圖上的每一個非零矩陣，分別求1范數和2范數，并根據1范數和2范數的值分別進行由大至小排序。由于同一個特征矩陣的1范數和2范數在排序上具有一定的相關性，所以在1范數排序列表中排序靠后的通道中與2范數排序列表中排序靠后的通道中有很多是相同的。因待處理的通道可以被分為4種，將1獨有的通道設為；2獨有的通道設為；1、2共有的通道設為；既不在1范數排序靠后的通道也不在2范數排序靠后的通道設為，如式(1)所示：

(1)

式中:∈[0,特征通道的數量];和是對應的處理系數;為第特征矩陣。處理規則為：當屬于時，對特征矩陣上的每一個元素都乘以系數；當屬于時，對特征矩陣上的每一個元素都乘以系數;當屬于時，對特征矩陣上的每一個元素都乘以系數0；當屬于時，不對特征矩陣進行任何操作。當=0且=0時，則是將1篩選的通道與2篩選的通道取并集共同進行處理；當=0且=1時或=1且=0時，是按照1范數或2范數單獨進行排序進行特征選擇；其他情況則是1范數和2范數共同進行篩選。

將步長設為8通道，每次試驗處理排序在后8個、16個、24個、32個、……通道，并將實驗結果與傳統的深度卷積神經網絡方法進行比對。

2.3 實驗細節

在網絡的訓練過程中，樣本圖片的全部特征矩陣經過通道篩選后，未被視作“壞通道”的特征矩陣繼續正常進行前向轉播。隨后在反向傳播根據損失函數計算誤差并更新參數。而被視作“壞通道”的特征矩陣，在隨后的過程有兩種情況，當式(1)中的==0時與dropout類似，正向傳播過程進行到該卷積核時，傳播停止，其對應的卷積核的參數更新也隨之停止，同時中斷由該卷積核向前的所有系數更新操作，即由該卷積核進行的所有經過鏈式求導法則更新的參數保持不變；當式(1)中的與不同時為0時，將對應通道矩陣乘以對應系數進行后續的運算。

3 實驗結果及分析

3.1 實驗說明

1)數據庫：Orchid flower的子集，包含250個圖像類別；PLANTCELF 2014，包含500個圖像類別。

2)實驗環境：實驗配置為Inter Xeon E5-2678 v3的CPU處理器，32 GB內存和一張NVIDIA RTX 2080的顯卡，初始學習率均為0.01，根據網絡和數據集的不同設置不同的學習率調節方法。

3)基準網絡：使用AlexNet、VGG-11、MobileNetv1和ResNet-18作為基礎網絡，首先在含有全連接層結構的AlexNet和含有跳躍連接和平均池化層的ResNet-18上進行有效性的驗證，隨后拓展到VGG11和MobileNetv1上。

4)對比網絡：使用了一些具有相同基準網絡AlexNet的對比網絡模型來證明文中提出方法的有效性。將文中提出的卷積通道篩選方法與基于AlexNet的多個網絡模型進行比較，其中包括三元組損失、中心損失和收縮激勵模塊。

5)探究實驗：以不同的排序處理規則進行實驗，共分為5組：1范數單獨排序、2范數單獨排序、2單獨排序并增加判定條件、取1和2分別排序后的公共通道、1和2取公共通道并分別處理各自的獨有通道。每次實驗的設置的“壞通道”的步長為8。

6)驗證實驗：一部分是在Orchid flower(250類)上進行實驗，以VGG11和Mobilenetv1作為基礎網絡，分別使用在AlexNet和ResNet-18上的調節參數所獲得的最優參數和1最優參數兩種改進方法，與原始的深度卷積神經網絡進行對比；另一部分是將4種網絡中效果最好的特征選擇改進模型與原始模型在PLANTCLEF 2014上的對比實驗。

AlexNet的批數量設為256，初始學習率為0.01，在Orchid flower和PLANTCLEF 2014上分別訓練60輪，每20輪學習率乘以0.1；MobileNetv1的批數量設為256，初始學習率為0.01，在Orchid flower和PLANTCLEF 2014上分別訓練60輪，每20輪學習率乘以0.1；VGG11的批數量設為64，初始學習率為0.01，在Orchid flower和PLANTCLEF 2014上分別訓練90輪，每30輪學習率乘以0.1；ResNet-18的批數量設為128，初始學習率為0.01，在Orchid flower和PLANTCLEF 2014上分別訓練30輪，每10輪學習率乘以0.1。

3.2 Orchid flower子集上的實驗

文中分別在AlexNet和ResNet-18上用提出的基于卷積通道篩選的特征選擇方法，在含有250個圖像種類的Orchid flower子集上進行了實驗。在AlexNet上首先分別用1范數和2范數單獨進行通道篩選，探究兩種規則分別對網絡性能的影響。最后將1范數和2范數的分別排序結果中排在末位的共有通道作為特征篩選的依據，驗證了取并集處理和分別處理的效果；在ResNet-18上首先分別探究用1范數和2范數單獨篩選特征信息時對網絡性能的影響，隨后將1范數和2范數的排序結果共同作為特征篩選的依據，驗證了取并集處理的效果。

3.3 L1范數篩選實驗結果對比

在AlexNet上進行實驗，只以特征矩陣的1范數作為排序的標準，由于AlexNet含有5個卷積層，且在卷積層與輸出層中間擁有全連接層結構，因此對第5個卷積層的輸出進行特征通道的篩選。第5卷積層含有256個卷積核，故有256個特征矩陣，以8個通道為步長，未被處理的有效通道從248到200，結果如圖2所示。

圖2 AlexNet上依據L1范數進行排序下的準確率

以1范數作為排序規則，其正確率與處理通道數目呈現明顯的相關性，隨著處理通道數的增多，正確率整體先上升后降低。在有效通道數為208時達到最大值。當有效通道數大于208時，由于處理的通道數有限，且排在末尾的通道其元素值過小，因此只對末尾的小部分通道進行處理時，網絡的正確率上升非常有限，隨著處理通道數的增多，正確率整體先上升；當有效通道數小于208時，正確率快速下降，這表明此時已經處理了一部分有用特征，導致樣本特征信息缺失，網絡識別性能下降。因此，在AlexNet上，如果只以1范數作為篩選規則，那么有效通道數為208時效果最好。

接著在ResNet-18上進行實驗。首先，只以特征圖的1范數作為排序的標準，由于ResNet-18含有8個殘差塊，且最后一部分是平均池化層，為了將經過通道篩選模塊選擇后的特征矩陣攜帶的信息能夠平滑的過渡，在第6個殘差塊后進行通道篩選。第6個殘差塊輸出維度是256×14×14的特征矩陣，仍以8個通道為步長，未被處理有效通道從248到200，結果如圖3所示。

圖3 ResNet-18上依據L1范數進行排序下的準確率

以1范數作為排序規則，其正確率與有效通道數目呈現明顯的相關性，隨著“壞通道”數目的增多，正確率整體先上升后降低。在有效通道為232時準確率達到最大值。有效通道數目大于232時，由于處理的通道數有限，且排在末尾的通道其元素值過小，因此只對末尾的小部分通道進行處理時正確率的提升有限，隨著處理通道數的增多，正確率整體先上升；有效通道數目小于232時，正確率快速下降，表明此時已經處理了一部分有效特征，導致樣本圖片的特征信息缺失，網絡性能下降。因此，在ResNet-18上，如果只以1范數作為篩選規則，有效通道數設為232時效果最好。

綜合在以上兩個網絡上的實驗結果，依據1范數排序進行通道篩選時，網絡性能與篩選的通道的數目呈現出很強的相關性，識別正確率均為先逐漸上升，后逐漸下降，說明使用1范數能夠有效地篩選出與識別無關的一些特征矩陣，提高網絡正確率；同時也說明網絡中確實存在“壞通道”，通過消除掉這些“壞通道”的輸出對網絡產生的不利影響，能夠增加網絡的性能。

3.4 L2范數篩選篩選實驗結果對比

把篩選規則改為只以特征矩陣的2范數作為排序的標準，基礎網絡為AlexNet和ResNet-18，數據集為Orchid flower。在AlexNet上使用2范數排序進行通道篩選的實驗結果如圖4所示，2范數作為排序規則，其正確率與處理通道數目有一定的相關性，隨著處理通道數目的增多，正確率整體先上升后趨于平穩，最后降低。將256作為基準線，有效通道數在232～216時正確率趨于不變，在232時達到最大值。由于1范數和2范數對元素值較小的矩陣在排序時有一定的相關性，因此其整體規律與1范數相似，準確率平緩的部分體現了與1范數的差異性，雖然有效通道數目與識別準確率的規律性不如1范數強，但是相對于1范數，2范數只處理很少的一部分通道就達到了最大值。因此以2范數排序，一方面相較于1范數排序效率較高，但另一方面相較于1范數排序穩定性較差。

圖4 AlexNet上依據L2范數進行排序下的準確率

實驗過程中發現，在網絡模型訓練初期，AlexNet的第5卷積層輸出了很多零矩陣，為了驗證提出的特征選擇方法是否會由于處理了過多的非零矩陣導致有效特征損失的情況，使網絡損失值不下降，或者性能降低等問題，增加了一個判斷因子，以保證處理后的非零矩陣不小于總通道數的一半，即128個通道。

在ResNet-18上以2范數排序作為排序規則進行了另一組實驗，實驗結果如圖5所示，其正確率與處理通道數目相關性不強，隨著需要處理的“壞通道”數目的增多，正確率快速上升隨后開始波動，最后下降。在有效通道數為248時達到最大值。相較于上文在AlexNet的2排序時有效通道數目和識別準確率的變化規律，ResNet-18由于層數變多，所以1范數篩選的特征與2范數篩選的特征差異變大，兩個規則排在末位的通道的相關性下降。同樣雖然規律性不如1范數強，但是相對于1范數，2范數只處理很少的一部分通道便達到了最大值。因此在ResNet-18上得到了與AlexNet網絡上相同的規律，即以2范數的排序進行通道篩選操作，相較于1范數排序，它的效率更高，但穩定性較差。

圖5 ResNet-18上依據L2范數進行排序的準確率

綜合在兩個網絡上的實驗結果，以2范數進行排序也能夠提升網絡的性能，但識別準確率并沒有表現出和有效通道數目間很強的相關性。相反地，其識別準確率隨著“壞通道”數目的增加呈現一種波動的現象，這表明單一的2范數排序結果并不具有很好篩選特征的效果，識別準確率提升的原因是使用1范數排序和2范數排序的結果具有一定的相似性，且越在排序末尾，相似性越強。總之，單一地使用2范數進行排序并不能有效地提升網絡的性能，因此需要把1范數的特點和2范數的特點進行結合，在用1范數進行有效篩選的同時，引入2范數增加網絡的魯棒性，減少網絡的過擬合。

3.5 共同篩選實驗結果對比

將1范數和2范數分別排序的結果共同作為篩選的標準，分別在AlexNet和ResNet-18上進行了并集實驗，數據集為Orchid flower，按照8的步長進行“壞通道”的判定，取1范數排序末位中的“壞通道”和2范數排序末位的“壞通道”的全部特征矩陣視作實際進行處理的“壞通道”，即如式(1)中，在==0的情況下進行實驗，最后在AlexNet上進行了1范數和2范數篩選特征的差異性實驗，即對系數和分別取不同的值，觀察對識別準確率的影響，并對實驗結果進行討論。

首先進行了1范數和2范數排序的并集實驗，在AlexNet上的實驗結果如圖6所示，其識別正確率與有效通道數目幾乎沒有明顯的相關性，在有效通道數在248～208之間均高于基準線，且有效通道數目在208時網絡準確率得到最優值，在248和224時得到較為相似的次優值，但最優值略低于只用1范數或2范數篩選的最優值，這是由于1獨有的通道和2獨有的通道里可能都存在有用特征，此時對并集進行處理會損失這些有用特征導致正確率下降。

圖6 AlexNet上依據L1范數和L2范數并集的準確率

在ResNet-18上依據1范數和2范數排序的并集實驗結果如圖7所示。同樣地，網絡識別正確率與有效通道數目幾乎沒有明顯的相關性，正確率先快速升高，在有效通道數為240時準確率達到最大值82.627%，然后快速下降，后趨于平緩，在216時開始正確率開始下降。這是由于ResNet-18相較于AlexNet網絡更深，提取到的信息更加抽象，“壞通道”數目較少且較為聚集，故排序在末位的很少的一部分通道進行處理就很好的提升網絡的性能。在篩選的過程中，考慮到2范數篩選的不穩定性，因此當“壞通道”的數目大于16時，識別正確率呈現出無規律的波動，當“壞通道”大于40時，準確率開始低于標準基準值。由于在最大值時只對16個14×14大小的矩陣進行操作，因此時間效率與原始網絡幾乎不變，但正確率相較于82.009%有了明顯的提升，證明了特征選擇方法的有效性。

圖7 ResNet-18上依據L1范數和L2范數并集的準確率

隨后為了驗證1范數和2范數篩選的差異性，以AlexNet為基礎網絡，數據集為Orchid flower，將彼此的處理系數和分別取不同的值，對準確率的對比隨后給出分析。為了結合1范數和2范數各自篩選的特征信息，又因為1范數排序的準確率與有效通道數目具有很強的相關性，因此在只以1范數排序效果最優的：有效通道數目為208的條件下進行實驗，將排序的結果按照式(1)分為4組，對1范數和2范數特有的通道和通過設置，系數進行處理，實驗結果如表1所示，通過表1可以發現，的取值對網絡性能影響不大，這說明2范數確實不是影響識別準確率的主要因素，在取值為2、取值為05時，網絡識別準確率達到最優78012，這也驗證了之前對1范數和2范數分別作為排序規則時的結論。

表1 在AlexNet上有效通道數為208時，a、b取值的結果

通過對比上述兩部分實驗可以得出結論：在==0的情況，其計算的空間成本和時間成本幾乎不變的前提下只需要處理很少的一部分矩陣就可以達到較好的效果。而由于2范數與剩余通道數的相關性不強，因此需要通過精細的選擇需要處理的通道數量和與的值，才能得到最優值，并且考慮到排序和對特征矩陣元素的操作、計算成本和實際效果，==0時的特征選擇方式更為有效。

3.6 運行時間分析

以AlexNet為主干網絡在Orchid flower數據集上的運行時間。實驗用一張Nvidia RTX2080顯卡，批處理數為256，內存32 GB，處理器為Intel Xeon CPU E5-2678 v3, 運行時間如表2所示。

表2 AlexNet上不同有效通道數目訓練時間對比(a=b=0)

結果表明，運行時間隨著“壞通道”數量的增加而基本呈線性增長。與原始的AlexNet相比，差異在于額外的范數計算、排序以及對特征矩陣元素的乘法操作；考慮到應用卷積通道篩選方法都需要經過范數計算和排序，因此造成時間上的差異主要原因是乘法操作，額外時間增加的時間長度與需要處理元素總數呈正相關。

3.7 與最優模型的對比

分別在Orchid flower子集和PLANTCLEF 2014上進行了實驗。首先將通道篩選方法分別應用在AlexNet、VGG-11、MobileNetv1、ResNet-18上；隨后以AlexNet作為主干網絡，對比了多種特征選擇方法。其中AlexNet在Orchid flower子集上的實驗精確的調整了和的值。考慮到性能效率等問題，本文在其他網絡上進行的實驗都是在==0時進行。在VGG-11上訓練時，由于最后一部分是全連接層，因此在卷積層的最后一層進行通道篩選，最后一層的卷積核數為512個，即512個特征矩陣，故將需要篩選的“壞通道”數設為32，即保留480個有效通道；在MobileNetv1上訓練時，由于其最后一部分是平均池化層，因此本文在全部的可分離卷積層的倒數第3層進行卷積通道篩選，其卷積核數目為512，即512個特征矩陣，同樣將篩選的“壞通道”數目設為32，保留480個有效通道。

1)多種深度卷積神經網絡在Orchid flower數據集的結果對比

應用在多種深度卷積神經網絡上的對比實驗結果如表3所示。

表3 多種模型方法在Orchid flower上的準確率對比

實驗結果表明，基于卷積通道篩選的特征選擇方法在多個類型的深度卷積神經網絡上都能夠有效地提高網絡的準確率，其中在VGG-11提升效果相對較低，原因是VGG-11的最后一層卷積層輸出特征的的尺寸大小是7×7，因此1范數篩選的通道與2范數篩選的“壞通道”的相似度極高，所以并沒有將兩種方法的特點結合有效地進行特征選擇，網絡識別準確率的提升非常有限；與之相對應地，ResNet-18和AlexNet都明顯地提升了準確率，這是因為進行通道篩選的特征矩陣的維度分別為14×14和13×13，相較于VGG11，這兩個網絡上進行處理的特征矩陣尺寸更大，涵蓋的元素值更多，因此1范數篩選的“壞通道”和2范數篩選的“壞通道”的差異性更大，將這兩種范數篩選的“壞通道”結合能更有效地進行特征選擇。

接下來以AlexNet為主干網絡，將3種目前已經應用在卷積神經網絡上的特征選擇方法與文中提出的通道篩選方法進行對比，實驗結果如表4所示。分別在AlexNet上應用了三元組損失、中心損失和SENet中的具有通道級視覺注意力機制的收縮激勵模塊縮放因子為16。表4中的數據顯示，在Orchid flower數據集上進行卷積通道篩選網絡模型獲得了最高的正確率，說明是非常有效的特征選擇方法，另外還可以看到方法和增加收縮激勵模塊的網絡正確率較為接近，但是并沒有增加額外的參數，而收縮激勵模塊是在原有的基礎上并聯了一個SE模塊進行特征選擇，所以綜上所述文中方法效率更高，計算代價更小。

表4 多種特征選擇方法在Orchid flower上的準確率對比

2)PLANTCLEF 2014數據集實驗結果對比

為了驗證算法的魯棒性，在另一個圖像數據集上PLANTCLEF 2014數據集上進行了實驗，基準網絡是AlexNet、VGG-11、MobileNetv1、ResNet-18；隨后在AlexNet應用了上節的3種特征選擇方法。在多種深度卷積神經網絡模型上應用通道篩選方法的實驗結果如表5所示。同樣地，在多個網絡模型上，通道篩選方法都對原模型的性能有一定的提升，其中MobileNetv1的提升最為明顯，AlexNet、ResNet-18以及VGG-11的提升相對較低。這說明，通道篩選方法效果提升的程度與數據集的復雜程度以及數量有一定的關系。

表5 多種模型方法在PLANTCLEF 2014上的準確率對比

在PLANTCLEF 2014上，同樣在傳統的卷積神經網絡AlexNet上應用了先前提到的3種特征選擇方法，實驗結果如表6所示，獲得了最高的準確率。由于PLENTCLEF 2014數據集的類別多，但是圖片總數目相對較少，因此三元組損失和中心損失方法都出現了明顯的性能下降，而收縮激勵模塊和文中的方法都還保持良好的正確率，這說明收縮激勵模塊和通道篩序方法在訓練數據不足時受到的影響較小，仍能有很好的表現，而正確率高于SENet，說明文中的方法魯棒性更強，在有限的數據集總量下依然提取到了非常有辨別力的特征，是更加高效地特征選擇方法。

表6 多種特征選擇方法在PLANTCLEF 2014上的準確率對比

4 結語

針對大規模圖像識別開發了一種新式的基于卷積通道篩選的特征選擇算法。該方法利用1范數和2范數作為評價指標，通過排序篩選掉排在末位的無用通道，從而提升網絡的性能。通過在兩個大規模的圖像數據集以及多個基準網絡上的對比試驗證明了提出方法的有效性，最后通過與目前應用在卷積神經網絡上的其他特征選擇方法進行對比，證明了文中提出的方法的優越性。