基于改進FoveaBox的廢雜塑料檢測

文生平,陳敬福,馮澤鋒,朱珂郁

(1.華南理工大學 廣東省高分子先進制造技術及裝備重點實驗室，廣州 510640;2.華南理工大學 聚合物成型加工工程教育部重點實驗室，廣州 510640;3.福建師范大學 環境科學與工程學院，福州 350007)

0 引言

塑料制品在生產與生活的各個領域都有廣泛的應用。隨著經濟的發展和人們需求的多樣化，塑料制品的種類與產量飛速上升，同時也給廢雜塑料的回收帶來巨大的挑戰。廢雜塑料回收利用的第一步是從眾多可回收垃圾中按照形狀、顏色、用途等對整件廢雜塑料制品進行分類，以方便后續壓扁運輸以及破碎精分等回收操作[1]。當前我國對廢雜塑料進行整件分選的產業線仍處于人工作業的低效率模式，惡劣的工作環境、高昂的人工費用、低效的分選速度以及不穩的分選精度嚴重制約著產業的發展，廢雜塑料分揀行業無疑亟需從人工到自動化的轉型[2]。然而，廢雜塑料因分選對象繁多、外形尺寸差異大、存在彼此遮擋、污染破損等因素影響，基于傳統機器視覺的自動分選方法難以有效應對如此復雜的場景。

人工智能的發展為機器視覺領域帶來新思路，已有不少研究人員將深度學習應用于各種消費與工業場景。肖體剛等人以Yolov3模型為基礎，融合深度可分離卷積結構和多尺度特征檢測，實現對安全帽的智能監控檢測[3]；李震霄等人提出Yolov3-Mobilenetv2算法，解決多車輛跟蹤場景中的實時性和身份跳變問題[4]；董旭彬利用SD-RPN改進Mask R-CNN算法，且融合可見光圖像與紅外圖像以解決航空影像目標檢測中的性能缺陷問題[5]；牛作東引入自注意力機制改進RetinaFace算法，提出了自然場景下人臉口罩佩戴與否的檢測思路[6]；文生平等人基于Gaussian-Yolov3算法，實現了對鋁型材表面缺陷的實時檢測[7]。

目前針對廢雜塑料檢測算法的研究仍較少。趙遠遠等人提出基于Zernike矩的圖像輪廓特征提取及歐氏距離分類算法，解決重疊塑料瓶對廢舊塑料瓶顏色分選的干擾[8]；閻嘉旭等人利用Yolov3模型對綠、藍、白和透明四色廢舊塑料瓶進行檢測[9]；張海洲等人同樣對不同顏色的塑料瓶進行分選，但對Yolov3模型的主干網絡進行修改，提出了Bottle-Yolov3算法[10]。目前已有研究大多按顏色對廢舊塑料瓶進行分選，局限于塑料瓶這一小對象，場景比較理想化，且以顏色進行分類難以滿足當下生產需求。

然而，采用普通的目標檢測模型難以有效應對廢雜塑料分揀場景，第一個原因是廢雜塑料分選背景復雜，實際分選流水線往往由于粗篩不徹底，有其他生活垃圾混入干擾，同時生活中廢雜塑料產品種類繁多，且后期使用中還存在被污染、破損、碾壓，物品外觀已發生較大變化，因此需要模型具有出色的特征提取能力；第二個原因是不同物品間外形差異較大，比如在尺度大小和寬高比例方面存在較大差距。第三個原因是盡管預處理過程會盡量將物品振蕩平鋪，但還是無法避免物品間彼此遮擋，模型可能會漏檢被遮擋的物體。為此，本文將針對飲料瓶、洗漱用品瓶、一次性餐具盒3個更大粒度的廢雜塑料對象進行檢測，選取FoveaBox[11]作為目標檢測的基礎模型。為了提高模型在復雜分選背景下的特征提取能力，采用更深、更寬的ResNeXt-101[12]作為主干網絡代替ResNet-50。為了解決廢雜塑料外形差異大的問題，采用帶有縮放系數的可變形卷積代替普通卷積以提升卷積過程的有效感受野。為了解決物品遮擋的問題，采用帶層級控制因子的軟化加權錨點機制，減少被遮擋目標的漏檢率。經過以上改進，使得模型更適用于廢雜塑料分選場景，為后續實驗線的運行提供了算法支持。

圖1 各類分選場景

1 基于經典FoveaBox的廢雜塑料檢測流程

廢雜塑料檢測需要一種能滿足復雜場景下多目標的實時檢測算法。FoveaBox模型通過主干網絡進行特征提取，再由特征金字塔對不同尺寸的特征圖像進行上采樣和特征融合，增強了網絡對復雜場景下廢雜塑料的檢測能力。在多次特征融合后，會得到不同大小的檢測頭，實現對大小不一的塑料對象的有效檢測。

不同于Faster-RCNN[13]、TridentNet[14]等二階段(two-stage)檢測器，FoveaBox無需經過候選區域，通過采用一階段(one-stage)路線，利用檢測頭直接求得物體的類別概率和位置坐標值；同時不像Yolo、SSD[15]、RetinaNet[16]等基于錨框(anchor-based)的模型，FoveaBox采用無錨框(anchor-free)的思想，摒棄了大量密集的先驗框。而無錨框的檢測模型又可粗略分為兩類——基于錨點(anchor-point)檢測和關鍵點(key-point)檢測。基于錨點檢測的模型有FSAF[17]，FCOS[18]和FoveaBox等，其將檢測框編碼成錨點；而基于關鍵點檢測的模型有CornerNet[19]，ExtermeNet[20]和CenterNet[21]等，其將檢測問題重新定義為檢測框的一些關鍵點定位問題，如角點、中心點或極點。基于關鍵點檢測模型依賴于單個高分辨率特征圖和重復的底到頂、頂到底推理，因此基于錨點檢測的模型往往有更短的訓練和推理時間。FoveaBox作為一種基于錨點的一階段無錨框的檢測模型，減少了網絡模型中的大量參數，保證廢雜塑料檢測的實時性。

FoveaBox與其它基于錨點檢測模型最大區別在于預測目標的區域只取目標中心區域(即中心凹，fovea)的錨點，而非目標所在區域的所有錨點，中心凹大小為原區域的0.4。網絡結構如圖2所示，其中主干網絡為ResNet-50，經過每層特征金字塔Pl融合后各會輸出一個檢測頭，檢測頭特征圖尺寸為W×H/sl，sl為下采樣率，sl=2l，l的取值為3～7，即一共有5個不同尺寸的檢測頭。每個檢測頭包含分類子網絡和邊框回歸子網絡，其中分類子網絡會對每個錨點預測屬于K個類別的概率，邊框回歸子網絡則為每個錨點預測與類別無關的目標位置。

圖2 FoveaBox模型結構

2 改進方案——可變形卷積

卷積神經網絡對于未知形狀變換建模的固有缺陷來源于其基礎模塊固有的幾何結構，這種模式下卷積過程中每一個像素點的感受野是固定的，無法針對待檢測目標的特殊性自適應的改變采樣的結構。在廢雜塑料制品的整件視覺分選過程中，待分選目標的外形尺寸存在較大差異，有些方正有些狹長，從而降低模型的檢測精度。

為解決這種建模上的局限性，將FoveaBox中的普通卷積替換為可變形卷積[22]。通過添加每個采樣點的偏移量，利用反向傳播算法的迭代優化學習偏移量，以使卷積的感受野發生改變，獲取更靈活的采樣區域。

傳統卷積中，以3×3卷積核為例，對于某一卷積輸出p0，都是從以x(p0)為中心擴散的9個像素點區域R采樣，進而與卷積核ω做乘積和得出的結果。采樣區域以中心采樣點偏置的表示方式如式(1)所示：

R={(-1,-1),(-1,0),...,(0,1),(1,1)}

(1)

傳統卷積的輸出公式如下所示：

(2)

可變形卷的輸出公式如下所示：

(3)

其中：Δpn為每個采樣位點的偏移量，偏移量是在原有卷積的基礎上增添一條卷積路徑以學習其中參數的。為避免偏移量過大學習大量無用的上下文信息，反向干擾特征提取信息的有效性，因此對可變形卷積進行優化，限制偏移量的幅值。優化后的可變形卷積如式(4)～(5)所示：

(4)

(5)

其中:η為縮放系數，α和β為待學習超參數，初始化為2。

可變形卷積結構如圖3所示，其中，增添一條卷積路徑，以學習縮放系數，縮放系數的效果是根據原采樣位置，對變形后的采樣位置進行調整，使得最終的采樣結果在像素層面上保持連貫性，在語義層面上保持依賴性。

圖3 可變形卷積結構圖

3 改進方案——軟化加權錨點機制

基于錨點的檢測模型FoveaBox面對物體遮擋的復雜場景，會因為特征不對齊而導致目標邊界位置得到不必要的高分，抑制被遮擋物體的評分，從而使得模型將注意力偏向于靠前更完整的物體，忽略了被遮擋物體的檢測，即注意力偏差問題。

圖4為輸入圖像和分類子網絡輸出的得分熱力圖。圖中存在兩個待檢測物品，靠前完整的一次性包裝盒所在區域生成一個很大高分區域，并且傾向于向被遮擋的飲料瓶區域擴展，嚴重情況下，會造成飲料瓶的漏檢。雖然廢雜塑料分揀流水線會使用振蕩等預處理方式讓物品平鋪，彼此盡可能分散，但難免會出現塑料目標存在緊挨、互相遮擋的情況。為了解決注意力偏差問題，引入軟化加權錨點機制[23]，根據錨點到目標中心的距離賦予不同的權重，避免物體邊緣和中心的錨點被同等對待。

圖4 輸入圖像與特征熱力圖

在FoveaBox模型中，錨點pli,j是金字塔特征圖Pl上(i,j)位置的像素點，每個錨點在原圖上對應一個圖像空間位置(Xli,j，Yli,j)，相應計算公式如式(6)～(7)所示：

Xli,j=sl(i+0.5)

(6)

Yli,j=sl(j+0.5)

(7)

當錨點在標簽框被分配到的特征金字塔Pl層時且(Xlij,Yl ij)在目標中央凹內時，該錨點才為前景錨點，否則都是背景錨點。

前景錨點為對于原圖上某個目標實例的標注框在金字塔特征圖上的某一區域，如果錨點落入當前該區域以內則判定為前景錨點，否則為后景錨點。前景錨點的位置編碼標簽為 (dl,dt,dr,db)，分別對應錨點相對于標簽框的左、上、右、下。其計算公式如式(8)～(11)所示：

(8)

(9)

(10)

(11)

式中，z為標準化因子，(x,y,w,h)為目標實例在原圖上的標簽框坐標信息。

實現權重軟化的方案是多樣的，最簡單的為采用錨點到目標中心距離單調遞減的函數，本文則采用廣義中心度函數[17]，公式如下所示：

wli,j=

(12)

其中:η為縮放比率，控制權重遞減的幅度，(L-l)/L為層級控制因子，控制不同層次的特征金字塔的權重進行差別性衰減，p+和p-分別為前景與后景錨點的集合，權重wlij的取值范圍為0～1。

軟化加權錨點機制如圖5所示，對于同層的前景錨點，錨點越接近預測框的中心，被賦予更大的權重，錨點越接近預測框邊緣，則被賦予較小的權重以減輕對該錨點的關注度；對于不同層級的前景錨點，由于深層的特征圖主要檢測大尺寸目標，可能會跟其他目標具有較大面積的重疊情況，因此需要加速其權重衰減的速率，而淺層的特征圖主要檢測小尺寸目標，如果設置過高的衰減比率，則會導致前景錨點數量不足，使得模型受到較大的正負樣本不平衡的壓力，因此需要減緩其權重衰減的速率，層級控制因子則很好地解決了這個問題。

4 實驗結果及分析

4.1 數據集與實驗軟硬件配置

本數據集主要分為3個類別，包括飲料瓶、洗漱用品瓶和一次性餐具盒，以實地采集與網絡爬蟲的形式相結合，其中通過相關圖片網站爬取篩選6 000張圖片，同時實地采集3 000張待分選廢雜塑料圖片，部分圖片樣例如圖6所示。針對算法訓練的要求，將打亂后的數據集以7∶1.5∶1.5的比例隨機劃分為訓練數據、驗證數據以及測試數據，且保證各個數據集中各類別的比例相近。為了更好地訓練網絡參數，防止模型過擬合，利用數據增強的方式對已有數據集進行擴充，如旋轉、翻轉、裁剪、模糊、添加噪聲等。

實驗主要軟硬件配置如表1所示。

表1 軟硬件配置表

4.2 評價指標

P-R曲線是以召回率為橫坐標，精確率為縱坐標構成的曲線圖像，如圖7所示。其是將模型對于分類的閾值從低往高逐次提高過程中P與R的值作為坐標點連接而成的曲線，直觀表示了分類器的性能，一般認為P-R曲線與坐標軸包圍的面積越大，模型性能越佳。其中平衡點表示P=R時的情況。

圖7 P-R曲線示意圖

在本文廢雜塑料檢測任務中，將使用PASCAL VOC平均精度均值 (mAP,mean average precision) 作為模型算法的檢測性能指標，mAP衡量的是模型在所有類別上分類性能的總體評價。同時，使用模型對一張廢雜塑料圖像的檢測時間作為算法的檢測效率指標。如公式(13)所示：

(13)

式中，Q表示類別數量，AP為平均精度，表示P-R曲線與x,y軸的封閉區域面積，表示模型在一個類別上的分類性能。

4.3 主干網絡對比實驗

在經典的FoveaBox中，主干網絡為ResNet-50，其中的殘差模塊能有效抑制梯度消失以及爆炸的現象，在深度學習領域具有良好的應用范圍。ResNeXt殘差模塊對同一特征圖采用不同大小的卷積核做卷積操作再拼接以融合不同尺度的特征，同時以多個3×3小卷積疊加代替大卷積的方法，使得ResNeXt殘差模塊與ResNet殘差模塊在同等網絡深度下，具有更寬的通道，但參數量卻相差不大，因而具有更好的表現。

ResNeXt模型與ResNet模型是以同一拓撲結構聚合的方式構建卷積模塊，后面的數字代表不同的卷積層數。利用同樣的訓練與測試圖像數據，通過對改進FoveaBox替換不同的特征網絡進行性能對比，以探索何種方案對本文廢雜塑料目標檢測場景更具適應性。

從表2的數據可以看出，增加網絡深度能有效提高mAP，但也需花費更長的檢測時間；采用ResNeXt殘差模塊的模型在同等網絡深度下，只需增加少量檢測時間的代價，模型就有更好的表現，證明了增加網絡的寬度也是提高mAP的有效途徑。從對比實驗也可以看出，ResNeXt-101在增加17 ms的檢測時間情況下，mAP比ResNet-50多了3.51%，在保證檢測實時性的基礎上具有更強的特征提取能力，能更有效應對復雜的廢雜塑料分揀場景。

表2 不同主干網絡對改進FoveaBox算法的效果對比

4.4 數據增強性能實驗

網絡爬取的大量相關圖像并不完全匹配廢雜塑料視覺分選場景，同時，產品種類繁多及使用運輸過程中造成的外觀變化，需要采集更多的圖像以覆蓋各種場景。一般而言，訓練的圖像數據量越大，模型訓練效果越好，因此有必要對圖像集進行擴充。數據增強是視覺領域提升網絡訓練效果最常見且有效的途徑。常用的數據增強包括旋轉、水平翻轉、裁剪、噪聲、模糊等。

本文將設計多種數據增強的方案，通過對已有圖像數據的多種變換，擴充訓練數據的規模，以探索在本文廢雜塑料檢測的中小型數據集下，引入人工數據增強的方案。下面通過實驗對比對不同的數據增強方案加以驗證其實際效果，實驗效果如表3所示。其中，對于每一張圖像，設置其將有30%的概率分別進行10°、15°、20°、25°、30°的旋轉，40%的概率進行水平翻轉，10%的概率進行裁剪，20%的概率添加噪聲，10%的概率進行模糊。

表3 數據增強實驗對比

4.5 改進方案消融實驗

為了直觀感受使用可變形卷積的效果變化，對卷積過程中采樣位置進行記錄并顯示，從而比較模型在采樣過程中的感受野變化。傳統卷積與可變形卷積的采樣位置如下圖8所示。先在頂層的特征圖選取一個激活點在飲料瓶處，經過多次卷積后，傳統卷積的采樣位置僅局限于框定的正方形中，無法較好的適應待檢測目標的形態與位姿，而應用可變形卷積后，經過多層的卷積后，深層特征圖的一個采樣點將擴散至飲料瓶的不同區域，同時由于限制偏移量的幅值，擴散范圍也有所限制，從而能針對性的對待檢測目標進行特征提取。

圖8 傳統卷積與可變形卷積采樣過程

同樣,對使用軟化加權錨點機制的特征熱力圖進行對比，如圖9所示。與圖4相比，使用軟化加權錨點機制后，一次性包裝盒所在的高分區域明顯變小，邊緣錨點權重接近于零，兩個目標都生成了較為明顯的得分區域，兩者之間也能有效地進行區分，注意力偏差問題得到較好的解決。

圖9 輸入圖像與軟化加權錨點后的特征熱力圖

為進一步驗證上文提及各改進方案對廢雜塑料分選場景的有效性，下面將通過消融實驗加以驗證，以mAP和檢測時間作為評判依據。

如表4所示，在原始FoveaBox算法中，mAP值僅有80.84%，但檢測效率達到68.3 ms。兩種改進方案均能提高檢測效果，但由于增加了計算量，均不同程度增加了檢測時間。其中，使用軟化加權錨點機制對于模型的精度提升最高，但少量增加了檢測時間。

表4 消融實驗

對于融合兩種改進方案的FoveaBox模型，可以發現改進方案之間并沒有明顯的效果沖突現象，最后mAP達到85.79%，平均檢測效率實現71.4 ms檢測一張圖像的效果。相對于其他方案都具有一定的提升，且滿足工業場景實時作業的效率要求，驗證了本文提出的改進FoveaBox算法的有效性與可行性。

5 結束語

本文針對廢雜塑料的分選場景，提出了一種基于改進的FoveaBox目標檢測算法。為了解決復雜背景下目標檢測問題，使用ResNeXt-101作為主干網絡以提高特征提取能力。為了解決廢雜塑料外形差異大的問題，使用帶縮放系數的可變形卷積來提高卷積過程的有效感受野。為了解決目標間彼此遮擋的問題，使用帶層級控制因子的軟化加權錨點機制，使模型更有效地區分緊挨的物品。通過消融實驗，證明改進方案的有效性，改進模型在滿足實時性的情況，具有更高的檢測精度，基本滿足實際生產需求。隨著采集的樣本數據日漸豐富，模型檢測能力將進一步增強。