基于深度學習框架的裝配機器人零件實時檢測方法

余永維， 彭西， 杜柳青， 陳天皓

(重慶理工大學 機械工程學院, 重慶 400054)

0 引言

近年來，隨著智能制造技術的發展，利用視覺機器人對零件進行自動檢測成為了智能裝配領域的研究熱點。傳統機器視覺的目標檢測算法依賴基于人工設計的特征提取器，通過角點檢測算法[1]、加速穩健特征(SURF)算法[2]、方向梯度直方圖或基于邊緣像素躍遷等算法獲取特征分類器，以達到工件檢測的目的。由人工設計的特征分類器魯棒性差，無法適應目標工件出現相互粘連、堆疊等復雜情形。

深度卷積神經網絡能夠自動學習待檢測對象的特征，完全無需人為干預，自學習所獲特征的泛化性遠優于人工特征，并更有利于優化特征分類模型[3-7]。目前應用廣泛的卷積神經網絡目標檢測算法主要分為基于區域的目標檢測算法(如區域卷積神經網絡(R-CNN)算法[8]、區域全卷積網絡(R-FCN)算法[9]等)和基于回歸的目標檢測算法(如一次性檢測(YOLO)算法[10]、單次多盒檢測(SSD)算法[11]等)。基于區域的目標檢測算法對目標的定位精度較高，但是檢測速度依然存在問題，如Faster R-CNN算法[12]等。基于回歸算法的YOLO系列算法檢測速度快，但是精度比Faster R-CNN算法相對偏低。Redmon等[13]進一步提出YOLOv2和YOLOv3改進算法，通過引入維度聚類、殘差網絡模塊和多尺度預測，在保證檢測速度的同時，大幅提升了檢測準確率。

但是，面對粘連、堆疊、光照變化及環境因素干擾等工業現場復雜條件，基于Darknet-53特征提取網絡的YOLOv3網絡算法檢測精度降低，達不到實際應用的要求。因此，為保證裝配機器人在復雜條件下零件識別和定位的實時性和正確率，本文提出一種融合綜合特征增強(CFE)模塊和Darknet-53的深度特征自學習網絡CFE-Darknet53，在Darknet-53的每個殘差網絡后嵌入CFE模塊，建立YOLOv3深度學習框架下基于CFE-Darknet53的零件實時檢測模型，顯著提升了檢測網絡在復雜環境下的特征提取能力。同時，提出一種基于改進K-means算法的邊界框預測方法來獲取最優的錨框個數和尺寸。實驗結果表明，其不僅能夠準確檢測常規位姿下的零件，而且在相機過度曝光、工件相互遮擋等復雜情形下，都具有很好的檢測效果。

1 基于CFE-Darknet53特征提取網絡的零件實時檢測

1.1 檢測方法

借鑒殘差網絡(RESNet)和YOLOv2算法中Darknet-19網絡結構，YOLOv3算法設計出基礎分類網絡Darknet-53，與此前的分類網絡相比，Darknet-53網絡具有浮點運算更少、速度更快的優點，在一些自然圖像的物體檢測中準確率達到了近90%[14-17]。但是在粘連、堆疊、光源變化及環境因素干擾等復雜工業現場條件下，YOLOv3算法對零件實時檢測準確率為70%左右，達不到實際工業應用的要求。

圖1 檢測流程Fig.1 Detection process

圖2 基于CFE-Darknet53的零件實時檢測原理Fig.2 Real-time detection based on CFE-Darknet 53

為增強深度學習檢測網絡的特征提取能力，提高復雜條件下檢測準確率，本文在Darknet-53中5個殘差連接后插入CFE模塊，提出一種融合CFE模塊和Darknet-53的特征提取網絡CFE-Darknet53，建立YOLOv3框架下基于新特征提取網絡CFE-Darknet53的零件實時檢測模型，其檢測流程及原理分別如圖1和圖2所示，具體方法如下：在目標檢測階段，首先將圖片尺寸統一調整為416×416，通過CFE-Darknet53特征提取網絡，輸出尺度為13×13的特征圖；13×13特征圖經內插值上采樣實現2倍放大，然后與CFE-Darknet53提取網絡輸出的第43個卷積特征圖進行融合，獲得尺度為26×26的特征圖；將該26×26特征圖進行內插值上采樣放大為52×52尺度，然后與CFE-Darknet53提取網絡輸出的第26個卷積特征圖進行特征拼接與融合，獲得52×52的特征圖；3種尺度的特征圖分別經過3次卷積、標準化及非線性激活(CBL)操作，分別實現對輸入圖片大、中、小3種尺寸目標的檢測。每種尺度的檢測輸出都包括標記框坐標、標記框網格所對應的置信度和類別等3類信息；最后，采用非極大值抑制方法對13×13、26×26、52×52 3種尺度的檢測輸出進行處理，獲得對原始輸入圖像的識別與檢測結論。

1.2 特征提取網絡CFE-Darknet-53構建

與YOLOv2算法比較，YOLOv3算法對小目標的檢測能力有所提升，但是對于零件尺寸較小且無明顯表面特征、多個零件相互堆疊與遮擋、多類零件外形高度相似等復雜工作場景，仍缺乏魯棒性，容易出現漏檢和誤檢的情況。因此，本文提出一種融合CFE模塊和Darknet-53的深度特征自學習網絡CFE-Darknet53，優化YOLOv3算法中用于特征自學習的深度卷積基礎網絡Darknet-53，以提升零件檢測模型在復雜實際工作場景下的圖像特征挖掘能力。

CFE模塊內部遵循分裂- 轉換- 聚合策略，內嵌入更多的子空間，可以強化淺層特征并進行橫向拉伸，增強網絡對上層信息的傳遞能力[18]。

經參數優化后，CFE模型的結構如圖3所示，圖中C表示作為CFE模型輸入特征圖的通道數。CFE模塊把大小為m×m的卷積核劃分為尺度分別為m×1和1×m的兩個新卷積核，兩個新卷積核并行但有相反的梯度。Darknet53基礎網絡中的卷積核大小為3×3，實際檢測中，將CFE模塊卷積核K值同樣設定為3. 這樣，既使CFE模塊具有相同大小的感受野，又能顯著提高模型的運行效率。因此，輸入CFE模塊的特征圖需要經過k×1和1×k兩個卷積核的并行處理，再通過特征拼接與融合，然后與輸入特征網絡層以短連接方式組成殘差網絡，最終獲得CFE模塊。

圖3 優化參數后的CFE模型(從左至右：輸入通道數， 卷積核大小，輸出通道數)Fig.3 CFE model with optimized parameters (from left to right: number of input channel, size of convolution kernel and number of output channel)

此外，兩個并行分支的起始及末尾均通過尺度為1×1的卷積核連接，是為了能夠學習更多的非線性關系，并進一步提高檢測模型的泛化能力；同時，為防止梯度消失與過擬合，CFE模塊中的每個卷積層均通過正則化處理，并采用非線性激活函數。

考慮到Darknet-53網絡中每個殘差連接層融合了不同層次的特征信息，所以在每個殘差網絡塊后增加CFE模塊，融合CFE模塊與Darknet-53基礎網絡后形成新的特征自學習網絡CFE-Darknet53，既加大了網絡寬度，又提高了模型的特征自學習與傳遞能力，CFE-Darknet53結構如圖4所示。

圖4 特征提取網絡CFE-Darknet53(CBL m-n: m、n分別表示卷積核的步長與尺寸；CFE-C：C表示CFE模型的輸入通道數)Fig.4 Feature extraction network CFE-Darknet53 (CBL m-n: m and n represent the step length and size of convolution kernel; CFE-C：C represents the number of input channel in CFE model)

2 基于改進K-means算法的零件邊界框定位

邊界框對目標檢測準確率有重要影響。YOLOv3算法采用傳統K-means聚類算法確定待檢數據集中錨框個數和尺寸。但是傳統K-means算法對于不同的聚類中心初值，往往會得到不同的聚類結果，聚類中心初值選擇不當甚至可能出現局部最優解，或不能實現有效聚類，這會影響零件邊界框計算的準確率。粒子群優化(PSO)算法具有優秀的搜索能力，引入PSO算法對K-means聚類結果進一步聚類計算，可以得到更有效的標記框，以選取最優的錨框個數和尺寸，進一步提高檢測精度，從而彌補傳統K-means算法的上述缺陷。

基于改進K-means算法的零件邊界框聚類原理如下：

1)針對零件圖像的標記框樣本集，采取K-means算法進行初始聚類，搜索出聚類中心對應的k個標記框。

K-means算法的距離公式定義為

d(b,c)=1-U(b,c)，

(1)

式中：b表示數據集中標記框；c表示作為聚類中心的矩形框；U(b,c)表示標記框與聚類中心的交并比。

設置目標函數f(d)為每個矩形標記框樣本與其對應聚類中心距離之和：

(2)

式中：M為聚類中心的數量；N為單一聚類所含的零件標記框樣本數；m為標記框的編號；n為聚類中心的編號。

2)初始化粒子的位置與速度，方法是先將每一個零件標記框進行隨機歸類，然后計算出每類的中心(x0,y0)，將其指定為粒子的初始位置P0，并設其初始速度為0.

3)將目標函數f(d)作為粒子適應度函數，計算各粒子對應的適應度值。

將適應度值最小的粒子所在位置指定為種群的最優位置PG. 同樣，把第i個粒子在適應度值最小時所在的位置指定為其個體的最優位置PG(i).

4)根據慣性權重z的調整公式對其動間距態更新：

z(t)=zmax-(zmax-zmin)t/tmax，

(3)

式中：zmax、zmin分別為慣性權重的最大值和最小值，分別設定為1.4和0；t表示迭代次數的當前值；tmax表示迭代次數的最大值。

5)用vi、Pi分別表示第i個粒子的速度和位置，根據其計算公式動態更新：

vi(t+1)=z(t)vi(t)+s1r1(PG(i)-Pi)+
s2r2(PG-Pi)，

(4)

Pi(t+1)=Pi(t)+H0(1-t/tmax)vi(t+1)，

(5)

式中：s1、s2表示學習因子，均設定為2；r1、r2表示在[0,1]范圍均勻分布的隨機數；H0表示粒子的飛行常數，設定為1.5.

6)依鄰近原則將每一個零件標記框進行重新歸類，并更新各類的聚類中心。

7)根據收斂閾值判定粒子群搜索是否達到終止條件。

收斂閾值σ2定義為

(6)

式中：I為粒子群的規模；f(pi)表示第i個粒子的適應度；fa表示粒子群的適應度均值。

8)如粒子群已收斂，此時的種群最優位置PG即為聚類中心，并輸出處于聚類中心位置的所有矩形框。

在邊界框預測階段，YOLOv3算法將圖片分成若干網格，零件中心在哪個網格內，那么該網格就負責預測零件的類別和坐標。如圖5所示，零件中心僅在網格1內，則網格1為正例，其他網格內不含零件中心，均為負例，而與其交并比的大小無關。

圖5 網格示意圖Fig.5 Sketch of the grid

在訓練階段YOLOv3算法直接預測坐標相對于網格的偏移量gx和gy，計算公式為

(7)

式中：x、y為零件中心點的坐標；w、h表示零件原始圖像的寬與高。選擇S型函數Sigmoid作為激活函數，將結果映射到[0,1]范圍內，以增加對偏移的約束。

3 實驗及分析

3.1 實驗方法

本文實驗的軟硬件平臺：中央處理器Intel(R) Core(TM) i7-8700，顯卡NVIDIA GeForce GTX 1060，內存16 GB；工業相機為杭州海康威視數字技術股份有限公司生產的MV-CE013-50GM型相機；光源為東莞樂視自動化科技有限公司生產的LTS-RN9600-R/BGW型光源；操作系統為Ubuntu 14.04 LTS；深度學習框架為Darknet.

為檢驗算法的有效性，選取5種相似度較高的零件以增加檢測難度，用CCD相機拍攝處于各種位姿的零件圖像，一共采集1 000張零件樣本圖像，包含多個零件堆疊與遮擋、多類零件外形高度相似、光照不均勻等復雜生成場景。隨機選取200張作為測試集，800張作為訓練集。零件類型如圖6所示。

圖6 數據樣本類別Fig.6 Categories of data samples

選擇標注工具LabelImg標記制作零件的樣本數據集。基于POS優化算法，采用改進的K-means算法對樣本數據的標記框進行聚類分析，確定最優的錨框個數和尺寸，目標函數f(d)的變化曲線如圖7所示。

圖7 目標函數變化曲線Fig.7 Variation curve of object function

從圖7中可知，當標記框數為12后，隨著聚類中心增加，距離函數的值不再明顯變小，其對應的聚類中心參數排序為(36,45)、(38,52)、(43,56)、(49,62)、(67,93)、(71,91)、(70,99)、(73,98)、(92,125)、(100,124)、(102,132)、(105,140)。

3.2 網絡訓練

訓練采用Momentum梯度下降算法，其學習率為0.001、每一批樣本訓練數量為64、動量項參數為0.9、權重衰減系數為0.000 5.

網絡迭代次數不足，損失函數不能充分收斂，檢測準確率低，但網絡訓練次數過多，也可能因過擬合而影響準確率。因此，每訓練迭代500次均保存對應權重參數，訓練結束后獲得完整的訓練權值文件，根據損失函數收斂曲線選擇最優訓練次數及最佳權重參數。迭代訓練達到25 000次后所對應的損失函數曲線如圖8所示，從該損失值變化曲線可知，網絡訓練10 000次后，損失函數已趨收斂，各權值參數基本不再變化，網路訓練的損失函數收斂于0.035 2.

圖8 訓練損失值變化曲線Fig.8 Change curve of training loss value

網絡訓練完成后，在5類零件的測試樣本集中隨機選擇50幅圖像，采用召回率來測試及評估訓練效果。召回率P定義為

P=TP/(TP+FN)，

(8)

式中：TP為識別正確的零件圖像數量；FN為識別錯誤的零件圖像數量。

采用召回率評價網絡訓練效果，訓練1 000 0次時召回率為90.60%，表明有較高的檢測準確率。訓練14 000次至18 000次時對應的召回率如表1所示，表明迭代1 000 0次后召回率有所波動，但總趨勢是有所降低。

表1 迭代次數與召回率Tab.1 Iteration number and recall rate

3.3 檢測效果

3.3.1 單類零件檢測效果

圖9 單類零件檢測效果Fig.9 Detection effect of single type parts

針對單類零件的檢測，5類零件一共測試了300張圖片，檢測效果如圖9所示，圖中分別用A、B、C、D、E分別表示自鎖螺母、法蘭螺母、壓鉚螺母、S型壓鉚螺母、滾花銅鑲螺母。常規情況下單個零件的檢測準確率均超過94%，即使在嚴重重疊、光照變化、位姿變換、拍攝失真等各種復雜生產場景下，檢測準確率也均在90%以上，檢測時間為43 ms，在視頻傳輸幀率(24幀/s)下實現了實時檢測，檢測準確率和實時性如表2所示。

表2 單類零件檢測性能Tab.2 Detection data of single-class parts

3.3.2 多類零件檢測效果

針對多類型零件混雜情況，分別對正常情況下的239張以及復雜生產場景下的261張多類零件混雜圖像進行測試。本文算法在復雜生產場景下的多類零件混雜圖像檢測效果如圖10(a)～圖10(d)所示，結果表明，在遮擋、背景變化、過曝光等復雜條件下，本文算法均能準確檢測多類零件。為了模擬實際應用場景，增加4組多類零件雜亂擺放且有其他零件混雜等雜亂度更高的復雜場景，包括雜亂擺放且混有其他零件、雜亂擺放且待檢測零件被干擾零件遮擋、相互重疊且與其他零件雜亂擺放、待檢測零件與混雜零件相互重疊，檢測效果如圖10(e)～圖10(h)所示，表明本文算法也有較高的檢測準確率，均能達到91%以上。為了進一步說明本文算法的有效性，采用SUR人工特征算法、SSD300算法、 YOLOv3算法、CFE模塊算法4種其他算法與本文算法進行對比實驗，檢測效果如表3所示，傳統SUR算法的準確率較低(僅為62.5%)，另外一種基于回歸的SSD300算法檢測準確率為77.8%，單純的YOLOv3算法與CFE模塊算法檢測準確率均為81%左右，均低于復雜條件下本文算法91.6%的平均準確率，驗證了本文算法的優越性。

4 結論

工業生產線上，視覺裝配機器人在粘連、堆疊、光照變化及環境因素干擾等復雜條件下零件檢測準確率低、魯棒性差，為此，本文提出了基于CFE-Darknet53深度特征提取網絡的零件深度學習檢測方法，根據實驗結果得出以下主要結論：

圖10 多類零件復雜條件下檢測效果Fig.10 Detection effect under complex conditions

1)提出了融合CFE模塊和Darknet-53的新特征提取網絡CFE-Darknet53，顯著提升了檢測網絡在復雜環境下的特征提取能力。

2)建立了深度學習框架YOLOv3下基于CFE-Darknet53的零件實時檢測模型，在保證檢測實時性的同時，較大程度提升了復雜條件下對零件的檢測能力，在復雜條件下對相似度很高的多類零件檢測準確率達到91.6%以上。

表3 本文算法與其他算法性能對比Tab.3 Comparison of detection accuracies ofdifferent algorithms

3) 基于改進K-means算法的邊界框預測方法，能夠確定最優的錨框個數和尺寸，降低了漏檢率和誤檢率，進一步提高了檢測準確率。