基于Mask R-CNN的槍彈底火裝配質量檢測系統(tǒng)設計

李文靜，石義官，徐 亮

(1.重慶水利電力職業(yè)技術學院智能制造學院， 重慶 402160；2.中國兵器裝備集團自動化研究所， 四川 綿陽 621000)

底火作為槍彈中的重要部件，其裝配質量直接影響著武器裝配的戰(zhàn)技指標。底火裝配過程中存在一定的未知因素可能造成底火裝配缺陷的制品，主要表現(xiàn)為底火擦痕、無底火、爛底火、底火壓痕(凹痕)、橫底火、反底火等。一直以來，槍彈裝配質量的檢測多采用人工方式進行，其生產效率低，勞動強度大，生產質量受人為影響因素較大。隨著槍彈生產效率的提高[1]和在線檢測質量可追溯，現(xiàn)有的檢測方式不能滿足裝配質量的自動化、高效在線檢測的要求。

機器視覺技術已被廣泛應用于現(xiàn)代工業(yè)生產中，國內早在2009年就由許運來[2]提出了采用基于CCD和圖像處理的方式檢測槍彈的圓柱外表面質量檢測。近年來，孫文緞[3-4]提出了基于線陣相機采集的槍彈表面質量檢測技術，利用圖像處理槍彈表面缺陷進行分類檢測。茍文韜等[5]設計了一套完整的缺陷分割及缺陷分類的槍彈外觀質量檢測解決方案。近年來，深度學習在缺陷檢測領域也有迅猛的發(fā)展，李雪瑩等[6]提出了采用基于gcForest機器學習算法的彈殼檢測系統(tǒng),實現(xiàn)了尺寸測量和表面缺陷分類，實現(xiàn)了正確率為96.1%的損傷分類。利照堅等[7]提出基于改進卷積神經網絡和Faster RCNN網絡相結合的方法實現(xiàn)子彈缺陷檢測，使得準確率、召回率和mAP達90%。然而，目前的研究主要集中在槍彈表面及外觀缺陷的檢測，而對于槍彈底火缺陷檢測的研究基本空白。

本文針對槍彈底火裝配質量的自動化、高線和在線檢測的需求，提出了采用Mask R-CNN的槍彈底火裝配質量檢測系統(tǒng)，用于檢測底火裝配后的質量問題(如漏裝、反裝、劃傷等)。

1 系統(tǒng)結構

該檢測系統(tǒng)主要由設備運行系統(tǒng)、數(shù)據交換、圖像檢測系統(tǒng)構成，如圖1所示為系統(tǒng)組成結構。設備運行系統(tǒng)由控制器PLC、傳感器、電機氣缸、轉盤支架等組成，主要完成綜合管理設備的正常運轉、與圖像檢測系統(tǒng)的數(shù)據交換、并對不合格產品進行剔廢。數(shù)據交換系統(tǒng)采用以太網鏈接，進行信號觸發(fā)及結果處理。圖像檢測系統(tǒng)主要由工控機、攝像頭及光源組成，主要是對槍彈底火部位進行拍照及處理。對于該檢測系統(tǒng)，攝像機的拍攝效果直接關系到機器視覺識別算法的設計及檢測的準確度，因此攝像機的選擇至關重要，本文選擇工業(yè)CCD相機技術參數(shù)如表1所示。攝像頭位于子彈轉盤的正上方，光源位于轉盤與攝像頭的正中間，確保為待檢槍彈底火提供充足的光照，如圖2所示為系統(tǒng)硬件結構實物。

該檢測系統(tǒng)的工作流程如圖3所示，上料機構將子彈傳送到轉盤上，轉盤運送子彈進入底火檢測系統(tǒng)工位。當子彈到達相機位置時，PLC將觸發(fā)CCD相機進行槍彈底火圖像采集，相機安裝如圖2所示。CCD相機經光電傳感器及模數(shù)轉換等圖像采集模塊將二進制信號送到上位機中。上位機中的圖像處理模塊采用基于Mask R-CNN的識別算法對底火質量進行自動檢測，判斷產品OK與NG。如果檢測到存在缺陷，將信號通過數(shù)據交換接口輸送到設備運行PLC，由運行PLC做出相應剔廢動作。

圖1 系統(tǒng)組成結構框圖

技術參數(shù)參數(shù)值感光芯片IMX264靶面尺寸2/3″、1/4″、1/1.8″感光芯片尺寸最大8.4 mm×7.1 mm水平/垂直分辨率最大2 448px×2 048px分辨率最大6 MP幀速率23 fps以上像素位深10 or 12 bits

圖2 圖像采集系統(tǒng)硬件結構實物

圖3 系統(tǒng)工作流程圖

2 Mask R-CNN網絡模型

2.1 Mask R-CNN簡介

Mask R-CNN是一種基于深度學習的圖像實例分割算法，可對物體進行目標檢測和像素級分割，完成物體的圖像分割、特征點定位和類別檢測等。Mask R-CNN結合Faster R-CNN與全卷積神經網絡( Fully convolutional networks，F(xiàn)CN)算法分別進行目標定位與分割[8]。Mask R-CNN的網絡結構圖如圖4所示，主要包括特征提取層、區(qū)域建議網絡(Region proposal network，RPN) 、ROIAlign層以及全連接層。Mask R-CNN算法首先采用特征金字塔網絡(Feature Pyramid Network，F(xiàn)PN)對目標圖像進行特征提取并生成多尺度特征圖(Feature Map)。區(qū)域建議網絡(RPN)找出圖像中的候選區(qū)域( Region of interest，ROI)，將得到的候選區(qū)域映射到特征圖后傳入ROIAlign層，ROIAlign層進一步對特征圖進行像素校正得到固定維度的特征向量，然后將特征向量傳入全連接層來預測不同實例所屬分類，最終得到興趣目標實例分割結果。同時，在ROI Align層后添加了一個掩碼分支(Mask branch)，生成目標圖像的分割掩碼。

圖4 Mask R-CNN網絡結構框圖

1) Faster R-CNN

Ross B.Girshick在2016年提出的Faster R-CNN檢測器，主要由區(qū)域建議網絡(RPN)和Fast R-CNN組成。Mask R-CNN使用特征金字塔網絡(FPN)+ResNet101進行特征提取，將提取的特征圖輸入RPN中，RPN主要用于尋找可能包含目標物體的最接近真實框的候選框，使得網絡進一步接近實時檢測。為了獲得精準的目標位置，通過Fast R-CNN預測判斷RPN生成的每個建議區(qū)域的分類概率，從而優(yōu)化RPN的建議區(qū)域的偏移量。

2) ROI Align

獲取到候選區(qū)域之后，需要將其轉化為固定維度的特征向量，以便后續(xù)的分類和邊界框回歸。Mask R-CNN中使用ROI Align方法。ROI Align層主要通過雙線性內插的方法計算像素點上的像素值，將特征聚集的過程轉換為連續(xù)過程，遍歷各個候選區(qū)域并保存浮點數(shù)邊界，取消了量化操作過程，提高了算法檢測分割時的精度。

雙線性插值方法保證了池化過程中像素輸入前后的對應關系，回傳過程中，采用如下公式進行反向傳播[9]：

(1)

其中：xi表示的是池化前特征圖上的像素點；yrj為池化后第r個區(qū)域中第j個坐標點；i(r,j)代表點yrj對應的原圖像像素點坐標；Δh與Δw分別表示橫縱坐標的梯度[10]。

3) FCN

FCN網絡用于預測分割，它的工作原理的是利用反卷積對最后一個卷積層的特征圖進行上采樣以不斷擴大特征圖，使它恢復到與輸入圖像相同的尺寸，并對每個像素值進行分類，從而實現(xiàn)輸入圖像的準確分割。Faster R-CNN為每個候選對象ROI提供了兩個輸出，邊界框偏移量(Box Regression)和類標簽(Classification)，Mask R-CNN算法并行添加了一個用于預測分割的掩碼層(Mask Branch)，Mask Branch分支是應用到每一個 ROI 上的一個小的 FCN，用FCN從每一個ROI中預測出一個m×m大小的mask[10]。

2.2 網絡訓練

文中選用101層的深度殘差網絡ResNet101作為特征提取層的基礎網絡，模型超參數(shù)的設置與Faster R-CNN 基本一致[11]。網絡中每個樣本ROI的損失函數(shù)L為

L=Lbox+Lcls+Lmask

(2)

其中：Lbox為邊框損失函數(shù)；Lcls為分類損失誤差；Lmask為掩膜損失函數(shù)。

其中，邊框損失函數(shù)如式(3)所示，

(3)

(4)

分類層是用于分類，輸出k+1維數(shù)組p，表示屬于k類的背景和概率。對于每個ROI輸出離散型概率分布p=(p0，p1，…，pk)，通常p由k+1類的全連接層利用softmax計算得出[12]。Lcls由真實分類u對應的概率決定：

Lcls(p,u)=-logpu

(5)

Lmask表示平均二進制交叉熵損失函數(shù)如式(6)所示，

(6)

3 試驗驗證與應用分析

3.1 試驗平臺

本實驗的訓練與驗證均基于TensorFlow框架，系統(tǒng)運行環(huán)境為Ubuntu16.04，訓練階段 GPU：1080Ti、8G 內存，通過Pyhon語言實現(xiàn)編程操作。

3.2 數(shù)據集的準備

使用 Mask R-CNN 對底火缺陷進行識別時，首先需要對底火圖像進行標注。目前，槍彈底火缺陷圖像并沒有像Image Net，MNIST手寫體數(shù)字識別等項目具有公共的圖像庫[15]，本文的數(shù)據集主要通過CCD相機拍攝來自槍彈生產流水線，在數(shù)據集建立的過程中，采集了槍彈不同形態(tài)、不同位置、不同角度的缺陷圖片，如劃傷、爛底、歪底、反底、側底等的圖片500張，底火缺陷示例如圖5所示。為了彌補訓練樣本數(shù)量的不足，提高模型的訓練精度，本文對原有的訓練樣本進行圖像水平/豎直翻轉，鏡像，平移等幾何變換，最終將樣本擴充為2 000張，其中訓練集為1 600張，400張為測試集。然后采用LabelMe軟件對數(shù)據集進行標注，標注后的每張圖片都會生成一個JSON文件存放繪制點的坐標信息。

圖5 底火缺陷示例

3.3 槍彈底火缺陷檢測算法流程

本文提出的基于Mask R-CNN的槍彈底火缺陷檢測方法具體的檢測算法主要有以下幾個步驟：① 獲取待檢測槍彈底火的圖像；② 對獲取的底火圖像進行位置矯正，定位底火中間，畫定底火檢測區(qū)域。③ 把提取的底火圖像傳輸?shù)接柧毢玫木W絡模型中進行檢測，判斷是否具有缺陷；④ 獲取模型的檢測結果，若未檢測到缺陷則為合格，若檢測到缺陷則將結果輸出到PLC以對此槍彈進行剔除，檢測流程如圖6所示。

圖6 槍彈底火檢測算法流程框圖

3.4 算法驗證

為了驗證本文算法的可行性，利用本文所提出的算法對西南自動化研究所采集的1 000幅底火裝配現(xiàn)場樣本圖像進行識別，圖7展示了部分檢測結果。圖中虛線邊框區(qū)域表示檢測算法標記的缺陷存在位置，實線為手動繪制缺陷區(qū)域，如圖7可以看出采用本文的識別方法能取得較好的識別效果。利用本文檢測算法檢測結果和與人工檢測結果如表2所示?？梢钥闯?，本文檢測算法比人工檢測在正確率和速度方面均有較大幅度提升。

圖7 底火缺陷檢測結果

檢測方法缺陷底火圖像漏檢錯檢正確檢測率/%每張檢測時間/ms本文算法1731099.4400人工檢測1733496650

該系統(tǒng)已在西南自動化研究所底火裝配流水線安裝使用，整個系統(tǒng)通過測試，運行良好。截至目前，該系統(tǒng)共檢測槍彈底火圖像6632張，其中合格底火4 992個，不合格數(shù)為1 640，圖8所示為軟件監(jiān)控界面。

圖8 軟件監(jiān)控界面

4 結論

根據槍彈底火裝配質量在線檢測的需求，研究了基于Mask R-CNN的槍彈底火裝配質量檢測系統(tǒng)，設計了槍彈底火裝配質量檢測的總體方案及系統(tǒng)的硬件組成結構，提出了基于Mask R-CNN的槍彈底火檢測算法。測試結果表明文中所設計的檢測方案能夠準確、快速地檢測出槍彈底火的質量問題，檢測準確率達99.4%，平均檢測時間約為400 ms，系統(tǒng)檢測速度和檢測精度均能滿足工業(yè)生產的需求，為槍彈底火裝配質量在線檢測提供了新的手段。該系統(tǒng)實現(xiàn)了底火裝配質量的自動化檢測，有效地解決了人工檢測存在的主觀性強、勞動強度大、漏檢率高、檢測效率低等問題。