基于MSER的彈孔識別算法的研究

楊章含，曾培峰

(東華大學 計算機科學與技術學院，上海 201620)

0 引言

科技的發展迎來了各行各業的技術革新。在軍事領域，傳統的人工報靶模式逐漸被自動化報靶取代。自動化報靶關鍵問題是彈點識別。通常訓練的目標靶采用胸環靶，為了正確區分胸環靶中彈孔和非彈孔，可將圖像處理中斑點檢測技術用于彈孔識別。

斑點檢測中，特征提取算法的優劣直接影響檢測結果的精準度。斑點檢測方法主要有以下三類[1]，(1)幀間差分法：通過兩幀背景相同的圖像相減獲取斑點。文獻[2]彈孔識別中，首先使用基準點對圖像矯正，用中值濾波去除噪聲，然后用膨脹腐蝕操作定位靶心，將射擊前后的兩幀圖像進行異或運算，獲取新增彈孔。YE等人對失真圖像矯正后，膨脹腐蝕獲取胸環靶中心，采用Roberts邊緣檢測算子檢測胸環靶輪廓，通過幀間差獲取新增彈孔[3]。幀間差分法對背景變化敏感，胸環靶紙抖動會導致較大的檢測誤差。(2)模板檢測法：計算模板核，將其用于圖像卷積，通過局部極值檢測斑點。KONG等人用高斯拉普拉斯(Laplacian of Gaussian，LoG)算子檢測斑點，隨著LoG算子尺度增加，斑點結構在某種程度上收斂于局部極值[4]。文獻[5]采用高斯差分(Difference of Gaussian，DoG)算子檢測不同尺寸的斑點。DoG算子與LoG算子類似，運算效率較高，對不同尺寸的斑點檢測更有優勢。Ming等人使用Hessian行列式(Determinant of Hessian, DoH)檢測斑點，用二維高斯函數分別求解行、列坐標方向的二階偏導，以及先行后列坐標的二階偏導，用三個偏導算子生成的模板分別對原圖卷積，檢測圖像在不同尺度空間的極值點[6]。文獻[7]提出基于Hessian矩陣的LoG算子(Hessian-based Laplacian of Gaussian，HLoG)檢測斑點，使用Hessian矩陣預分割斑點候選區域，計算單一最佳尺度作為LoG濾波器的平滑參數檢測斑點，簡化運算復雜度，通過區域特征排除非斑點區域。模板檢測法中，運算量與卷積核大小呈正相關，每個像素訪問次數為卷積核大小。對于尺寸不同的斑點，需使用不同的高斯核進行卷積運算，單一參數的算子不能覆蓋所有尺寸的彈孔。(3)MSER[8]檢測法：MSER算法常用于連通區域檢測(例如：斑點、文本等)，David在文獻[8]基礎上，提出線性復雜度的MSER算法，成為目前普遍采用的方法[9]。文獻[10]對圖像灰度處理后，采用MSER算法檢測斑點，通過最小二乘擬合橢圓排除不符合形狀要求的區域。Donoser等人在文獻[9]基礎上，提出檢測彩色區域的MSER算法[11]，將圖像轉換至LUV色彩空間，計算ROI之間的巴氏距離(Bhattacharyya Distance)，作為MSER中的約束值。

本文研究基于自然環境下胸環靶內新增彈孔的識別。幀間差分法雖然算法簡單，但對靶紙顫動十分敏感。模板檢測法中，采用單尺度的LoG、DoG及DoH檢測彈孔可能無法檢測重合彈孔區域。采用多尺度方式，不僅運算復雜度較高，而且可能將已經檢測過的彈孔再次檢測。MSER算法常用于自然環境下連通區域的檢測，算法具有線性復雜度和仿射不變性的優勢，因此本文采用MSER算法。針對MSER算法中參數隨圖像變化需要調整的問題，將MSER算法與文獻[12]中基于積分圖像的閾值自適應算法相結合，提出改進的MSER算法(MSER-I)，使MSER算法在不同環境下檢測彈孔時參數可自調節。通過透視變換[13]、彈孔特征及報靶記錄，排除胸環靶外部候選區域、非彈孔區域及已報靶區域，識別出新增的彈孔。

1 MSER算法

MSER算法基于分水嶺概念，將圖像視為高低起伏的地面，像素灰度值大小代表地勢高低，選取某一起始點開始注水，水會流入低地勢區域。當水聚集到一個低洼區，繼續注水，水位會上升。當水位越過分水線時，會流入其它低洼區，若水位繼續上升，兩個或兩個以上的低洼區可能被合并[8]。

水面覆蓋區域稱為ER區，在同一ER區水位上升過程中，低水位區為子ER區，高水位區為父ER區。一個父ER區可能由多個子ER區合并而成，父ER區與子ER區形成樹狀結構，在樹中仍保持原有的父子關系。針對ER區水位上升的歷史記錄，通過參數約束保留符合要求的ER區。

MSER算法中，由以下5個參數約束ER區的大小及穩定度：

(1)Amin：最小連通區域，限制ER區域最小尺寸。

(2)Amax：最大連通區域，限制ER區域最大尺寸。

(3)Vmax：區域間的最大穩定度。

(4)Delta：相鄰ER區邊界的灰度差。

(5)Dmin：約束父子ER區之間的尺寸變化率。

MSER算法中，每一個ER區的增長變量var可由公式(1)計算得到。若某個ER區的var值小于Vmax，這個ER區則為穩定區域。公式(1)中R(level)表示每個ER區灰度值小于等于level的像素點數。圖1為ER區截面處灰度曲線，示意ER區的大小。

(1)

圖1 連通域面積變化圖

MSER算法運算步驟如下：

(1)選取起始點作為當前點；

(2)建立空ER區將當前點入棧；

(3)在當前像素4鄰域內搜索，若任意鄰域點灰度值低于當前點灰度值，返回步驟(2)，否則，鄰域點加入邊界像素集合，重復步驟(3)，直至所有鄰域點訪問結束，執行步驟(4)；

(4)若邊界像素集合為空，算法結束，否則執行步驟(5)；

(5)彈出一個地勢最低的邊界像素，作為當前點，原本的當前點作為上一點，若當前點與上一點的像素灰度值相同，執行步驟(3)，否則執行步驟(6)；

(6)若當前點灰度小于棧中第二層像素元素灰度值，返回步驟(3)，否則執行步驟(7)；

(7)將水位升高1，合并棧頂兩層的ER區，記錄水位升高歷史；

(8)若當前點灰度大于棧頂元素灰度，返回步驟(6)，否則返回步驟(3)。

如圖2所示為MSER算法流程圖。

圖2 MSER算法執行步驟

MSER算法無需對圖像平滑、增強等預處理，可直接實現多尺度連通區域檢測，具有較高的通用性。圖3為LoG、DoG、DoH以及MSER算法檢測彈孔的結果對比圖。圖3(a)為胸環靶原圖，圖3(b)采用單尺度的LoG算子檢測彈孔，圖3(c)采用多尺度的DoG算子檢測彈孔。圖3(b)與圖3(c)均采用3×3的高斯核對圖像卷積，在10環內的彈孔及靶環外的彈孔均能較準確地檢測出，但在其他環內的彈孔檢測效果不太理想。圖3(d)采用DoH算子檢測彈孔，部分彈孔無法檢測出。圖3(b)、3(c)及3(d)已檢測的彈孔中，部分彈孔被重復檢測，如圖4所示。圖3(e)為MSER算法檢測彈孔的結果圖，文中將檢測的MSER區用淡色填充。彈孔均能被檢測出，只有一些靶環文字區域被誤檢，精確率較高。

圖3 不同算法彈孔檢測結果的對比圖

圖4 DoH算法重復彈孔檢測

由于狙擊訓練中，圖像明暗會隨時間推移而改變，對于不同圖像，MSER算法中delta、Vmax值變化較大，為提升系統報靶性能及用戶體驗，需要改進MSER算法實現參數自適應功能。

2 MSER-I—MSER改進算法

根據MSER中參數變化的規律，結合基于積分圖像的閾值自適應算法，提出了改進的MSER算法(MSER-I)，使delta和Vmax可自適應。其余3個參數中，Amax和Amin(彈孔尺寸參數)根據彈孔尺寸確定。Dmin參數通過實驗確定。經反復實驗得出Dmin取0.5 可較好地提取不同圖像中彈孔深色區域。

delta和Vmax分別描述ER區與其邊緣的灰度差值以及ER區的穩定度，這兩個參數與胸環靶圖像的灰度對比度有密切的關系，胸環靶圖像對比度越高，彈孔與靶面的灰度差越大，彈孔區域穩定度越高，因此可以將胸環靶與背景像素的平均灰度差值作為對比度參考。

2.1 基于積分圖像的對比度計算

積分圖像中任意像素的值為左上起始像素至當前像素構成的矩形區域內灰度值之和。若需計算灰度圖中某區域內像素灰度值之和，可對積分圖像查表，迅速獲取結果。積分圖像由式(2)計算，其中x代表行，y代表列，tij為灰度圖像中第i行、第j列像素的灰度值，I(x,y)為積分圖像中x行y列像素的值。圖5(a)是數字圖像中每個像素的灰度值，圖5(b)是積分圖像的像素值。

(2)

圖5 積分圖像矩陣

通過式(3)可計算任意矩形區域的灰度值之和sumGray。其中(x1,y1)是矩形區域內左上起始像素位置，(x2,y2)是矩形區域右下終止像素位置。如圖6，D區域灰度值之和為9。

sumGray=I(x2,y2)-I(x2,y1-1)-I(x1-1,y2)+I(x1-1,y1-1)

(3)

圖6 積分圖像區域灰度值的和

基于積分圖像的對比度算法適用于光照不均或不同灰度范圍的圖像，將各像素與其周圍矩形區域像素的灰度值比較，獲取胸環靶與背景像素。算法將灰度圖中每個像素的灰度值curGray與其所在矩形區域內的像素點數之和sum值相乘，將得到的結果與sumGray比較，若結果小于sumGray，當前像素記為胸環靶像素，反之記為背景像素。i由式(4)確定，矩形區域長、寬均設定為原圖的1/8。

sum=(x2-x1+1)×(y2-y1+1)

(4)

區分胸環靶與背景像素后，計算胸環靶與背景像素的平均灰度差，表示圖像對比度，實現MSER算法中參數delta與Vmax自適應。

2.2 MSER-I參數自適應

本文在不同光照環境下，分別計算200幀圖像中胸環靶與背景像素的平均灰度差ε，并統計每幀圖像較理想的delta和Vmax取值。通過線性擬合與反比例曲線擬合，求解理想的delta、Vmax取值與ε的函數關系。圖7為delta(ε)的擬合直線，delta取值為整數，當delta大于6時，彈孔檢測結果基本不變，因此將delta值限定為6，圖中虛線后方為分段函數delta=6。圖8為Vmax(ε)的擬合曲線，Vmax為浮點數，最大值為1.0， 圖中虛線前方為分段函數Vmax=1.0。

圖7 ε與delta函數關系

圖8 ε與Vmax函數關系

根據擬合曲線，ε與delta函數關系可以用式(5)表示，ε與Vmax函數關系可以用式(6)表示。

(5)

(6)

2.3 MSER-I彈孔尺寸參數的確定

參數Amax和Amin用于限定目標彈孔區域的尺寸。由于在訓練場合攝像頭放置的位置不固定，彈孔的尺寸(像素點數)不確定，因此Amax和Amin需要根據實際場合調整。通過計算彈孔像素點數Sb與胸環靶區域像素點數Sc的比值k，作為彈孔尺寸的一致性指標。彈孔像素點數Sb與胸環靶區域像素點數Sc可以通過試驗獲取。如圖9所示，在胸環靶上取ABCDE特征點位置信息，假設經過E點的胸環靶邊緣直線與BC平行，求解出胸環靶四邊形邊框的4個頂點坐標信息，據此計算胸環靶區域像素點數Sc。并在攝像頭位置保持不變的情況下，對采集的圖像統計各彈孔區域像素點數Sb，將像素點數的分布情況進行高斯擬合。

圖9 采集胸環靶圖像與標準胸環靶圖像映射

本文統計140個彈孔的像素點數，計算得出k值分布情況，如圖10所示，擬合的高斯分布均值μ為1.224×10-4，標準差σ為2.503×10-5。在本次試驗中，Sc為593×577，根據3σ準則，式(7)和(8)計算出Amin=15，Amax=69。

Amin=(μ-3σ)×Sc-1

(7)

Amax=「(μ+3σ)×Sc?+1

(8)

圖10 彈孔與胸環靶像素點數比例

執行MSER-I算法后，對于檢測的彈孔候選區域，需進一步判斷新增彈孔。

3 新增彈孔判斷

MSER-I算法在檢測彈孔候選區域時，會受到部分字符、靶環等非彈孔區域的干擾。對于候選彈孔區域，本文采用圖11所示流程辨別真假彈孔：(1)通過透視變換將圖9(a)中胸環靶內彈孔候選區域像素映射至標準胸環靶圖9(b)，以此排除胸環靶外的彈孔候選區域。(2)MSER-I算法基于灰度圖，不同彈孔灰度差異較小，將彈孔灰度范圍作為評判標準。遍歷胸環靶內每個彈孔候選區域，若候選彈孔的平均灰度值在彈孔灰度范圍內，判為彈孔區域，否則為非彈孔區域，以此將胸環靶內非彈孔區域排除。

圖11 識別真假彈孔流程圖

剩余的彈孔候選區域中，采用幀間差法排除MSER-I輸出的彈孔圖像已經報靶的彈孔，并判斷是否有新增彈孔。本文使用胸環靶紙厚度為0.2 mm，風力和子彈沖擊都會引起靶紙晃動，同一彈孔在時間軸上不同圖像中的位置會有一定差異。將當前彈孔區域依次與已報靶的彈孔區域比較，若彈孔像素重合率大于已報彈孔的70%，判定為同一彈孔，反之判為新增彈孔。

4 算法驗證與分析

圖像處理中，評價一個算法好壞有兩個指標：精準度P(Precision)和召回率R(Recall)。精準度反映了被判定為正例中真正的正例比重，召回率反映被判定的正例占總的正例的比重。例如圖像中有100個彈孔，算法檢測出120個候選域，其中80個是彈孔，40個不是彈孔，精準度P為80/120，召回率R為80/100。據公式(9)，可用F這一指標描述P、R，若P、R中任意一值偏小，F值都會較小，而F值越大，算法性能越好。以此作為本文算法評判指標。

(9)

本文通過一組試驗，評估MSER與MSER-I算法性能。圖12給出了不同光照環境下使用自適應閾值的MSER-I彈孔檢測結果。

圖12 不同光照環境下MSER-I彈孔檢測

表1給出9組MSER與MSER-I算法的數據對比，由表可知，F值在MSER-I中有明顯提升，可見MSER-I算法相對更優。

表1 MSER算法改進前后數據對比

新增彈孔檢測結果如圖13所示，將新增彈孔內所有像素根據透視變換矩陣映射至標準胸環靶中，并將映射后的像素求取環數平均值，作為彈孔環數。

試驗結果表明，本文彈孔檢測精準度為83.78%，召回率為100%，F值為91.18%。

圖13 自動報靶部分結果圖

系統的時間指標方面，攝像頭模塊傳輸圖像的幀率為30 fps。為進一步提升算法效率，本文通過幀間差快速定位可能的彈孔區域，在定位的區域中執行MSER-I，并根據上文提及的算法步驟識別新增彈孔，實際測試中，算法時延穩定在28 ms，可較有效地處理攝像頭獲取的每幀圖像。

5 結束語

本文研究了基于MSER的彈孔識別算法，以改進的MSER算法檢測彈孔候選區域，通過透視變換排除胸環靶外區域，根據彈孔尺寸、灰度等特征排除非彈孔區域，通過像素重合率排除已報靶的彈孔區域，識別新增彈孔。通過實踐驗證，算法在自然環境下檢測新增彈孔，能夠滿足報靶的實時性。