基于交叉分割識別法的小顆粒對象的半語義分割方法

蔣文駿，殷軍普

上海威士頓信息技術股份有限公司，上海，200052

0 引言

本文提出了一種針對小顆粒對象的對象檢測問題的方法，該方法是基于圖片區域的交叉分割以及半語義分割的方法進行大尺寸圖像中較小對象的檢測。在工業領域中存在從高幀率拍攝的大尺寸圖像中尋找一些細微特征的情況，比如雜質、瑕疵、異物或原料特征等一些特征的總像素面積相對于檢測圖像的總像素面積過于小的情況。這種場景下使用傳統的對象檢測、語義分割或實例分割等方法時會遇到以下問題：

（1）模型尺寸巨大。

（2）硬件資源不足。

（3）檢測速度慢。

（4）查全率低。

（5）狹長對象定位不準確。

（6）算法難以通過并行化加速。

（7）同一張圖中有大量需要檢測的小對象時標記所需人工時間過長。

這些問題影響了這些場景下的人工智能的應用范圍。為了解決該類問題，本文創新性地提出了通過以下方法解決這些問題：

（1）通過固定長寬的方式將大尺寸圖像分割成多塊小尺寸圖像。

（2）在小尺寸圖像交界處交叉分割出新的小尺寸圖像。

（3）并行推理各個小尺寸圖像。

（4）依照各個小尺寸識別框之間的IoU（交并比）的關系將有關聯的小尺寸識別框合并成分割對象的識別區域。

1 算法流程

本方法的處理流程如下圖1所示主要分為五個步驟，具體如下：

Step1：圖像采集模塊采集流水線上的原料圖像。

Step2：圖像切分模塊將原始圖像交疊切分成多個小尺寸圖像。

Step3：圖像識別模塊識別所有切分后的小尺寸圖像，找出有小顆粒雜物的圖片位置。

Step4：結果聚合模塊聚合包含小顆粒雜物的多個圖片位置生成雜物位置。

Step5：計算小顆粒雜物的分割邊緣的多邊形。

2 交叉分割

原始圖像的交叉分割算法是本方法中重要的步驟，該方法可以縮小模型尺寸、降低訓練和推理階段的硬件依賴，并且提高檢測速度[1-2]。圖像交叉分割算法對采集到的圖像進行小尺寸的交疊切分，其中小尺寸圖片的尺寸需要大于雜物可識別的最小尺寸，但小于雜物出現在原始圖像最大尺寸之間，一般雜物可識別的最小尺寸與雜物出現在原始圖像最大尺寸的算術平均[3]。圖像交叉分割算法對采集到的圖像進行小尺寸的交叉切分，如下圖2所示，其中先切分出無交叉的小尺寸圖片，然后依次切分出寬度方向跨兩張無交叉圖片的小尺寸圖片、切分出高度方向跨兩張無交叉圖片的小尺寸圖片和切分出高度方向跨四張無交叉圖片的小尺寸圖片，生成對應該張原始圖片的小尺寸圖片集[4]。

3 小顆粒對象識別模型

本文在解決小顆粒識別問題時使用了一種特殊的卷積神經網絡作為雜物識別模型[5]。該模型主要包含一個骨干網絡和一個子網絡，如下圖3所示。由于小顆粒對象的特征比較復雜，無法用色差檢測、灰度化、邊緣檢測、二值化、線圓橢圓檢測以及霍夫變換等傳統形態學方法進行良好的識別，所以本文的方法用骨干網絡提取雜物的形態學的特征矩陣，然后用一個ANN作為回歸子模型計算雜物的位置，用另一個ANN作為分類子模型進行雜物的分類，最終獲得雜物的邊界矩形框和雜物種類，由此獲得雜物的在相機坐標系中的中心點坐標、尺寸和種類[6]。該模型需要通過學習大量有標注的照片樣本進行參數訓練，最終將小顆粒對象的識別準確率提升到可用水平。

4 識別框合并

識別框合并算法將有直接重疊區域或間接重疊區域的小尺寸圖片的坐標合并為同一個坐標輸出給后道工序的接收模塊，如果小尺寸圖片沒有直接重疊區域或間接重疊區域則不進行坐標合并，見圖4所示。

5 驗證方法

為了驗證本方法的效果，本文設計一個實驗分別驗證該方法的識別散落在地面上葉灰區域的準確率，實驗方法如下：

準備了葉灰原料1公斤，投灑在廠房的環氧地面上，計算本算法的查準率和查全率，對比方法選用YOLO V5。實驗結果如表1所示。

表1 小顆粒對象識別的查準率和查全率

圖5為本方法對葉灰散落在地面區域識別結果，可見地面上葉灰散落區域基本都被準確識別。圖6 為YOLO V5的葉灰散落在地面區域識別結果，該方法對大片葉灰區域識別較好，但對零散葉灰未能全部識別，并且存在少量的誤識別的情況。因此判斷在識別類似地面上小顆粒葉灰的場景中，本方法的查準率和查全率優于YOLO V5。

6 結語

本文提出了一種基于交叉分割的小顆粒對象的半語義分割方法。該方法是一種介于傳統的對象檢測算法和語義分割算法之間的半語義分割的算法，既擁有對象檢測的快速的處理速度，又具有對非矩形對象的合理劃分邊緣的特點，同時還具有模型尺寸小、易于并行化、查全率查準率高和數據標記工作量小等特點。通過實驗發現在識別散落在地面上小顆粒葉灰區域的場景中，本方法的查準率和查全率優于YOLO V5，可見本方法在小顆粒物體識別和語義分割場景中具有一定的優越性。