基于Mask R-CNN 的馬匹烙印號(hào)提取方法研究及應(yīng)用

米熱尼格爾·買買提，張?zhí)t，迪力夏提·多力昆

（新疆農(nóng)業(yè)大學(xué)計(jì)算機(jī)與信息工程學(xué)院，新疆烏魯木齊 830052）

新疆是中國(guó)馬匹品種和馬匹數(shù)量最多的省，馬匹對(duì)新疆的經(jīng)濟(jì)發(fā)展和文化歷史傳承起著非常重要的作用[1]。為實(shí)現(xiàn)新疆現(xiàn)代馬業(yè)與國(guó)際馬業(yè)管理盡快接軌，加快區(qū)內(nèi)良種馬匹資源之間的信息共享[2]，區(qū)內(nèi)建立了新疆馬匹登記注冊(cè)管理系統(tǒng)。馬匹登記系統(tǒng)較為重視馬匹身份的審驗(yàn)，而馬匹烙印號(hào)可作為辨別毛色相同個(gè)體的識(shí)別標(biāo)志，因此馬匹烙印號(hào)是審驗(yàn)過(guò)程中不可缺少的信息。目前，在系統(tǒng)中錄入馬匹烙印號(hào)時(shí)仍采取人工標(biāo)記的方式，需專業(yè)的馬匹鑒定人員現(xiàn)場(chǎng)將馬匹身上的烙印號(hào)在馬匹鑒定表外貌特征圖中相應(yīng)位置做標(biāo)記描紅，信息錄入人員需按照紙質(zhì)版的標(biāo)記位置上傳至系統(tǒng)中，該方式存在工作量大、有誤差、勞動(dòng)力較高等問(wèn)題。

近幾年來(lái)，已有許多關(guān)于深度學(xué)習(xí)的動(dòng)物面部識(shí)別[3-4]、動(dòng)物特征識(shí)別[5-6]、植物實(shí)例分割[7-8]等研究成果。深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域有很大的影響力，現(xiàn)在被廣泛作為幾乎所有計(jì)算機(jī)視覺應(yīng)用的特征提取器，主要是因?yàn)樗軌驈臄?shù)據(jù)中學(xué)習(xí)到優(yōu)良的特征。圖像識(shí)別視為計(jì)算機(jī)視覺領(lǐng)域中的主旨。其他動(dòng)物業(yè)結(jié)合深度學(xué)習(xí)與計(jì)算機(jī)視覺的應(yīng)用很多，因此結(jié)合畜牧業(yè)會(huì)為其帶來(lái)很多便利，也對(duì)其發(fā)展帶來(lái)了很大的促進(jìn)。

通過(guò)查閱計(jì)算機(jī)視覺方面的文獻(xiàn)，深度學(xué)習(xí)與計(jì)算機(jī)視覺在動(dòng)物與植物上的研究方向主要分為目標(biāo)檢測(cè)[9]、分類任務(wù)[10]、語(yǔ)義分割[11]和實(shí)例分割[12]等類別。文中需要分割的目標(biāo)為馬匹軀干和軀干上烙印號(hào)區(qū)域，采用實(shí)例分割方式。因此文中選用Mask R-CNN 網(wǎng)絡(luò)分割圖像中馬匹軀干及烙印號(hào)得到掩膜，在軀干及烙印號(hào)檢測(cè)的同時(shí)實(shí)現(xiàn)了軀干及烙印號(hào)與背景的分割。

1 實(shí)驗(yàn)數(shù)據(jù)采集、標(biāo)注及環(huán)境配置

1.1 數(shù)據(jù)采集

實(shí)驗(yàn)一部分?jǐn)?shù)據(jù)采集于新疆伊犁昭蘇縣軍馬場(chǎng)、伊犁馬場(chǎng)，共2 110 張圖像。為了更加方便地獲取馬場(chǎng)或草場(chǎng)上自然狀態(tài)下的馬匹圖像，利用三腳架、單反相機(jī)等設(shè)備，將相機(jī)調(diào)整到距離地面1.5 m高度，正視于馬匹左右側(cè)面，獲取正視彩色圖像，按照拍攝日期存入電腦設(shè)備，便于后續(xù)對(duì)圖像進(jìn)行處理。另一部分?jǐn)?shù)據(jù)通過(guò)網(wǎng)絡(luò)爬蟲方式獲取了清晰的圖像，包含馬匹全身的彩色圖像1 萬(wàn)多張，經(jīng)人工篩選后選取了610 張圖像作為數(shù)據(jù)集。

1.2 數(shù)據(jù)集制作

將獲取的2 110 張圖像作為數(shù)據(jù)集。圖像標(biāo)識(shí)工具為L(zhǎng)abelme[13]，在Labelme 圖像標(biāo)注工具中利用多邊形標(biāo)注的形式標(biāo)注出馬匹軀干輪廓和馬匹軀干上的烙印號(hào)，實(shí)驗(yàn)將1 688 張圖像用作訓(xùn)練集，使用json_to_dataset.py 批量生成Mask R-CNN 需要的數(shù)據(jù)集，并送入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

1.3 實(shí)驗(yàn)環(huán)境及模型參數(shù)

該實(shí)驗(yàn)使用Ubuntu18.04.4 操作系統(tǒng)，計(jì)算機(jī)CPU 為Inter?Xern（R）CPU E5-2620，服務(wù)器顯卡為TITAN V，顯存為64 GB。模型采用深度學(xué)習(xí)框架Keras2.1.5 和TensorFlow-GPU1.14.0。訓(xùn)練Mask RCNN 模型時(shí)先進(jìn)行調(diào)試，圖片大小（IMAGE_DIM）為512 像素，NUM_CLASSES 設(shè)置為1+2，其中1 代表背景類，2 為類別數(shù)（軀干和烙印號(hào)）。批處理大小設(shè)置為4，采用0.000 1 的初始學(xué)習(xí)率。

2 文中方法

Faster R-CNN[14]是較好的目標(biāo)定位網(wǎng)絡(luò)，在它的基礎(chǔ)上提出了Mask R-CNN 網(wǎng)絡(luò)。使用Mask R-CNN做檢測(cè)任務(wù)的同時(shí)，對(duì)目標(biāo)候選框區(qū)域（ROI）中的目標(biāo)使用全卷積網(wǎng)絡(luò)（Fully Convolutional Net-works，F(xiàn)CN）[15]進(jìn)行分割，得到每匹馬的軀干與烙印號(hào)的Mask 遮罩圖像。

2.1 Mask R-CNN網(wǎng)絡(luò)

馬匹圖像傳入到Mask R-CNN 的網(wǎng)絡(luò)時(shí)，為了防止失真和保證后期進(jìn)行語(yǔ)義分割時(shí)的準(zhǔn)確度，圖像的邊緣加上灰條變成正方形，同時(shí)還要保證圖像的邊長(zhǎng)為26的倍數(shù)。

實(shí)例分割模型整體結(jié)構(gòu)如圖1 所示，由3 個(gè)階段組成：1）馬匹圖像傳入到卷積神經(jīng)網(wǎng)絡(luò)（CNN）當(dāng)中，而CNN 網(wǎng)絡(luò)分兩部分，一是主干特征提取網(wǎng)絡(luò)（ResNet-101），二是特征金字塔FPN（Feature Pyramid Networks）[16]。ResNet-101 結(jié) 合FPN 網(wǎng) 絡(luò) 將 輸 入 的馬匹圖像劃分成P2～P5 4 種不同大小尺度的網(wǎng)格，相當(dāng)于把圖像劃分成不同大小的網(wǎng)格。2）利用候選區(qū)域生成網(wǎng)絡(luò)RPN(Region Proposal Network)，為每個(gè)特征點(diǎn)生成3 個(gè)先驗(yàn)框（Anchor），并獲得Anchor的調(diào)整參數(shù)及檢查先驗(yàn)框內(nèi)是否包含物體。利用建議框特征層進(jìn)行截取，得到的部分特征層反映了原圖像中的不同區(qū)域，完成每個(gè)像素的前后景判別及馬匹軀干與烙印號(hào)的第一次Bounding-box 修正。隨后將截取到的內(nèi)容傳入到ROI-Align 層中，獲得一樣大小的局部層。3）將該局部特征層傳入到全卷積網(wǎng)絡(luò)（FCN）中，根據(jù)Bounding-box 提取P2～P5 特征送入class、Bounding-box、Mask 三分支網(wǎng)絡(luò)。

圖1 實(shí)例分割模型整體結(jié)構(gòu)

2.2 FPN 特征金字塔網(wǎng)絡(luò)

FPN 特征金字塔網(wǎng)絡(luò)[17]的構(gòu)建是為了實(shí)現(xiàn)將多個(gè)階段特征圖融合在一起。在主干特征提取網(wǎng)絡(luò)中進(jìn)行特征提取，過(guò)程中對(duì)特征層的長(zhǎng)和寬不斷地進(jìn)行壓縮，之后對(duì)提取到的特征進(jìn)行上采樣，最終特征重新變大后與之前獲得的一些特征層進(jìn)行融合，通過(guò)這種特征層不斷的組合來(lái)實(shí)現(xiàn)更豐富的特征提取。

圖1 中主干特征提取網(wǎng)絡(luò)ResNet-101 的5 個(gè)階段中，以特征圖大小不變的層為一個(gè)階段，每次提取各階段最后層輸出的特征。如圖2 所示，在個(gè)數(shù)不變的同時(shí)保證C1～C5 的輸入特征圖尺寸不同，隨著卷積的進(jìn)行，特征圖的個(gè)數(shù)越來(lái)越多，尺寸越來(lái)越小。采用Conv 1×1 的卷積在保持特征圖大小不變的同時(shí)降低了維度。C5、C4、C3、C2 卷積之后進(jìn)行上采樣，目的是使規(guī)格大小不匹配的兩層特征相融合。Conv 3×3 對(duì)每一個(gè)融合后的特征P5～P2 進(jìn)行卷積，消除上采樣后的混疊效應(yīng)及進(jìn)行降維，并且在每個(gè)融合后的特征層上單獨(dú)進(jìn)行預(yù)測(cè)。

圖2 特征金字塔網(wǎng)絡(luò)

2.3 RPN

在最初的幾個(gè)檢測(cè)框架中，用比較傳統(tǒng)的算法來(lái)提取候選框，耗時(shí)較長(zhǎng)，因此研究者們提出使用RPN 來(lái)提取候選框，很好地克服了傳統(tǒng)算法的一些缺點(diǎn)。

候選區(qū)域生成網(wǎng)絡(luò)(RPN)[18]通過(guò)一個(gè)在共享特征圖上的3×3 的卷積生成候選區(qū)域。RPN 掃描的區(qū)域被稱為Anchor 先驗(yàn)框。參數(shù)不同，得到的候選框也很多。每個(gè)特征圖經(jīng)過(guò)3×3 的卷積得到512 個(gè)特征圖，特征圖上每個(gè)Anchor 進(jìn)行兩種判斷，首先在分類層(Cls layer)判斷是否為物體，其次二分類2kscores 判斷先驗(yàn)框是前景和背景。在回歸層(Reg layer)，Anchor 的微調(diào)整主要由4 個(gè)值完成，即前RPN網(wǎng)絡(luò)生成候選框的4 個(gè)坐標(biāo)的回歸值和訓(xùn)練集中正確的目標(biāo)框之間的差異。

2.4 ROI-Align層

Faster R-CNN 網(wǎng)絡(luò)中候選區(qū)域池化（Region of Interest Pooling，ROI Pooling）是處理實(shí)例的實(shí)際核心操作，在特征圖中，將對(duì)應(yīng)的區(qū)域池化為固定尺寸的特征圖，送入全連接層進(jìn)行分類和ROI 邊框的調(diào)整。ROI Pooling 不細(xì)致的空間量化產(chǎn)生了很多偏差，影響了檢測(cè)和分割的準(zhǔn)確度。ROI Align 層解決了上述缺點(diǎn)，取消了ROI 特征圖生成中的兩次量化操作，將候選區(qū)域(ROI)分割成k×k個(gè)單元(bin)，每個(gè)單元的邊界不量化，保持浮點(diǎn)數(shù)。采用雙線性插值算法計(jì)算ROI bin 的4 個(gè)采樣位置輸入特征的精確值，并進(jìn)行平均池化操作，公式如下：

而ROI-Align 采用雙線性插值算法，保留浮點(diǎn)型坐標(biāo)，避免了量化誤差，可以使原圖像像素與特征圖像素相匹配。在精確的定位指標(biāo)值下，它顯示出更好的性能。

雙線性插值算法公式如下：

1）對(duì)x方向進(jìn)行線性插值

當(dāng)R1=(x,y1) 時(shí)，

當(dāng)R2=(x,y2) 時(shí)，

2）對(duì)y方向進(jìn)行線性插值

其中，f(x,y)為待求解點(diǎn)P的值，f(Q11)、f(Q12)、f(Q21)、f(Q22)分別為已知Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1) 及Q22=(x2,y2)的4個(gè)點(diǎn)的值，f(R1)、f(R2)為x方向插值得到的值。

2.5 損失函數(shù)

文中模型主要作馬匹軀干和烙印號(hào)特征框的定位檢測(cè)、馬匹軀干和烙印號(hào)背景的分類以及軀干和烙印號(hào)與背景的分割3 種任務(wù)。損失函數(shù)由分類損失、定位損失以及分割損失組成。訓(xùn)練采用101 層的深度殘差網(wǎng)絡(luò)ResNet-101，訓(xùn)練時(shí)以圖像為中心，圖像長(zhǎng)和寬較小的一側(cè)歸一化到同一像素。

在模型訓(xùn)練中，在每個(gè)采樣的ROI 中有多任務(wù)損失函數(shù)，定義如下：

式中，Lcls為分類損失；Lbox為回歸損失；Lmask為分割損失。Mask 掩碼分支對(duì)每個(gè)ROI 具有kn2維輸出，可以將它編碼成分辨率為n×n的k個(gè)二進(jìn)制掩碼，每個(gè)類對(duì)應(yīng)一個(gè)二進(jìn)制掩碼（總共k個(gè)類）。FCN 應(yīng)用每像素的sigmoid，Lmask使用平均二進(jìn)制交叉熵?fù)p失。對(duì)于ROI（關(guān)聯(lián)的真實(shí)目標(biāo)類別為k），Lmask只能定義在第k個(gè)掩碼上，其他掩碼輸出不會(huì)導(dǎo)致?lián)p失。Lmask是獲得良好實(shí)例分割結(jié)果的關(guān)鍵。

2.6 全卷積網(wǎng)絡(luò)FCN

全卷積網(wǎng)絡(luò)（FCN）是UC Berkeley 的Jonathan Long 等人于2015 年提出的用于圖像語(yǔ)義分割的一種框架。FCN 是在CNN 的基礎(chǔ)上進(jìn)行一定的修改并增加反卷積，使得網(wǎng)絡(luò)輸入任意大小的圖像經(jīng)過(guò)卷積層和池化層，在最后一次卷積層的特征圖（feature map）上用反卷積來(lái)作上采樣，輸出的特征圖與輸入圖像大小相同，同時(shí)每個(gè)像素利用Softmax 分類器進(jìn)行分類預(yù)測(cè)，從而預(yù)測(cè)出每個(gè)像素的類別。

3 實(shí)驗(yàn)結(jié)果分析與應(yīng)用

3.1 實(shí)驗(yàn)結(jié)果與分析

模型共計(jì)訓(xùn)練50 個(gè)epoch，訓(xùn)練得到預(yù)測(cè)模型后，用沒有訓(xùn)練過(guò)的422 張圖像作為測(cè)試集對(duì)模型進(jìn)行檢驗(yàn)（訓(xùn)練集個(gè)數(shù)與測(cè)試集個(gè)數(shù)比為8∶2）。該實(shí)驗(yàn)在完成馬匹軀干及烙印號(hào)目標(biāo)定位框的同時(shí)，用不同顏色的掩碼將目標(biāo)信息與背景分割開，因此實(shí)現(xiàn)了馬匹軀干及烙印號(hào)的檢測(cè)定位并進(jìn)行分割的效果。

在模型訓(xùn)練過(guò)程中記錄各類別的AP 值、AP0.5值、AP0.75值，統(tǒng)計(jì)結(jié)果如表1 所示。

表1 文中算法主干網(wǎng)絡(luò)對(duì)馬匹烙印號(hào)分割評(píng)價(jià)指標(biāo)

表1 中，IoU 閾值超過(guò)0.5 時(shí)的指標(biāo)定義為AP0.5值，閾值超過(guò)0.75 時(shí)定義為AP0.75值[19]。

圖3 為AP 值隨epoch 的變化曲線可以觀察到，隨著epoch 的不斷增長(zhǎng)，AP 值逐步提高，從而達(dá)到較高的穩(wěn)定值。

圖3 AP值隨epoch的變化曲線

圖4 為模型訓(xùn)練損失值（loss）隨epoch 的變化曲線。可以看出，損失值隨著迭代次數(shù)epoch 的增加出現(xiàn)小幅度震蕩下降，epoch 在45 至50 區(qū)間時(shí)loss 值穩(wěn)定下來(lái)，最終收斂于0.095 左右，說(shuō)明模型在訓(xùn)練集與測(cè)試集上有著較好的烙印號(hào)檢測(cè)能力。

圖4 模型訓(xùn)練損失值隨epoch的變化曲線

3.2 馬匹軀干烙印號(hào)提取應(yīng)用

在馬匹鑒定以及馬匹護(hù)照生成的過(guò)程中，將圖像中的馬匹烙印號(hào)作實(shí)例分割，獲取預(yù)測(cè)結(jié)果中每一個(gè)烙印號(hào)的預(yù)測(cè)框的坐標(biāo)，隨后判斷烙印號(hào)是否在軀干上并對(duì)烙印號(hào)進(jìn)行裁剪，獲取烙印號(hào)的圖像，利用OpenCV[20]的進(jìn)行以下處理：

1）灰度化處理，在對(duì)分割出的烙印號(hào)進(jìn)行字符提取時(shí)，需要將彩色分割烙印號(hào)直接轉(zhuǎn)換成灰度圖像，以保證計(jì)算的快速性。

2）直方圖像均衡化處理，灰度化處理后的圖像有多處灰度級(jí)分布不均勻和亮度高或低的區(qū)域，通過(guò)均衡化變換得到均勻分布的圖像，提高后期處理的效率。

3）中值濾波，濾除圖像中字符周圍存在的噪聲點(diǎn)。

4）閉運(yùn)算，主要去除圖像中出現(xiàn)的小點(diǎn)、毛刺、裂縫，圖像位置和形狀不變。

5）閾值二值化操作，對(duì)圖像中的像素作取舍，小于閾值220 色值的像素歸零，大于閾值220 色值的像素設(shè)為255。

6）繪制輪廓，先找出輪廓值，建立一個(gè)等級(jí)樹結(jié)構(gòu)的輪廓，存儲(chǔ)所有的輪廓點(diǎn)，相鄰兩個(gè)點(diǎn)的像素位置差不超過(guò)1，繪制出烙印號(hào)的輪廓。過(guò)濾寬高比例小于設(shè)定值的輪廓，隨后進(jìn)行輪廓提取，用黑色填充輪廓，放置透明背景上[21]。

7）等比例縮小，調(diào)整透明背景上輪廓的縱橫比，將其放置在馬匹登記系統(tǒng)上外貌特征圖示中馬軀干區(qū)域烙印號(hào)相應(yīng)的位置上，調(diào)整區(qū)域的縱橫比。

8）將圖片疊加完成馬匹烙印號(hào)的自動(dòng)標(biāo)記工作外貌特征圖示如圖5 所示。

圖5 外貌特征圖示

從圖5 中看出，已很準(zhǔn)確地完成了馬匹登記系統(tǒng)外貌特征圖示的特征自動(dòng)標(biāo)記。

4 結(jié)束語(yǔ)

該實(shí)驗(yàn)把傳統(tǒng)畜牧業(yè)與計(jì)算機(jī)視覺相結(jié)合，通過(guò)采集馬匹左、右側(cè)圖像，構(gòu)建了一個(gè)具有分割標(biāo)注信息的馬匹數(shù)據(jù)集。利用Mask R-CNN 網(wǎng)絡(luò)訓(xùn)練出檢測(cè)模型，該模型在現(xiàn)有馬匹軀干及烙印號(hào)檢測(cè)的基礎(chǔ)上，實(shí)現(xiàn)了兩者的定位，通過(guò)增加分割分支，在馬匹軀干及烙印號(hào)檢測(cè)的同時(shí)實(shí)現(xiàn)了兩者信息之間的分割，并完成烙印號(hào)的提取。利用預(yù)測(cè)分割解決了馬匹登記系統(tǒng)中外貌特征圖示上烙印號(hào)的自動(dòng)標(biāo)記問(wèn)題，取得了較好的效果，體現(xiàn)了較高的實(shí)際應(yīng)用價(jià)值。