基于牛耳標(biāo)OCR的牛身份識(shí)別研究＊

童慧琳，李 琦

(內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古 包頭 014010)

0 引言

在大規(guī)模化牛場(chǎng)中，要實(shí)現(xiàn)對(duì)牛個(gè)體自動(dòng)化、信息化的日常精細(xì)化管理，實(shí)現(xiàn)對(duì)每頭牛的健康狀況追蹤及奶源和肉制品追溯，須對(duì)牛的身份進(jìn)行識(shí)別[1-4]。本文采用PP-OCR 框架對(duì)牛耳標(biāo)進(jìn)行識(shí)別，從而確定牛只身份。由于牛耳標(biāo)區(qū)域在牛頭部圖像中占比較小，且多有耳標(biāo)采用人為手寫的方式，存在書寫不規(guī)范等問(wèn)題，對(duì)牛耳標(biāo)區(qū)域的文本定位和識(shí)別造成了一定困難[5-7]。

1 PP-OCR網(wǎng)絡(luò)結(jié)構(gòu)

1.1 牛耳標(biāo)整體識(shí)別框架

光學(xué)字符識(shí)別OCR 的概念于1929 年被首次提出，但由于當(dāng)時(shí)軟硬件技術(shù)的限制，這項(xiàng)技術(shù)并沒(méi)有被實(shí)現(xiàn)。隨著計(jì)算機(jī)設(shè)備的出現(xiàn)與應(yīng)用，OCR 技術(shù)才得以實(shí)現(xiàn)。OCR 領(lǐng)域分為文本檢測(cè)和文本識(shí)別兩個(gè)主要研究方向。近年隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)，OCR技術(shù)在實(shí)踐中取得了越來(lái)越多的成果。其中，PP-OCR是一套較為成熟的中英文OCR 方案，其重點(diǎn)在于解決不同語(yǔ)言的OCR 問(wèn)題，PP-OCR 包含了很多的文本檢測(cè)算法和文本識(shí)別算法，具體包括：不同的backbone網(wǎng)絡(luò)，自定義的預(yù)測(cè)頭網(wǎng)絡(luò)，各種常見(jiàn)超參的選擇，模型輕量化等。這些策略使得整體模型變得更加輕量高效，同時(shí)還提升了上線部署的效率。PP-OCR 主要由三個(gè)流程組成，分別是DB 文本檢測(cè)、檢測(cè)框校正、CRNN 文本識(shí)別。其中，綠色框中表示的是一些常用的輕量化方案，這使得PP-OCR 最終的模型大小可以達(dá)到MB 級(jí)別。在本文中，將采用PP-OCR 的整體技術(shù)流程來(lái)完成基于牛耳標(biāo)的個(gè)體身份識(shí)別。

1.2 牛耳標(biāo)文本檢測(cè)器

如圖1所示，文本檢測(cè)器包括兩部分：一個(gè)骨干網(wǎng)絡(luò)和一個(gè)檢測(cè)頭網(wǎng)絡(luò)。其中，骨干網(wǎng)絡(luò)的大小決定了文本檢測(cè)器的的網(wǎng)絡(luò)模型大小，考慮到模型輕量化和模型精度之間的兼容，PP-OCR 采用MobileNetV3 作為文本檢測(cè)器的骨干網(wǎng)絡(luò)。另外，PaddleClas還提供了多達(dá)24種的圖像分類網(wǎng)絡(luò)結(jié)構(gòu)，其中包含了如ResNet、SEResNeXt、Res2Net vd、DenseNet、EfficientNet、Xception、HRNet 等預(yù)訓(xùn)練模型以及訓(xùn)練配置方案。類似于FPN 的網(wǎng)絡(luò)結(jié)構(gòu)，檢測(cè)頭網(wǎng)絡(luò)采用1×1 卷積，將不同分辨率上的特征圖的通道數(shù)變?yōu)橄嗤臄?shù)量，獲得在各個(gè)圖像感受野下的多尺度的特征圖，再將各個(gè)感受野下的特征圖進(jìn)行加權(quán)合并，從而獲得一個(gè)融合的特征圖。

圖1 牛耳標(biāo)文本檢測(cè)器網(wǎng)絡(luò)結(jié)構(gòu)

1.3 牛耳標(biāo)文本方向檢測(cè)器

由于文本方向檢測(cè)器的訓(xùn)練比較容易，因此PPOCR 使用MobileNetV3 作為文本方向分類器的骨干網(wǎng)絡(luò)。在大部分文本識(shí)別算法中，歸一化圖像的高和寬一般設(shè)置為32 和100，因?yàn)槲谋痉较驒z測(cè)器的骨干網(wǎng)絡(luò)非常輕量，所以，適當(dāng)?shù)靥岣咻斎雸D像的分辨率，并不會(huì)引起計(jì)算時(shí)間的顯著增長(zhǎng)，而且，隨著輸入圖像的分辨率的提高，文本方向檢測(cè)器的精度也會(huì)相應(yīng)地得到提升。

1.4 牛耳標(biāo)文本識(shí)別器

文本識(shí)別器使用了CRNN(Convolutional Recurrent Neural Network)，如圖2 所示它是一種比較常用的文本識(shí)別網(wǎng)絡(luò)，能夠識(shí)別較長(zhǎng)的文本序列，主要包括卷積層、循環(huán)層和轉(zhuǎn)錄層。實(shí)際上，轉(zhuǎn)錄層相當(dāng)于模型的損失函數(shù)，而卷積層與循環(huán)層可以看作由CNN 和RNN組成的網(wǎng)絡(luò)。

圖2 文本識(shí)別器網(wǎng)絡(luò)結(jié)構(gòu)

在CRNN 模型中，卷?yè)?jù)層是通過(guò)多組卷積、池化層和批量歸一化層來(lái)構(gòu)建的。與其他CNN模型類似，該方法將圖像轉(zhuǎn)換成含有圖像深度特征的特征圖，然后將特征圖輸入到后面的循環(huán)層。首先將輸入圖像以計(jì)算出的比例進(jìn)行縮放，以確保圖像輸入一致。由于卷積神經(jīng)網(wǎng)絡(luò)包含了卷積層和最大池化層，因此網(wǎng)絡(luò)對(duì)于輸入圖像具有平移不變性的特征。卷積神經(jīng)網(wǎng)絡(luò)中的感受野的定義是，經(jīng)過(guò)卷積層輸出的特征圖的各個(gè)像素對(duì)應(yīng)著輸入圖像多少個(gè)像素，它和特征圖上的像素自左向右，自上而下是的各個(gè)像素是一一對(duì)應(yīng)的。盡管卷積神經(jīng)網(wǎng)絡(luò)因其具有的優(yōu)點(diǎn)而被廣泛應(yīng)用到了視計(jì)算機(jī)領(lǐng)域中，但因?yàn)樗?jīng)常需要將輸入圖像縮放成相同的大小，所以對(duì)于一些尺寸變化較大的數(shù)據(jù)，例如文本信息，就不能發(fā)揮出很好的作用。為了更好的對(duì)時(shí)序信息進(jìn)行處理，在卷積層之后加入了一個(gè)通過(guò)RNN 組成的循環(huán)層。在PP-OCR 中，卷積層使用MobileNetV3作為網(wǎng)絡(luò)backbone。

選擇循環(huán)層的主要原因有三個(gè)。①卷積神經(jīng)網(wǎng)絡(luò)對(duì)于數(shù)據(jù)的上下文信息提取能力較差，而循環(huán)神經(jīng)網(wǎng)絡(luò)正好可以彌補(bǔ)這一不足；②在反向傳播時(shí)，循環(huán)層得出的關(guān)于誤差的梯度可以反饋到卷積層，所以循環(huán)層和卷積層的網(wǎng)絡(luò)參數(shù)能夠一起調(diào)整；③最關(guān)鍵的是，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠處理不同長(zhǎng)度的數(shù)據(jù)，卷積神經(jīng)網(wǎng)絡(luò)則無(wú)法處理這種數(shù)據(jù)。普通的循環(huán)神經(jīng)網(wǎng)絡(luò)存在著相同的缺點(diǎn)，即如果輸入數(shù)據(jù)的序列過(guò)長(zhǎng)，在反向傳播的時(shí)候就會(huì)出現(xiàn)梯度消失的問(wèn)題，這很容易使得循環(huán)神經(jīng)網(wǎng)絡(luò)所能學(xué)習(xí)的上下文信息的長(zhǎng)度有限，并且訓(xùn)練也更加困難。因此，使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM 來(lái)取代一般的循環(huán)神經(jīng)網(wǎng)絡(luò)，利用門機(jī)制將長(zhǎng)期和短期的記憶融合到一起，從而解決普通循環(huán)神經(jīng)網(wǎng)絡(luò)的問(wèn)題。

在一個(gè)序列中，由于某個(gè)變量不僅與之前的信息相關(guān)，還與其之后的信息相關(guān)，因此，采用雙向的LSTM 可以更好地發(fā)揮上下文信息的作用。此外，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，通過(guò)增加雙向LSTM 的層數(shù)，可以有效地提高識(shí)別的精度。我們采用了兩層的雙向LSTM，在實(shí)際應(yīng)用過(guò)程中，我們可以根據(jù)實(shí)際情況來(lái)做相應(yīng)的調(diào)整。利用卷積層得到的特征序列經(jīng)過(guò)循環(huán)層兩個(gè)雙向LSTM 的處理后，可以對(duì)圖像中的文本信息做出更精準(zhǔn)的識(shí)別。由于卷積層的輸出特征的維度與LSTM 的輸入特征的維度不同，為了實(shí)現(xiàn)維度的變換，還需構(gòu)建一個(gè)線性層，將其作為卷積層到循環(huán)層的過(guò)渡，從而滿足循環(huán)層的輸入需求。

轉(zhuǎn)錄層的作用是將由循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的序列轉(zhuǎn)換成標(biāo)記序列，從而得到最后的識(shí)別結(jié)果。該層的原理是在標(biāo)記序列中的各個(gè)分量中，選擇概率最大的索引，作為識(shí)別結(jié)果，并將其組成為最后的識(shí)別序列。本文引入CTC 算法中定義的條件概率應(yīng)用于序列的轉(zhuǎn)換問(wèn)題中。

2 訓(xùn)練

2.1 牛耳標(biāo)數(shù)據(jù)集準(zhǔn)備與標(biāo)注

牛耳標(biāo)數(shù)據(jù)集利用三千萬(wàn)像素照相機(jī)，對(duì)在養(yǎng)殖狀態(tài)下的個(gè)體牛進(jìn)行拍攝從而獲得牛耳標(biāo)圖像，構(gòu)建了一個(gè)牛耳標(biāo)圖像數(shù)據(jù)集，如圖3 所示。本數(shù)據(jù)集來(lái)自內(nèi)蒙古錫林郭勒盟蘇尼特左旗的一個(gè)牧區(qū)，共包含133頭受試牛，每頭牛的牛照片為5-100張圖像。圖像中的耳標(biāo)截面傾斜角度應(yīng)控制在-45 度到45 度之間，剔除角度過(guò)大的圖像，避免因角度過(guò)大造成字符畸變而影響識(shí)別結(jié)果；同時(shí)一頭牛的耳標(biāo)圖片不適宜挑選太多張，因?yàn)槎鷺?biāo)的字典較少，如果相同受試牛的照片挑選過(guò)多，會(huì)造成數(shù)據(jù)集的數(shù)據(jù)泛化性過(guò)低。經(jīng)過(guò)篩檢后，耳標(biāo)圖像總計(jì)3457張圖像。將牛耳標(biāo)數(shù)據(jù)集命名為eartagDATA。

圖3 牛耳標(biāo)數(shù)據(jù)集eartagDATA

本文將采集篩檢后的3457 張牛耳標(biāo)數(shù)據(jù)集eartagDATA 使用PPOCRLabel 標(biāo)注工具對(duì)其進(jìn)行標(biāo)注。PPOCRLabel是一款功能強(qiáng)大的半自動(dòng)化OCR標(biāo)注工具，它支持中英文與數(shù)字識(shí)別，以及法文、德文、韓文、日文多種語(yǔ)言的檢測(cè)。PPOCRLabel 默認(rèn)使用PaddleOCR 中的輕量化PPOCR 模型，同時(shí)也支持用戶使用自定義模型。針對(duì)標(biāo)注過(guò)程中的誤識(shí)別、漏檢測(cè)等問(wèn)題,PPOCRLabel提供自動(dòng)標(biāo)注、手動(dòng)標(biāo)注、重新識(shí)別、手動(dòng)更改識(shí)別內(nèi)容、批處理、撤銷等功能PPOCRLabel能夠?qū)С鲋苯佑糜赑POCR檢測(cè)和識(shí)別模型訓(xùn)練的數(shù)據(jù)格式，主要包括Label.txt，fileState.txt，Cache.cach，rec_gt.txt，crop_img 識(shí)別數(shù)據(jù)等。其中，Label.txt 是檢測(cè)標(biāo)簽，行數(shù)據(jù)包含圖片對(duì)應(yīng)的路徑、檢測(cè)到的多個(gè)文本框坐標(biāo)及其對(duì)應(yīng)的文字或數(shù)字；fileState.txt是圖片狀態(tài)的標(biāo)記文件，保存當(dāng)前文件夾下已經(jīng)被用戶手動(dòng)確認(rèn)過(guò)的圖片名稱；Cache.cach是緩存文件，保存模型自動(dòng)識(shí)別的結(jié)果；crop_img是按照檢測(cè)框切割后的圖像；rec_gt.txt是識(shí)別標(biāo)簽。

2.2 牛耳標(biāo)圖像預(yù)處理

由于牛耳標(biāo)照片的拍攝距離不同，所以耳標(biāo)圖像的分辨率也不同，會(huì)對(duì)耳標(biāo)識(shí)別的準(zhǔn)確率造成影響。使用三次雙線性插值將耳標(biāo)圖像的分辨率進(jìn)行統(tǒng)一。經(jīng)過(guò)三次雙線性插值耳標(biāo)圖像分辨率統(tǒng)一后，分辨率大小均為1024*1024dpi，如圖4所示。

圖4 牛耳標(biāo)圖像統(tǒng)一分辨率結(jié)果示意圖

在數(shù)學(xué)中，雙線性插值是對(duì)兩個(gè)變量的插值函數(shù)進(jìn)行線性插值擴(kuò)展。首先，在x方向做線性插值，可得到式⑴和式⑵：

接下來(lái)在y方向上進(jìn)行線性插值，得到式⑶：

結(jié)果f(x,y)如式⑷：

接下來(lái)對(duì)統(tǒng)一分辨率后的牛耳標(biāo)圖像進(jìn)行腐蝕膨脹處理，腐蝕類似“領(lǐng)域被蠶食”，是將圖像中高亮區(qū)域或白色部分進(jìn)行縮減細(xì)化。而膨脹類似于“領(lǐng)域擴(kuò)張”，將圖像的高亮區(qū)域或白色部分進(jìn)行擴(kuò)張，運(yùn)行結(jié)果圖比原圖像高亮區(qū)域更大。腐蝕和膨脹都是對(duì)圖像的高亮區(qū)域或白色部分而言。

腐蝕是X 用S 腐蝕的結(jié)果是所有使S 平移x 后仍在X 中的x 的集合。換句話說(shuō)，用S 來(lái)腐蝕X 得到的集合是S 完全包括在X 中時(shí)S 的原點(diǎn)位置的集合，其公式表達(dá)如下：

而膨脹可以看做是腐蝕的對(duì)偶運(yùn)算，其定義是：把結(jié)構(gòu)元素B 平移a 后得到Ba，若Ba 擊中X，我們記下這個(gè)a 點(diǎn)。所有滿足上述條件的a 點(diǎn)組成的集合稱做X被B膨脹的結(jié)果。其公式表示如下：

耳標(biāo)圖像經(jīng)過(guò)腐蝕和膨脹處理后能夠有效消除噪聲、分割出獨(dú)立的圖像元素和尋找到圖像中的明顯的極大值區(qū)域或者極小值區(qū)域。

對(duì)圖像先腐蝕、后膨脹，叫開(kāi)運(yùn)算，用式⑺表示。其作用是：分離物體，消除小區(qū)域。

圖5是經(jīng)過(guò)圖像腐蝕膨脹處理的部分實(shí)現(xiàn)源碼和處理后的圖像示意圖。我們可以明顯看出經(jīng)腐蝕膨脹后的耳標(biāo)更加清晰，下文的實(shí)驗(yàn)分析中會(huì)通過(guò)具體的實(shí)驗(yàn)數(shù)據(jù)來(lái)驗(yàn)證。

圖5 牛耳標(biāo)圖像腐蝕膨脹處理示意圖

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

牛耳標(biāo)文本檢測(cè)實(shí)驗(yàn)利用MobileNetV3 作為骨干網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入是牛耳標(biāo)圖像，輸出是牛耳標(biāo)文本檢測(cè)結(jié)果，具體的實(shí)驗(yàn)參數(shù)如表1所示。

表1 牛耳標(biāo)文本檢測(cè)參數(shù)設(shè)置

牛耳標(biāo)文本識(shí)別實(shí)驗(yàn)利用CRNN 作為骨干網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入是牛耳標(biāo)文本圖像，輸出是牛耳標(biāo)文本識(shí)別結(jié)果，具體的實(shí)驗(yàn)參數(shù)如表2所示。

表2 牛耳標(biāo)文本識(shí)別參數(shù)設(shè)置

3.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)運(yùn)行在ubuntu16.04 系統(tǒng)上，使用的編程語(yǔ)言是Python，深度學(xué)習(xí)的環(huán)境使用PaddlePaddle，CUDA版本為9.0。訓(xùn)練程序時(shí)使用的顯卡為NVIDIA GTX2080Ti×2，顯存為32G，測(cè)試程序時(shí)在保證CPU和內(nèi)存基本為空的情況下測(cè)試（為了準(zhǔn)確測(cè)試時(shí)間）。

本文的牛耳標(biāo)文本檢測(cè)采用DB 算法，通過(guò)掃描輸入的耳標(biāo)圖像，設(shè)置閾值來(lái)判斷每一個(gè)像素是否屬于文字區(qū)域，進(jìn)而完成文本定位。圖6 展示了牛耳標(biāo)圖像文本檢測(cè)的效果。綠框部分表示DB 算法檢測(cè)出的文本，并把文本從耳標(biāo)圖像中分割出來(lái)，形成右邊對(duì)應(yīng)的文本行圖片。算法對(duì)像素的掃描順序?yàn)閺淖笾劣遥瑥纳现料隆?/p>

圖6 牛耳標(biāo)文本檢測(cè)結(jié)果

檢測(cè)框校正是對(duì)文本檢測(cè)后分割出的文本行部分進(jìn)行角度校正的操作。在現(xiàn)實(shí)場(chǎng)景下，有較大可能性會(huì)出現(xiàn)文字顛倒的情況，使用檢測(cè)框校正可以有效地提高文本識(shí)別的準(zhǔn)確率。檢測(cè)框校正采用一個(gè)方向分類器將文本行部分進(jìn)行0 和180 度的角度分類，其中，180度的文字行圖片會(huì)被旋轉(zhuǎn)操作實(shí)現(xiàn)轉(zhuǎn)正。

輸入牛耳標(biāo)圖像，在經(jīng)過(guò)檢測(cè)網(wǎng)絡(luò)后，將其輸入到識(shí)別網(wǎng)絡(luò)，可以得到牛耳標(biāo)識(shí)別結(jié)果，從圖7 可以看到，在識(shí)別結(jié)果中，標(biāo)出了牛耳標(biāo)數(shù)字的具體坐標(biāo)以及每個(gè)坐標(biāo)的ID 識(shí)別結(jié)果、識(shí)別置信度和識(shí)別所用時(shí)間。

圖7 牛耳標(biāo)識(shí)別結(jié)果

分別對(duì)原始牛耳標(biāo)圖像和腐蝕膨脹后的耳標(biāo)圖像進(jìn)行耳標(biāo)識(shí)別測(cè)試，測(cè)試結(jié)果如表3。

表3 牛耳標(biāo)圖像文本識(shí)別結(jié)果

4 結(jié)束語(yǔ)

本文介紹了使用牛耳標(biāo)進(jìn)行牛個(gè)體識(shí)別的整體思路，文本檢測(cè)器、文本方向檢測(cè)器和文本識(shí)別器的網(wǎng)絡(luò)結(jié)構(gòu)。接下來(lái)介紹了對(duì)牛耳標(biāo)圖像預(yù)處理及其原理，使用腐蝕膨脹處理提高圖像的可識(shí)別性。在針對(duì)耳標(biāo)場(chǎng)景設(shè)置好實(shí)驗(yàn)的超參數(shù)后對(duì)耳標(biāo)原圖像和腐蝕膨脹后的圖像分別進(jìn)行了測(cè)試，最后展示了測(cè)試結(jié)果，證明了本課題使用的預(yù)處理方法可以提高牛耳標(biāo)圖像的識(shí)別準(zhǔn)確率。