基于全卷積網(wǎng)絡(luò)的數(shù)字儀表字符識(shí)別方法

蔡夢(mèng)倩，張蕾，王炎，莫娟

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0　引言

如今，數(shù)字儀表在各行各業(yè)都有著廣泛的應(yīng)用，由于歷史遺留原因、成本控制考慮、設(shè)計(jì)需要等因素，仍有相當(dāng)一部分的儀表不提供與計(jì)算機(jī)進(jìn)行數(shù)據(jù)通信的接口，需要人工錄入儀表讀數(shù)。人工錄入儀表讀數(shù)需要消耗大量的人力和時(shí)間，且結(jié)果易受認(rèn)為因素的干擾。相比之下，根據(jù)實(shí)時(shí)監(jiān)控捕獲儀表圖像，再利用字符識(shí)別方法識(shí)別儀表圖像中的讀數(shù)就顯得更加便捷。

數(shù)字儀表中的讀數(shù)通常包含多個(gè)字符，傳統(tǒng)方法[1-2]首先通過(guò)定位確定字符串的位置，再將字符串分割為單個(gè)字符后進(jìn)行識(shí)別。整個(gè)過(guò)程比較繁雜，且識(shí)別結(jié)果容易受預(yù)處理過(guò)程中定位和分割效果的影響。如果我們對(duì)數(shù)字儀表圖像實(shí)現(xiàn)像素級(jí)的預(yù)測(cè)，預(yù)測(cè)結(jié)果同時(shí)包含位置信息和類(lèi)別信息，我們就可以綜合二者直接得到字符串的結(jié)果。

本文提出一種基于全卷積網(wǎng)絡(luò)的數(shù)字儀表字符串識(shí)別方法。該方法通過(guò)全卷積網(wǎng)絡(luò)實(shí)現(xiàn)了圖到圖的像素級(jí)預(yù)測(cè)，同時(shí)實(shí)現(xiàn)了字符的定位、分割與識(shí)別。并且，通過(guò)加權(quán)混合特征學(xué)習(xí)融合了全卷積網(wǎng)絡(luò)中多尺度多層級(jí)的特征，使預(yù)測(cè)結(jié)果很好地綜合了位置信息和分類(lèi)信息，從而得到準(zhǔn)確的字符串識(shí)別結(jié)果。我們采用了包含有多類(lèi)數(shù)字儀表的數(shù)據(jù)集來(lái)展示基于加權(quán)混合特征學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)方法在數(shù)字儀表字符串識(shí)別上的出色表現(xiàn)。實(shí)驗(yàn)結(jié)果表明，該方法能夠在省略復(fù)雜的預(yù)處理過(guò)程的前提下，由數(shù)字儀表圖像直接得到儀表中字符串的識(shí)別結(jié)果。

本文的主要貢獻(xiàn)如下:

（1）我們提出了一種基于加權(quán)混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)H-Meter，利用像素級(jí)的預(yù)測(cè)解決了數(shù)字儀表字符串的識(shí)別問(wèn)題；

（2）通過(guò)加權(quán)融合全卷積網(wǎng)絡(luò)中多尺度多層級(jí)特征的方式，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使像素級(jí)預(yù)測(cè)結(jié)果在位置信息和識(shí)別信息上都有很好的表現(xiàn)，提高字符串的識(shí)別的準(zhǔn)確率；

（3）應(yīng)用相關(guān)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明基于加權(quán)混合特征的全卷積網(wǎng)絡(luò)能夠直接、準(zhǔn)確的識(shí)別字符串。

1　相關(guān)工作

一直以來(lái)，對(duì)于數(shù)字儀表字符識(shí)別的研究工作都十分豐富.這些工作所提出的方法基本都包含三個(gè)階段：字符區(qū)域定位、字符分割和字符識(shí)別。

字符的定位和分割通常通過(guò)一定的閾值對(duì)圖像做二值化處理，對(duì)二值化后的圖像進(jìn)行行掃描和列掃描，利用行掃描和列掃描的結(jié)果確定字符串的邊界以及字符串中每個(gè)字符的分界點(diǎn)[14-17]。這種預(yù)處理方法容易受到噪聲的影響，從而無(wú)法獲得正確的字符分割結(jié)果。

在字符識(shí)別階段，通常采用兩種方法：模板匹配方法[14-15，17]和神經(jīng)網(wǎng)絡(luò)方法[3，18]。模板匹配通過(guò)人工的字符模板進(jìn)行字符識(shí)別，神經(jīng)網(wǎng)絡(luò)方法通過(guò)訓(xùn)練進(jìn)行特征提取實(shí)現(xiàn)字符識(shí)別。相比之下，模板匹配方法的抗噪能力較弱，例如，不均勻光照、角度傾斜等因素可能會(huì)導(dǎo)致字符形變或缺損，在這些情況下，模板匹配方法的識(shí)別率就會(huì)受到嚴(yán)重的影響。在實(shí)際應(yīng)用的過(guò)程中，這些干擾因素是難免的，這就使得神經(jīng)網(wǎng)絡(luò)方法更具優(yōu)越性。但是，無(wú)論是模板匹配方法，還是神經(jīng)網(wǎng)絡(luò)方法都會(huì)受到預(yù)處理結(jié)果的影響。

本文提出的基于全卷積網(wǎng)絡(luò)的數(shù)字儀表字符串識(shí)別方法，通過(guò)圖到圖的預(yù)測(cè)，不依賴(lài)于預(yù)處理方法，直接實(shí)現(xiàn)字符的定位、分割與識(shí)別。并結(jié)合加權(quán)混合特征學(xué)習(xí)，使了全卷積網(wǎng)絡(luò)在數(shù)字儀表圖像上具有更好的預(yù)測(cè)效果和更強(qiáng)的魯棒性。

2　基于加權(quán)混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)

在本節(jié)中，主要介紹一種基加權(quán)混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)，并將其應(yīng)用于數(shù)字儀表字符串識(shí)別中。

2.1　基于加權(quán)混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)

總結(jié)傳統(tǒng)方法解決數(shù)字儀表字符串識(shí)別的思路：首先，需要確定每個(gè)字符的位置；然后，再對(duì)每個(gè)字符進(jìn)行逐一識(shí)別。如果我們能夠用一個(gè)方法同時(shí)解決這兩個(gè)問(wèn)題，將極大簡(jiǎn)化數(shù)字儀表字符串識(shí)別的解決過(guò)程。

2015年，J.Long等人利用卷積層替代傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的全連接層以得到圖到圖的預(yù)測(cè)的方法[7]，很好地解決語(yǔ)義分割問(wèn)題。如果利用全卷積網(wǎng)絡(luò)對(duì)原始數(shù)字儀表圖像實(shí)現(xiàn)像素級(jí)的預(yù)測(cè)，使得預(yù)測(cè)結(jié)果與原始圖像中的元素一一對(duì)應(yīng)；那么，我們就可以根據(jù)預(yù)測(cè)結(jié)果的分布情況確定背景區(qū)域和各個(gè)字符區(qū)域，并根據(jù)每個(gè)字符區(qū)域內(nèi)的預(yù)測(cè)結(jié)果確定該字符的分類(lèi)。由此，設(shè)計(jì)了用于解決數(shù)字儀表字符串識(shí)別的全卷積網(wǎng)絡(luò)。

該網(wǎng)絡(luò)通過(guò)卷積層和池化層進(jìn)行特征提取[5]。由于圖像有其固有特性，圖像一部分的統(tǒng)計(jì)特性也可作用于其他部分上，這意味著對(duì)于圖像上所有的區(qū)域，我們都能使用同樣的學(xué)習(xí)特征[8]。通過(guò)借鑒視覺(jué)神經(jīng)系統(tǒng)中感受野的概念，利用卷積核大小為3×3的卷積層不斷地學(xué)習(xí)圖像不同尺度的特征，卷積層的權(quán)值共享和局部連接的特性，大大減少了網(wǎng)絡(luò)的計(jì)算量。再通過(guò)池化層對(duì)數(shù)據(jù)進(jìn)行降維操作，該網(wǎng)絡(luò)采用最大池化方法，也就是計(jì)算鄰域內(nèi)特征點(diǎn)的最大值，來(lái)得到輸入的概要統(tǒng)計(jì)，這些概要統(tǒng)計(jì)不僅相比輸入具有低得多的維度，而且保持了輸入的特征不變性，進(jìn)一步減少了網(wǎng)絡(luò)的計(jì)算量。卷積層和池化層的相關(guān)參數(shù)信息如表1所示。

表1　網(wǎng)絡(luò)的層級(jí)信息

為了能產(chǎn)生圖到圖的像素級(jí)預(yù)測(cè)，需要保證網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果要與原輸入圖像元素對(duì)應(yīng)，即預(yù)測(cè)結(jié)果為與輸入圖像尺寸一致的預(yù)測(cè)圖。在每一層卷積之前都對(duì)輸入進(jìn)行padding操作，保證卷積層的輸入輸出圖像尺寸一致；利用卷積核大小為1×1的卷積層替代全連接層得到圖像級(jí)預(yù)測(cè)結(jié)果，即網(wǎng)絡(luò)結(jié)構(gòu)中不包含全連接層；在最后一層卷積層后添加反卷積層實(shí)現(xiàn)上采樣操作將由于池化層下采樣操作逐層變小的特征圖恢復(fù)到原圖尺寸，這一過(guò)程看作是一個(gè)“反向卷積”的過(guò)程，其反卷積核的參數(shù)也是可學(xué)習(xí)的。最后，通過(guò)Softmax層對(duì)每一個(gè)像素實(shí)現(xiàn)分類(lèi)。

綜上所述，我們就實(shí)現(xiàn)了可以得到數(shù)字儀表圖像的像素級(jí)預(yù)測(cè)的全卷積網(wǎng)絡(luò)F-Meter，可以用于直接提取數(shù)字儀表中字符串的識(shí)別結(jié)果。

2.2　加權(quán)混合特征學(xué)習(xí)

當(dāng)我們直接使用F-Meter進(jìn)行數(shù)字儀表字符串的識(shí)別時(shí)，我們會(huì)發(fā)現(xiàn)預(yù)測(cè)結(jié)果在位置信息上的表現(xiàn)并不理想。這是因?yàn)橹苯訉⑻卣鲌D放大到原輸入圖像的尺寸，會(huì)導(dǎo)致其變得非常模糊。為了解決這個(gè)問(wèn)題，我們將網(wǎng)絡(luò)較低層級(jí)的輸出特征也直接作為預(yù)測(cè)結(jié)果的參考。雖然，網(wǎng)絡(luò)較低層級(jí)還不能夠很好地提取識(shí)別信息，但是，其輸出特征對(duì)于局部信息有很好地保留，有助于提升預(yù)測(cè)結(jié)果在位置上的表現(xiàn)。

我們連接了Conv1_2、Conv2_2、Conv3_3和Conv4_3到融合層，實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)多尺度多層級(jí)混合特征的學(xué)習(xí)，再利用融合層輸出的融合特征進(jìn)行預(yù)測(cè)。在融合方式上，我們選用加權(quán)融合（weighted-fusion）的方式，以防止過(guò)多的參考低層特征反而影響預(yù)測(cè)結(jié)果在識(shí)別信息上的表現(xiàn)。首先，我們會(huì)對(duì)Conv1_2、Conv2_2、Conv3_3和Conv4_3輸出特征分別進(jìn)行加權(quán)融合，融合后的特征作為各個(gè)層的層級(jí)特征（Level Feature）。然后，對(duì)層級(jí)特征進(jìn)行上采樣操作，保證所有的層級(jí)特征的尺寸都與原輸入圖像的尺寸一致。最后，將尺寸一致的層級(jí)特征進(jìn)行加權(quán)融合得到融合特征，并通過(guò)Softmax分類(lèi)層得到分類(lèi)結(jié)果。圖1展示了加權(quán)混合特征學(xué)習(xí)的過(guò)程。

3　實(shí)驗(yàn)與結(jié)果

在本節(jié)中，我們使用本文所提出基于混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)H-Meter識(shí)別數(shù)字儀表中的字符串，并在包含有多類(lèi)數(shù)字儀表的數(shù)據(jù)集[12]上測(cè)試了我們的方法。

3.1　度量標(biāo)準(zhǔn)

本文所提出方法的性能通過(guò)字符的精度P（Precision）和召回率R（Recall）來(lái)度量。將字符根據(jù)真實(shí)類(lèi)別與預(yù)測(cè)類(lèi)別字符的組合劃分為四類(lèi)：真正例、假正例、真反例、假反例。精度，亦稱(chēng)查準(zhǔn)率，在字符識(shí)別問(wèn)題中代表被正確預(yù)測(cè)地某類(lèi)字符的數(shù)目占被預(yù)測(cè)為該類(lèi)字符的數(shù)目的比例。召回率，亦稱(chēng)查全率，代表被正確預(yù)測(cè)地某類(lèi)字符的數(shù)目占該類(lèi)字符真實(shí)數(shù)目的比例。精度和召回率的公式定義如下：

精度和召回率是一對(duì)矛盾的度量.一般來(lái)說(shuō)，精度高時(shí)，召回率往往偏低；而召回率高時(shí)，精度往往偏低。為了能夠綜合考慮精度和召回率，我們還通過(guò)精度與召回率的調(diào)和平均F1度量來(lái)進(jìn)行模型間的評(píng)估，F(xiàn)1的公式定義如下：

由于本文所提出的方法直接實(shí)現(xiàn)字符串端到端的預(yù)測(cè)，所以我們也通過(guò)字符串的準(zhǔn)確率A（Accuracy）來(lái)反映其性能。字符串的準(zhǔn)確度代表被正確預(yù)測(cè)的字符串的數(shù)目占字符串總數(shù)目的比例，其公式定義如下：

其中，TrueStr代表被正確預(yù)測(cè)的字符串，F(xiàn)alseStr代表被錯(cuò)誤預(yù)測(cè)的字符串。

圖1　加權(quán)混合特征學(xué)習(xí)過(guò)程

3.2　數(shù)據(jù)集

我們將在包含有多類(lèi)數(shù)字儀表的數(shù)據(jù)集上測(cè)試我們的方法。該數(shù)據(jù)集[12]由趙凱等人收集整理，共計(jì)11385個(gè)樣本，其中包含5類(lèi)數(shù)字儀表樣本，不同類(lèi)別的儀表樣本包含的字符串長(zhǎng)度和字體都有所不同，這些樣本是灰度化的3通道圖片，圖片的尺寸50×160，圖3展示了數(shù)據(jù)集的部分樣本。

我們將在包含有多類(lèi)數(shù)字儀表的數(shù)據(jù)集上測(cè)試我們的方法。該數(shù)據(jù)集[12]由趙凱等人收集整理，共計(jì)11385個(gè)樣本，其中包含5類(lèi)數(shù)字儀表樣本，不同類(lèi)別的儀表樣本包含的字符串長(zhǎng)度和字體都有所不同，這些樣本是灰度化的3通道圖片，圖片的尺寸50×160，圖3展示了數(shù)據(jù)集的部分樣本。

圖2　數(shù)據(jù)集中的部分樣本示例

由示例樣本可以看出數(shù)字儀表數(shù)據(jù)集中大量存在光照差異、字符串傾斜、字符扭曲等現(xiàn)象，增加了數(shù)字儀表的字符識(shí)別的難度。但是，經(jīng)過(guò)實(shí)驗(yàn)表明，本文所提出模型依舊能夠準(zhǔn)確、高效地識(shí)別數(shù)字儀表識(shí)別中的字符串。

3.3　后處理

由于H-Meter實(shí)現(xiàn)圖到圖的預(yù)測(cè)，其預(yù)測(cè)結(jié)果為11×50×160的矩陣，對(duì)應(yīng)11個(gè)分類(lèi)（10個(gè)數(shù)字類(lèi)和1個(gè)背景類(lèi)），為了從矩陣中字符串結(jié)果作為最終輸出，我們需要利用算法1進(jìn)行字符串提取。

算法1預(yù)測(cè)矩陣字符串提取算法

輸入：預(yù)測(cè)矩陣Matrix，閾值t；

輸出：數(shù)字字符串結(jié)果Str.

將Matrix小于t的元素置0；

for 10個(gè)數(shù)字i

subMatrix=Matrix（i,50,160）；/* 提取 Matrix中數(shù)字 i對(duì)應(yīng)的部分*/

查找subMatrix中的連通區(qū)域作為字符團(tuán)，舍棄掉過(guò)小的團(tuán)；

for subMatrix中團(tuán)的個(gè)數(shù)K

Str←i;/*將第k個(gè)字符團(tuán)的值加入到字符串中*/

end for

end for

對(duì)Loc中的坐標(biāo)進(jìn)行排序；

根據(jù)Loc中坐標(biāo)的排序，獲得順序正確的字符串Str。

3.4　實(shí)驗(yàn)結(jié)果

本小節(jié)利用兩組實(shí)驗(yàn)來(lái)驗(yàn)證我們提出的方法的可行性和準(zhǔn)確性該數(shù)據(jù)集并沒(méi)有劃分訓(xùn)練集和測(cè)試集，所以我們按照1:9的比例將數(shù)據(jù)集隨機(jī)的劃分為測(cè)試集和驗(yàn)證集。其中，測(cè)試集包含1139張數(shù)字儀表圖片，訓(xùn)練集包含10246張數(shù)字儀表圖片。

實(shí)驗(yàn)1驗(yàn)證層級(jí)特征融合的必要性。在這個(gè)實(shí)驗(yàn)中，我們比較了2.1中所提到的不包含層級(jí)特征融合的全卷積網(wǎng)絡(luò)F-Meter和基于加權(quán)混合特征融合的全卷積網(wǎng)絡(luò)H-Meter，并在表2中列出了二者在測(cè)試集上的字符精度、召回率、F1度量和字符串準(zhǔn)確率。精度、召回率和F1度量取各個(gè)字符類(lèi)的均值。

表2　

實(shí)驗(yàn)結(jié)果表明，H-Meter在字符精度、召回率、F1度量和字符串準(zhǔn)確率上都要遠(yuǎn)高于F-Meter，證明網(wǎng)絡(luò)較低層級(jí)雖然還不能夠很好地提取抽象特征，但是其對(duì)于局部信息有很好地保留，合理地融合較低層級(jí)的特征輸出對(duì)于最終結(jié)果的提升有很大幫助。

實(shí)驗(yàn)2驗(yàn)證加權(quán)混合特征學(xué)習(xí)的有效性。我們對(duì)比了基于平均混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)和基于加權(quán)混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)在預(yù)測(cè)結(jié)果上的表現(xiàn)，并結(jié)合精度、召回率等性能度量進(jìn)行比較比較。基于平均混合特征學(xué)習(xí)的全卷積網(wǎng)絡(luò)，通過(guò)對(duì)池化層的特征輸出進(jìn)行不斷地上采樣操作并累加的方式實(shí)現(xiàn)。

表3　

實(shí)驗(yàn)結(jié)果表明，雖然同樣融合了較低層級(jí)的特征，但是，平均混合特征學(xué)習(xí)在測(cè)試集上的表現(xiàn)遠(yuǎn)不如加權(quán)混合特征學(xué)習(xí)在測(cè)試集上的表現(xiàn)，甚至過(guò)度的依賴(lài)低層特征影響了識(shí)別結(jié)果。所以，對(duì)于較低層級(jí)的特征也要有學(xué)習(xí)的進(jìn)行融合。

4　結(jié)語(yǔ)

本文提出了一種基于全卷積網(wǎng)絡(luò)的數(shù)字儀表字符識(shí)別方法.通過(guò)圖像端到端像素級(jí)的預(yù)測(cè)，能夠省去繁瑣的字符識(shí)別預(yù)處理過(guò)程，直接得到字符串的識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的數(shù)字儀表字符方法能夠準(zhǔn)確、高效地識(shí)別自然場(chǎng)景下儀表中的字符串。

參考文獻(xiàn)：

[1]T.E.de Campos,B.R.Babu,M.Varma.Character Recognition in Natural Images[J].In Proceedings of the International Conference on Computer Vision Theory and Applications,Lisbon,Portugal,February 2009

[2]T.Yamaguchi,Y.Nakano,M.Maruyama,H.Miyao,T.Hananoi.Digit Classification on Signboards for Telephone Number Recognition[J].In ICDAR,pages 359-363,2003.

[3]Yujie Liu,He Huang,Jinde,Cao,Tingwen Huang.Convolutional Neural Networks-Based Intelligent Recognition of Chinese License Plates.[J]Soft Computing,2017,2（2）:1-17.

[4]P.Dollar,C.L.Zitnick.Fast Edge Detection Using Structured Forests.PAMI,2015

[5]K.Simonyan，A.Zisserman.Very Deep Convolutional Networksfor Large-Scale Image Recognition[J].In ICLR,2015.

[6]G.Bertasius,J.Shi,L.Torresani.Deepedge:A Multiscale Bifurcated Deep Network for Top-Down Contour Detection[J].In CVPR,2015.

[7]J.Long,E.Shelhamer,T.Darrell.Fully Convolutional Networks for Semantic Segmentation[J].In CVPR,2015.

[8]http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial l

[9]S.Xie，Z.Tu.Holistically-Nested Edge Detection.In Proc[J].ICCV,pages 1395-1403,2015.

[10]P Sermanet,S Chintala,Y LeCun.Convolutiona l Neural Networks Applied to House Numbers Digit Classification[J].Pattern Recognition.In ICPR.

[11]Lecun,Y.;Bottou,L.;Bengio,Y.;Haffner,P.Gradient-Based Learning Applied to Document Recognition[J].In Proceedings of the IEEE.pages.2278-2324,1998.

[12]http://o7zt4a6os.bkt.clouddn.com/digit_data.zip

[13]https://github.com/SHUCV/digit

[14]G Qingyu,G Yongfeng.Digital Meter Identify Based on Local Orientation[J].In International Conference on Intelligent Computation Technology and Automation,pages 110-113,2010.

[15]Wei,Bi Gui;Chang,Qing;Yan,Cai Yun;Zhang,Guo Zhen.Recognition System for Digital Meter Dynamic Display from Video Based on MATLAB[J].In Advanced Materials Research.pages 2183-2186.

[16]Tu,Zhen Yuan;Ning,Fang Hua;Yu,Wu Jia.Study about Recognition of Digital Meter Dial Reading Based on SVM[J].In Applied Mechanics and Materials.pages 194-197.

[17]Bin,Ma;Xiangbin,Meng;Xiaofu,Ma;Wufeng,Li;Linchong,Hao;Dean,Jiang.Digital Recognition Based on Image Device Meters.[J].In Second WRI Global Congress on Intelligent Systems.pages 326-330.2010.

[18]Zhao,Li-meng，Zhang,Yun-zhou，Bai,Qiu-shi，Qi,Zi-xin，Zhang,Xin-tong.Research of Digital Meter Identifier Based on DSP and Neural Network[J].In IEEE International Workshop on Imaging Systems and Techniques.pages 402-406.2009.