過渡映射耦合改進(jìn)的閾值分割的文本提取方法

賈彥茹，張連堂，周麗宴

(1.信陽學(xué)院 數(shù)學(xué)與信息學(xué)院，河南 信陽 464000；2.河南大學(xué) 計(jì)算機(jī)與信息工程學(xué)院， 河南 開封 475001；3.鄭州大學(xué) 信息工程學(xué)院，河南 鄭州 450001)

0 引 言

視頻中的背景復(fù)雜、場(chǎng)景多變，并且通常受到不同類型的干擾，對(duì)此，在復(fù)雜場(chǎng)景中，視頻文本的提取具有較高難度[1,2]。

視頻中的文本具有高層語義性，傳統(tǒng)的基于邊緣、顏色和紋理信息等低層特征表達(dá)力不足，為視頻的理解帶來了困難[3]。為了準(zhǔn)確提取視頻中的文本，諸多國內(nèi)外學(xué)者對(duì)此進(jìn)行了研究，提出了一系列的文本提取方法。如鄭云非[4]設(shè)計(jì)了通過深度學(xué)習(xí)算子的視頻文本區(qū)域定位與識(shí)別技術(shù)?；谏疃葘W(xué)習(xí)，構(gòu)建深度置信網(wǎng)絡(luò)。并利用構(gòu)建的深度置信網(wǎng)絡(luò)對(duì)4個(gè)方向得到的紋理特征計(jì)算，完成對(duì)文本邊界的定位。再根據(jù)形態(tài)學(xué)法，對(duì)定位好文本區(qū)域進(jìn)行腐蝕和膨脹操作。最后，將文本區(qū)域二值化操作，提取文本信息。該技術(shù)可有效定位文本區(qū)域并提取文本字符，但是神經(jīng)網(wǎng)絡(luò)對(duì)文本信息提取能力較弱，對(duì)文本區(qū)域定位不足，且權(quán)重調(diào)整易受到初始隨機(jī)性的干擾，對(duì)于復(fù)雜視頻中的文本提取效果不足。姜曉[5]設(shè)計(jì)了一種視頻廣告文本提取算法，首先通過圖像邊緣與連通區(qū)分析進(jìn)行文本初略定位。其次，根據(jù)WT(wavelet decomposition)的頻域特征與灰度共生矩陣，利用Co-traning算子訓(xùn)練SVM，從而得到了對(duì)文本區(qū)域的細(xì)定位。通過Co-traning算子能較好解決樣本元素誤分類的不足。通過設(shè)計(jì)了一種自動(dòng)種子技術(shù)，在迭代圖分割中對(duì)文本分割。最后，對(duì)卷積網(wǎng)絡(luò)進(jìn)行了研究，并引入到文本字符檢測(cè)中，完成文本提取。該方法在背景簡(jiǎn)單時(shí)，能夠較好完成對(duì)文本區(qū)域的定位，但是，當(dāng)場(chǎng)景復(fù)雜時(shí)，難以通過邊緣特征對(duì)文本定位，易受到各種環(huán)境的影響，降低了對(duì)文本的提取精度。Guo等[6]提出了一種視頻場(chǎng)景的文本提取方法。通過復(fù)角點(diǎn)匹配和啟發(fā)式規(guī)則相結(jié)合來檢測(cè)候選文本區(qū)域，且通過多幀融合提高了準(zhǔn)確度，并根據(jù)文本的紋理特性與背景區(qū)域區(qū)分，提取文本信息，但是該技術(shù)對(duì)于復(fù)雜的背景與各種類的文本，對(duì)文本區(qū)域定位有一定的誤差，提取效果還有待提高，適用性不足。

為提高復(fù)雜視頻文本的提取精度，本文通過構(gòu)建過渡映射，設(shè)計(jì)了一種場(chǎng)景文本檢測(cè)和提取算法。首先，根據(jù)觀察到的文本及其相鄰背景之間存在瞬態(tài)顏色來生成過渡圖。然后通過計(jì)算過渡像素的密度和過渡像素周圍紋理的一致性來粗略地檢測(cè)文本區(qū)域。利用改進(jìn)的基于顏色的閾值分割方法準(zhǔn)確地提取文本字符串，利用投影變換映射準(zhǔn)確地檢測(cè)出文本區(qū)域。最后，對(duì)所提視頻文本提取算法進(jìn)行驗(yàn)證。

1 文本區(qū)域檢測(cè)

1.1 過渡映射

基于觀察，視頻中的文本與其相鄰的背景之間存在著瞬態(tài)顏色(參見圖1)，文本具有高飽和度，一般是通過圖形組件插入。

圖1 文本顯示

一般來說，如果背景是黑暗的，那么文本往往是亮的。相反，如背景是亮的，文本往往是黑暗的。因此，由于色彩混合，文本與其相鄰的背景之間存在著瞬態(tài)顏色，在文本邊界處可觀察到強(qiáng)度對(duì)數(shù)變化。

如圖2所示，由于有損視頻壓縮引起的色彩混合，在亮文本的邊界處，連續(xù)3個(gè)像素的強(qiáng)度下降。還觀察到3個(gè)連續(xù)像素的強(qiáng)度在暗文本的邊界上呈指數(shù)增長(zhǎng)。另外，圖2中還示出了過渡區(qū)域中強(qiáng)度變化的圖示。分別準(zhǔn)備3個(gè)含有“亮到暗(B-D)”和“暗到亮(D-B)”的視頻。從每個(gè)視頻采樣的20個(gè)過渡區(qū)域被平均化，并在圖中示出。由于在低對(duì)比度圖像中，文本邊界的強(qiáng)度變化可能很小，為精確地確定像素是否在過渡區(qū)域內(nèi)，將改進(jìn)的飽和度作為權(quán)值[7]。改進(jìn)的飽和度定義如下

(1)

(2)

其中，max(S(x,y))定義如下

(3)

DL(x,y)=(1+dSL(x,y))×I(x-1,y)-I(x,y)

(4)

DH(x,y)=(1+dSH(x,y))×I(x,y)-I(x+1,y)

(5)

其中，權(quán)重dSL(x,y)，dSH(x,y)分別定義如下

(6)

(7)

圖2 過渡區(qū)域強(qiáng)度變化

由于權(quán)重dSL(x,y)與dSH(x,y)可以是零的非彩色文本和背景，因此，將dSL(x,y)與dSH(x,y)額外加1。如果一個(gè)像素滿足式(8)給定的對(duì)數(shù)變化的約束，以當(dāng)前像素為中心的3個(gè)連續(xù)點(diǎn)作為過渡像素檢測(cè)，并生成過渡映射，表示如下

(8)

其中，TH為閾值。圖3(a)、圖3(c)為文本插入圖像，圖3(b)、圖3(d)中示出了兩個(gè)過渡地圖結(jié)果。可以看到，即使在復(fù)雜的背景下，過渡地圖也能很好地生成。

圖3 過渡圖

1.2 候選文本區(qū)域提取

過渡圖可以作為文本區(qū)域的有用指示器，要得到候選文本區(qū)域，首先生成一個(gè)連接圖，如圖4(b)所示。如果同一行中兩個(gè)非零點(diǎn)之間的連續(xù)像素間距小于圖像寬度的5%，則它們被填充。如果連接的組件小于閾值，則刪除它們。通過觀察文本區(qū)域的最小尺寸，對(duì)閾值進(jìn)行經(jīng)驗(yàn)選擇。然后每個(gè)連接的部件被重塑成光滑的邊界。假定文本區(qū)域通常是矩形的，通過鏈接4個(gè)點(diǎn)生成矩形包圍盒，根據(jù)圖4(b)所示的鏈路圖，這4個(gè)點(diǎn)分別為(minx,miny)、(maxx,miny)、(minx,maxy)、(maxx,maxy)，圖4(c)為候選區(qū)域細(xì)化結(jié)果。

圖4 候選區(qū)域提取

1.3 文本區(qū)域確定

隨后，通過一些有用的線索來確定邊界平滑候選區(qū)域中真實(shí)的文本區(qū)域，例如文本的長(zhǎng)寬比。由于大多數(shù)文本在視頻中是水平放置的，因此，可以很容易地消除垂直較長(zhǎng)的候選區(qū)。過渡像素的密度也是一個(gè)很好的標(biāo)準(zhǔn)，然而，需要更精細(xì)的算法來減少因復(fù)雜背景而導(dǎo)致的錯(cuò)誤檢測(cè)。在這一小節(jié)中，由于文本類型與背景的復(fù)雜性，像素附近的強(qiáng)度變化很大，因此，引入LBP來描述過渡像素周圍的紋理[9]。LBP是一個(gè)非常有效和簡(jiǎn)單的工具來表示紋理的一致性。LBP使用當(dāng)前像素及其所有循環(huán)相鄰像素得到二進(jìn)制模式，并可變?yōu)槭M(jìn)制數(shù)，表示如下

(9)

現(xiàn)在使用操作符定義文本的概率(POT)如下：首先將LBP算子應(yīng)用于候選區(qū)域中的所有過渡像素。然后，計(jì)算不同LBP的數(shù)目來考慮過渡像素周圍的強(qiáng)度變化。由于使用含8個(gè)相鄰像素獲得的LBP值，因此不同的LBP種類為28=256。雖然不同的LBP的數(shù)目通常增加，因?yàn)楹蜻x區(qū)域包括更多的過渡像素，由于過渡像素可以具有相同的LBP式，所以不能保證它。圖4(c)中每一個(gè)候選區(qū)域不同LBP和過渡像素?cái)?shù)見表1。

表1 候選區(qū)域像素測(cè)量

設(shè)λi表示每個(gè)候選區(qū)域中的過渡像素的密度，并且可以根據(jù)每個(gè)候選區(qū)域的大小來劃分過渡像素的數(shù)目。因此，POT可定義如下

POTi=λi×NOLi,i=1,…,N

(10)

其中，N表示所述候選區(qū)域的數(shù)目；NOLi為不同LBP的數(shù)量，由每個(gè)候選區(qū)域中不同LBP的最大值歸一化得到。如果候選區(qū)域的POT大于預(yù)定義值，則相應(yīng)區(qū)域最后被確定為文本區(qū)域。根據(jù)實(shí)驗(yàn)結(jié)果，將閾值值設(shè)置為0.05?？梢钥吹街丿B的文本區(qū)域與其它候選對(duì)象很好地識(shí)別。檢測(cè)結(jié)果如圖5與表2所示。

圖5 文本區(qū)域檢測(cè)

POT結(jié)果C10.113文本區(qū)域C20.039背景區(qū)域C30.081文本區(qū)域

1.4 文本區(qū)域細(xì)化

接下來，對(duì)獲得的覆蓋文本區(qū)域或邊界進(jìn)行細(xì)化，以便更好地準(zhǔn)確提取文本。為此，本文使用過渡圖[10]中的過渡像素的改進(jìn)投影來執(zhí)行文本區(qū)域細(xì)化。首先，進(jìn)行水平投影以在檢測(cè)到的覆蓋文本區(qū)域的每一行中累積所有過渡像素計(jì)數(shù)以形成過渡像素的直方圖。然后，空點(diǎn)表示未轉(zhuǎn)換像素的像素行，然后重新劃分區(qū)域。投影垂直進(jìn)行，空點(diǎn)再次被刪除。相對(duì)于文獻(xiàn)[10]中提出的基于邊緣的粗投影算法，本文投影方法使得過程更簡(jiǎn)單。

1.5 覆蓋文本區(qū)域更新

一旦在當(dāng)前幀中檢測(cè)到文本區(qū)域，就有必要利用連續(xù)幀之間的重疊文本的連續(xù)性來進(jìn)行下一幀的文本區(qū)域檢測(cè)。如果由當(dāng)前轉(zhuǎn)換圖和先前的過渡圖異或(XOR)所得到的差值小于預(yù)定值，則直接將前一幀的覆蓋文本區(qū)域作為檢測(cè)結(jié)果，不需要進(jìn)一步細(xì)化。

為了處理這些變化，比較了當(dāng)前的轉(zhuǎn)換映射和3幀之間的轉(zhuǎn)換映射和這些映射之間的相異度量，定義如下

(11)

其中，Tn，Tn-3為表示第n幀和第n-3幀獲得的過渡映射；?為XOR操作。換句話說，如果第n幀和第n-3幀過渡映射的值相同，那么Tn(x,y)?Tn-3(x,y)的值為零。反之，如果這兩個(gè)值不相同，那么其結(jié)果為1，文本區(qū)域更新方法可以有效地減少處理時(shí)間。

2 本文算法機(jī)制

在應(yīng)用視頻OCR應(yīng)用程序之前，需要將得到的細(xì)化的文本區(qū)域轉(zhuǎn)換為二進(jìn)制圖像，屬于文本的所有像素都被高亮顯示，而其它像素則被抑制。由于文本顏色可能比背景色更亮或更暗，因此需要一個(gè)有效的方案來提取處理復(fù)雜背景和各種文本外觀的覆本。在這一部分，提出了一種快速有效的文本提取技術(shù)。

2.1 顏色極性計(jì)算

對(duì)于文本比周圍背景暗與文本比背景更亮兩種不同狀態(tài)，本文通過簡(jiǎn)單的閾值分割得到的二值圖像的文本，表示為1(或“白”)或0(或“黑”)。因此，本文通過檢查顏色極性，如果需要的話，反轉(zhuǎn)像素強(qiáng)度，與周圍的像素相比，輸出的文本區(qū)域就可以始終包含明亮的文本。

根據(jù)前面部分得到的過渡圖，可以簡(jiǎn)單地實(shí)現(xiàn)顏色極性計(jì)算。先利用平均強(qiáng)度閾值分割獲得的二值化圖像。對(duì)給定的二值文本區(qū)域，搜索屬于文本區(qū)域的左、右、頂和底線的邊界像素，并計(jì)算白像素的數(shù)目。如果白邊界像素的數(shù)目小于邊界像素?cái)?shù)的50%，則文本區(qū)域被視為“暗背景下的亮文本”，不需要進(jìn)行極性變換。在這種場(chǎng)景中，文本總是很亮。如果白像素的個(gè)數(shù)大于黑色像素，則進(jìn)行以下運(yùn)算

(12)

其中，(xF,yF)表示文本區(qū)域的每一行第1次遇到的過渡像素的坐標(biāo)；IB為二進(jìn)制圖像上的強(qiáng)度。第一次遇到過渡像素屬于1，而像素間距為兩像素的距離則屬于0。如果這種情況發(fā)生，則區(qū)域中的字符像素值被反轉(zhuǎn)以使其比周圍背景更亮。注意，反轉(zhuǎn)是通過從最大像素值中減去像素值來完成的。

2.2 文本提取

由于文本在每個(gè)區(qū)域都是亮的，因此從每個(gè)區(qū)域提取的字符是有效的。首先，每個(gè)文本區(qū)域被兩個(gè)像素?cái)U(kuò)展，以利用背景的連續(xù)性。這個(gè)擴(kuò)展的外部區(qū)域被表示為ER。然后，將文本區(qū)域內(nèi)的像素與ER中的像素進(jìn)行比較，從而可以將連接到擴(kuò)展區(qū)域的像素排除在外。定義文本區(qū)域?yàn)門R和擴(kuò)展文本區(qū)域?yàn)镋TR，ETR=TR∪ER。然后，分別在不同窗口大小的水平方向和垂直方向上進(jìn)行基于滑動(dòng)窗口的自適應(yīng)閾值分割。設(shè)ETR(x，y)和B(x，y)分別為ETR和生成的二進(jìn)制圖像的灰度像素。所有的B(x，y)初始化為白像素。大小為16*ETR的窗口以步進(jìn)大小為8水平移動(dòng)。如果ETR(x，y)的強(qiáng)度小于在每個(gè)窗口Otsu 計(jì)算的局部閾值，那么B(x，y)為黑色。

假設(shè)TR中的背景像素通常以強(qiáng)度的形式連接到ER，他們使用ER填充到TR中的連接像素，以去除背景像素。然而，由于文本像素可能與TR中的背景像素連接，填充任務(wù)進(jìn)行時(shí)可能會(huì)出現(xiàn)不必要的刪除。因此，定義了TR中的“壩點(diǎn)”，避免淹沒了文本像素。對(duì)堤壩點(diǎn)進(jìn)行了改進(jìn)，在過渡像素添加一個(gè)簡(jiǎn)單的約束，以提高提取性能，定義如下

(13)

其中，MinW=1；MaxW=int(ER/8)；NT表示水平連接像素之間的過渡像素?cái)?shù)量；Hlen與Vlen分別為表示水平和垂直方向的連接長(zhǎng)度。

最后，通過向內(nèi)填充，可以從每個(gè)文本區(qū)域正確地獲得字符。如果一個(gè)白像素，在二值化過程中，所有連接的“白色”像素(包括像素本身)填充為“黑”。向內(nèi)填充后，所有非“黑色”像素被設(shè)置為“白色”，文本的背景被很好地去掉了。

3 實(shí)驗(yàn)與分析

本文中選擇MSRA-TD500數(shù)據(jù)庫中場(chǎng)景文本進(jìn)行測(cè)試[11]。實(shí)驗(yàn)環(huán)境：Intel(R)Core(TM)i3-4150，8核CPU，3.40 GHz，8 GB RAM，64位WIN8系統(tǒng)。借助Matlab2010完成測(cè)試。為體現(xiàn)本文算法的優(yōu)越性，將文獻(xiàn)[4-6]視為對(duì)照組。經(jīng)過多次實(shí)驗(yàn)，得到了本文參數(shù)為：P=8，R=2，TH=0.05。

3.1 數(shù)據(jù)集

MSRA-TD500數(shù)據(jù)集中包括300幅訓(xùn)練圖像[12]，200張測(cè)試圖像。包括了多方向、多種類，并伴隨模糊、噪聲等各種環(huán)境形成的復(fù)雜數(shù)據(jù)集，在該數(shù)據(jù)集進(jìn)行測(cè)試具有較大的挑戰(zhàn)性，能夠很好代表實(shí)際情況，圖6為MSRA-TD500數(shù)據(jù)集中示例。

圖6 MSRA-TD500數(shù)據(jù)集示例

3.2 性能評(píng)價(jià)

為客觀評(píng)價(jià)算法，引入準(zhǔn)度(Precision)、召回率(Recall)和F值作為算法性能的衡量標(biāo)準(zhǔn)。

Precision為提取的文本數(shù)量與總體提取出數(shù)量的比值，其表示了將非文本誤檢為文本的衡量標(biāo)準(zhǔn)，Precision越高，錯(cuò)誤率越小[13]

(14)

Recall為得到文本數(shù)量和實(shí)際文本數(shù)量的比值，Recall越高，漏檢概率越小

(15)

F值為Precision和Recall的加權(quán)評(píng)價(jià)值，其表示了Precision和Recall的綜合評(píng)價(jià)，定義如下[14]

(16)

其中，Tp為正確提取文本數(shù)量；Fp為誤判為文本數(shù)量；FN為漏檢的文本數(shù)量，a為常數(shù)，通常取a=0.5。

3.3 實(shí)驗(yàn)結(jié)果

圖7顯示了本文算法在MSRA-TD500中文本提取結(jié)果。圖7(a)為待提取的文本圖像序列；圖7(b)為文本區(qū)域檢測(cè)結(jié)果；圖7(c)為文本提取結(jié)果。從圖7中得知，提出的算法可較好完成各種不同背景，不同字體，不同方向的文本信息提取結(jié)果，對(duì)文本區(qū)域的定位精度高，如圖7(b)中方框顯示。得到的文本視覺效果清楚，文本邊緣光滑度與連續(xù)性較強(qiáng)，筆畫流暢，說明了本文算法可有效提取不同場(chǎng)景下的文本信息，應(yīng)用范圍較廣。

圖8和圖9分別為簡(jiǎn)單場(chǎng)景與復(fù)雜場(chǎng)景中文本提取結(jié)果。圖8(a)為待測(cè)試簡(jiǎn)單場(chǎng)景圖像序列；圖8(b)～圖8(e)依次為文獻(xiàn)[4-6]與本文算法的實(shí)驗(yàn)結(jié)果。圖9(a)為待測(cè)試復(fù)雜場(chǎng)景圖像序列；圖9(b)～圖9(e)依次為文獻(xiàn)[4-6]與本文算法的實(shí)驗(yàn)結(jié)果。從圖8得知，在簡(jiǎn)單場(chǎng)景中，4種算法取得了較不錯(cuò)的效果，得到的文本信息均還滿意，文本清晰度較好，邊緣光滑度良好，但本文算法得到的文本視覺效果最優(yōu)。從圖9中得知，在復(fù)雜場(chǎng)景中，本文算法表現(xiàn)出了明顯的優(yōu)勢(shì)，提取的文本較清晰，可讀性良好。圖9(b)中的文本不清楚，有些區(qū)域的文字已經(jīng)無法辨認(rèn)，得到的文本邊緣斷斷續(xù)續(xù)。圖9(c)得到的文本信息比較模糊，亮度與飽和度不足，且文本邊緣出現(xiàn)了斷裂，不完整，連續(xù)性較差。圖9(d)中得到的文本基本上正確顯示了真實(shí)信息，但是有些文本深淺度不一，視覺效果不佳。從實(shí)驗(yàn)結(jié)果得出，本文算法在復(fù)雜場(chǎng)景中對(duì)文本提取具有良好性能。主要是因?yàn)楸疚耐ㄟ^強(qiáng)度變化構(gòu)建了過渡映射，通過計(jì)算像素與其領(lǐng)域紋理的變化選擇候選文本區(qū)域。并利用像素投影來優(yōu)化文本區(qū)域，對(duì)文本區(qū)域精確定位。利用閾值分割準(zhǔn)確區(qū)分文本與背景，通過像素?cái)U(kuò)散，將背景像素消除，對(duì)文本區(qū)域填充。而文獻(xiàn)[4]采用的神經(jīng)網(wǎng)絡(luò)對(duì)文本信息提取能力較弱，對(duì)文本區(qū)域定位不足，對(duì)于復(fù)雜的視頻中文本提取效果不足。文獻(xiàn)[5]中基于邊緣特征，在背景簡(jiǎn)單時(shí)，能夠較好完成對(duì)文本區(qū)域的定位于，但是，當(dāng)場(chǎng)景復(fù)雜時(shí)，難以通過邊緣特征對(duì)文本定位，易受到各種環(huán)境的影響，降低了對(duì)文本的提取精度。文獻(xiàn)[6]中對(duì)于復(fù)雜的背景與各種類的文本，對(duì)文本區(qū)域定位有一定的誤差，提取效果還有待提高，適用性不足。

圖7 本文算法提取結(jié)果

圖8 簡(jiǎn)單場(chǎng)景文本提取結(jié)果

圖9 復(fù)雜場(chǎng)景文本提取結(jié)果

圖10為在MSRA-TD500數(shù)據(jù)集中通過準(zhǔn)確度(Precision)、召回率(Recall)和F進(jìn)行客觀評(píng)價(jià)得到的結(jié)果，其中，圖10(a)為Precision-Recall圖；圖10(b)為F值。從圖10中得知，在相同的條件下，本文算法得到的Precision-Recall曲線效果最優(yōu)，F(xiàn)值最高，性能穩(wěn)定，魯棒性強(qiáng)。

圖10 MSRA-TD500評(píng)估結(jié)果

4 結(jié)束語

本文設(shè)計(jì)了一種復(fù)雜視頻文本檢測(cè)與提取方案，該方案基于文本與其相鄰背景之間存在瞬態(tài)顏色的觀察。通過強(qiáng)度的變化生成過渡圖，通過連接圖為每個(gè)候選區(qū)域創(chuàng)建連接組件，然后每個(gè)連接組件被重塑成光滑的文本邊界。利用過渡像素的密度和過渡像素周圍的紋理的一致性，區(qū)分文本區(qū)域和其它候選區(qū)域。通過LBP算子對(duì)過渡像素附近的強(qiáng)度變化進(jìn)行計(jì)算。在轉(zhuǎn)換映射中使用文本像素投影，檢測(cè)到的文本區(qū)域的邊界被精確定位。不同幀之間的文本區(qū)域更新也被用來減少處理時(shí)間。為了驗(yàn)證的檢測(cè)和提取方法的性能，在MSRA-TD500進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明所提算法具有較高的場(chǎng)景文本提取準(zhǔn)確性。