基于增大感受野的場(chǎng)景文本檢測(cè)算法

楊 豪， 方承志， 羅佳輝， 雷 蕾

（南京郵電大學(xué)電子與光學(xué)工程學(xué)院、 柔性電子（未來技術(shù)）學(xué)院， 南京 210023）

0 引 言

文字作為傳遞信息的主要途徑，被廣泛地運(yùn)用在自然場(chǎng)景中。 快速、準(zhǔn)確地提取自然場(chǎng)景中的文字是一個(gè)不小的挑戰(zhàn)，這對(duì)后續(xù)的文本翻譯、場(chǎng)景理解起著至關(guān)重要的作用。 隨著深度神經(jīng)網(wǎng)絡(luò)的興起，自然場(chǎng)景文本檢測(cè)已然吸引了學(xué)界關(guān)注，并陸續(xù)進(jìn)行了相關(guān)研究。 文本檢測(cè)已經(jīng)成為未來發(fā)展的一個(gè)熱點(diǎn)方向。

現(xiàn)階段自然場(chǎng)景文本檢測(cè)算法已經(jīng)從傳統(tǒng)的方法轉(zhuǎn)向了基于深度學(xué)習(xí)的方法。 深度學(xué)習(xí)的方法的快捷之處在于：直接檢測(cè)單詞，沒有過多的中間步驟，而且可以通過模型自行提取特征。 目前基于深度學(xué)習(xí)的方法，大致可以分成2 類。 一是基于位置回歸［1］的方法；二是基于分割的方法。 其中，基于回歸的方法源于一般的目標(biāo)檢測(cè)算法，通過改變矩形框的形狀來應(yīng)對(duì)文本方案。 Faster-RCNN［2］和Ma 等學(xué)者［3］設(shè)計(jì)了旋轉(zhuǎn)矩形框來檢測(cè)那些任意方向的文本。 但是回歸的方法也存在一些缺陷，因?yàn)槟J(rèn)每個(gè)格子只檢測(cè)一個(gè)物體，對(duì)于文本這樣靠得比較近且跨度比較大的目標(biāo)以及標(biāo)點(diǎn)等小目標(biāo)效果不好。 例如，Shi 等學(xué)者［4］在2017 年提出的SegLink（Detecting oriented text in natural images by linking segments）在檢測(cè)跨度很大的文本行時(shí)效果不好?；诜指畹奈谋緳z測(cè)方法是將文本檢測(cè)轉(zhuǎn)換成語義分割問題。 PixelLink［5］就是采用了分割的方法，在預(yù)測(cè)中可以得出哪些像素屬于文本。 CRAFT［6］通過評(píng)定每個(gè)字符和字符之間的聯(lián)系來有效地檢測(cè)文本區(qū)域。 但分割的方法也存在缺陷，需要復(fù)雜的后期處理，速度較慢，且過多的后處理操作，導(dǎo)致在其他場(chǎng)景中一些參數(shù)很難被確定。 例如Li 等學(xué)者［7］在2019 年提出的PSENet（Shape robust text detection with progressive scale expansion network）需要大量的后處理去解決相鄰文本實(shí)例不能準(zhǔn)確分割的問題。

研究可知，EAST［8］算法可以有效地解決上述問題，通過結(jié)合分割和回歸的方法，解決了繁瑣的后處理問題，實(shí)現(xiàn)了端到端的文本檢測(cè)，去掉了冗余和耗時(shí)的中間步驟，只包含2 個(gè)部分，全卷積神經(jīng)網(wǎng)絡(luò)［9］（Fully convolutional networks，F(xiàn)CN）生成文本行參數(shù)部分和非極大值抑制（Non maximum suppression，NMS）部分。 但同時(shí)，EAST 中也展現(xiàn)出一些局限性，能夠檢測(cè)的最大文本實(shí)例的大小與網(wǎng)絡(luò)的感受野成正比，從EAST 實(shí)驗(yàn)結(jié)果上也反映出對(duì)于一些長(zhǎng)度是寬度的5 倍、甚至更長(zhǎng)的文本，由于跨度較大導(dǎo)致效果不好，這是由于分割的方法在特征提取階段，使用卷積和下采樣的方式提取特征，多次的卷積和下采樣會(huì)帶來感受野過小的問題，導(dǎo)致EAST 算法在檢測(cè)長(zhǎng)文本時(shí)出現(xiàn)斷裂、漏檢等問題。

針對(duì)這一問題，本文基于EAST 算法，引入了Strip Pooling［10］的思想，加入了MPM（Mixed Pooling Module）［10］網(wǎng)絡(luò)模塊，采用1×N或N×1 的池化核，在垂直和水平方向?qū)μ卣鲌D進(jìn)行池化，增大特征圖感受野的同時(shí)，可以在捕捉文本、尤其是長(zhǎng)文本的過程中，避免混入來自無關(guān)區(qū)域的干擾信息。 同時(shí)加入了Coordinate Attention［11］模塊，通過將位置信息嵌入到通道注意力中，強(qiáng)化感興趣的部分， 該模塊仍然采用1×N或N×1 的池化核，使網(wǎng)絡(luò)更準(zhǔn)確地定位感興趣的目標(biāo)。 在訓(xùn)練過程中，為了解決正負(fù)樣本不平衡問題，引入Dice loss［12］訓(xùn)練網(wǎng)絡(luò)，且重新定義了邊界框的損失函數(shù)，用CIoU loss代替了原來的IoU loss，考慮了邊界框中心點(diǎn)的距離和寬高比，使模型可以更快、更好地訓(xùn)練。

1 EAST 網(wǎng)絡(luò)結(jié)構(gòu)

EAST 是一個(gè)高效且準(zhǔn)確的場(chǎng)景文本檢測(cè)網(wǎng)絡(luò)，直接通過單一的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出圖像中的任意方向的四邊形文本行，網(wǎng)絡(luò)只包含F(xiàn)CN 階段和NMS階段，使得網(wǎng)絡(luò)非常簡(jiǎn)潔、優(yōu)雅，真正地實(shí)現(xiàn)了端到端的文本檢測(cè)。 結(jié)構(gòu)如圖1 所示。 由圖1 可知，主要包含特征提取層、特征融合層和輸出層三大部分。對(duì)此擬做研究分述如下。

圖1 EAST 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 EAST network structure

（1）特征提取層。 采用PVANet 網(wǎng)絡(luò)，對(duì)輸入圖片進(jìn)行特征提取，從4 個(gè)卷積層抽取特征圖，卷積層的尺寸依次減半，可以提取出不同尺寸的特征圖，用于后面的特征融合。

（2）特征融合層。 采用U-Net 模型，對(duì)提取的最后一層特征圖進(jìn)行上采樣，以便和上一層的特征圖進(jìn)行通道合并，重復(fù)操作，卷積核的個(gè)數(shù)逐層遞減為128、64、32，最后到輸出層。

（3）輸出層。 通過1×1 的卷積輸出一個(gè)1 通道的檢測(cè)框置信度的分?jǐn)?shù)特征圖和一個(gè)5 通道的旋轉(zhuǎn)矩形特征圖，其中旋轉(zhuǎn)矩形特征圖包含1 個(gè)角度特征圖和4 個(gè)邊界特征圖。

2 引入Strip Pooling 改進(jìn)網(wǎng)絡(luò)模型

本文引入Strip Pooling 和改進(jìn)損失函數(shù)來重新定義EAST 網(wǎng)絡(luò)，可以有效地解決因?yàn)楦惺芤暗膯栴}而導(dǎo)致檢測(cè)長(zhǎng)文本時(shí)出現(xiàn)錯(cuò)誤等情況。 本文的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 改進(jìn)的EAST 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Improved EAST network structure

2.1 感受野

在卷積神經(jīng)網(wǎng)絡(luò)中，感受野是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖上的像素點(diǎn)在輸入圖片上映射的區(qū)域大小，2 層3×3 卷積的感受野演變過程如圖3所示。 2016 年Luo 等學(xué)者［13］提出（Understanding the effective receptive field in deep convolutional neural networks）實(shí)際感受野要小于理論感受野。

圖3 感受野演變過程Fig. 3 Receptive field evolution process

輸入圖片在一層一層的映射后，輸出的特征圖受到卷積核尺寸的制約，映射的區(qū)域大小有限，當(dāng)映射區(qū)域不能完全覆蓋長(zhǎng)文本區(qū)域時(shí)，對(duì)長(zhǎng)文本的檢測(cè)就會(huì)出現(xiàn)檢測(cè)框斷裂、扭曲等問題，使得檢測(cè)效果不盡人意，擴(kuò)大感受野的大小是當(dāng)前該類算法迫切需要解決的問題。 2019 年提出的（Feature pooling in scene character recognition： a comprehensive study）［14］中表明，池化操作可以有效地?cái)U(kuò)大感受野。

2.2 MPM 網(wǎng)絡(luò)模塊

MPM 網(wǎng)絡(luò)模塊由一個(gè)SPM（Strip Pooling Module）模塊和一個(gè)PPM（Pyramid Pooling Module）［15］模塊組成，可以同時(shí)捕獲像素之間遠(yuǎn)程和短程的依賴關(guān)系。

空間池化已經(jīng)被證明在像素級(jí)預(yù)測(cè)方面，對(duì)捕獲遠(yuǎn)程上下文信息和擴(kuò)大感受野非常有效。 除了常規(guī)形狀的空間池化外，針對(duì)文本文字的特殊形狀，引入了新的池化策略Strip Pooling，考慮了一個(gè)長(zhǎng)而窄的核，即1×N或N× 1 的池化核，這可以有效地解決因使用方形池化核而引入一些不需要的干擾信息。

在擴(kuò)大感受野的任務(wù)上，無論是卷積、還是池化，通常都會(huì)在一個(gè)方形窗口內(nèi)對(duì)輸入特征進(jìn)行映射，這就對(duì)于去捕捉一些在現(xiàn)實(shí)場(chǎng)景中廣泛存在的細(xì)長(zhǎng)物體、例如長(zhǎng)文本形成了限制。 引入的Strip Pooling 使用一個(gè)長(zhǎng)核，沿著一個(gè)空間維度進(jìn)行編碼，從而能夠有效地捕獲該空間的遠(yuǎn)程依賴關(guān)系；在另一個(gè)空間維度上，使用一個(gè)窄核，便于捕獲局部上下文信息，這可以有效地防止不相干區(qū)域的信息干擾標(biāo)簽的預(yù)測(cè)。 在檢測(cè)文本行的邊緣時(shí)，3×3 的方形池化核會(huì)突破文本行邊緣從而引入不相關(guān)的背景像素，Strip Pooling 核在邊緣上以一種窄核的形狀進(jìn)行池化，從而可以避免背景像素的干擾。 Strip Pooling 核的長(zhǎng)核部分比3×3、5×5 這種方核范圍長(zhǎng)，有效地?cái)U(kuò)大了感受野，使得長(zhǎng)的文本行也能被有效地檢測(cè)。 對(duì)于離散分布在圖像中的文本行，方形的池化核并不能靈活地進(jìn)行特征映射，長(zhǎng)核的存在可以捕獲這些孤立區(qū)域的關(guān)系，從而有效地解決這一問題。

在Strip Pooling 的基礎(chǔ)上，引入SPM 模塊。SPM 模塊如圖4 所示，由2 條路徑組成，可以沿著水平或垂直空間維度進(jìn)行編碼，然后合并2 個(gè)維度上的每個(gè)空間位置，進(jìn)行特征細(xì)化。

圖4 Strip Pooling Module 結(jié)構(gòu)圖Fig. 4 Structure diagram of the Strip Pooling Module

SPM 沿著水平或垂直維度進(jìn)行池化，輸入一個(gè)二維張量x∈H×W， 在Strip Pooling 中，對(duì)一列或一行中的所有特征值進(jìn)行平均池化。 因此，水平條帶池化后的輸出yh∈H為：

同時(shí)，垂直條帶池化后的輸出yv∈W為：

窄邊更專注于捕獲局部細(xì)節(jié)，長(zhǎng)而窄的池化核容易建立離散區(qū)域之間的遠(yuǎn)程依賴關(guān)系，這些特性不同于依賴正方形核的傳統(tǒng)空間池化。 圖4 描述了SPM 的結(jié)構(gòu)，設(shè)x∈C×H×W為輸入張量，將x輸入到2 個(gè)平行路徑中，每個(gè)路徑包含一個(gè)水平或垂直的Strip Pooling 層，再經(jīng)過一個(gè)核的大小為3 的一維卷積層，用于調(diào)和當(dāng)前位置和局部空間的特征，就可以得到y(tǒng)h∈C×H和yv∈C×W，之后在各自的方向上擴(kuò)展到和輸入特征圖一樣的大小，組合yh和yv得到y(tǒng)∈C×H×W，有助于后續(xù)得出包含更多全局信息的輸出z∈C×H×W：

然后，輸出z為：

其中Scale（·，·） 是指元素級(jí)乘法；σ是Sigmoid 激活函數(shù)；f是1×1 卷積。 輸出特征圖中的每個(gè)像素都與其有相同水平坐標(biāo)或垂直坐標(biāo)的像素建立了依賴關(guān)系，避免了在彼此遠(yuǎn)離的位置之間建立過多不必要的連接。

金字塔池化模塊（PPM）可以捕獲短程的依賴關(guān)系，有利于擴(kuò)大感受野，但受限于標(biāo)準(zhǔn)的池化核，對(duì)長(zhǎng)文本的處理效果不好。 將PPM 和SPM 結(jié)合如圖5 所示，形成了MPM 網(wǎng)絡(luò)，可以通過各種池化操作聚合不同類型的上下信息，以便更有效地檢測(cè)包括長(zhǎng)文本在內(nèi)的各種類型的文本文字。 由圖5（a）可看到，對(duì)于PPM 模塊采用一個(gè)輕量化的模塊，避免引入大量參數(shù)，有2 個(gè)空間池化層，池化后的特征圖尺寸分別為2×2 和4×4，然后是卷積層，卷積核的尺寸為3×3，用于多尺度的特征提取，還包含一個(gè)二維卷積層，用于保存原始特征圖的空間信息，隨后將這3 條子路徑合并輸出。

圖5 PPM 模塊和SPM 模塊Fig. 5 PPM module and SPM module

MPM 是一個(gè)輕量化的模型，本文加入了2 個(gè)MPM 模塊，且加入的參數(shù)量只有原始PPM 的1/3，可以發(fā)揮更好的性能。

2.3 Coordinate Attention

Hu 等學(xué)者［16］在2020 年提出的SENet（Squeezeand excitation-networks）表明，通道注意力機(jī)制對(duì)提高模型性能具有顯著效果。 但忽略了位置信息，而這些位置信息對(duì)于生成空間選擇性注意圖非常重要，將位置信息嵌入到通道注意力中， 得到Coordinate Attention，與普通二維全局池化不同之處在于位置信息的嵌入，引入Strip Pooling，將通道注意力分解為2 個(gè)一維特征進(jìn)行編碼，分別沿水平或垂直的空間方向聚集特征，以便更精確地檢測(cè)長(zhǎng)文本。

Coordinate Attention 模塊如圖6 所示，可以捕獲有助于最終分類決策的跨通道信息，還可以捕獲方向感知和位置敏感的信息，有利于精確地定位長(zhǎng)文本。

圖6 Coordinate Attention 結(jié)構(gòu)圖Fig. 6 Coordinate Attention structure diagram

對(duì)于輸入X，利用Strip Pooling 原理，得到2 個(gè)維度的輸出（h） 和（w）， 這是一對(duì)具有方向感知能力的特征圖，可通過通道合并、將其聚合，再通過1×1卷積變換函數(shù)F1：

其中， [·，·] 表示沿通道合并；δ表示非線性激活函數(shù)；f∈C/r×(H＋W)為2 個(gè)方向上編碼空間信息的中間特征圖，r為通道數(shù)縮減比，以降低模型的復(fù)雜度。 沿著空間維度將f分成獨(dú)立的垂直和水平方向上的張量fh∈C/r×H和fw∈C/r×W，再通過1×1 卷積Fh和Fw擴(kuò)展通道數(shù)，以便和輸入X的通道數(shù)一致，得到：

其中，σ為sigmoid激活函數(shù)。 最后，輸出Y為：

這個(gè)編碼過程使得Coordinate Attention 模塊可以更準(zhǔn)確地定位長(zhǎng)文本的位置，整個(gè)模型就能更好地識(shí)別文本。

2.4 改進(jìn)損失函數(shù)

輸出層由2 個(gè)部分組成，一個(gè)1 通道的分?jǐn)?shù)圖和一個(gè)5 通道的旋轉(zhuǎn)矩形框，為了優(yōu)化回歸任務(wù)，替換了原有的損失函數(shù)，得到了不錯(cuò)的效果。

自然場(chǎng)景文本檢測(cè)不同于一般的物體檢測(cè)，文字占比少，容易被背景所干擾，導(dǎo)致正負(fù)樣本極度不平衡，為了解決這一問題，使用Dice loss代替原文使用的類平衡交叉熵， 其表達(dá)式為：

其中，yi與分別為像素i的標(biāo)簽值與預(yù)測(cè)值，N為像素點(diǎn)的總數(shù)。Dice loss是一種用于評(píng)估2 個(gè)樣本相似性的度量函數(shù)，對(duì)正負(fù)樣本嚴(yán)重不平衡的場(chǎng)景有著不錯(cuò)的性能。

為了精確地定位矩形框，重新定義了損失的計(jì)算方式，采用CIoU loss。 相比常用的IoU loss，CIoU不僅考慮了邊界框的重疊區(qū)域和中心點(diǎn)的距離，還考慮了寬高比，其表達(dá)式為：

其中，ρ2(·，·) 為歐幾里得距離的平方；b和bgt分別為預(yù)測(cè)框和標(biāo)簽框的中心點(diǎn)坐標(biāo)；c為包含預(yù)測(cè)框和標(biāo)簽框的最小矩形的對(duì)角線長(zhǎng)度；IoU為原文中的交并比，其公式具體如下：

其中，Α為預(yù)測(cè)框；Β為標(biāo)簽框；IoU表示預(yù)測(cè)框和標(biāo)簽框的交集和并集的比值。υ為預(yù)測(cè)框和標(biāo)簽框的寬高比的距離，其公式具體如下：

其中，wgt、hgt、w、h分別為標(biāo)簽框和預(yù)測(cè)框的寬和高。α為權(quán)重系數(shù)，其公式具體如下：

這樣設(shè)計(jì)的好處是CIoU不僅具有IoU的非負(fù)性的特點(diǎn)，還解決了IoU的致命缺點(diǎn)，當(dāng)標(biāo)簽框和預(yù)測(cè)框的IoU為0，網(wǎng)絡(luò)可以繼續(xù)訓(xùn)練。 中心點(diǎn)距離的引入，可以使標(biāo)簽框覆蓋預(yù)測(cè)框或預(yù)測(cè)框覆蓋標(biāo)簽框時(shí)，loss不是一個(gè)定值，且網(wǎng)絡(luò)更傾向于移動(dòng)預(yù)測(cè)框的位置來減少loss。 寬高比的引入，使得預(yù)測(cè)框的大小更加接近標(biāo)簽框。 旋轉(zhuǎn)角度損失采用原文的損失函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)仿真在Linux 操作系統(tǒng)上進(jìn)行，開發(fā)語言為Python3.8，使用帶有GPU 版本的Pytorch深度學(xué)習(xí)框架。 硬件配置GPU 為RTX3090，顯存為24 GB。

3.2 實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)采用ICDAR2013、ICDAR2015 和MSRA-TD500 數(shù)據(jù)集，ICDAR 數(shù)據(jù)集為ICDAR 挑戰(zhàn)賽所用的數(shù)據(jù)集。 ICDAR2015 數(shù)據(jù)集包含1 500張圖片，其中1 000張圖片用于訓(xùn)練集，其余500 張圖片用于測(cè)試集。 MSRA-TD500 數(shù)據(jù)集包含500張自然場(chǎng)景圖片。 本文將改進(jìn)的模型和原模型、其他模型做比較，分別從準(zhǔn)確率P（Precision）、召回率R（Recall）、F值三個(gè)方面評(píng)估檢測(cè)模型的性能。

本文加入了2 個(gè)MPM 模塊，相比加入一個(gè)MPM 模塊性能提升了0.9 個(gè)百分點(diǎn)，見表1。 輕量化的模型優(yōu)勢(shì)在于不需加入太多的參數(shù)，就可以更好地發(fā)揮出模型的性能。

表1 ICDAR2015 數(shù)據(jù)集上的指標(biāo)Tab. 1 Metrics on the ICDAR2015 dataset%

加入2 個(gè)MPM 模塊在ICDAR2013、ICDAR2015和MSRA-TD500 數(shù)據(jù)集上對(duì)比其他檢測(cè)模型的實(shí)驗(yàn)結(jié)果見表2～表4。 由表2 ～表4 分析可知，本文的方法相較于原方法和其他方法，都有了一定的提升，且本文的方法在ICDAR2015 數(shù)據(jù)集上F值達(dá)到了83.67 %，在MSRA-TD500 數(shù)據(jù)集上F值達(dá)到了75.17 %。

表2 ICDAR2013 數(shù)據(jù)集上的指標(biāo)Tab. 2 Metrics on the ICDAR2013 dataset%

表3 ICDAR2015 數(shù)據(jù)集上的指標(biāo)Tab. 3 Metrics on the ICDAR2015 dataset%

表4 MSRA-TD500 數(shù)據(jù)集上的指標(biāo)Tab. 4 Metrics on the MSRA-TD500 dataset%

對(duì)比原來的EAST 算法和改進(jìn)的EAST 算法的檢測(cè)效果，如圖7 所示。 由圖7 可知，對(duì)于長(zhǎng)文本的檢測(cè)，效果有了不錯(cuò)的提升，改善了長(zhǎng)文本檢測(cè)時(shí)文本框斷裂、扭曲等情況。

圖7 原圖和改進(jìn)效果圖Fig. 7 The original renderings and the improved effect renderings

采用本文的基于Strip Pooling 的EAST 算法比經(jīng)典的EAST 算法具有更高的準(zhǔn)確率、召回率和F值。 對(duì)比其他算法，F(xiàn)值也提高了一到兩個(gè)百分點(diǎn)，檢測(cè)效果得到了提升。 本文的算法在長(zhǎng)文本的檢測(cè)中展現(xiàn)了顯著優(yōu)勢(shì)，對(duì)于商場(chǎng)標(biāo)語、橫幅標(biāo)語、店鋪名這些要求細(xì)而長(zhǎng)的文本，改進(jìn)的算法利用其優(yōu)勢(shì)可以快速而準(zhǔn)確地檢測(cè)出來，不會(huì)出現(xiàn)檢測(cè)框斷裂、漏檢等情況；對(duì)于短小文本，改進(jìn)的算法依然能夠有效地檢測(cè)出來，并沒有損失其準(zhǔn)確性。

4 結(jié)束語

本文基于EAST 算法，引入Strip Pooling 池化核優(yōu)化模型，有效地解決了EAST 模型在檢測(cè)長(zhǎng)文本時(shí)，由于感受野過小導(dǎo)致文本框斷裂、扭曲等情況。加入MPM 模塊和Coordinate Attention 模塊，利用不同尺寸的池化核、尤其是Strip Pooling 池化核，捕獲遠(yuǎn)程和短程的信息，不僅擴(kuò)大了感受野，還避免了一些背景信息對(duì)文本的干擾。 實(shí)驗(yàn)證明，該方法有效地提升了EAST 這類算法檢測(cè)長(zhǎng)文本的能力。