基于CTPN 與Tesseract的機載雷達視頻字符識別

邢寶峻彭曉明王衛星

(空軍預警學院,湖北 武漢 430019)

0 引言

近年來,隨著人工智能和深度學習技術的不斷發展,計算機視覺技術已深入到人們生活的方方面面。在軍事領域,隨著技術的發展,雷達的應用也越來越廣泛,而國內對于機載雷達視頻的分析依然停留在人工分析階段,不僅效率低,而且容易出現差錯,部隊迫切需要一種能夠對機載雷達視頻進行自動化分析和評估的手段,滿足飛行訓練復盤總結和飛行訓練成績評定的需要,促進部隊實戰化訓練水平的提升。

連接文本提議網絡(CTPN)是于2016 年在歐洲計算機視覺國際會議提出的一種基于深度學習的文字檢測算法。CTPN 結合了卷積神經網絡(CNN)與長短時記憶(LSTM)神經網絡,可以有效地檢測出復雜場景下水平分布的字符。Tesseract是惠普實驗室在1985～1995年間開發的一個開源的光學字符識別(OCR)引擎,并于2006 年由谷歌進行維護,目前仍是業內識別精度較高的三大識別引擎之一。結合CTPN 與Tesseract對機載雷達視頻中的關鍵字符進行識別,可以有效識別出機載雷達視頻中的關鍵字符,為下一步機載雷達操縱評估提供依據。

1 基于CTPN 與Tesseract的機載雷達視頻識別方法流程

采用CTPN 與Tesseract相結合的方法對機載雷達視頻進行識別,首先要對視頻進行預處理,將視頻轉化為圖像,同時提高圖像的質量,方便進行識別;然后將預處理得到的圖像輸入到CTPN 網絡中,實現字符區域的檢測;最后調用Tesseract對字符進行識別,得到文本進行輸出。視頻識別方法流程如圖1所示。

圖1 基于CTPN 與Tesseract的機載雷達視頻識別方法流程

2 機載雷達視頻的預處理

由于本文對視頻的識別主要基于已有的視頻進行,所以采用后端視頻識別方法,先將視頻轉化為圖像,而后對圖像進行識別。因此,需要對機載雷達視頻進行分析,首先要完成對機載雷達視頻的預處理。由于機載雷達視頻通常占用空間較大,視頻中存在一定的冗余信息,所以先要對視頻進行壓縮。其次,由于機載雷達視頻畫面呈現二值化特點,所以無需進行灰度處理,可直接將視頻按幀截取成圖像,達到將視頻轉化為圖像的目的。由于圖像數量較多,單個識別時間較長,為提高識別效率,采用圖像拼接技術將截取的圖像進行拼接,再對拼接后的圖像進行識別。最后,由于機載雷達視頻本身分辨率較低,且進行了圖像的拼接,為提升識別準確率,利用形態學中圖像的開運算,即先腐蝕后膨脹的操作(腐蝕操作可將圖像中影響識別的孤立的微小“白點”去掉,膨脹操作可以將關鍵的字符進行“擴大”,易于識別,所以通過開運算可以起到在纖細處分離物體和平滑較大物體邊界的作用),達到使需要識別的目標表面更加平滑的效果,便于進行分析與識別。機載雷達視頻預處理步驟如圖2所示。

圖2 機載雷達視頻預處理步驟

3 基于CTPN 的字符檢測

CTPN 創新性地提出了垂直錨,利用垂直錨的回歸機制,將文本檢測任務轉化為一連串小尺度文本框的檢測。同時,CTPN 還引入了雙向長短時記憶(BLSTM)神經網絡技術。BLSTM 可用于處理和預測序列數據,與CNN 結合后,能根據前后錨的序列來提取字符間的排列關系特征,找到文本與文本之間的聯系,最終用文本線構造法將各個錨連接起來,得到文本行,以提升文本檢測效果。此外,針對文本檢測中文本邊緣容易因評分過低而被丟棄的問題,CTPN 提出了利用邊界細化來提升文本框邊界預測精準度的方法,極大地提升了文本檢測的精度。

CTPN 的具體過程如下:

(1) 利用VGG16 網絡進行特征提取。VGG16網絡中有5個卷積層,經過前4個卷積層的池化,特征圖的大小與原圖的比例變為1∶16,即在特征圖上每移動1個像素位置,在原圖上相對應移動16個像素位置。經過第5個卷積層后,可得到最終用于分類和定位的特征圖,大小為××,這里的是寬度,是高度,是通道數。

(2) 對特征圖上每個位置以3×3的窗口進行滑窗,每一行都可以得到個3×3×的特征矩陣,每進行一次滑窗,即水平方向每移動1個像素,則對應在原圖水平方向上移動16個像素。而由于CTPN 固定了水平方向上的位置,對豎直方向上的高度進行了預測,所以每個滑窗在原圖上對應個錨,這些錨在水平方向上都是一樣的大小和位置,但在豎直方向上的高度各不相同。

(3) 將得到的特征矩陣按行輸入到雙向LSTM中,即每個雙向LSTM 中輸入個3×3×的特征矩陣,可以得到大小為×256的輸出。

(4) 將LSTM 輸出的×256輸入到全連接層(FCL)中。

(5) 全連接層特征輸入到3個分類或者回歸層中:2個縱向坐標,2個分數和個的水平偏移量。由于一個錨用中心位置的高(坐標)和矩形框的高度2個值表示,所以1個錨用2個縱向坐標輸出。而分類層將數據分為有字和無字2類,所以有2個分數。個的水平偏移量可以稱之為文本框邊緣細化,這部分主要用來精修文本行的2個端點,表示每個候選框的水平平移量。

(6) 使用基于圖的文本行構造算法,將得到的文本段合并成文本行。

CTPN 架構圖如圖3所示。

圖3 CTPN 架構圖

4 Tesseract字符識別

2005年,惠普將Tesseract貢獻給開源社區,美國內華達州信息技術研究所獲得該源碼,同時,谷歌開始對Tesseract 進行功能擴展及優化。目前,Tesseract作為開源項目發布在谷歌計劃(Google Project)上,提供自定義字符庫訓練方法,可以通過持續的訓練增加字符庫,不斷增強圖像轉換為文本的能力,最終,Tesseract成為了目前公認最優秀、最精確的開源OCR 系統。

如圖4所示,Tesseract對字符進行識別通常由5個部分構成:頁面布局分析、查找目標塊區域、定位文本行和單詞并進行分割、2次字符分析識別、模糊區域改進。

圖4 Tesseract識別架構[5]

(1) 頁面布局分析。通過對文本進行頁面布局分析,將圖像中的文本和非文本區分開,同時提取出文本區域,得到圖像中文本區域的排列布局和分布方式,并檢測出文本區域中的字符輪廓。

(2) 查找目標塊區域。Tesseract可以通過對文本區域中的排列布局進行分析,得到一個或多個相互關聯的“塊”狀連通區域,這些“塊”狀區域即目標塊區域。

(3) 定位文本行和單詞并進行分割。在定位完成目標塊區域后,Tesseract通過對區域中相鄰字符之間的垂直重疊關系進行檢測,可以得到處于水平狀態的文本行。對字符間的水平關系進行檢測并根據字符間隔對文本行進行分割,可得到單詞。

(4)

2次分析識別。Tesseract采用自適應分類器依次對每個單詞進行分析,并將分類后的字符分別與相對應的字典中的樣本進行對比,找出相似度最高的樣本字符進行確認。同時,自適應分類器本身具有“學習能力”,可以將先前分析得到的滿足條件的單詞作為訓練樣本,增加后面字符識別的準確率。

(5) 模糊區域改進。對于相互粘連的字符形成的模糊區域,Tesseract會根據字體形狀的幾何體頂點作為備選分割點進行分割,并根據識別置信度來判別字符。如果都失敗,就認為字符破損不全,則對字符進行修補,而后利用A算法搜索最優的字符組合,得到識別結果。

5 實驗驗證

為驗證該方法的有效性,本文利用已有的機載雷達視頻進行檢測。首先將視頻分為樣本集和測試集2類,其中,樣本集中的視頻要包含所有需要進行識別的關鍵字符。其次,結合Tesseract提供的自定義字符庫的訓練方法,結合樣本集,挑選出需要進行識別的關鍵字符,并進行訓練,形成機載雷達視頻關鍵字符庫。然后,根據本文介紹的方法對測試集中的視頻進行識別,主要檢測識別方法的可靠性。如圖5所示,根據本文所提方法創建了機載雷達視頻識別軟件,右側為機載雷達視頻,左側根據雷達視頻中的內容對視頻中的字符進行區分,對測試集中的視頻進行識別后,由人工對視頻中每一幀識別結果的正確與否進行檢驗,對視頻中需要識別的共50 435個字符進行統計。結果表明,本文研究的方法對機載雷達視頻關鍵信息識別的準確率達到86.25%。絕大部分關鍵字符識別正確,少數字符在識別過程中出現錯誤,主要原因是在視頻中非字符部分與字符部分產生了交叉重疊,在CTPN 進行字符的檢測和分割后,Tesseract無法在字符庫中找到與之相匹配的字符,影響了該字符的識別。隨著所識別的視頻數量的增加和訓練數據的完善,識別的準確率也會逐步提升。

圖5 視頻識別軟件圖

6 總結與展望

本文針對機載雷達視頻,提出了基于CTPN 和Tesseract相結合的視頻識別方法,通過視頻壓縮、圖像截取、圖像拼接、腐蝕與膨脹等預處理,借用CTPN 對字符進行檢測,再調用Tesseract進行識別,最終輸出關鍵字符的文本。通過實驗,驗證了該方法的有效性。但該方法也有一定的缺陷,隨著視頻的運行,部分字符可能存在與非字符部分交叉的情況,在下一步研究的過程中會加入視頻的語義分析,根據視頻前后幀之間的關聯關系進行判斷。同時,在得到輸出文本后,將來還可以加入對關鍵字符的檢索,有利于快速得到評估飛行員雷達操縱水平的數據。