基于深度學習的數學公式粘連符號的切分?

郭蓉蓉 李 濤 魏 琦

（西安郵電大學計算機學院 西安 710100）

1 引言

科技文獻檢索以及查重一直是人們關注的問題，在將書籍資料從紙質到電子文檔轉換的過程中OCR技術逐步成熟，但是對數學公式識別效果并不理想。主要原因有：1）數學公式具有復雜的二維嵌套結構，容易導致符號之間的粘連。2）數學符號種類繁多，包括特殊符號、數字、希臘字母、英文字符等。3）數學公式符號含義具有多樣性，如：‘s’，和‘sin’里面的‘s’所表示的含義完全不同。4）字符之間的邏輯關系種類多樣。數學公式通常是一些科技文獻的核心，而手工輸入數學公式又比較繁瑣，另外數學公式以圖片格式存儲需要占用大量空間，所以對數學公式的識別尤為重要，在數學公式識別中粘連符號的切分對符號識別有很大的影響。

Anderson［1］于1968 年 首 次 提 出 數 學 公 式 識別。不論是印刷體的數學公式識別還是手寫體數學公式識別，國內外學者都做了大量的工作，他們使用不同的方法對數學公式進行識別。隨著Anderson 對這一問題的提出，進入90 年代，人們對數學符號分割尤其是粘連符號分割的研究不斷增加，國外較早的是文獻［2～3］提出的基于圖像分析的直接切分法，主要是通過分析圖像來尋找字符之間較為合理的切分點。Okamoto［4～5］等采用遞歸的水平和垂直投影切割方法對符號進行切分。Garain［6］提出了基于模糊多因子的粘連切分方法，其主要從水平、垂直、和對角線三個方向對粘連符號切分。而國內李寧［7］提出了基于模糊多音字的粘連符號切分方法，切分方向和文獻［6］相同。侯利昌［8］和朱并隊［9］提出了一種新的SOM 神經網絡權值更新算法，其主要使用于印刷體粘連字符分割，也稱為修改的自組織特征映射，簡稱M-SOM。

分析上述方法后，不難發現國內外數學符號分割一直是停留在傳統的分割上面，對數學公式粘連符號的處理效果一直不是很好。本文利用Faster R-CNN 網絡對數學符號進行分割，為了滿足深度學習訓練需要的大量數據，本文制定了一系列建立數據庫的方法和規范，由此提高分割的正確率。

2 FasterR-CNN網絡結構

Faster R-CNN［10］從2015 年底至今已經接近兩年，但依舊還是目標檢測領域的主流框架之一，雖然后續推出了R-FCN［11］，Mask R-CNN［12］等改進框架，但是基本結構變化不大。同時也有SSD［13］，YOLO［14］等針對目標檢測的框架，但是在精度上面依然以Faster R-CNN 為最好，因此本文選用它作為數學符號分割的網絡。

Faster R-CNN 主要是由RPN（Region Proposal Network）候選框模塊和Fast R-CNN 檢測模塊兩大模塊組成，RPN 為全卷積神經網絡，主要用于提取候選框；Fast R-CNN 主要是將提取的候選框傳輸給RPN，它的另外一個作用是：檢測并識別候選框中的目標，具體如圖1所示。

圖1 Faster R-CNN模型

由圖1 可知Faster R-CNN 可以分成四個主要內容：

1）Conv layers。卷積層是CNN 網絡目標檢測的一種方法。Faster R-CNN 首先使用一組基礎的conv+relu+pooling 層提取圖像的特征圖，這些特征圖會被用于后續RPN層和全連接層。

2）Region Proposal Networks。RPN 網絡主要用于生成候選區域。該層通過soft max判斷anchor屬于前景或者屬于背景，接著利用邊框回歸修正anchors獲得精確的候選窗口。

3）ROI Pooling。該層收集輸入的特征圖和候選窗口，綜合這些信息后提取候選窗口的特征圖，送入后續全連接層判定目標類別。

4）Classification。利用候選窗口的特征圖計算窗口的類別，同時再次對邊框回歸獲得檢測最終的精確位置。

Faster R-CNN 與Ross Girshick 提出的另外 兩個網絡R-CNN［15］和Faste R-CNN［16］相比最大的改進就是提出了RPN 網絡，RPN 網絡結構如圖2 所示。

圖2 RPN網絡結構

由圖2可知RPN 網絡分為兩條線，上面一條通過softmax分類anchors，獲得前后背景，下面一條用于計算對于anchors 的邊框回歸偏移量以獲得精確的候選窗口，由此可知anchors是RPN網絡的核心，在進行目標檢測的時候需要確定每個滑窗中心對應感受野是否存在目標，因為目標大小和寬度不一，需要多個尺度的窗，Anchors恰好可以解決這個問題，它給出一個基準窗大小，按照倍數和長度比例得到不同大小的窗如。在文獻［10］中基準窗大小為16，給了三種尺度{1282，2562，5122}，三種比例{1:1，1:2，2:1}因此每個位置都有3*3=9 個anchor，如圖3。

圖3 9種anchor

9 種anchors 主要作用如圖4 所示，在遍歷卷積層獲得特征圖以后，為每一個點配置9種anchors作為初始的檢測框。

圖4 RPN網絡

給每個anchor后面連接兩部分，一個是二分類soft max，有兩個score 輸出用來表示其是一個物體的概率與不是一個物體的概率（pi）。另一個是邊框的回歸輸出代表一個anchor 的4 個坐標位置（ti），因此RPN的總體LOSS函數可以定義為

上述式（1）里面的i表示有i個anchor，pi是anchor預測為目標的概率，p*i表示如下：

由式（2）可知當anchor 為正樣本的時候p*i為1，當anchor 為負樣本的時候p*i為0。ti={tx，ty，tw，th}是一個向量，表示預測框相對于anchor 框的偏移，而t*i表示標定的框相對于anchor 框的偏移，ti和t*i具體計算如下：

式（3）里面的x，y，w，h 是框的中心坐標、寬、高，整體表示為χ ，變量χ 指預測框，變量χa表示錨點，而變量χ*是指標定的框。

式（1）里面的Lcls(pi，p*i)是指目標和非目標的對數損失，而Lreg(ti，t*i)是指回歸損失，這兩個損失的表示如式（4）：

3 數學公式數據集建立

為了實現數學符號的分割，本文數據庫共包含30530 張圖像，這些數據可以分成兩部分，第一部分是帶標記的測試和驗證的數據；第二部分是沒有進行標記的測試數據。在進行數學符號分割的時候，創建了四組圖像，分別如下：

1）train：訓練數據；

2）Val：驗證數據。驗證數據可用于額外的訓練數據；

3）trainval：訓練數據（train）和驗證數據（val）相加的總數據集；

4）test：測試數據。數據庫中沒有提供測試集，這個數據集合是在進行測試的時候隨機可以產生的數據。

因為數學符號的多樣性，所以在進行數學公式分割的時候，不僅需要考慮各種類型的公式，如：分式，根式以及積分等，另外還需要包含所有類型的符號，比如字母，數字，希臘字母等，詳細如表1 所示。

表1 數學符號分類

從表1可知數學符號總共178類。起初建立數據庫里面包含了134類字符集，每類字符包含了45種字體，總共6030 種，后面為了使得數據庫完善又陸續增加44 類字符集，如此單個數學符號總共建立8010 種。因為需要進行的數學公式分割，所以使 用 了Suzuke 等 人 為Infty 項 目［17］創 建 的InftyCDB-1數據集，此數據集主要包括字符信息以及一些特征，如邊框、大小、與父符號的關系等，它摘自與30 篇發表的英文科學論文。雖然InftyCDB-1里面包含的公式類型比較多，但是如果要進行深度學習訓練數據量遠遠不夠，因此為了定向的產生所需要的不同類型的數學公式，本文利用C 語言結合Latex 創建出不同類型的數學公式，創建公式的流程如下：

1）首先利用C 語言輸出Latex 格式的數學公式，分別用不同函數創建分式，根式，積分，指數等，然后將其組合起來，形成多個不同形式的數學公式。

2）將C 語言輸出的Latex 格式的數學公式輸出到txt 文檔里面，接著利用WinEdt7.0 將Latex 格式的數學公式轉換成標準數學公式，最后以pdf 格式輸出

3）利用shutter 截取pdf 文檔里面的公式，如此獲得數學公式數據集。

雖然利用Latex 可以創建大量數學公式，但是創建出來的數據都是標準的數學公式，不會產生粘連的數學符號，因此為了實現對粘連符號的分割，本文單獨建立粘連符號數據庫500張。

為了獲取到更多的數據集，對已創建的數據（除了數學符號以外）進行各種圖像處理，如：加噪和濾波等。本文主要通過對原圖像增加椒鹽、斑點和高斯噪聲，另外分別對原圖像、斑點圖像和高斯圖像進行濾波。

整理上述方法，匯總出數據獲得的方法以及總的數據集，如表2所示。

表2 數據集

數據集除了圖像數據外還包括標簽數據，本文通過LabelImage 來標定圖像中的目標進而獲取到標簽數據。LabelImag 是一個可視化的圖像標定工具，本文在Ubuntu16.04下安裝配置了它，因為通過LabelImage 制作的格式和PASCALVOC 一樣，所以將它用于Faster R-CNN 目標檢測非常方便與合適。通過使用此軟件本文總結了一些使用方法，可以靈活對其操作與修改，總結如下：

1）在進行標記之前可提前將需要的各個分類存儲在predefined_classes 文檔里面，在進行標注工作的時候直接選擇即可；

2）在進行標記工作的時候可以用快捷鍵w 直接進行繪制標記，另外用a 和d 分別對圖像進行前后頁的切換；

3）當標注出現錯誤的時候可打開file文件下面的Open Annotation對已經標記的文件進行修改。

對表2 中的數學符號、InftyCDB 數據、Latex 獲取的公式以及粘連公式都需要使用LabelImage 進行標記而圖像處理以后的公式則不需要，因為其是通過前面已經創建好的公式經過圖像處理得到的，圖像里面需要標記的目標坐標未發生改變，因此可直接使用之前已經標記好的文件。因為Faster R-CNN 數據集要求的是統一的命名格式，所以本文使用Replace Pionner對數據集進行統一的命名。

4 實驗結果

4.1 實驗配置及數據

實驗的機器軟硬件配置見表1 所示。本文使用的是深度學習計算框架Caffe，并參考使用了Caffe上面的一些層次結構，實驗配置如表3所示。

表3 實驗配置

4.2 實驗數據及結果

為了測試深度學習是否可以對數學公式進行分割，本文首先對普通的數學符號進行了分割，接著對粘連符號進行分割。本文將粘連符號分成三類：水平粘連，垂直粘連和對角線粘連。為了能夠準確描述分割的精確度，本文引入了符號切分正確率（Accurate Rate，AR）這個性能指標，AR 是指系統正確切分的符號數在總測試樣本里面所占的比例，其定義為

上述公式中WN 表示的是公式里面總的符號數，AN 表示正確分割的符號數。AR 越大，那么表示符號分割算法設計的越合理，通過實驗對比得出如表4。

表4 分割結果

圖5～6 是數學公式符號分割的最終效果圖，通過實驗數據可知，深度學習能夠有效地對數學公式符號進行定位與分割，尤其是在對粘連符號進行分割的時候，降低了分割的難度，提高符號分割的正確率。

圖5 無粘連數學符號切分結果

圖6 粘連數學符號切分結果

5 結語

本文利用深度學習Faster R-CNN 網絡對數學符號進行了分割，為了建立完善的數據集制定了一系列的規范，以方便其他人對數據集的增加以及修改。在對水平粘連符號進行分割的時候因為其多變性導致分割不是很理想，在接下來的研究中將著重解決這一問題。