融合跳躍連接的全卷積漢字筆畫分割算法

吳文益, 李鎮宇

(1.大連民族大學 大連市漢字計算機字庫設計技術創新中心, 遼寧 大連 116600；2.大連瑞云字庫科技有限公司, 遼寧 大連 116023)

漢字字形輪廓有筆畫輪廓和字形輪廓2種方式如圖1。每個漢字都由若干筆畫組合, 筆畫輪廓中一個筆畫是一個封閉區域, 互相交叉的筆畫組成字形, 發布的字體通常是字形輪廓而不是筆畫輪廓。 在字體設計領域, 無筆畫輪廓的字形輪廓字庫的重構需要漢字筆畫的提取和分割技術；在脫機手寫體識別、手寫風格分析等方面筆畫分割是重要的技術環節；在基于深度學習的字體生成中筆畫錯誤問題, 利用筆畫分割得到筆畫類別信息可以大幅降低錯誤筆畫的生成概率。 因此漢字筆畫分割在漢字設計及字形計算機輔助設計技術具有重要的作用。

圖1 “?！弊值墓P畫輪廓與字形輪廓

漢字筆畫種類的多樣性和結構的復雜性使得筆畫分割具有一定難度。 文獻[1]中把筆畫分為8個大類和36個小類見表1。

表1 筆畫類別對照表

在漢字筆畫分割相關研究領域中, 文獻[2]通過漢字輪廓, 使用約束Delaunay三角剖分將邊界內的區域轉換為三角形網格, 并根據筆畫連續性分析通過合成子筆畫來提取目標筆畫。 在文獻[3～4]中, 通過分析特征點和跟蹤順序對漢字輪廓進行分割。 上述研究方法適于提取基本筆畫, 但對于合成筆畫分割效果較差, 常將其錯誤分割為幾個基本筆畫；為使筆畫分割更為準確, 文獻[5～7]引入標注數據集克服上述問題, 采用GB2312楷體字體庫作為參考數據, 其中首先對字形進行骨架提取, 然后使用點集配準算法, 如相干點漂移CPD[8]方法將目標字符的骨架點與參考字符骨架點進行匹配。 此外邵宏峰等利用基于動態約束Delaunay三角割分的算法對筆畫進行分割[9]；陽平等提出一種從篆字骨架中分割出筆畫的方法[10]；熬雪峰等通過提取篩選角點來分割楷體漢字筆畫[11]；陳旭東等[12]構建了一個提供評測工具的筆畫基準測試庫。

基于深度分割模型的漢字筆畫分割方法主要利用深度神經網絡表示與逼近能力實現“端到端的訓練”。 該類方法的核心思想是把漢字看成圖像, 把漢字筆畫分割任務視為一種圖像語義分割任務。 在語義分割研究中, 文獻[13]提出一種全卷積神經網絡(fully convolutional network, FCN)來解決圖像語義分割, 后續研究出現了幾種基于FCN的變體網絡模型, 如Segnet[14]和Unet[15]等網絡；王文光等提出一種筆畫提取框架[16], 通過改進的語義分割模型Deepstroke來分割筆畫, 并利用禁忌搜索獲取筆順信息。

針對目前方法存在的筆畫分割不清、邊緣輪廓粗糙、對不同字體適應性不強等問題。 本文提出一種全卷積神經網絡模型一定程度克服上述問題, 進而對筆畫進行有效分割, 輔助設計師以提高字庫開發效率。

1 本文方法

本文提出的融合跳躍連接的全卷積漢字筆畫分割模型如圖2。

圖2 語義分割模型結構

提出模型中取消了池化層, 下采樣部分引入resnet-34[17], resnet-34殘差網絡可以避免由于網絡加深而導致的梯度消失和梯度爆炸問題。 模型中進行3次下采樣, 每個下采樣塊由Residual Block[18], 并將最大池化層改為了空洞卷積, 減少了信息的丟失。 上采樣部分采用3個反卷積[19]和3個跳躍結構[20]進行特征融合, 以最大限度獲取淺層網絡的信息, 最后采用連續的兩個反卷積恢復原始尺寸。

下采樣部分由resnet-34改進而來如圖3?；疑糠譃樵瓉韗esnet-34的結構, 白色部分為刪除掉的模塊。 其中由多個殘差塊(Residual Block)和1個批標準化層(batchnorm2d)構成了1次下采樣, 共計3次下采樣, 并去除了最后的全連接層和全局平均池化層。 由于原網絡的輸出是一個歸一化指數層(SoftMax)多分類器, 為使下采樣的輸出作為上采樣部分的輸入, 所以去除最后的全連接層和全局平均池化層；由于最大池化在提供更大的感受視野的同時, 分辨率降低, 會導致空間信息丟失, 數據丟失。 而空洞卷積可以避免使用下采樣, 并且在相同計算量的前提下, 提供更大的感受野。 故將原模型的最大池化層改為了空洞率為2的空洞卷積層。

圖3 下采樣部分resnet-34修改圖

模型上采樣模塊由3次上采樣構成如圖4。 每次上采樣會與之前的下采樣以及空洞卷積進行1次特征融合(通過1×1的卷積核將下采樣塊的通道數統一, 并與上采樣塊進行加和操作), 以便獲得更多淺層信息, 如字體的邊緣信息等。

圖4 上采樣部分

融合完1次特征后, 利用2倍轉置卷積將特征圖放大, 以進行下一次融合。 當融合3次淺層特征信息后, 采用連續的兩次2倍卷積將特征圖恢復成原始大小。 為了避免訓練不收斂問題, 轉置卷積的卷積核采用雙線性插值算法[21]進行參數初始化。

1.1 筆畫類別信息

本文利用筆畫類別信息作為筆畫語義。 根據《GB13000.1字符集漢字折筆規范》[22]對筆畫進行類別標記, 本文將筆畫交叉部分和背景單獨歸為一類, 故總計34類。本文用3維張量表示一個漢字字符的語義分割圖如圖5。 張量大小為288×288×34, 采用One-Hot編碼對筆畫類標簽進行表示[23]。

圖5 筆畫語義分割圖

定義K為筆畫類別數, 本文中K=34, 定義輸入參考字體的二值圖像X=(x1,x2,…,xn),xi為第i張圖像,xi的張量大小統一為288×288×1, 目標字體筆畫分割圖像Y=(y1,y2,…,yn), 其中目標字體的n個字符為設計師手工分割筆畫的字符,yi經過One-Hot對K種類別進行編碼后的張量大小統一為288×288×K。

1.2 優化目標及損失函數

全卷積網絡通常采用前饋網絡直接學習參數為θ的映射函數Dθ:

(1)

(2)

式中：yi ,s,t類別為j的概率分布；yi ,s,t為類別為j的預測概率, 均由SoftMax函數計算得來。 由此可得, 對于每個像素點, 有多元交叉熵損失函數Js,t：

(3)

2 實驗及結果分析

本文采用商用漢字字庫作為數據集, 主要考慮漢字商用字庫數據集豐富而且規范。

2.1 字體筆畫分割數據集

本文選擇了9種漢字簡體正文字庫作為數據集, 主要包括標準宋體、蘭亭黑體、隸書等字體。 該數據集包含較為全面的漢字筆畫和各種筆畫結構組合如圖6。本文從字庫文件中提取漢字字符, 將矢量路徑轉換成288×288×1像素圖像, 每字庫選6 763個漢字作為樣本, 其中訓練集3 436個, 測試集3 350個。

2.2 評價指標

預測分割圖像和原始分割圖像之間的差異度量是模型訓練的關鍵問題之一, 漢字筆畫分割是以像素為單位。 故本文采用多種評價指標對分割模型進行評價。 假設i表示真實值,j表示預測值,pij表示將i預測為j, 并且該圖像有K種類別(包含空類)。

圖6 數據集字體樣式

(1)平均像素準確率(Mean Pixel Accuracy, MPA), 其計算每個類別分類正確的像素數占所有預測為該類別像素數的比例的平均值。

(4)

(2)均交并比(Mean Intersection over Union, MIoU), 其計算每個類別像素交集和并集之比的平均值, 是語義分割常用的度量方法。

(5)

(3) 頻權交并比(Frequency Weight Intersection over Union, FWloU), 其對每一類出現的頻率設置權重, 權重乘以每類的IoU并進行求和。

(6)

左側為原始圖像, 右側為網絡拆分筆畫后的圖像如圖7。經計算圖7b的MIoU值為0.88, 圖7c的MIoU為0.77, 從圖中也可看出7b圖局部的分割噪點和連貫性要比7c圖分割效果好。

a)未拆分筆畫原字 b)MIoU=0.88 c)MIoU=0.77圖7 不同模型分割圖像對比

2.3 跳躍結構消融實驗

為驗證跳躍結構的有效性, 本文對跳躍結構進行了消融實驗。 實驗結果如圖8?？梢娪刑S結構模型分割筆畫效果更好。 這結果表明跳躍結構的引入有利于準確地分割字體筆畫。

圖8 跳躍結構消融實驗

2.4 空洞卷積消融實驗

為驗證空洞卷積代替池化對于模型的有效性, 本文對空洞卷積結構進行了消融實驗。 實驗中, 將空洞卷積改為了最大池化,實驗結果如圖9。 圖中可以看出具有空洞卷積的模型在分割質量上都要優于未使用空洞卷積的模型。 這結果表明空洞卷積的引入有利于準確分割字體筆畫。

圖9 空洞卷積消融實驗

2.5 訓練周期對分割字體筆畫質量的影響

為研究模型較為合適的訓練周期和停止條件, 本文對迭代次數與分割字體筆畫質量進行了對比實驗, 給出本文模型在學習率為0.000 1, 使用Adam優化器的條件下, 訓練過程的Loss曲線如圖10。 可以看出, 在訓練次數為50次左右時, Loss值已不發生明顯變化。

同時, 本文記錄了實驗在第50次到300次迭代后分割圖像的MPA、MIoU和FWloU值見表2。在200次時, 分割的精度基本達到上限。

圖10 Loss值隨訓練次數的變化

表2 訓練周期的影響

2.6 實驗方法對比

本文還與其他方法進行對比實驗, 對比方法選取了FCN-8[13], Segnet[14]和Unet[15]三種典型語義分割網絡模型。 數據集采用標準宋體、方正卡通簡體和方正蘭亭黑簡體作為數據集進行實驗, 迭代次數設置為50次, 并將分割的字符與目標字庫的字體圖像進行對比,見表3。 實驗結果明本文方法MPA, MIoU和FWloU的全局平均值優于其它3種方法。

表3 三種語義分割方法的定量評價

本文模型在整體上分割取得良好效果, 但在一些字的字體局部, 特別是彎曲筆畫分割上仍存在分割不清的問題如圖11。這些不足也有待于進一步的深入研究。

a)原漢字 b)樣本標簽 c)分割結果圖11 分割錯誤問題

3 結 語

本文提出融合跳躍連接的全卷積漢字筆畫分割模型方法, 其中將跳躍結構與網絡模型結合, 克服了筆畫分割效果差等問題。 在下采樣中, 為了更多保留筆畫結構信息, 采用空洞卷積代替最大池化層, 實驗結果表明本文方法提升了分割字體筆畫的細節和結構完整性。 通過各類實驗論述和對比了本文方法與其他方法的結果, 表明本文的方法具有較好應用價值, 可以輔助字體筆畫分割, 提高字庫開發效率。