基于自適應(yīng)尺度邊緣特征的建筑施工圖重疊字符識別方法研究

王 正，鄧雪原,2

基于自適應(yīng)尺度邊緣特征的建筑施工圖重疊字符識別方法研究

王 正1，鄧雪原1,2

(1. 上海交通大學(xué)船舶海洋與建筑工程學(xué)院，上海 200240；2. 上海市公共建筑和基礎(chǔ)設(shè)施數(shù)字化運(yùn)維重點實驗室，上海 200240)

目前非重疊字符的識別技術(shù)已趨于完善，但難以識別建筑工程圖紙標(biāo)注等場景中的重疊字符，阻礙了基于二維掃描圖紙的自動建模技術(shù)的突破。針對傳統(tǒng)字符識別方法無法識別重疊字符的現(xiàn)狀，提出了一套基于自適應(yīng)尺度邊緣特征的建筑施工圖重疊字符識別新方法。基于像素空間分布特征初步確定重疊字符區(qū)域，定義并提取字符的自適應(yīng)尺度邊緣特征；借助雙變量匹配概率函數(shù)篩選“位置+內(nèi)容”的結(jié)果組合，并以全局最優(yōu)原則代替絕對閾值作為識別標(biāo)準(zhǔn)，最終輸出正確的識別結(jié)果。不同于先修復(fù)后識別的常規(guī)思路，該方法將特征匹配與干擾過濾相結(jié)合、字符定位與字符識別相關(guān)聯(lián)，能解決百度等成熟商用OCR無法解決的重疊字符識別問題，且經(jīng)數(shù)據(jù)實驗證實具備較高的識別準(zhǔn)確率。

重疊字符；字符識別；自適應(yīng)尺度；分布概率；投影分割

隨著我國建筑行業(yè)信息化[1]和智慧城市建設(shè)的不斷推進(jìn)，建筑信息模型(building information modeling，BIM)技術(shù)已越發(fā)廣泛應(yīng)用于建筑行業(yè)設(shè)計、施工、運(yùn)維的全過程。BIM技術(shù)目前在運(yùn)維階段的主要問題是大量既有建筑缺乏準(zhǔn)確、規(guī)范的BIM，需要根據(jù)工程藍(lán)圖人工建模。為節(jié)省建模成本，ZHAO等[2]提出從工程圖紙圖像上識別圖形及標(biāo)注，實現(xiàn)既有建筑快速、準(zhǔn)確地自動化建模，但工程藍(lán)圖中普遍存在的標(biāo)注字符重疊問題，其嚴(yán)重影響識別準(zhǔn)確率。因此，如何有效解決重疊字符的識別問題成為BIM技術(shù)在運(yùn)維階段應(yīng)用的重要一環(huán)。圖1為工程標(biāo)注中重疊字符的舉例。

圖1 含有重疊字符的工程標(biāo)注圖像

光學(xué)字符識別由字符檢測和字符識別2個核心任務(wù)組成，主要包含預(yù)處理、分割、特征提取和識別4個步驟。重疊導(dǎo)致的信息缺失給特征提取和匹配造成困難，導(dǎo)致傳統(tǒng)OCR方法無法識別重疊光學(xué)字符(簡稱重疊字符)；機(jī)器學(xué)習(xí)在處理高維圖像時具備明顯優(yōu)勢，但用于識別重疊字符等特征簡單圖像并不經(jīng)濟(jì)。

重疊字符識別需要從根本上解決信息缺失的問題。本文通過改進(jìn)字符識別的流程，實現(xiàn)了無需預(yù)先確定匹配區(qū)域的字符識別，為圖像識別提供了新的思路；用C++語言編寫測試程序，證明該方法具備可行性且具有較高的識別準(zhǔn)確率。

1 研究現(xiàn)狀

重疊字符識別方面，CAO和TAN[3]根據(jù)圖線長度分離圖線和字符，而后識別其中的字符，平均識別準(zhǔn)確率達(dá)到82.2%，但只適用于被簡單線條干擾的字符；CHAME和KUMAR[4]借助顏色閾值檢測重疊邊界，使用支持向量機(jī)(support vector machine，SVM)分類器區(qū)分字符，重疊字符的識別率可達(dá)93%，但需要字符的顏色各異。

在重疊手寫體識別領(lǐng)域，LIANG等[5]提出一種基于過分割的識別方法；WAN等[6]采用筆劃級別評估與字符級別評估相結(jié)合的合并策略；LV等[7]基于筆劃序列的路徑搜索；LIANG等[8]后續(xù)又開展了幾何特征降維、候選模式精簡以及識別方法的改進(jìn)研究。但手寫體的重疊區(qū)域占比小，筆劃特征易于簡單，其研究方法對重疊字符的識別并不適用。

目前國內(nèi)識別干擾字符的思路是先修復(fù)后識別。肖堅[9]根據(jù)亮度差異識別并去除干擾區(qū)域；段熒等[10-11]依據(jù)筆畫的寬度特征修復(fù)干擾字符。此類識別方法要求干擾與字符特征區(qū)別明顯，且不具備重疊字符識別條件。

2 重疊字符識別方法

重疊字符識別的關(guān)鍵是如何有效彌補(bǔ)信息的缺失。圖2(a)為傳統(tǒng)識別流程，紅色箭頭表示無法適用于重疊字符的環(huán)節(jié)，位置信息和尺寸信息的缺失阻礙了特征提取區(qū)域和尺度的判定；圖2(b)為本文方法的識別流程：改進(jìn)的行切分獲取字符高度和自適應(yīng)尺度，同時提取同一行所有字符特征；根據(jù)空間分布概率篩選匹配結(jié)果，即可求出該行內(nèi)的字符種類、個數(shù)及順序。

為數(shù)字化、規(guī)范化描述，圖像像素的位置表示默認(rèn)采用像素坐標(biāo)系，即以圖像左上角為原點建立的以像素為單位的坐標(biāo)系-，像素的橫坐標(biāo)與縱坐標(biāo)分別是圖像中該像素所在的列數(shù)與行數(shù)。圖1的像素坐標(biāo)系如圖3所示，圖像寬為像素，高為像素。

2.1 改進(jìn)的行切分

本研究的目的是找到適合重疊字符改進(jìn)的行切分方法(如圖4中區(qū)域2)，為自適應(yīng)尺度和特征提取區(qū)域選擇創(chuàng)造條件。

圖2 識別流程對比((a)傳統(tǒng)識別流程；(b)本文識別流程)

圖3 像素坐標(biāo)系示例

圖4 精確行切分示意圖

傳統(tǒng)字符識別中列分割通常采用水平投影的方法。定義(,)為二值化圖像(,)處像素的灰度值(0或255)，分別取1和0作為圖像中黑白像素的代表值，即

式(2)統(tǒng)計了各像素行黑色像素的個數(shù)，其中1為水平投影值。圖5是圖1的水平投影統(tǒng)計圖，由圖5可以看出，傳統(tǒng)方法的水平投影法在重疊字符行切分時并不適用。

圖5 水平投影統(tǒng)計圖

在水平投影基礎(chǔ)上補(bǔ)充考慮像素的垂直分布特征。首先對圖像做垂直投影，得到

其中，為各像素列黑色像素的個數(shù)。

然后在式(1)的基礎(chǔ)上引入–2，用2重新表示圖像中的像素，即

其中，–2可使所在列黑色像素少的區(qū)域2值更大，而這些區(qū)域均處于目標(biāo)區(qū)域。

對每一像素行中的垂直投影的像素表示值2進(jìn)行逐行求和，得到改進(jìn)后的水平投影值為

圖6是圖1改進(jìn)的水平投影統(tǒng)計圖。相較于圖5，圖6中區(qū)域邊界更加清晰。改進(jìn)行切分的成果如圖7所示完整準(zhǔn)確。該方法綜合考慮圖像在水平和垂直方向的像素分布特征，求得的重疊字符真實高度確保了自適應(yīng)尺度的有效性。事實上，改進(jìn)前的水平投影可以看作式(4)中恒取1時的特殊情況。

2.2 自適應(yīng)尺度的邊緣特征提取

找到具有較強(qiáng)表示能力且易于提取的特征是圖像識別的關(guān)鍵。當(dāng)前圖像識別中常用的幾類圖像特征見表1。

圖6 改進(jìn)后的水平投影統(tǒng)計圖

圖7 圖像切分結(jié)果

表1 常用于識別的圖像特征

重疊字符的干擾區(qū)域面積占比高，顏色無明顯邊界，代數(shù)、區(qū)域等特征并不適用。圖像邊緣是圖像區(qū)域?qū)傩酝蛔兲帲煌诨叶葘傩缘膮^(qū)域之間的灰度分割線。盡管重疊字符邊緣存在一定干擾，但可較好保留原有的邊緣特征(圖8實線)。二值化圖像邊緣明確且易于提取，所以選取邊緣作為識別特征。

圖8 重疊字符邊緣特征

提取得到的像素坐標(biāo)數(shù)據(jù)多、利用難，且像素尺度不易反映宏觀特征，于是基于改進(jìn)的行切分方法，在自適應(yīng)尺度下提取特征線段表示邊緣特征。

若行切分圖像的高度為像素，做+1條等距水平輔助線將圖像分為個區(qū)域，2條相鄰平行線間距為/，可稱其為特征描述的尺度。將輔助線穿過的邊緣像素作為特征點，沿邊緣路徑每2個相鄰特征點確定一條特征線段，圖像的邊緣特征可簡化為若干個成對的端點坐標(biāo)。圖9展示了尺度為/9時特征點和特征線段。

圖9 尺度為h/9時特征示意圖((a)特征點示意圖；(b)特征線段示意圖)

為避免特征遺漏，通常取30～60之間，再結(jié)合即可確定特征提取時特征點的坐標(biāo)。

尺度選取合理的前提是準(zhǔn)確地切分，本文方法在自適應(yīng)尺度選取過程中引入了改進(jìn)的行切分方法，相比傳統(tǒng)方法更易獲取最合理的特征尺度。

2.3 基于空間分布概率的匹配與篩選

傳統(tǒng)方法的匹配是基于字符切分，為多個比對字符圖像和一個未知字符圖像的匹配；重疊字符無法實現(xiàn)字符切分，需要引入空間分布變量，多個比對圖像和同一行中所有字符同時匹配。

將行切分圖像(圖7)作為目標(biāo)圖像0，寬度為0像素，高度為0像素；將37個無重疊字符(10個數(shù)字，序號為1～10；26個大寫英文字母，序號為11～36；1個連字符“–”，序號為37；如圖10所示)作為比對圖像P(=1,2,···,37)，等比例縮放至高為0像素，寬度為w像素(w<0)。

圖10 比對圖像示例

分別建立0和P的像素坐標(biāo)系如圖11所示，并得到相同自適應(yīng)尺度下邊緣特征。圖中箭頭指向圖像區(qū)域的特征線段，紅色線段為匹配的特征線段。線段匹配的定義如下：若0中某條特征線段1的端點為(1,1)和(1?,2?)，P(=1,2,···,37)存在特征線段2，其端點(2,2)和(2￠,2￠)滿足

則稱1為0在=處與P(=1,2,···,37)匹配的一條特征線段。

圖11 匹配示例

0在=處與P的分布概率函數(shù)為

其中，為比對圖像序號，=1,2,···,37；為空間分布變量，表示0中匹配區(qū)域左邊界的橫坐標(biāo)，取整數(shù)且0≤≤0–w；M為P的特征線段總數(shù)；為0在=處與P匹配的特征線段數(shù)。

分布概率的匹配方法較傳統(tǒng)方法額外考慮了字符的空間位置，表示目標(biāo)圖像的不同位置與比對圖像匹配的可能性。考慮到縮放對圖像邊緣的影響，匹配時可將判定線段匹配的條件適度放寬，在式(6)中用約等號代替等號進(jìn)行線段匹配的判定。圖12為比對字符“3”在0各處的分布概率，其中有2處位置概率較高。

圖12 P0中“3”的分布概率

自適應(yīng)尺度下分布概率較高即作為備選，匯總?cè)鐖D13所示，不同字符的分布概率用顏色區(qū)分。

圖13 分布概率匯總

重疊字符概率數(shù)值低，所以不能僅憑概率數(shù)值選取結(jié)果，需做進(jìn)一步篩選。

篩選逐輪進(jìn)行。每輪在未經(jīng)篩選的備選結(jié)果中選出最大的一組，若其在0的匹配區(qū)域與已通過篩選的區(qū)域存在交集，則放棄該組；若不存在交集，則通過篩選。表2記錄了圖13中所有備選結(jié)果的篩選過程。

表2 識別結(jié)果篩選過程

經(jīng)過16輪，第1～5，15～16輪中的“-” “H” “K” “L” “3” “3” “2”7個比對字符依次通過篩選。根據(jù)其各自區(qū)域位置確定字符順序，輸出結(jié)果“KL-H323”。

基于概率分布對整行所有字符同時進(jìn)行匹配，其充分利用空間關(guān)系，無需字符切分也能實現(xiàn)字符識別。盡管該方法旨在解決重疊字符的識別問題，但對同一行中非重疊字符的識別同樣適用，故識別時無需預(yù)先區(qū)分字符是否存在重疊。

3 方法驗證

3.1 樣本圖集

樣本圖集包含56張樣本圖，根據(jù)字符行列數(shù)分為1×1，1×2，2×1，2×2，2×3，3×2和3×3的7類，每類各8張圖像。圖像每行/列均含字符6～10個不等，內(nèi)容均為隨機(jī)產(chǎn)生。圖集中待識別字符共900個，其中有重疊字符443個，無重疊字符457個。圖14為3×3樣本圖中的一張，其中25個橫排字符(無重疊字符10個，有重疊字符15個)為待識別的字符，其他均視為干擾。

圖14 樣本圖示例

3.2 實驗環(huán)境

實驗采用Intel(R) Core(TM) i9-10900K處理器，128 G內(nèi)存以及NVIDIA GeForce RTX 3090顯卡的硬件配置，在Windows 10操作系統(tǒng)上運(yùn)行整個實驗過程，選擇C++為編程語言并搭配OpenCV庫實現(xiàn)程序編寫。

3.3 初始實驗結(jié)果

初始實驗結(jié)果見表3。其中：56張圖片全部實現(xiàn)正確行切分；無重疊字符識別率為100%，重疊字符平均識別率為90.52%。重疊字符識別率不高，需做出改進(jìn)。

表3 初始實驗結(jié)果(%)

3.4 方法改進(jìn)

實驗中錯誤識別包括3類：

錯誤1：受干擾“H”識別為“L” “1”和“E”等字符，如圖15(a)所示。

錯誤2：“D”的右半部分受到重疊干擾被錯誤識別為“L”，如圖15(b)所示。

錯誤3：圖15(c)中“E”識別成“P”，為重疊造成干擾過大的偶然情況，不易修正。

錯誤1和2均由于相似度計算時以比對圖像的特征線段數(shù)作為分母，使“L”等特征線段少的字符更易取得較大的相似度。

在原方法基礎(chǔ)上做出以下改進(jìn)：當(dāng)最終識別結(jié)果為“L” “T”和“1”時，補(bǔ)充計算該處與“H”和“D”的相似度，當(dāng)大于80%時判定為“H”或“D”。

改進(jìn)后再次實驗，結(jié)果見表4。改進(jìn)前后對比發(fā)現(xiàn)2類系統(tǒng)性錯誤得到有效修正，識別率大幅提高，重疊字符平均識別率提升至97.74%，證明該法能較好實現(xiàn)重疊字符的識別。

表4 改進(jìn)前后結(jié)果對比(%)

圖16對比了本文方法與已有OCR產(chǎn)品的識別效果。圖16(b)和(c)分別是本文識別方法和調(diào)用百度api“通用文字識別(高精度位置版)”的結(jié)果。百度OCR共識別出4部分，分別為“/” “5R6” “40Y8”和“(”，效果不佳。圖16(d)為百度OCR軟件排行榜中表現(xiàn)最好的2款軟件，其測試結(jié)果如圖16(e)和(f)所示，可以看出成熟的OCR產(chǎn)品也無法準(zhǔn)確識別重疊字符。這證明了該方法在重疊字符識別問題上的創(chuàng)新性和先進(jìn)性。

圖16 已有產(chǎn)品與本文方法對比((a)測試圖；(b)本文方法識別結(jié)果；(c)百度高精度含位置版通用文字識別結(jié)果；(d)市面常用的幾款OCR軟件；(e)轉(zhuǎn)易俠掃描王識別結(jié)果；(f)閃電OCR識別結(jié)果)

4 結(jié)束語

從建筑工程圖紙中的字符重疊問題出發(fā)，提出一套基于自適應(yīng)尺度邊緣特征的重疊字符識別方法。該方法不同于先修復(fù)后識別、先定位后識別的常規(guī)思路，基于改進(jìn)投影、自適應(yīng)尺度邊緣特征、分布概率函數(shù)等新概念，將干擾過濾與特征匹配相結(jié)合、字符定位與字符識別相關(guān)聯(lián)，無需確定干擾區(qū)域即可實現(xiàn)重疊字符的識別。不僅解決了商用OCR尚未解決的技術(shù)難題，也為局部數(shù)據(jù)缺失的復(fù)雜重疊圖像識別(如口罩或眼鏡遮擋下的人臉識別等實際場景)提供了新思路。然而，該方法主要針對簡單字符的重疊識別，是否適用于重疊漢字或重疊復(fù)雜圖像的識別尚需進(jìn)一步研究。

[1] 國務(wù)院. 國務(wù)院關(guān)于印發(fā)“十三五”國家信息化規(guī)劃的通知[J]. 中華人民共和國國務(wù)院公報, 2017(2): 35-68.

State Council of the People’s Republic of China. Circular of the State Council on printing and distributing the “Thirteenth Five-Year” national informatization plan[J]. Gazette of the State Council of the People’s Republic of China, 2017(2): 35-68 (in Chinese).

[2] ZHAO Y F, DENG X Y, LAI H H. Reconstructing BIM from 2D structural drawings for existing buildings[J]. Automation in Construction, 2021, 128: 103750.

[3] CAO R N, TAN C L. Separation of overlapping text from graphics[C]//The 6th International Conference on Document Analysis and Recognition. New York: IEEE Press, 2001: 44-48.

[4] CHAME S D, KUMAR A. Overlapped character recognition: an innovative approach[C]//2016 IEEE 6th International Conference on Advanced Computing. New York: IEEE Press, 2016: 464-469.

[5] LIANG J J, ZHU B L, KUMAGAI T, et al. Character-position-free on-line handwritten Japanese text recognition by two segmentation methods[J]. IEICE Transactions on Information and Systems, 2016, E99.D(4): 1172-1181.

[6] WAN X, LIU C S, ZOU Y M. On-line Chinese character recognition system for overlapping samples[C]//2011 International Conference on Document Analysis and Recognition. New York: IEEE Press, 2011: 799-803.

[7] LV Y F, HUANG L L, WANG D H, et al. Learning-based candidate segmentation scoring for real-time recognition of online overlaid Chinese handwriting[C]//2013 12th International Conference on Document Analysis and Recognition. New York: IEEE Press, 2013: 74-78.

[8] LIANG J J, NGUYEN C T, ZHU B L, et al. An online overlaid handwritten Japanese text recognition system for small tablet[J]. Pattern Analysis and Applications, 2019, 22(1): 233-241.

[9] 肖堅. 基于學(xué)習(xí)的OCR字符識別[J]. 計算機(jī)時代, 2018(7): 48-51.

XIAO J. OCR character recognition based on Learning[J]. Computer Era, 2018(7): 48-51 (in Chinese).

[10] 段熒, 龍華, 瞿于荃. 中文文字圖片同色長干擾線的去除算法[J]. 數(shù)據(jù)通信, 2021(4): 42-46.

DUAN Y, LONG H, QU Y Q. An algorithm for removing long interference lines with the same color in Chinese text images[J]. Data Communications, 2021(4): 42-46 (in Chinese).

[11] 段熒, 龍華, 瞿于荃, 等. 文字圖像不規(guī)則干擾修復(fù)算法研究[J]. 小型微型計算機(jī)系統(tǒng), 2021, 42(7): 1427-1434.

DUAN Y, LONG H, QU Y Q, et al. Irregular interference inpainting algorithm research on text image[J]. Journal of Chinese Computer Systems, 2021, 42(7): 1427-1434 (in Chinese).

Research on recognition method of overlapped characters in construction drawings based on adaptive scale edge feature

WANG Zheng1, DENG Xue-yuan1,2

(1. School of Naval Architecture, Ocean & Civil Engineering, Shanghai Jiao Tong University, Shanghai 200240, China; 2. Shanghai Key Laboratory for Digital Maintenance of Buildings and Infrastructure, Shanghai 200240, China)

At present, the recognition technology of non-overlapped characters has been perfected, but it remains difficult to solve the recognition problem of common overlapped characters in scenarios such as the annotation of architectural engineering drawings, which hinders the breakthrough of automatic modeling technology based on 2D scanned drawings. To address the incapability of traditional character recognition methods to recognize overlapped characters, a new method was proposed for overlapped characters recognition in construction drawings based on adaptive scale edge features. Based on the spatial distribution characteristics of pixels, the overlapped character areas were preliminarily determined, and the adaptive scale edge features of characters were defined and extracted. The result combination of “position + content” was screened with the help of the bivariate matching probability function, and the global optimal principle was used instead of the absolute threshold as the identification standard. Finally, the correct recognition of overlapped characters was achieved. Different from the conventional idea of recognizing after repairing, the new method combined feature matching and interference filtering, character positioning and character recognition. The proposed method can solve the overlapping character recognition problem insolvable for mature commercial OCR such as Baidu,and the data experiment proves that this method is of high recognition accuracy.

overlapped characters; character recognition; adaptive scale; distribution probability; projection segmentation

5 January，2022；

“Thirteenth Five-Year” National Key R&D Plan (2016YFC0702001)

WANG Zheng (1997-), master student. His main research interest covers image recognition based on computer vision. E-mail：907022655@qq.com

TU17

10.11996/JG.j.2095-302X.2022040729

A

2095-302X(2022)04-0729-07

2022-01-05；

2022-02-07

7 February，2022

“十三五”國家重點研發(fā)計劃項目(2016YFC0702001)

王 正(1997-)，男，碩士研究生。主要研究方向為基于計算機(jī)視覺的圖像識別。E-mail：907022655@qq.com

鄧雪原(1973-)，男，副教授，博士。主要研究方向為建筑CAD協(xié)同設(shè)計與集成、基于BIM技術(shù)的建筑協(xié)同平臺等。Email：dengxy@sjtu.edu.cn

DENG Xue-yuan (1973-), associate professor, Ph.D. His main research interests cover architectural CAD collaborative design and integration, building collaborative platform based on BIM technology, etc. E-mail：dengxy@sjtu.edu.cn