基于改進穿線法和KNN 的數(shù)碼管字符識別研究

劉祎爽，黃理瑞，魏敏捷

（1.上海電力大學 電子與信息工程學院，上海 200135；2.光力科技股份有限公司，河南鄭州 450001；3.上海電力大學 電氣工程學院，上海 200135）

數(shù)顯式儀表顯示界面可以通過七段數(shù)碼管字符來傳達信息[1]。在部分核電站、井下環(huán)境中，其儀表設備老舊，無通信接口，工作人員在該環(huán)境下采集數(shù)據(jù)時，可能會面臨突發(fā)的危險狀況[2-3]。而利用攝像頭采集圖像，并傳輸?shù)缴衔粰C處理，可以避開人身危險且利于獲取實時數(shù)據(jù)[4-5]。在現(xiàn)階段的研究中，基于傳統(tǒng)穿線法和SVM+HOG 法識別數(shù)碼管字符，效果良好但未考慮識別小數(shù)點[6-7]。模板匹配法耗費時間較長[8]。采用神經(jīng)網(wǎng)絡方法效果良好，但算法復雜且需要先驗知識確定隱含層神經(jīng)元數(shù)[9]。采用投影法進行識別時，因數(shù)碼管種類多樣，移植性不強[10]。利用LSSVM 對數(shù)碼管字符進行讀數(shù)，識別率較高但處理過程較復雜[11]。

針對以上問題，文中融合了改進穿線法與KNN算法，能夠識別多種數(shù)碼管的字符及小數(shù)點。該識別算法簡單、速度快。實驗結(jié)果表明，實現(xiàn)了可實際應用的效果。

1 圖像預處理

圖像預處理的目的是通過一系列的處理后，得到清晰完整的單個二值化數(shù)碼管字符圖像。圖像預處理流程如圖1 所示。

圖1 圖像預處理流程

1.1 圖像灰度化

灰度化是指將采集到的R、G、B 三通道的彩色圖像變?yōu)閱瓮ǖ缊D像的過程。通過灰度化以減少圖像的大小，加快處理速度。常用的灰度化方法有如式（1）所示的分量法、如式（2）所示的最大值法和如式（3）所示的平均值法。通過ImageWatch 查看不同環(huán)境下數(shù)碼管發(fā)光時，紅色通道的值比較高，因此采用加權(quán)平均值法，如式（4）所示，得到合理的灰度圖，如圖2 所示。

圖2 圖像灰度化

1.2 圖像濾波

在圖像的成像與傳輸過程中，會產(chǎn)生高斯、椒鹽噪聲的干擾[12]。在目標點3×3 的區(qū)域采用中值濾波的方法，使得圖像中孤立的噪聲點被其鄰域內(nèi)灰度值的中值所取代，同時還能保留圖像的邊緣細節(jié)。

1.3 水平校正

由于攝像頭與被測儀器擺放角度的差異，采集到的圖像存在傾斜的情形。通過采用Hough 直線檢測，得到如圖3(a)所示的直線段，其中僅保留角度為0～30°之間的直線段，之后通過圖像仿射變換對圖像進行旋轉(zhuǎn)操作，旋轉(zhuǎn)角度為上述直線段角度的平均值，如式（5）所示，αˉ為所有直線與水平線的平均夾角，αi為當前直線與水平線的夾角，n為上述直線段的數(shù)量。式（6）中[uv1]和[xy1]為仿射變換的前后的向量，將旋轉(zhuǎn)后的空缺使用黑色填充，如圖3(b)所示。

圖3 水平校正

1.4 二值化

二值化指將上述灰度化后的圖像轉(zhuǎn)換為只有0和255 兩種灰度值的圖像處理方法。二值化過程中恰當?shù)拈撝导饶鼙Ａ裟繕藚^(qū)域的完整又能把背景區(qū)域屏蔽，通過選取大津閾值法（OTSU 算法）[13-14]對圖像進行二值化操作，如圖4 所示。

圖4 二值化圖像

1.5 邊緣檢測

圖像的行x和列y的像素點灰度值為f(x,y)，圖像的邊緣是指圖像的灰度值導數(shù)f′(x,y)突然變大的部分。常見的邊緣提取算子中，Sobel 算子對圖像較弱的邊緣提取效果較差，Robert算子受圖像噪聲的干擾較大，Canny 算子能夠識別圖像中的強邊緣與弱邊緣，并且不容易受到噪聲的影響[15]。通過Canny 算子對圖像進行邊緣檢測，之后進行形態(tài)學操作將數(shù)碼管字符相互連接，標記顯示區(qū)域中面積最大的最小外接矩形，進而定位數(shù)碼管字符所在區(qū)域，如圖5 所示。

圖5 邊緣檢測

1.6 形態(tài)學處理

將上述標記的矩形以外區(qū)域的像素值置0，以消除還可能存在的微小連通域的影響。經(jīng)過實驗，對剪裁后的二值化圖像采取5×3 的卷積核開運算方法，可以將數(shù)碼管的段與段連接在一起，同時有效減少非字符連通域的影響，如圖6 所示。

圖6 字符定位及形態(tài)學處理

1.7 字符分割

圖像預處理的最后一步是對數(shù)碼管字符進行分割。投影法是將數(shù)碼管字符進行垂直方向投影與水平方向的投影，記錄白色像素的數(shù)量。投影后會出現(xiàn)多個波峰與波谷，以此判斷字符位置，如圖7所示。

圖7 投影直方圖

為了消除存在的噪點的影響，設置一定的閾值：當垂直投影中每個波的白色像素個數(shù)達到此閾值時，才會將此波的位置記錄為單個數(shù)碼管字符的左右邊界。通過ImageWatch 證實，當水平投影中波的白色像素數(shù)量大于70 時，即可認為該波為數(shù)碼管字符的上下邊界，分割后的字符如圖8 所示。

圖8 分割字符

2 字符識別

2.1 穿線法

七段數(shù)碼管的每段都相等，橫向與豎向數(shù)碼管分別互相平行，根據(jù)數(shù)碼管的這一特點，傳統(tǒng)的三線穿線法用分割線進行穿線，如圖9 所示。通過判斷經(jīng)字符分割處理后的每段數(shù)碼管與a、b、d分割線相交處的255 像素值數(shù)量，來確定被點亮的數(shù)碼管段，進而識別出數(shù)碼管字符。根據(jù)數(shù)字1 的特點，只需要判別該區(qū)域的寬高比即可。但傳統(tǒng)的利用三線穿線法無法進行小數(shù)點的識別。

圖9 傳統(tǒng)穿線法示意圖

2.2 改進的五線穿線法

針對傳統(tǒng)的三線法所存在的問題，在三線穿線的基礎上提出了五線穿線法，如圖10 所示。

圖10 五線穿線法示意圖

在接近數(shù)碼管最右側(cè)和底部的位置增加兩條線，來判斷數(shù)碼管是否傾斜及存在小數(shù)點。分割線e與a、b至少有一個相交處有值為255 的像素點，則為水平數(shù)碼管，反之為傾斜數(shù)碼管。

對小數(shù)點的識別部分，在判斷數(shù)碼管是否傾斜后的基礎上，分為以下兩種情形：

1）對于水平數(shù)碼管，小數(shù)點被單獨分割出來，通過判別字符分割后的二值化圖像寬高比大小和分割線a上的灰度值為255 的像素點數(shù)量，有下述三種情況：

①若寬高比小于0.35，且分割線a上有255 像素點時，圖像為“1”。

②若寬高比大于0.35 同時小于0.8，應用傳統(tǒng)穿線法即可。

③若寬高比大于0.8，圖像為小數(shù)點。

2）對于傾斜數(shù)碼管，小數(shù)點與數(shù)字被分割到同一張圖像中。對于分割后寬高比小于0.35 的二值化圖像，有以下三種情形：

①分割線c與e相交處和分割線a上皆有灰度值為255 的像素點，則字符為“1.”；

②分割線c與e相交處有、分割線a上沒有灰度值為255 的像素點，則字符為小數(shù)點；

③分割線c與e相交處沒有、分割線a上有灰度值為255 的像素點，則字符結(jié)果為“1”。

若寬高比大于0.35，通過判別分割線c與e相交處的鄰域內(nèi)是否有灰度值為255 的像素點，如果有該像素點則該圖像存在小數(shù)點，反之則沒有，之后對圖像應用傳統(tǒng)穿線法進行字符識別。

2.3 五線穿線法與KNN的混合識別法

受數(shù)碼管自身質(zhì)量、傳輸過程與字符預處理過程等種種因素的影響，分割后的數(shù)字0、2～9 的寬高比可能小于0.35，造成識別錯誤。在此基礎上，對字符分割后寬高比小于0.35 的圖像進行KNN 算法識別。

KNN 是機器學習中有監(jiān)督的分類算法[16]，KNN中的K 是指被測試對象與經(jīng)過訓練后的樣本中最靠近的K個“鄰居”，通過查看鄰居的類別進而來判斷被測試對象的屬于哪一類。對于樣本X=(x1,x2,…,xn)和被測對象Y=(y1,y2,…,yn)使用歐氏距離來定義被測對象與訓練樣本的距離，如式（7）所示：

在使用KNN 算法時，為了消除樣本和被測對象之間特征值量級的影響，使用標準差法進行標準化，如式（8）所示:

3 實驗軟件平臺

3.1 實驗環(huán)境介紹

該文的字符識別程序語言為C++，實驗用計算機CPU 為AMD-4600H，實驗平臺環(huán)境為Windows10+LabVIEW2018+OpenCV4.5.0。通過編寫LabVIEW程序以及對其CLN 節(jié)點對基于OpenCV 和KNN 的字符識別程序動態(tài)鏈接庫DLL 的調(diào)用，達到了調(diào)取原圖片、顯示讀取字符的結(jié)果和程序運行時間等關(guān)鍵實驗數(shù)據(jù)的目的,如圖11 所示。該文隨機選取了300張含有傾斜與水平數(shù)碼管字符的圖像。

圖11 實驗平臺

3.2 實驗方法對比

該文對單獨使用改進穿線法和同時使用改進穿線法+KNN 方法的實驗結(jié)果進行了對比，因為數(shù)字1被分割后的二值化圖像寬高比小于0.35，故以1 為變量，把測試樣本分為兩組，每組的圖像皆為200 張，以考察不同算法的準確率以及程序識別平均時間的影響。一組含有數(shù)字1，其占比為25%，實驗結(jié)果如表1 所示。

表1 含有數(shù)字1的對比結(jié)果

另一組不含數(shù)字1，實驗結(jié)果如表2 所示。

表2 不含數(shù)字1的對比結(jié)果

實驗表明，改進穿線法+KNN 法的準確率更高，即提高了經(jīng)圖像預處理后寬高比小于0.35 的字符識別準確率。但是在識別含有數(shù)字1 的組別時，該方法的運行時間較長。為了確定KNN 算法識別字符的時間影響，選取了30 張皆含有數(shù)字1 的圖像，同樣用上述的兩種方法做對比實驗，結(jié)果如表3 所示。

表3 只有數(shù)字1的對比結(jié)果

通過增加對比實驗后表明，使用改進穿線法+KNN 方法比單獨使用改進穿線法的識別率高。由表2 可以看出，在模擬實際環(huán)境中使用改進穿線法+KNN 法的識別時間只比單獨使用改進穿線法慢約10 ms，在實際環(huán)境下使用改進穿線法+KNN 法識別率達到95%以上。

4 結(jié)束語

該文從實際場景出發(fā)，在傳統(tǒng)使用三根線的穿線法基礎上進行了改進，提出了用五根線進行穿線，提高了對小數(shù)點的識別精度。在改進穿線法基礎上，將機器學習KNN 方法與改進穿線法相融合，保證了識別系統(tǒng)的高準確率以及運行速度，得到了較好的實驗結(jié)果，對提升數(shù)碼管儀表的自動檢測效率及精度具有參考價值。