一種曲面藥瓶標簽校驗方法關鍵技術*

許 會， 劉慧芳， 陸 昊， 車新生

(沈陽工業大學 信息科學與工程學院， 沈陽 110870)

靜脈滴注類藥品配藥是醫用輸液的重要組成部分，現如今大部分靜脈配液還是由醫護人員人工完成，不可避免造成時間與人力資源上的浪費[1-2].嚴格執行查對制度、遵守無菌操作規程是每一位醫護人員在配藥過程中必須遵守的準則，但是長期配藥會對配藥人員肌肉骨骼產生損傷[3].藥瓶標簽關鍵信息不便查找，配藥過程還是通過護士反復核查藥品名等信息，這些問題無疑給配藥工作人員帶來很大麻煩[4].目前針對藥瓶標簽自動校驗的文獻[5]未能解決畸變校正問題，標簽旋轉不同角度后校驗的匹配率會下降，損失了標簽名稱等一部分重要信息；文獻[6]中字符識別的畸變字符校正算法側重于對字符的定位，沒有實現藥瓶標簽的自動識別.鑒于上述情況，本文提出了基于全景拼接技術的藥瓶標簽校驗方法.全景拼接技術[7]主要應用于外場景、寬角度場景，應用到靜脈滴注類藥瓶標簽的識別需要先對藥瓶標簽進行畸變校正才能實現圖像的拼接.文獻[8]利用PDF417碼本身具有的列分割線特征對條碼分割后進行局部校正，此方法利用透視變換算法，不能對扭曲劇烈的條碼進行信息還原.本文標簽字符分割、識別算法參考文獻[9]，本文設計算法可對有傾斜角度的藥瓶標簽圖像進行識別，并對發生畸變的圖像進行校正.

1 藥瓶標簽校驗算法設計

由于采集設備視角小，采集的圖像不能包含標簽名稱等完整有效信息，鏡頭采集的藥瓶標簽會發生畸變.本文主要從以下幾個方面進行研究：

1) 藥瓶標簽畸變校正算法設計；

2) 藥瓶名稱字符分割算法設計；

3) 藥瓶名稱識別算法設計.

1.1 藥瓶標簽畸變校正算法設計

對于發生畸變的曲面藥瓶標簽圖像，它們之間不是線性對應關系，直接用于識別會引起偏差，故需要對采集的藥瓶標簽圖像進行畸變校正.本文畸變校正算法需要經過圖像灰度化、Canny算法邊緣檢測、霍夫變換檢測垂直直線、圖像分割等圖像預處理操作，隨后使用柱面反投影算法對分割后的藥瓶標簽進行畸變校正.

1.1.1 柱面反投影算法原理

在同一視點O將圖像投影到柱面切平面上的原理圖如圖1所示.圖1a為柱面標簽投影關系，柱面A′B′C′D′投影到切平面ABCD上；圖1b為柱面上任意一點P′投影到切平面x方向的映射關系.

首先建立理想的投影模型，圖1b假設圓柱面A′B′為半圓，焦距ON=R，中心點為O，曲面圖像上任意一點P′投影到平面圖像上的P點(x方向即由P′所對應的弧長投影到平面PN的長度)，OP與ON間的夾角θ.柱面標簽投影到切平面x方向映射關系表達式為

(1)

式中，x′為P′點對應的弧長.

柱面切平面y方向與柱面y方向(即柱面標簽母線方向)相同，得出柱面反投影表達式為

(2)

式中，y′為柱面的母線長.

在圖1b中，根據式(2)首先求出A′投影到平面時的x方向長度.在此OA′的長度可從圖像中獲得，令OA′等于弧長l，根據式(1)求出此段弧長所對應的θ值，從而計算出變換后的邊界x值，遍歷圖像所有像素點得到變換后圖像的所有x值.變化后的平面圖像x方向寬度會明顯增加，從而出現像素的缺損，在柱面圖像中無法找到對應的像素點，采用最近鄰插值對缺損的圖像進行插值，從而在x方向畸變字符得到了非線性校正.

1.1.2 二次校正算法原理

圖2 二次校正模型Fig.2 Secondary correction model

根據圖2建立關系式為

(3)

(x，y)為弧面上任意一點的坐標，變化后的坐標為(x_t，y_t)，dOE和dOF大小由實驗圖像獲得.

1.2 藥瓶標簽字符分割算法設計

通過SIFT圖像拼接后，解決了視角小等問題，得到了有完整藥品名標簽圖像.通過圖像二值化、圖像形態學、圖像濾波等預處理提取標簽藥品名圖像.藥品名是由一個或者多個連通域組成的，本文使用基于連通域的字符切分技術對藥品名字符進行切分.

根據連通域對圖像進行粗切分，再進行連通域的合并和粘連字符連通域的切分，基于字符字型特點，連通域可能會有上下關系、左右關系、重疊關系等.圖3是存在重疊關系的連通域C(i)和C(j)，(Li，Ui)是連通域C(i)外接矩形的左上角坐標，(Rj，Dj)是連通域C(j)外接矩形的右下角坐標.

圖3 連通域外接矩形的重疊關系Fig.3 Overlapping relationship of circumscribed rectangles outside connected domains

各標記定義如下：

連通域的寬W(Ci)=Ri-Li；

連通域的高H(Ci)=Di-Ui；

連通域的寬高比Ratio(Ci)=W(Ci)/H(Ci)；

合并后的寬Uw(Ci，Cj)=max(Ri，Rj)-min(Li，Lj)；

合并后的高Uh(Ci，Cj)=max(Di，Dj)-min(Ui，Uj)；

合并后的寬高比

URatio(Ci，Cj)=Uw(Ci，Cj)/Uh(Ci，Cj)；

重疊的寬度

Ow(Ci，Cj)=W(Ci)+W(Cj)-Uw(Ci，Cj)；

重疊的高度

Oh(Ci，Cj)=H(Ci)+H(Cj)-Uh(Ci，Cj).

以上定義的連通域單位都是基于像素點個數.定量化分析連通域的合并關系、粘連字符的重疊關系能夠得到正確的切分字符.此方法簡單快速，很好地滿足了本文藥瓶標簽字符的分割要求.

1.3 藥瓶標簽字符識別算法設計

對于藥瓶標簽名稱切分字符的識別，設計了一種特征矩陣求取算法，以二值圖像像素為基礎，求出分割字符和模板字符的相似度矩陣，再求出特征矩陣的相似度來匹配圖像.特征矩陣的求法為選定單位面積、統計分割字符和模板字符的單位面積黑色像素點數、字符圖像的特征矩陣為黑色像素點的總和，特征矩陣的相似度依據余弦相似度原理來計算.假設n個分割字符圖像特征分別由m1，m2，…，mn來表示，n個模板字符特征分別由t1，t2，…，tn來表示，相似度的計算公式為

(4)

2 藥瓶標簽校驗算法實現

2.1 藥瓶標簽拼接算法實現

采集有重疊區域(重疊區域大于1/3)的3組不同角度的藥瓶標簽圖像注射用奧美拉唑鈉如圖4所示.

圖4中定義3組圖分別為目標1、目標2、目標3.圖5是采用霍夫變換對傾斜角度圖像進行校正，目標1校正角度為1°，目標2校正角度為1°，目標3校正角度為5°.

對3組圖預處理分割后，按照上述反投影算法對水平方向的畸變進行校正，焦距設為像素矩陣列寬的1/2，即標簽圖像校正中心在圖1b的O點處，結果如圖6所示.

圖4 鏡頭采集原圖Fig.4 Original images collected by camera

圖5 傾斜校正圖Fig.5 Images after tilt correction

圖6 柱面反投影圖Fig.6 Images after cylindrical reverse projection

從圖6可以看出標簽邊緣壓縮的字符得到了校正，越是靠近邊緣拉伸越寬.對圖6采用二次校正模型進行校正，結果如圖7所示.在圖7中dOF取圖像行寬的一半，dEF由圖像彎曲的程度計算得知.由圖7可見，圖像在y軸方向得到了校正，藥品標簽名稱基本上在同一水平線上，利于后續藥品標簽名的提取.

圖7 二次校正圖Fig.7 Images after secondary correction

經過柱面反投影即一次校正，二次校正后對展開的圖像進行拼接，目標1校正圖和目標3的校正圖相似，并且目標1校正后的圖像彎曲度比目標3的大，由于篇幅的限制，在此取更有代表性的目標1校正圖與目標2校正圖進行拼接.本文從3個方面試驗校正算法對拼接的影響，組別1依次經過一次校正后拼接，驗證了一次校正對拼接的影響，拼接后的二次校正是為了易于標簽名稱的提取.同理組別2驗證了兩次校正對拼接影響，組別3驗證了拼接后的二次校正對標簽提取識別的影響.

3個組別的圖像拼接結果如圖8所示，從圖8中可以看出，本文拼接算法能很好實現藥瓶標簽的拼配，經過兩次校正后再拼接的標簽展平效果好于一次校正后拼接的藥瓶標簽.

2.2 藥瓶標簽校驗算法實現

分別從圖8a、b、c提取藥品名稱有效區域如圖9所示.

對圖9中經過預處理的圖像進行字符切分，藥品名字符分割圖如圖10所示.圖10中，藥品名字符得到正確切分.字符分割后需要與模板字符進行匹配，需要提前做出模板字符庫，圖11為藥瓶標簽注射用奧美拉唑鈉的部分模板庫圖像.

圖8 不同處理后的圖像拼接圖Fig.8 Stitched images after different processes

圖9 藥品名有效區域Fig.9 Effective area of medicine name

圖10 藥品名分割圖Fig.10 Segmented images of medicine name

圖11 模板字符Fig.11 Template characters

在此階段，分割字符和模板字符像素統一調整為42*24，選取單位面積大小為2*2.匹配過程包括讀取樣本模板庫，計算特征矩陣，計算相似度矩陣，若相似度矩陣最大值大于0.85，顯示識別結果.

在這個階段分割字符分別與所有模板字符進行匹配，如分割字符“注”與模板中的字符“注”、“射”、“用”、“奧”、“美”、“拉”、“唑”、“鈉”依次匹配，計算出相似度矩陣最大值.其他字符依次進行匹配，得到所有字符的相似度矩陣最大值，如表1所示.

表1 分割字符與模板字符匹配相似度矩陣最大值

Tab.1 Maximum similarity matrix values matching segmentation characters with template characters

字符相似度矩陣最大值組別1組別2組別3注0.92290.93040.9330射0.92850.95840.9634用0.87920.92910.9486奧0.90710.94410.9499美0.89830.94680.9556拉0.85600.91260.9242唑0.91070.93380.9598鈉0.92760.96700.9519

從表1中可以看出組別2和組別3的分割字符與模板字符匹配的相似度矩陣最大值大于組別1，組別3的識別率略大于組別2.

3 結 論

本文重點研究了曲面畸變校正問題，藥瓶標簽經過一次校正和二次校正展開了曲面圖像邊緣壓縮字符.經過圖像拼接解決了視角小，缺失圖像重要信息等問題.經過校正和拼接得到了包含完整藥瓶標簽信息的平面展開圖像.通過一次校正和二次校正后拼接的圖像字符識別率高于一次校正后拼接的圖像，即曲面圖像展平效果越好，字符的識別率越高.