基于圖像處理的檔案盒標簽的檢測技術研究

李 婧,蘇 葉,徐寅林

(南京師范大學計算機與電子信息學院,江蘇 南京 210023)

目前國內外常見的檔案檢測識別方法是基于條形碼、QR碼或RFID技術,通過掃碼或讀取檔案盒電子標簽進行識別. 基于條形碼或QR碼技術需用機械手夾持條碼槍移動讀取,實時性差. RFID技術是將射頻讀卡器排列成行,與檔案盒標簽一一對應,該方法成本高且易受干擾. 由于檔案盒的檢測識別與圖書的檢測識別具有一定的相似性,因此可借鑒圖書的檢測識別技術來研究檔案盒檢測識別的相關技術.

近年來,由于人工智能技術的快速發展,出現了通過拍攝圖書書脊進行檢測識別的技術. 該方法利用攝像頭或其他成像設備采集到書架上的書脊圖像,通過識別書脊上的文字信息(如書名、作者、出版社等)來識別圖書[1-2],準確率高、實時性好且方便快捷. 由于不同圖書的書脊大小、書名及顏色等特征差異較大,書脊檢測識別可有一定的容錯度而不影響圖書的區分. 本文研究的檔案盒標簽往往差異不大,如人事檔案標簽一般單位、部門、籍貫等都一樣,只在具體姓名或編號部分略有不同,因此僅通過文字識別技術很難達到較高的檢測準確率. 本文提出一種基于圖像處理的檔案盒標簽檢測方案,利用攝像頭實時采集回轉庫檔案柜窗口區域的整排檔案盒的標簽圖像,通過深度學習U-Net[3]網絡將整排檔案盒標簽圖像進行分割,對一些形變的圖像進行仿射變換矯正,裁剪得到獨立的標簽圖片,最后使用surf[4]匹配算法對標簽圖像進行檢測. 實驗結果表明,本文提出的算法具有較高的匹配正確率.

1 圖像預處理

1.1 標簽圖像分割

將攝像頭固定在距離檔案柜窗口區前方約50 cm處,利用攝像頭視角范圍大、拍攝清晰且不易變形的特點,只需要設置兩個攝像頭即可以獲取回轉庫檔案柜窗口區全部檔案盒的標簽圖像. 攝像頭得到的是窗口區的全部檔案盒圖片,首先需要分割得到獨立的一本本檔案盒圖片才能進行后續的檢測識別. 由于傳統的分割方法易受噪聲等干擾[5],本文采用深度學習的U-Net網絡進行分割. U-Net模型是一個語義分割模型,可實現端到端的分割. 具體方法是利用卷積進行下采樣,提取出一層又一層的特征,利用這些特征再進行上采樣,最終得到類別數量的特征圖[6]. U-Net網絡通過上采樣過程中的級聯,使得淺層特征和深層特征結合起來,在圖像分割效果上有著不錯的表現.

首先對U-Net網絡進行訓練,以計算出最佳網絡參數. U-Net分割模型的訓練需要原圖和與其對應的標簽圖片兩個文件,其中標簽圖片通過labelme軟件對原圖進行手動標注可得. 圖1所示為具體的訓練與測試過程. 本文的訓練集包含107張樣本圖片,測試集包含37張圖片. 訓練過程中損失函數loss在迭代20次后趨于穩定.

圖1 分割流程圖Fig.1 Segmentation flow chart

1.2 標簽圖像的“平直性”糾正

由于攝像頭固定在桌面上,必須以一定的仰角才能對準窗口區檔案盒背脊,因而拍攝出來的檔案盒圖片會有一定的角度傾斜,進行矩形裁剪可能會得到殘缺或冗余的檔案盒圖片. 為了提高后續檢測的正確率,需對圖片進行矯正. 攝像頭仰角拍攝造成的圖片畸變以剪切形變為主,本文采用仿射變換對其進行角度調整.

對分割預測圖片進行輪廓檢測得到每本檔案盒輪廓的點的合集,通過最小外接矩形方法即可得到每本檔案盒的傾斜角度θ,角度范圍為-90°～0°. 實際計算時,若傾斜角度小于-45°,則在原來角度上增加90°;若傾斜角度大于-45°,則直接對角度反轉,最終實現圖片的旋轉. 最后,對每本檔案盒旋轉后的圖片進行裁剪,即得到單獨的檔案盒圖片.

2 圖像配準

由于檔案盒圖片大多背景相同,只有少數細節存在差異,因此圖書識別中常用的文字識別技術并不適用于檔案盒標簽的檢測識別. 考慮到檔案盒的局部差異性,本文采用surf匹配算法,主要包括特征點提取、特征點描述和特征點匹配. 首先構建Hessian矩陣產生興趣點,然后構建尺度空間,對特征點進行非極大值抑制得到最終穩定的特征點,再利用特征點的Harr小波特征確定特征點主方向,生成特征描述子,最后計算出特征點之間的歐氏距離以確定匹配好壞[7].

2.1 圖像特征提取

surf算法的關鍵是利用Hessian矩陣來得到穩定的特征點,為特征點提取做準備. Hessian矩陣為:

(1)

surf算法使用盒式濾波器,從而用積分圖像加速卷積. 圖2從左到右分別為y方向和xy方向的高斯二階偏導數模板及其近似表示,記為Dyy、Dxy,此時Hessian矩陣的判別式為:

圖2 高斯二階偏導數的近似表示Fig.2 Approximate representation of Gaussian second-order partial derivative

det(H)=DxxDyy-(ωDxy)2,

(2)

式中,Dxx為x方向的高斯二階偏導數近似表示;ω一般取0.9,可修正盒式濾波器的近似誤差.

surf算法在不改變目標圖像大小的情況下,逐漸增大盒式濾波器的模板尺寸,從而獲得圖像金字塔,該方法提高了運算效率.

通過Hessian矩陣判別式的值得到極值點后,對極值點進行非極大值抑制,將極值點與其圖像域和尺度域的所有相鄰點進行比較,當其大于所有相鄰點時,確定該點為特征點[8-9].

2.2 特征點描述

首先,為了確保特征點的旋轉不變性,需給每個特征點分配一個主方向. 在以特征點為中心的領域內,計算60°范圍內所有點的Harr小波特征總和,再依次旋轉0.2個弧度重復計算[10],最終特征點的主方向為矢量值最大的方向.

提取特征點周圍4×4個矩形區域塊(每個區域邊長為5s×5s,s為盒式濾波器的邊長尺寸),方向沿著特征點主方向,使用尺寸為2s×2s模板的Harr小波計算每個區域塊內25個像素點的Harr小波特征之和以及Harr小波特征絕對值之和,最終surf特征描述子共有4×4×4=64維[11].

2.3 特征點匹配

surf算法中常用歐式距離衡量特征點是否匹配,本文采用Flann(快速最近鄰搜索)匹配算法[12-13]. 在Flann算法中,第一個匹配的是最近鄰,第二個匹配的是次近鄰,可通過查看兩個特征點之間距離的不同來判斷是否匹配成功. 本文經實驗對比,得到設定最近鄰與次近鄰距離比值小于0.7為最佳匹配;當設定閾值小于0.7時,隨著閾值減少,匹配錯誤數增多;當設定閾值大于0.7時,隨著閾值增大,誤匹配數增多.

3 實驗分析

論文設計了不同標簽的107個檔案盒作為實驗數據集. 首先,每本檔案都要錄入一個圖片作為比對的對象,即底庫照片,共有107張作為實驗比對的底庫標準集. 然后將每本檔案盒擺放在架子的不同位置拍攝,共采集到1 498張圖片. 數據集的制作方法有兩種,第一種將實際拍攝的圖片,按U-Net生成的預測圖片模板大小進行調整,然后分割、仿射變換后作為測試集1. 該方法預處理裁剪出來的單本檔案盒圖片寬度小,拍攝照片調整尺寸為正方形后造成圖片質量下降,檔案盒圖片文字也不清晰,影響算法的正確率. 第二種方法是將U-Net得到的掩模圖片調回到原圖尺寸,對原圖進行掩模、分割、仿射變換、裁剪等一些列操作,可以得到高質量的測試集2. 表1為兩種測試集在surf算法下的正確率,可以看出測試集圖片的質量對算法有較大影響.

表1 不同測試集的匹配正確率Table 1 Matching accuracy of different test sets

3.1 Hessian閾值對surf算法的影響

由于在surf算法中Hessian閾值的設定對匹配結果的好壞有一定影響,閾值越高,檢測到的特征點越少,特征點越穩定. 因此,可用試探法來得到該檔案盒匹配的最優檢測. 圖3所示為不同Hessian閾值下對應的匹配錯誤數目,可以看出,在閾值590-610之間,匹配的錯誤數最少,趨于穩定不再減少;而當閾值過高時,則可能因為檢測到的特征點太少而無法匹配. 因此,本文取閾值600為最佳值,匹配正確數目為 1 492,正確率達到99.60%.

圖3 不同閾值下匹配錯誤數Fig.3 Number of matching errors underdifferent thresholds

3.2 surf算法的魯棒性研究

3.2.1 光照強度對圖片匹配正確率的影響

實際應用場景下,可能存在各種各樣的環境光強,光照不變性是surf算法的一個優點. 圖4所示為不同光照強度下的匹配正確數,其中光照強度等于1.0為原圖. 從圖4可以看出,當光照強度為0.4～1.6,匹配正確數變化不大,匹配結果較好;當圖片過亮或過暗時,surf算法性能逐漸下降,這充分反應了surf特征點檢測具有很強的光照不變魯棒性.

圖4 不同光照強度下匹配正確數Fig.4 Matching correct number underdifferent light intensity

3.2.2 噪聲對圖片匹配正確率的影響

實際場景中采集得到的檔案盒圖片還可能存在許多干擾,最典型的有角落位置檔案盒光照明暗不均、檔案盒存放時間過久紙張泛黃或者沾染上灰塵等. 為考察這些噪聲對圖片匹配正確率的影響,本文模擬測試了各種噪聲情況下surf算法的穩定性,其匹配結果如表2所示. 其中明暗不均與泛黃圖片受干擾影響較少,穩定的特征點較多,正確率較為穩定;灰塵圖片受到較多噪聲點干擾,匹配效果較差.

表2 不同干擾下的匹配正確率Table 2 Matching accuracy under different interference

分析surf的工作原理可以發現,特征點的提取主要依賴于Hessian矩陣判別式,判別式為局部極大值時,該點是領域內最亮或最暗的點,從而確定特征點位置. 而矩陣判別式的值與高斯二階偏導數及圖像的卷積值有關. 局部圖像灰度的緩慢變化對卷積值影響較小,因此surf算法對圖片偏亮、偏暗、緩慢變化的明暗不勻及泛黃具有很好的抗干擾能力. 對于灰塵干擾,其顆粒大小往往和圖像斑點尺度相近,這嚴重影響了surf的特征點提取,從而影響了圖片的匹配正確率.

對于實際場景下受到不同污染的檔案盒圖片,可以對其進行處理,以提高匹配的正確率. 對明暗不均和泛黃的檔案盒圖片,盡管surf算法抗干擾能力很強,但通過對圖片進行適當處理,可以使匹配效果更好. 本文考慮直方圖均衡算法和自動色彩均衡(ACE)算法進行處理. 由于直方圖均衡化算法一般用于灰度圖像,對于檔案盒圖片這種彩色圖像易出現顏色不均、失真等問題. 對明暗不均的加噪測試集進行直方圖均衡化,實驗測得的匹配正確率約為95.13%,反而降低了正確率. 自動色彩均衡(ACE)算法能夠考慮到圖像中亮度和顏色的空間位置關系,實現具有局部和非線性特征的圖像亮度、色彩及對比度調整,可有效提高匹配正確率.

對有灰塵的檔案盒圖片,本文考慮了中值濾波、非局部平均去噪等方法. 中值濾波是指在以某點像素為中心的鄰域內,對所有像素進行排序,將排序中的中值作為該點的響應. 該算法對于去除椒鹽噪聲效果顯著. 對灰塵圖片進行中值濾波,可明顯去除大部分噪聲,此時測得的正確率約為93.79%. 對于剩余的干擾可再采取非局部平均去噪的算法進行處理,該算法是通過對整幅圖像中相似區域求平均進行去噪,需注意亮度權重衰減參數h的選擇,該值設置高雖可更好地消除噪聲點,但同時也會消除圖片的細節.

圖5顯示了不同亮度權重衰減參數測得的匹配錯誤數,可以看出,當參數設為10.2時,匹配正確率最優. 由于灰塵檔案盒圖片本身對比度不高,經中值濾波后直接進行非局部平均去噪處理會丟失很多細節信息,因此可以對灰塵檔案盒圖片先進行自動色彩均衡,增強對比度后再進行非局部平均去噪處理,以提升匹配效果. 經處理后的檔案盒匹配正確率如表3所示.

圖5 不同h值下匹配情況Fig.5 Matching under different h values

表3 處理后的匹配正確率Table 3 Matching accuracy after processing

經去噪處理后的圖片檢測到的特征點數增多,匹配點對數增多,誤匹配對數減少,匹配效果較未處理之前有顯著提升. 可見,surf算法對于一定程度下光照變化及實際情況下明暗不均、泛黃干擾均能保持著較好的匹配效果,魯棒性較好.

4 結論

本文闡述了基于圖像的檔案盒標簽檢測技術,通過使用U-Net網絡進行檔案盒圖片分割、對形變檔案盒進行仿射變換等一系列預處理得到獨立檔案盒圖片,使用surf算法進行檔案盒圖片的匹配,并測試了在不同光照強度及不同噪聲干擾下surf算法的匹配性能,最后討論了在噪聲干擾下的應對方法. 由實驗結果可知,該技術對回轉庫檔案盒的檢測有較好的效果.