復雜條件下二維碼識別技術在工業現場的應用研究

董玉華， 張榮輝， 蘇孝雨

(大連民族大學 信息與通信工程學院， 遼寧 大連 116600)

引言

工業流水線批量生產環境下的作業不可避免地出現諸如零件的錯裝、漏裝、安裝不到位等問題，為了提高作業的可靠性，則需有效地實現產品的可追溯性，這已成為企業面臨的一大難題。二維碼以其數據容量大、成本低廉、可靠性高、糾錯能力強等優點已迅速成為業界青睞的信息交流方式，使得其在識別應用領域發揮著日趨重要的現實作用[1]。因此，企業也采取在重要零部件貼印二維碼的方式來進行檢測。二維碼包含零件的件號、批次等重要的質量信息，經過攝像裝置采集、處理和識別后，將送至機房質量監控室的主機上，一旦發生問題就可有針對性地迅速開啟追溯處理。而實際工業工程現場，圖像攝取裝置真正采集到的二維碼圖像卻會存在幾何畸變、光照不均、復雜背景干擾等情況，必將對識別造成干擾，因而準確快速、穩定高效地識別二維碼已成為檢測中的首要問題。

研究提出的方法先采用圖像攝取裝置將被攝取目標轉換成圖像信號，傳送給圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像系統對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來操縱現場設備的運行與工作，從而高速、非接觸地獲取了大量信息并轉入后續的智能處理。整體處理流程如圖1所示。本文將針對這一內容展開如下研究論述。

圖1 系統處理流程Fig. 1 The processing flow of the system

1 圖像預處理

圖像預處理[2]的目的就在于消除圖像中的無關信息，恢復有用的真實信息，增強目標信息的可檢測性和最大限度地達到數據簡化，從而改進特征提取、圖像分割、匹配和識別的可靠性。系統設計采用的預處理主要包括灰度化、圖像增強和二值化方法。

為減少圖像的復雜度和信息處理計算量，彩色圖轉換為灰度圖，將彩色圖像中的三分量的亮度作為3個灰度圖像的灰度值，根據實際應用需要選取一種灰度圖像。數學表述如式(1)所示：

f1(i,j)=R(i,j)f2(i,j)=G(i,j)f3(i,j)=B(i,j)

(1)

其中，fk(i,j)(k=1,2,3)為轉換后的灰度圖像在(i,j)處的灰度值。

然后，對灰度圖像在經過直方圖均衡化的研究變換后，應用改進的基于灰度直方圖的多閾值法來處理不同光照情況下的圖像二值化[3]。系統采用累積分布函數對原始分布進行映射作為均衡拉伸分布。均衡化方法[4]在設計上需求出原圖的直方圖h= {x0,...,xi}(i=0～255)，計算灰度分布概率。圖像總體像素N=l*w，每個灰度級的像素個數在整個圖像中所占的百分比的數學定義如式(2)所示：

hs(i)=h(i)/N

(2)

灰度級的累計分布hp的計算公式則如下所示：

(3)

其中，i=0,1,…,255。此后，將計算新圖像的灰度值，具體如式(4)所示：

(4)

其中，hp(k)為f(i,j)的累計概率分布。

針對二維碼在工業現場的特定應用場景，避開光線均衡處理的復雜性，多閾值法的圖像二值化可以有效去除光線不均的影響。系統設計中需要根據直方圖的形狀選取不同的二值化處理。研究內容可分述如下。

若直方圖呈現明顯的雙峰結構，直接對圖像進行二值化，把所有灰度大于或等于閾值的像素均判定為二維碼區域，其灰度值用255表示，否則這些像素點被排除在區域以外，灰度值為0，表示背景或者目標外的物體區域。如若圖像偏亮或偏暗，因而呈現單峰或弱雙峰結構，此時可使用一種全局化的動態Otsu[5]算法計算全局閾值，將灰度圖像根據灰度大小分為二維碼和背景兩部分。并且，當選取了最佳閾值時，背景應與前景差別最大，關鍵在于如何選擇衡量差別的標準，而在Otsu算法中這個衡量差別的標準就是最大類間方差。再者，當光照不均時，直方圖具有明顯的N峰結構，對圖像進行直方圖均衡化后再用Otsu 算法實現二值化圖像的分割處理過程。光照不均情況下二值化算法的應用效果對比即如圖2所示。

圖2 光照不均情況下二值化算法的靈活應用對比

Fig.2Thecomparisonofflexibleapplicationofbinaryimagesunderunevenilluminationconditions

研究知道，在光照不均時就存在外界干擾，由圖2比較可以看出，對圖像分塊進行直方圖均衡化后用Otsu算法的流程設計要明顯優于分塊后直接用Otsu算法的流程處理效果。并且隨著圖像分塊數目的增加能逐漸有效地消除光照不均對二值化的影響。

2 圖像幾何變換

在實際應用中，包含相同內容的圖像可能由于成像角度、透視關系乃至鏡頭自身的原因造成集合失真而呈現截然不同的外觀，不能保證每次采集到的圖像總是處于同樣的位置和方向[6]。針對這一狀況，研究需要檢測出被測物的位姿，通過圖像的仿射變換、投影變換、圖像變換等幾何變換確定ROI位置，最大程度地消除因幾何失真而產生的負面影響，對復雜背景下的物體實現精準地定位。其次，剪切定位到的ROI區域為定義域，運用插值算法對其進行比例放大。

雙線性內插值算法在圖像的放縮處理中，具有抗鋸齒功能，是簡單通用的圖像放縮算法。充分地利用了源圖中虛擬點四周的四個真實存在的像素值來共同決定一個目標像素值。雙線性插值[7]算法可以看成是2個變量間的線性插值的延伸。理論上，該過程的方法思路就是在一個方向上先執行線性插值，而后在另一個方向上依然應用插值，雙線性內插值算法的設計描述如下：

對于一個目標像素，設坐標通過反向變換得到的浮點坐標為(i+u,j+v)，其中浮點坐標的整數部分為i，j，浮點坐標的小數部分u，v;u,v∈[0,1)，則這個像素值f(i+u,j+v) 可由原圖像中坐標為(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所對應的周圍四個像素的值綜合確定，研究推得運算公式如下：

f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-

u)vf(i,j+1)+u(1-v)f(i+1,j)+

uvf(i+1,j+1)

(5)

其中，f(i,j)表示源圖像(i,j)處的像素值。

3 匹配識別

圖像在不同傳感器、不同時間、不同視角獲得的成像條件不同，因此，即使是對同一目標物，考慮到噪聲、干擾等影響，最終采集圖像中的幾何特性、光學特性、空間位置都會存在懸殊差異，就需要為每種物體開發一個新的識別算法，通過模板匹配技術可以達到上述目的。

模板就是一幅被創建的已知的小圖像。模板匹配就是在一幅大圖像中搜尋目標物，已知采集到的圖像中與模板有相同的尺寸、方向和小圖像，通過一定的算法可以在圖中找到目標物，確定其坐標位置。

圖像匹配算法主要分為兩類，也就是基于灰度匹配和基于特征匹配的方法。其中，基于灰度匹配主要用空間的移動模板進行圖像匹配，不同算法的區別主要在于模板及相關準則的選擇。此類方法優點是匹配率高，缺點是計算量大，速度較慢；基于特征匹配則通過在原始圖像中提取點、線、區域等顯著特征作為匹配基元，進而用于特征匹配。優點是匹配速度較快，缺點是匹配精度因特征選擇不同而不同。2種方法分別適用于不同的圖像特征，但都具備創建和匹配模板的操作過程。

二維條碼分為堆疊式和矩陣式兩種。堆疊式形態上是由多行短截的一維條碼堆疊而成，矩陣式以矩陣的方式來組建形成。根據二維碼特征應采用基于特征匹配的方法。算法的主要思想是避免對大圖像建立模板犧牲匹配速度，選擇針對ROI來建立模板，模板既可以在行列方向上引入行列縮放因子相等的縮放，也可以改變模板的尺寸，來查找采集到的具有局部變形的ROI，即創建的模板能靈活地在新圖像中尋找與模板匹配的ROI，設計功能就是在一幅圖像中找出最佳匹配的模板，返回一個模板實例的長、寬和旋轉角度，將得到的數據保存為CSV文件。還可以在開發的過程中通過優化參數不斷提高尋找模板的速度和精度。

4 實驗測試

HALCON是德國MVtec公司開發的一套完善標準的機器視覺算法包，配備有應用廣泛的機器視覺集成開發環境，由一千多個各自獨立的函數，以及底層的數據管理核心構成，其中包含了各類濾波、色彩分析以及幾何、數學變換、形態學計算分析、校正、分類、辨識、形狀搜索等基本的幾何以及圖像計算功能。在歐洲以及日本的工業界已經公認為是具有最佳效能的Machine Vision軟件。

實驗視覺系統以高性能的工業相機和工業鏡頭以及穩定的光源作為圖像采集系統，以VC++與HALCON聯合編程開發的可視化效果良好的視覺軟件系統作為上位機，系統運行速度快、穩定性高[8]。

二維碼能夠在縮微的面積內表達大量的信息，在矩陣相應元素位置上用“點”表示二進制“1”，用“空”表示二進制“0”，由“點”和“空”的排列組成代碼。具有編碼密度高、信息容量大、涉獵范圍廣、容錯能力強、可引入加密措施、成本低、易制作、持久耐用等特點。二維碼應用于工業生產線上的產品溯源有助于提升生產產品的質量安全水平[9]?？紤]到筆記本后背板配件包含多個二維碼信息且背景復雜，適合作為測試樣本。

在生產流水線上，將裝配后的筆記本后背板通過傳送帶運至自行設計搭建的圖像采集系統平臺，工業相機對筆記本后背板進行拍攝。采集到的原始圖像如圖3所示。

圖3 工業相機采集到的原始圖像Fig. 3 The original image acquired by industrial camera

將被攝取目標轉換成圖像信號，傳送給基于HALCON視覺開發環境的軟件系統，對轉換的圖像信號抽取目標二維碼的特征，進而根據判別的結果來生成標記，將采獲的數據保存為CSV文件，將有問題的圖片返回。

復雜條件下二維碼識別技術在筆記本裝配流水線上實際應用如圖4所示。

圖4 復雜條件下二維碼識別技術在筆記本裝配流水線上實際應用

Fig.4PracticalapplicationofQRcoderecognitiontechnologyforlaptopcomputerassemblinglineundercomplexconditions

對準確定位二維碼區域并識別二維碼信息進行了測試。在采集到的1 000幅圖像，并且包含10 000個二維碼信息中，識別錯誤總數為20個，識別率為99.8%，識別錯誤的主要原因有：未能成功定位、二維碼印刷模糊、幾何畸變嚴重問題。據測試結果以及對識別誤差的分析，可見已達到準確性和穩定性的要求。識別錯誤的具體測量數據如表1所示。

表1 測量數據Tab. 1 Measuring data

5 結束語

因工業流水線上，二維碼在發生幾何畸變、光照變化等復雜場景中難以快速準確地識別，本文提出了復雜條件下二維碼識別技術在工業現場應用研究與開發，包括二維碼自動識別的外部硬件系統搭建設計與識讀軟件系統調試開發。本次研究實現了在復雜條件下快速精確識讀建立穩定系統的研發過程，并具備了非接觸、高速度、快速獲取大量信息且易于智能操作處理等優點，因而充分發揮了機器視覺智能化的辨識功能來提高裝配作業的柔性、可靠性和產品可追溯性，進一步則為工業生產的遠程質量監控提供了穩定高效的解決方案[10]。

[1] 劉夏,陳明銳. 二維碼在企業的應用[J]. 計算機系統應用，2013，22(5):14-17.

[2] GONZALEZ R C,WOODS R E, EDDINS S L. 數字圖像處理(MATLAB版)[M]. 北京：電子工業出版社 , 2009.

[3] 姜柏軍,鐘明霞. 改進的直方圖均衡化算法在圖像增強中的應用[J]. 激光與紅外， 2014,41(6)：702-706.

[4] 吳成茂. 直方圖均衡化的數學模型研究[J]. 電子學報，2013,41(3)：598-602.

[5] XU Xiangyang, XU Shengzhou, JIN Lianghai, et al. Characteristic analysis of Otsu threshold and its applications[J]. Pattern Recognition Letters, 2011,32(7): 956-961.

[6] 廖士中,董明,高培煥. 工業攝像機幾何畸變校正控制點的自動生成[J]. 計算機應用研究， 2001(10)：30-32.

[7] 龔昌來,楊冬濤. 一種改進的雙線性插值圖像放大算法[J]. 激光與紅外, 2009, 39(8): 899-901.

[8] MVTec Software GmbH. HALCON/C++Reference Manual[M]. Germany: MVTec Software GmbH, 2010.

[9] 韋瑋. 基于機器視覺的防偽紙安全線檢測關鍵技術研究與應用[D]. 北京：機械科學研究總院,2007.

[10]張沙清, 郭建華, 楊玉法，等. 基于物聯網的豬肉產品質量安全監管與溯源系統[J]. 軟件, 2013, 34(12): 6-9.