單邊側入光式導光板質量可視化檢測方法①

張滬強, 李俊峰, 戴文戰

1(浙江理工大學 機械與自動控制學院, 杭州 310018)

2(浙江工商大學 信息與電子工程學院, 杭州 310018)

1 引言

由于加工工藝、模具保養不當、工人操作等因素,導光板在生產制造過程中不可避免會出現亮點、卡料、劃傷、壓傷、臟污、暗影等缺陷, 其中亮白點、壓傷和劃傷最為常見.目前國內導光板生產廠家的產品質量檢測還停留在人工檢測階段, 即通過人工裸眼檢測產品是否合格.但長時間強光環境下工作容易使驗光人員患上職業病, 而且評判標準因人而異, 無法形成統一的產品輸出標準.

隨著電子、計算機和通信技術的發展, 基于機器視覺的缺陷檢測成為可能, 國內外學者對此開展了廣泛的研究, 一些研究成果已經成功應用于液晶面板、磁瓦等產品的表面缺陷檢測, 但在導光板缺陷檢測方面的研究還很少.

導光板作為液晶屏的重要組件, 其缺陷檢測可以借鑒液晶屏缺陷檢測的研究成果.液晶屏中的缺陷通常表現為低對比度和模糊輪廓, 與周圍區域沒有明顯的強度差異.畢昕等[1]研究基于實值Gabor 小波濾波的紋理背景抑制方法, 該方法可以有效抑制液晶屏的紋理背景, 但對導光板的網點背景并不適用.張昱等[2]結合專家系統和模糊理論建立的檢測系統, 解決了缺陷判定的模糊性和不確定性, 但該方法漏檢率過高.梅爽[3]提出基于多模態特征描述的完備特征表示模型JFRDRF, 結合無監督學習特征提取和人工特征提取, 實現多維度的特征描述, 但該方法算法處理速度較低, 無法滿足工業檢測需要.何志勇等[4]提出利用圖像梯度方差尋找缺陷的方式, 對背景波動小的圖像有較好的應用效果, 但不適合布滿網點的導光板檢測.楊成立等[5]提出基于非下采樣Shearlet 變換的缺陷檢測方法, 根據高低頻不同特征針對性處理, 可以有效抑制紋理與噪聲,但該方法假陽性率過高.郭萌等[6]提出通過結合Kirsch和Canny 算子提取邊緣, 該方法可以有效抑制噪聲干擾, 但不適用于有紋理背景的缺陷檢測.Tseng 等[7]提出利用多圖像疊加對Mura 進行灰度提升, 該方法可以有效增強缺陷與背景的對比度, 抑制噪聲, 但該方法不適用于高分辨率的線陣相機.Yang 等[8]提出一種圖像背景構造算法OPBC 用于快速篩選Mura 疑似區域, 使用基于區域梯度的水平集算法RGLS分割缺陷, 該方法在不均勻光照條件下有較好的檢測效果, 但檢測效率偏低.李俊峰等[9,10]設計使用多方向Gabor 濾波器和高斯導數濾波器, 該方法可以有效檢測劃傷和亮點缺陷,但對某些成像較暗的點狀缺陷效果并不理想.Ming 等[11]提出動態權重組合分類器CCDW 對樣本進行分類, 可以根據預測概率優化基分類器的權重比例, 但預測準確率仍無法達到檢測需求.

基于此, 針對單邊側入光式導光板的網點分布特點、光學特性和質量檢測要求, 利用16 K 高精度線陣相機和定制的多角度光源獲得高質量的導光板圖像,并根據導光板圖像的背景復雜、導光點無序、亮度不均勻等特點提出了一種可視化質量檢測方法.該方法根據網點的排列特點將圖像劃分成疏區和密區, 分別設計檢測算法提取缺陷區域, 并根據產線質檢要求提取篩特征進行缺陷判定.該算法在自主研發的導光板缺陷檢測系統上進行了大量的在線測試, 測試結果表明, 針對亮白點、壓傷和劃傷缺陷具有較高的檢測精度, 檢測精度可達99%以上, 可以滿足工業檢測要求.

2 導光板表面缺陷分類

根據對導光板生產廠家、技術人員及一線工人的調研情況, 導光板的缺陷主要有亮點、壓傷、線刮傷、黑點及暗影等.在上述缺陷中, 暗影利用線陣相機無法呈現, 但在面陣相機下可以有效獲取其信息.由于亮點、壓傷、線刮傷等缺陷尺寸較小, 而本文的研究對象為電腦顯示屏用導光板, 尺寸相對比較大, 檢測精度要求高, 需要檢出10 um 以上的缺陷, 采用16 K 線陣相機可呈現其清晰圖像.此外, 由于暗影、黑點缺陷出現的情況非常少, 本文主要研究亮點、壓傷及線刮傷缺陷檢測方法, 這些缺陷的形成原理及特征如下:

(1)亮點

在塑化過程中, 熔料溫度過低, 背壓過小, 轉速過快, 未能將塑膠料完全均勻的熔化, 在塑膠熔料中存在著固體; 塑膠原料不干凈, 混有白色的雜質; 成型機周邊環境受到污染, 空氣中粉塵較重; 模仁過于粗糙, 導致在取出產品時拉傷產品而產生的白點等.線陣圖像中表現為某一顆導光點亮度明顯大于周圍導光點, 其面積也比正常導光點要大, 如圖1(a)所示.

圖1 缺陷圖像

(2)壓傷

導光板生產模具槍體內有異物, 壓傷了導光板網面.線陣圖像中成塊狀灰色斑點, 形狀大小不一, 如圖1(b).

(3)線劃傷

導光板表面出現劃傷痕跡, 前制程中主要是模仁表面劃傷, 后制程中主要是導光板接觸面的不潔凈(有粉粒、異物等)導致與導光板表面產生較大的摩擦而致產品表面劃傷, 如裁切平臺、拋光平臺、清潔滾輪等.明顯的線劃傷呈現粗線條狀傷痕, 看起來很像導光點的合并; 輕微線劃傷呈現細絲狀劃痕, 某些輕微線刮傷的寬度不到一個像素, 且斷斷續續, 肉眼很難分辨,如圖1(c)所示.

(4)暗影

加熱筒(螺桿)里面的熔料中混有較多的氣體沒有被排出, 在高速充模的情況下較多的氣體難以完全排出, 在模具型腔內的某部分產生劇烈灼燒, 將產品燒黑而形成的暗區; 在高速充模時, 空隙處被冷卻的熔料被帶入模具型腔, 被后面熔料包住而形成的一塊區域等.該缺陷范圍較大, 面陣相機下成像一部分較亮一部分較暗, 在交界處可見輕微輪廓.

(5)黑點

塑膠原料在塑化過程中因背壓、溫度、轉速過高,導致熔料分解碳化; 在高速充填過程中, 模具型腔的氣體不能順利排出, 聚集在某個角落與熔料產生劇烈的灼燒而燒焦熔料等, 如圖1(d)所示.

3 導光板缺陷檢測算法

通過成像設備采集導光板圖像, 提取導光板本體.由于導光板上網點分布不均勻, 從入光側向出光側逐漸變密, 為適應網點分布情況, 同時提高檢測速度和精度, 本文將圖像均分成5 個區域.入光側的4 個區構成疏區, 最后一個區為密區, 各區域的檢測原理如圖2.

對于疏區, 先利用高斯算子和拉普拉斯算子[12]銳化圖像, 設計點濾波模板對圖像進行濾波, 留下網點部分, 并對網點進行灰度增強與均值濾波, 還原網點大小,再利用OTSU 算法獲取網點區域, 在此基礎上將原圖分成網點圖與背景圖兩部分:

(1)對于網點圖, 進行二值化并轉連通域, 再通過網點的灰度、圓度等特征進行判斷是否有缺陷;

(2)對于背景圖, 進行二值化并轉連通域, 再通過灰度、長度、面積等特征判別是否有缺陷.

對于密區, 本文根據缺陷的類型通過兩個方面進行缺陷檢測:

(1)通過兩種結構元素對圖像分別進行灰度開操作, 將圖像相乘并設計高斯梯度濾波器對其進行卷積,設置閾值提取圖像中灰度較大的缺陷;

(2)將原圖像進行灰度值拉伸及圖像整體增強, 另對原圖進行增強并與前圖像相減, 再利用圖像灰度形態學凸顯缺陷, 最后設定閾值進行缺陷提取.

3.1 稀區檢測算法

3.1.1 網點提取

由于缺陷的大小、形狀、位置及灰度沒有規律,網點對于缺陷的判定會產生較大的干擾.基于此, 本文提出了網點分離算法, 通過將圖像分成網點與背景部分, 再進行缺陷的提取與判定.首先利用高斯算子和拉普拉斯算子銳化圖像, 并設計點濾波模板增強網點部分; 然后利用灰度拉伸、最大類間方差法等方法將導光板圖像分離成網點圖與背景圖.

在線掃相機采集導光板圖像過程中, 可能會存在一定程度的高斯噪聲, 故設計二維高斯濾波器對圖像進行卷積去噪, 離散高斯卷積核函數為:

其中, σ為標準差, k為卷積核的大小.

使用拉普拉斯算子對去噪之后的圖像進行銳化處理:

其中, g(x,y) 經過銳化后的圖像, f(x,y)為高斯去噪后的圖像, ?2f(x,y)為拉普拉斯算子濾波后的圖像, 其離散形式為:

一般的圖像增強算法對于導光網點這種緩慢變化的邊緣很難確定其邊緣線的位置, 但拉普拉斯算子可以利用二次微分正峰和負峰的過零點來確定, 比較適合用于突出圖像中的網點部分.由于網點近似呈圓形,本文設計了一種新型濾波模板對圖像進行濾波, 用于增強網點區域, 濾波模板如圖3 所示.

圖2 導光板缺陷視覺檢測方法原理

經過濾波之后的圖像, 雖然保留了網點區域, 但是因為整體灰度被壓縮, 所以圖像整體偏暗, 需要對其進行線性調整, 充分利用其動態范圍.線性調整后的網點邊緣較為陡峭, 與原圖差異較大, 不適合直接選取作為網點區域.為了盡可能還原原圖的網點特征, 本文采用均值濾波來模擬網點邊緣緩慢變化的情況.并在此基礎上, 利用最大類間方差法將導光板圖像根據灰度等級分成前景與背景兩個部分, 通過尋找最佳閾值, 使得兩個部分之間的灰度方差最大, 每個部分之間的灰度方差最小.

其中, t 為根據OTSU 計算出的最佳閾值, w0為前景部分所占的比例, u0為前景部分的灰度均值, w1為背景部分所占的比例, u1為 背景部分的灰度均值, u為整張導光板的灰度均值.

圖3 濾波模板

通過OTSU 算法[13]雖然可以提取較為明顯的網點部分, 但由于導光網點邊緣不清晰, 為了盡可能的提取網點部分, 本文設置了閾值偏差ti, 對最佳閾值t進行了調整, 提取網點部分的區域為:

根據計算得到的網點區域將導光板分為網點與景兩個部分, 如圖4 所示:

圖4 原圖、網點與背景

3.1.2 缺陷區域提取

經過處理得到的背景圖, 因為排除了網點因素的干擾, 缺陷較為明顯, 但仍存在其他干擾因素, 需要進行判斷.在對背景圖進行閾值分割提取疑似缺陷的過程中, 由于網點分離, 存在線缺陷斷開的情況, 需要對其連接恢復.

本文使用區域閉操作, 由于斷開部分多處于網點區域, 故針對不同分區分別設計不同尺寸的圓形結構元進行線缺陷重連, 公式如下:

其中, R 為經過處理后的區域, A 為未經處理的區域, B為結構元, ·代表閉操作, ⊕代表膨脹操作, Θ代表腐蝕操作.

閉操作首先使用結構元B 對區域A 進行膨脹操作, 將斷開的線缺陷重新連接在一起, 再使用結構元B 對區域A 進行腐蝕操作, 使得其他缺陷恢復原本大小, 以便于后續的缺陷判定.

由于在前景部分網點分布較為規則, 正常網點間距處在一定的范圍, 若出現異常圓點狀缺陷, 此時該處的網點間距必然過小, 對于該種情況, 本文在二值化提取網點主體部分后, 進行形態學閉運算, 使用的結構元為半徑不同的圓形, 通過將異常圓點與其周圍過于靠近的網點粘連在一起, 如圖5 所示.再進行連通域處理,提取特征進行判斷.

圖5 缺陷區域提取

3.2 密區檢測算法

3.2.1 亮點缺陷檢測

由于密區的網點分布過于集中, 網點之間的距離很小, 網點與背景分離的算法不適用.針對此區域缺陷的成像情況及網點的密集分布情況, 本文根據高斯導數濾波器提出一種新的缺陷檢測方法.首先, 使用圖像形態學算法對密區圖像進行預處理; 然后, 設計高斯導數濾波器對圖像進行卷積, 并進行二值化閾值分割; 最后, 利用區域閉操作連接相連的疑似區域, 進行缺陷判斷.

由于密區部分網點密集, 整體區域較亮, 缺陷與網點的對比度不高, 如圖6(a)所示, 故需要通過處理對缺陷進行增強.本文設 7×7的 八邊形結構元 B1和 7×7的菱形結構元 B2, 分別對導光板密區進行灰度級開操作, 以降低整體灰度, 抑制網點部分.

圖6 亮點缺陷提取

其中, I0為導光板密區原圖, I1、 I2為經過灰度開處理后的圖像, B1、 B2為 結構元, ?代表開操作.

對圖像進行算術操作, 如圖6(b)所示.

運用如下高斯梯度[14]對圖像進行卷積, 結果如圖6(c)所示.

3.2.2 暗劃傷檢測

密區除了亮點缺陷外, 還存在較暗的劃傷缺陷, 如圖7(a)所示.對原圖進行灰度值拉伸.

圖7 疑似劃傷缺陷提取

對原圖 I0和拉伸圖 I4分別進行圖像增強得到 I5和I6, 增強算法如下所示:

計算時先對原圖( orig)進行低通濾波操作, 將得到的灰度值( me an)與原始灰度值進行運算得到增強圖( res ).F actor為對比度增強因子.

對 I5與 I6進行圖像灰度值運算, 如圖7(b)所示.

I7保留了原圖中一部分的低頻部分, 主要為網點的邊緣部分, 也包含某些較暗的缺陷, 此時網點邊緣部分對缺陷的提取有較大的干擾, 根據其特征, 設計結構元進行灰度開操作, 可以有效去除網點邊緣部分, 如圖7(c).

3.3 缺陷判定

經過上述處理之后, 可以從導光板圖像中提取疑似缺陷, 但由于機器視覺與人眼視覺系統存在差異, 需要對疑似缺陷進行判定, 使檢測結果更加符合生產現場人工判定規則.

通過采集大量帶實際缺陷的導光板圖像, 并經現場驗光人員確認缺陷類型, 通過圖像與實物的對照, 研究缺陷區域的特征, 發現可以通過面積A、最大長度L、圓度C 及疑似缺陷的平均灰度G 等進行判定.

(1)面積A

設 F( x,y) 表示圖像在點( x, y)處的灰度值, 某個疑似缺陷為 R, 其0 階幾何矩[15]為:

若將圖像轉換為二值圖, 則區域面積A 可通過其0 階幾何矩求出:

其中, f(x,y)為其二值化圖像.

(2)最大長度L

通過二值圖的一階幾何矩:

可求出R 的中心為:

二階矩:

若將R 擬合成橢圓, 據此可求出其長軸半徑 Ia, 短軸半徑 Ib, 橢圓方向θ:

其中,

為了簡化計算, 本文將 R區 域θ 方向的最大距離近似為其最大距離L.

(3)圓度C

圓度表示疑似缺陷面積近似理論圓的程度, 取值在0～1 之間, 1 表示該區域為正圓, 0 表示線段.

其中, C 是圓度, A 是區域面積, m ax是中心點到輪廓邊緣的最大值.

(4)平均灰度G

平均灰度G, 即表示R 區域整體灰度的平均值, 反映了該區域的亮暗程度:

在背景部分對缺陷的評判標準為, 若G ＞G1∩A ＞A1或 G ＞ G2∩L ＞L1∩C ＜C1則將該疑似缺陷視為缺陷.

在前景部分存在成像的缺陷有重劃傷、較重的壓傷、白點、亮點、異物等, 在將網點區域進行閉運算并轉換為連通域后, 觀察缺陷發現可通過面積A、圓度C 進行判定.

在前景部分對缺陷的評判標準為, 若C ＞C2∩A ＞A3, 則將疑似缺陷視為缺陷.

密區部分由于圖像在經過處理后, 缺陷較為明顯,針對密區亮點算法通過設置高斯梯度閾值將圖像二值化后, 進行連通域, 通過面積進行缺陷的篩選; 針對密區劃傷的算法則是先進行灰度閾值二值化, 進行閉運算連接斷線, 求連通域, 根據長度和圓度進行缺陷篩選.

4 實驗結果分析

4.1 導光板缺陷檢測裝置設計

根據線掃相機的拍照方式設計導光板自動檢測裝置, 如圖8 所示.在機臺上安裝皮帶傳送裝置, 皮帶前方有導輪對產品進行限位, 使產品始終處于光源和相機的有效范圍內, 光源前方設置有光電傳感器, 產品經皮帶傳輸觸發傳感器后直接觸發光源持續打光, 經過延時后觸發相機拍照.實驗機臺對皮帶的穩定性要求較高, 不能有抖動.產品流過后, 上位機會給PLC 產品OK 或NG 的信號, 以便后續機械手將產品分開放置.

軟件部分采用Visual Studio 2015 聯合Halcon 18.11 作為開發平臺, 采用C++編程語言來編寫算法,進行圖像處理與分析.

圖8 導光板缺陷檢測裝置

4.2 參數分析

4.2.1 基于稀區網點分離的 σ, k, ti參數確定

根據高斯函數的分布特性可知, 在中心值左右3 個標準差的范圍內占據99.7%的數據, 模板大小與σ的取值是相關的, 在Halcon 中已給出模板大小k 與σ的對應關系, σ越大對圖像的平滑效果越強.圖9 為不同卷積核大小及其對應的 σ的濾波效果, 本文選k=5,σ=1.075.

圖9 不同k 、σ 取值對比圖

通過最大類間方差法可以求得使兩類之間方差最大的灰度閾值, 但實際上導光網點與背景之間并無明顯的分界線, 以最佳閾值對網點與背景進行分割時, 會將網點的外延部分劃分為背景, 這對在背景部分進行缺陷檢測時將產生較大干擾, 故本文對最佳閾值設置偏差ti, 使得盡可能的包圍網點的外延部分.根據實際效果, 本文將 t1設 置為-10, t2設置為-7, t3設 置為-7, t4設置為-5.

4.2.2 缺陷判定標準

(1)疏區背景部分:

點狀不良:

線狀不良:

(2)疏區網點部分(亮白點):

(3)密區亮點檢測算法:

(4)密區暗劃傷檢測算法:

4.3 算法比較

目前國內對導光板缺陷檢測的算法較少, 文獻[10]提出的導光板檢測方法取得了較好的效果.實驗收集壓傷, 劃傷, 亮點3 種缺陷的板子各150 張, 分別用本文算法與文獻[10]算法進行檢測, 結果如表1 所示.

表1 兩種算法檢測準確率對比(%)

由表1 可以看出: 本文算法在壓傷, 亮點, 劃傷等缺陷的檢測準確率方面均高于文獻[10], 文獻[10]算法雖然對亮點這種灰度特征明顯的缺陷有較高的準確率,但對壓傷和劃傷的檢測準確率偏低; 本文檢測算法通過網點分離的方法, 從兩個層面對缺陷進行檢測, 可以有效抑制網點對壓傷、亮點缺陷檢測時的干擾, 具有較高的準確率.

4.4 實驗結果分析

本檢測系統在生產現場實際檢測效果如表2 所示.

表2 現場實測數據

檢測系統于3.21 正式上線實測, 產品經過檢測系統檢測后, 全部經驗光人員復檢.初期漏檢率偏高, 后經過算法優化漏檢率有明顯下降.漏檢的缺陷主要為某些成像極為暗淡的線劃傷, 通過分析此類缺陷的特征, 運用圖像增強算法, 在背景圖上增強此類缺陷, 同時在缺陷判定上, 加嚴對暗劃傷的判定標準, 加強對此類缺陷的檢出能力.某些缺陷需要特定的角度才能看見, 線掃相機只能從正視角方向拍取圖像, 缺陷成像效果幾乎為零, 導致漏檢.5.9-5.13 的漏檢率比4.28-5.4的漏檢率高, 原因是在產線中, 有些未成像的缺陷形成于生產工藝中, 一旦出現即為批量性的, 這種屬于偶發事件.

5 結束語

針對目前導光板缺陷檢測效率低下的問題, 本文在分析導光板網點與缺陷特征的基礎上提出了一種基于機器視覺的導光板缺陷檢測技術.根據網點與背景及缺陷的區別, 設計了濾波模板, 通過多次濾波突出網點部分, 計算最佳分割閾值, 將圖像分離成網點與背景兩部分.再根據灰度、面積、圓度等特征進行缺陷的準確判定.實驗結果表明, 該算法的運行效率高、準確率高, 穩定性、魯棒性強, 不僅能夠識別常見的缺陷,對于不常見的微小缺陷也具有比較高的檢測能力.