基于機器視覺的液晶顯示屏裝配尺寸檢測算法的研究

肖 敏 莊春剛 熊振華

上海交通大學，上海，200240

0 引言

液晶顯示屏作為數碼產品的重要部件，質量控制越來越嚴格［1］。實際應用中，為保護液晶顯示屏，常使用塑料外殼進行固定。因此，液晶顯示區域和外殼之間的距離是衡量液晶顯示器質量的重要標準之一。由于液晶顯示屏的產量大，清潔度和尺寸檢測精度要求高，而采用人工檢測存在檢測速度慢、精度低、檢測結果受檢測人員主觀影響較大、誤檢率和漏檢率高等缺點［2］，因此采用視覺檢測技術對裝配好的液晶顯示屏進行在線檢測具有極大的優越性。將機器視覺引入到工業檢測中，實現對產品尺寸或位置的快速測量，具有非接觸、速度快、柔性好等突出優點，在現代制造業中有著廣闊的應用前景［3］。

針對液晶顯示屏顯示區域和外殼之間距離這一裝配尺寸的檢測需求，我們開發了相應的檢測設備和圖像處理算法，對液晶顯示屏進行實時在線的高精度檢測。系統操作簡便可靠，測量精度高，重復精度好，已經成功用于企業生產線上。

1 直線邊緣檢測算法及其實現

采用Point Grey公司的CMLN－13S2M型相機（分辨率為1280像素×960像素）和Computer公司生產的M2514－MP鏡頭，運動控制系統能精確控制相機和鏡頭運動到待檢測區域。系統配置完全能夠滿足組裝元件的檢測精度要求。

對液晶顯示區域和外殼之間的距離進行檢測，其實質是對獲取圖像進行直線邊緣檢測并計算檢測到的相關平行直線的距離。直線邊緣檢測算法主要有霍夫變換算法、最小二乘線性擬合算法［4］。

1.1 霍夫變換算法

霍夫變換利用點－線的對偶性，對圖像進行某種形式的坐標變換，將原始圖像中給定形狀的曲線變換成空間中的一個點，從而使檢測整體特性變成檢測局部特性，使問題簡化。

設在原始圖像空間的直線方程為

將式（1）轉換為極坐標，即

式中，ρ為原點到直線的距離；θ為該直線與極軸的夾角。

這樣原始圖像空間中的點在極坐標中表示的是一條正弦曲線，那么原始圖像空間中的一條直線上的所有點對應著變換空間的一個曲線族，如圖1、圖2所示，點（ρ0，θ0）為變換空間中曲線族的交點（對應著原始圖像空間中的直線）。所以，只要找到這個曲線族的交點就可以檢測出直線。

圖1 直角坐標系下的直線

圖2 參數空間下的曲線族

1.2 最小二乘線性擬合算法

圖像的邊緣共有n個像素，記作

假設y與x的統計關系符合一元線性的正誤差分布，對于給定的xi有如下的線性關系：

其中，β0、β1為直線方程的參數，ξi為點i對應的誤差，假設其線性估計方程為

殘差

殘差的平方和為

最小二乘線性擬合算法的思想就是找出參數b0、b1使式（6）最小，對式（6）求b0、b1的偏導，整理后便得到b0、b1的解［5］：

當x－y的關系滿足假設條件時，y＊＝b1x＋b0是圖像邊緣的無偏擬合。但是當假設條件不成立時，如方程中存在系統誤差，線性擬合精度不能得到有效的控制，會導致線性擬合誤差偏大。

2 基于霍夫變換和最小二乘法的直線檢測

霍夫變換算法是全局最優的直線檢測算法［6］，具有較強的抗干擾能力，能很好地抑制噪聲。但像差使直線在像面上可能發生不同程度的彎曲，此時用霍夫變換算法檢測直線就不能得到準確的結果。相比而言，最小二乘線性擬合算法考慮了隨機誤差對線性檢測的影響，其擬合直線是樣本空間具有最小誤差的無偏估計量，但最小二乘線性擬合算法假設誤差服從正態分布，因此當邊緣存在破損或毛刺等非隨機誤差時，擬合精度受到嚴重影響［7］。

為了保證液晶和塑料外殼直線邊緣檢測精度，我們使用霍夫變換和最小二乘法相結合的直線檢測算法。該算法充分利用了霍夫變換較強抗干擾能力和最小二乘法擬合精度高的優點，滿足了直線邊緣在線檢測要求，并在此基礎上計算液晶顯示區域和外殼直線邊緣的距離。檢測算法流程如圖3所示。

圖3 檢測算法流程圖

2.1 邊緣提取

為了保證檢測的效率和精度，采用Canny算子進行邊緣提取。圖4為檢測過程中相機拍到的實時圖像，圖5為使用Canny算子提取得到的邊緣圖像。

圖4 相機拍到的實時圖像

2.2 利用霍夫變換進行直線邊緣粗定位

對使用Canny算子提取得到的邊緣圖像進行霍夫變換，并尋找霍夫變換矩陣的峰值。對于上述所得到的邊緣圖像，可以找到霍夫變換矩陣的6個峰值。

圖5 Canny算子提取得到的邊緣圖像

由于直線在像面上可能發生不同程度的彎曲，所以圖5中提取的邊緣不是理想的直線，而用霍夫變換檢測到的直線邊緣只是原圖中直線邊緣的一部分，如圖6所示。因此，霍夫變換對直線邊緣的定位只是初步粗定位，并不精確。

圖6 利用霍夫變換進行直線邊緣粗定位結果

利用霍夫變換檢測出的直線中，兩條直線與極軸夾角的差值在±0.5°范圍內時，被認為是在原圖像中相互平行的直線。在圖4中可以檢測出2組平行直線。由于要測量的是液晶顯示區域和塑料外殼之間的距離，即對應同組直線中Δρ最大的兩條直線。根據θ和Δρ可以找到對應液晶顯示區域和塑料外殼的直線邊緣所對應的點（ρm，θm），m ＝1，2，3，4。

2.3 直線邊緣精確定位

如果dim小于閾值d，則Vi（xi，yi）?，我們在檢測過程中設置d＝2。采用上述方法精確定位到的直線邊緣如圖7所示。

2.4 最小二乘法擬合

對精確定位的各直線邊緣上的點分別進行最小二乘法線性擬合，即可得到精確斜率km和截距bm。

2.5 計算距離以及擬合直線角度差

平行直線y＝kx＋b1和y＝kx＋b2之間距離為

圖7 直線邊緣精確定位結果

塑料外殼在安裝過程中存在位置誤差，邊緣算法提取出的塑料外殼和液晶顯示區域的邊緣也存在誤差，于是霍夫變換和最小二乘法得到的2條水平線和2條豎直線斜率各自存在微小差異。圖7中，2條水平線經最小二乘法擬合得到的斜率：k1＝0.008和k2＝0.014，對應直線傾斜角相差0.1934°。因此擬合得到的2條水平線并不平行，如果使用式（10），無論使用k1還是k2，計算出來的距離都會有比較大的誤差。

由于以上原因，在計算液晶顯示區域和塑料外殼之間距離時，并沒有直接使用平行直線的距離計算公式，而是根據兩條擬合直線近似平行的特點設計了以下算法：

令W1和W2分別代表包含液晶顯示區域和塑料外殼的圖像經過直線邊緣精確定位出來的一對直線上的所有點，W1擬合出的直線為y＝k1x＋b1，W2擬合出的直線為y＝k2x＋b2。計算W1中所有點到y＝k2x＋b2距離的平均值d1；計算W2中所有點到y＝k1x＋b1距離的平均值d2；液晶顯示區域和塑料外殼之間距離d12＝（d1＋d2）／2。

擬合直線角度差

這一算法更符合統計學原理，計算得到的液晶顯示區域和塑料外殼之間的距離也比直接利用平行直線之間距離公式得到的結果準確。

對于圖4所示的照片，可以檢測到2組平行直線邊緣，進而可以算出2組直線邊緣的間距d12、d34及對應擬合直線角度差α12、α34。其中，d12、d34為所檢測的液晶顯示區域和塑料外殼直線邊緣的距離。

3 實驗結果與分析

3.1 理想平行直線邊緣檢測

用計算機產生含有理想平行直線邊緣的灰度圖（已知距離）［8］，圖像尺寸為500像素×500像素，如圖8所示。

圖8 理想平行直線邊緣

現采用霍夫變換和最小二乘法相結合的檢測算法與直接使用霍夫變換分別計算出的直線距離，如表1所示。實驗中所產生理想直線的截距b1＝50，b2＝100，其傾斜角α1、α2見表1。

表1 檢測已知距離平行直線實驗結果 像素

從表1數據可以算出，直接使用霍夫變換檢測理想直線邊緣的平均誤差是0.1113像素，而使用霍夫變換和最小二乘法相結合的直線檢測算法檢測理想直線邊緣的平均誤差是0.0003像素，檢測精度顯著高于霍夫變換的結果。在算法執行時間上，直接使用霍夫變換的方法平均時間為70.4ms，采用霍夫變換和最小二乘法相結合的檢測算法平均時間為76.6ms。從該實驗中可以看出提出的檢測方法準確而且快速。

3.2 液晶顯示屏裝配尺寸檢測

分別使用該視覺檢測系統和鐳射機，對液晶顯示屏4個角的位置分別進行安裝尺寸的實際檢測，每一個位置檢測10次后計算出平均值。檢測結果如表2所示。

表2 視覺系統和鐳射機的檢測結果比較 mm

由于鐳射機測量結果非常精確，因此將鐳射機的測量結果當做液晶顯示屏與外殼之間實際距離的參考值。從表2可以看出，使用該算法的視覺檢測系統得到的液晶顯示屏和外殼之間的尺寸和用鐳射機檢測到尺寸的絕對誤差小于0.1mm。

4 結語

本文在比較分析常用直線邊緣檢測算法的基礎上，提出了一種霍夫變換和最小二乘法相結合的直線檢測算法，有效檢測出液晶顯示區域和外殼的直線邊緣，并計算出擬合直線間距離和角度差。實驗結果表明，提出的檢測方法快速、高效、準確，該算法已經成功應用于液晶顯示屏裝配尺寸的在線檢測。由于直線邊緣檢測使用非常廣泛，因此文中提出的檢測方法也適用于其他高精度直線邊緣檢測的應用場合。

［1］朱錚濤，姚欽，任涵文.基于圖像處理的液晶保護屏玻璃板在線尺寸檢測［J］.組合機床與自動化加工技術，2010（3）：55－58.Zhu Zhengtao，Yao Qin，Ren Hanwen.Realtime Dimensional Inspection of LED Protection Screen Based on Image Processing［J］.Modular Machine Tool ＆ Automatic Manufacturing Technique，2010（3）：55－58.

［2］伍濟鋼，賓鴻贊.機器視覺的薄片零件尺寸檢測系統［J］.光學精密工程，2007，15（1）：124－129.Wu Jigang，Bin Hongzan.Dimensional Inspection System of Thin Sheet Parts Based on Machine Vision［J］.Optics and Precision Engineering，2007，15（1）：124－129.

［3］張舞杰，李迪，葉峰.基于視覺的貼片元件檢測算法［J］.華南理工大學學報（自然科學版），2010，38（1）：65－69.Zhang Wujie，Li Di，Ye Feng.Vision Based Inspection Algorithm for Chip Components［J］.Journal of South China University of Technology，2010，38（1）：65－69.

［4］袁繼棟，楊波，鄭煜，等.高精度直線檢測算法研究和誤差分析［J］.現代制造工程，2011（2）：19－23.Yuan Jidong，Yang Bo，Zheng Yu，et al.Research on High Precision Line Detection Method and Error Analysis［J］.Modern Manufacturing Engineering，2011（2）：19－23.

［5］崔彥平，葛杏衛，張洪亮.機械零件直線邊緣亞像素定位方法研究［J］.半導體光電，2010，31（5）：797－800.Cui Yanping，Ge Xinwei，Zhang Hongliang.Study on Beeline Edge Subpixel Localization for Mechanical Part［J］.Semiconductor Optoelectronics，2010，31（5）：797－800.

［6］周云燕，楊坤濤.基于RHT－LSM直線檢測方法的研究［J］.光電工程，2007，34（1）：55－58.Zhou Yunyang，Yang Kuntao.Method for Line Detection Based on RHT－LSM［J］.Opto－Electronic Engineering，2007，34（1）：55－58.

［7］司永勝，姜國權，劉剛，等.基于最小二乘法的早期作物行中心線檢測方法［J］.農業機械學報，2011，41（7）：163－167.Si Yongsheng，Jiang Guoquan，Liu Gang，et al.Early Stage Crop Rows Detection Based on Least Square Method［J］.Transactions of the Chinese Society for Agricultural Machinary，2011，41（7）：163－167.

［8］賀忠海，王寶光，廖怡白.理想邊緣產生方法的研究［J］.光學精密工程，2002，10（1）：89－93.He Zhonghai，Wang Baoguang，Liao Yibai.Study of Method for Generating Idea Edges［J］.Optics and Precision Engineering，2002，10（1）：89－93.