基于視覺的LED燈絲點特征提取與匹配方法研究

曹鵬+黃豪杰

摘要：LED燈絲外輪廓點的精準特征匹配是實現(xiàn)視覺定位LED燈絲的重要環(huán)節(jié)。該文為了解決燈絲外輪廓點的坐標定位前期圖像處理問題，提出一種基于視覺的LED燈絲特征提取與匹配方法。該方法首先提取LED燈絲清晰的外部輪廓圖，然后采用Ransac-Surf角點特征匹配算法完成了匹配。實驗表明該算法的立體匹配準確率達到了93.9%，基本滿足匹配的實時性要求。該文算法能較好地應用于該類型圖像的立體匹配。

關鍵詞：外輪廓點；特征提?。惶卣髌ヅ?；Ransac-Surf

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2017）34-0190-04

Abstract： Accurate matching of outer contour points is the significant way to realize the visual localization of LED filaments.In order to solve the coordinate location of the outer contour of the filament，this paper proposed a featrue extraction and stereo matching method for LED filament Based on machine vision.This image processing algorithms extract the cornors feature of the LED filaments，then the Ransac-Surf algorithm can effectively complete the cornor feature matching task.Experimental results show that method presented by this paper can improve the accuracy rate of stereo macthing to reach 93.9%，Basically meet the real-time requirements of the stereo matching.This algorithm can be applied to stereo matching of this kind of images.

Key words： outer contour points； featrue extraction； feature matching； Ransac-Surf

1 背景

據(jù)《2014-2020年中國廣東省LED產(chǎn)業(yè)發(fā)展趨勢研究報告》監(jiān)測數(shù)據(jù)顯示，2014年廣東省LED照明燈具總產(chǎn)值為772.29億元，產(chǎn)業(yè)規(guī)模穩(wěn)居全國之首，但是，LED 燈具生產(chǎn)裝配大多由熟練的操作人員手工完成，或由PLC程控半自動線完成，上述裝配加工方式增加了制造LED照明燈成本。LED照明產(chǎn)品元器件的尺寸一般偏小，裝配精度要求較高；隨著市場對LED產(chǎn)品性能與產(chǎn)量需求的不斷提升，手工裝配已難以適應大批量生產(chǎn)，自動化裝配已成為必然趨勢。文獻[11]中飛利浦（中國）有限公司創(chuàng)新工廠設計、研制了LED燈具的自動裝配線，該生產(chǎn)線是傳統(tǒng)人工生產(chǎn)線的5倍，單個LED產(chǎn)品的通過率也超過80%，大大減小了生產(chǎn)制造成本，但仍存在LED燈具組裝產(chǎn)品檢測質(zhì)量不穩(wěn)定等不確定因素。在LED燈具裝配過程的前期包括在裝配的過程中，LED燈絲部分在受到外部觸碰，致使燈絲頂端部分發(fā)生偏移，甚至在一般環(huán)境下燈絲自身形狀也會發(fā)生偏移現(xiàn)象，給裝配的精度和效率上帶來了不小的挑戰(zhàn)。因此，研究一種LED燈絲定位精度較高的機器視覺算法對提高LED燈具產(chǎn)品的質(zhì)量和生產(chǎn)效率顯得非常重要。

為此本文針對LED燈絲外形的線狀特點，研究前期視覺檢測平臺采集到的圖像特征，并運用相對應機器視覺算法來提高識別精度，為后續(xù)的精確裝配提供保障。該平臺通過選擇合適的相機、鏡頭及光源等搭建立體視覺檢測系統(tǒng)，確保該系統(tǒng)能采集到高質(zhì)量LED燈絲圖像并對所采集的圖像進行視覺算法處理用以研究解決視覺裝配LED燈具前期算法問題。

2 雙目視覺光學系統(tǒng)設計

2.1 光學系統(tǒng)設計

系統(tǒng)硬件設計[[1]]采用2個CCD相機采集目標區(qū)域的圖像，運用圖像處理技術實現(xiàn)了對目標區(qū)域圖像的特征提取等操作。本文所要采集的圖像為LED燈絲區(qū)域圖像，通過采集多幅LED燈絲隨機形態(tài)圖像數(shù)據(jù)，并運用視覺算法得到燈絲邊緣輪廓特征。圖1系統(tǒng)結構圖顯示在測量LED燈絲對應圖像時，需要用LED條形光源輔助CCD相機進行采集清晰圖像操作，該系統(tǒng)主要是由2個CCD相機及1個條形光源組成。將2個CCD相機平行固定，相機之間距離為40mm，條形光源與CCD相機光軸方向成30[°]夾角且與LED燈座相距140mm；CCD相機與待檢測LED燈絲相距700mm；豎直方向上，2個CCD相機在同一水平高度上。CCD相機在一般室內(nèi)環(huán)境下再結合條形光源的輔助照明，LED燈絲上的每一點的光路（由如圖1中燈座與相機之間的兩條虛線表示）通過CCD相機鏡頭進入相機的圖像采集芯片中，CCD相機采集到清晰的圖像后，運用視覺算法將圖像中的LED燈絲邊緣提取出來，并對邊緣末端的特征角點進行立體匹配。

2.2 成像原理

成像原理如圖2所示。假設本文的雙目視覺系統(tǒng)為標準平視雙目系統(tǒng)，即2個CCD相機的像平面精確的在同一水平面且在同一豎直高度上，光軸相互平行，并且是鏡頭無任何畸變因素的理想系統(tǒng)模型。在光源輔助照明下，2個CCD相機同時采集LED燈絲的圖像信息。其中CCD相機1與相機2平行放置，目的是為了使2個相機在光軸上也能平行。在豎直方向上2個CCD相機保持在相同高度水平面上。物體表面的任意一點P在2個CCD相機成像平面上投影點分別為[P1]與[P2]，稱他們?yōu)楣曹楛c。令[O1]、[O2]分別為左右2個相機的光學中心位置。[O1O2]為2個CCD相機光心間的距離，稱為基線距離T。2個相機的焦距均為f分別為[P1O1]和[P2O2]。稱平面[PO1O2]為極面，極面與左右CCD相機的兩個成像平面相交的兩條直線分別稱為左外極線[P1e1]和右極線[P2e2]。通過獲得兩幅圖像中相同物體的同一部分最終得到相同部分的三維坐標。endprint

3 圖像法邊緣輪廓提取

3.1 二值化處理

為進一步將目標圖像輪廓從背景圖像中分割出來，并且針對圖像特點，對圖像進行二值化處理。一般情況下，所采集的圖像信息中都包含有一定的噪聲，可使用適當?shù)臑V波方法對含有噪聲的圖像進行圖像預處理。常用的降噪濾波算法有均值、高斯及中值濾波等。本文實驗采集的圖像在理想的背景條件下，故沒有進行圖像預處理操作。本文采用迭代圖像二值化算法[[2]]對圖像進行第一步處理，迭代圖像二值化算法步驟如下所述：

1） 求出圖像中的最小灰度值和最大灰度值，分別記為Zmin和Zmax，則閾值初值T0=（Zmin+Zmax）/2；

2） 根據(jù)閾值TK將圖像分割成目標和背景兩部分，求出兩部分的平均灰度值Z0和Z1，平均灰度值等于=[Σ]（F（灰度值）*W（該灰度值的權重）/N（像素點的總數(shù)）；

3） 求出新閾值T1=（Z0+Z1）/2；

4） 如果T0=T1，則結束，否則將TI的值賦予T0，轉(zhuǎn)向步驟2），再按步驟進行計算。

圖3（a）為實驗時相機1采集到的原始圖像，圖3（b）為相機1采集到的原始圖經(jīng)過二值化處理后的圖像，圖3（c）為實驗時相機2采集到的原始圖像，圖3（d）相機2采集到的原圖像經(jīng)過二值化處理后的圖像。

3.2 形態(tài)學處理

4 燈絲末端角點檢測與匹配

4.1 角點檢測

運用Harris角點檢測算法[[9-10]]得到LED燈絲圖像的特征點的位置分布情況。Harris角點檢測算法描述為在圖像中找到一個局部窗口，分析局部窗口來處理整幅圖像，沿某個方向移動局部窗口，一定會引起圖像灰度變化。若改變化超過預先設定閥值時候，角點就是局部窗口的中心像素點。反之若沒有超過設定閥值，則繼續(xù)移動局部窗口。

本實驗中只需得到圖像LED燈絲末端的2個角點（單幅圖像中燈絲線頂端左右各一個角點），結合左右2幅圖像共需要4個角點才能構成1組完整的匹配圖像，本文提取到的角點特征分布為如下圖6（a）和圖6（b），圓圈部分即是圖6（a）為經(jīng)過對應相機1圖像經(jīng)過邊緣提取后角點檢測的圖像，圖6（b）為對應相機2圖像經(jīng)過角點檢測的圖像。從圖像中看出本文待匹配的角點特征也都分布在LED燈絲的末端，符合下一步實驗的要求。

采用Surf算法得到如下圖7的匹配效果。

從圖7中看出LED燈絲頂端角點特征群存在匹配錯誤且匹配過多的問題，對此我們在Surf匹配算法中引入Ransac算法[[12-14]]篩選剔除部分不需要角點，Ransac算法與Surf算法相結合的組合算法步驟為：

（1） 從Surf 算法預匹配數(shù)據(jù)集中隨機取出一些匹配點對，計算出變換矩陣H，記為模型M。理論上只需要4對點。

（2） 計算數(shù)據(jù)集中所有數(shù)據(jù)與模型M的投影誤差，若誤差小于閾值，加入內(nèi)點集 I ；

（3） 如果當前內(nèi)點集I元素個數(shù)大于最優(yōu)內(nèi)點集R， 則更新 R= I，同時更新迭代次數(shù)k ；

（4） 如果迭代次數(shù)大于k，則退出；否則迭代次數(shù)加1，并重復上述步驟；

基于上述思想，在MATLAB上進行編程操作，提取特征點時調(diào)節(jié)Hessian矩陣閾值大小并且設置匹配值的最大最小值得到圖14的匹配效果圖。

5 實驗結果與分析

5.1 基于視覺的雙目相機LED燈絲檢測系統(tǒng)[[15]]

基于視覺的雙目相機LED燈絲檢測系統(tǒng)由2個CCD相機、鏡頭、條形光源及圖像采集系統(tǒng)等組成，系統(tǒng)硬件平臺如圖15所示。

圖9所示的檢測系統(tǒng)中，2個CCD相機、鏡頭、光源及光源控制器為廣東奧普特科技股份有限公司提供。鏡頭為奧普特科技公司的變焦鏡頭，其焦距為16mm。相機為法國basler公司型號為ACA130M-GE-D的相機，該相機是一種具有5百萬像素分辨率、單色、可選軟件觸發(fā)及多掃描模式的CCD相機，像元尺寸為8.8mm×6.6mm。此外該相機通過以太網(wǎng)接口與計算機相連，可實現(xiàn)圖像的自動存儲。該系統(tǒng)在采集不同形狀類型的LED燈絲圖像時，無需做任何試驗設備的位置調(diào)整，就可以方便地進行圖像采集。

5.2 結果與分析

實驗時，為了驗證本文的圖像算法，引入Surf算法對比Ransac結合Surf算法，本次實驗的環(huán)境均在：CPU：Inter（R） Core（TM） 2 Quad，主頻2.50GHz，內(nèi)存4G，操作系統(tǒng)：Windows 7；運行環(huán)境為MATLAB 2015B圖像處理函數(shù)和計算機視覺開源函數(shù)庫，所用采集到的圖像尺寸均為1280×960。表1為基于上述算法流程處理思想，本文CCD相機共采集6組隨機形態(tài)下LED燈絲的圖像，共12幅圖像。實驗從匹配用時和匹配正確率2個方面對實驗結果進行統(tǒng)計，匹配的結果如表1所示。

從表1可以看到，算法Ransac-Surf匹配的準確率為93.9%，相比Surf算法有較大的提高。算法Ransac-Surf平均用時1.12s，耗時略大于Surf算法，其原因算法Ransac-Surf相比較Surf算法在運算中要進行迭代計算，選擇最佳匹配點，這些算法步驟都增加了算法運行時間。但從整體效果看，在本文實驗環(huán)境下得到的LED燈絲圖像的邊緣輪廓角點特征，能夠被算法Ransac-Surf算法更好的檢測和匹配。因此，算法Ransac-Surf匹配性能相比較于Surf算法表現(xiàn)出更好的優(yōu)越性。

6 結束語

1） 系統(tǒng)采用雙目視覺的檢測方案，運用迭代圖像二值化算法、形態(tài)學膨脹算法和Roberts算法等多種圖像處理技術，實現(xiàn)了有效的邊緣輪廓提取步驟方法，也為圖像的角點特征匹配的實施提供了理論。

2） 實驗結果證明該套系統(tǒng)的算法實施流程具有可行性。在后期的改進工作中，對應LED燈絲圖像采集中引入噪聲，提出針對不同工作環(huán)境下相應的圖像去噪算法，并測試在引入噪聲情況下的角點特征匹配效果，進一步研究實驗環(huán)境中如光照強度等對匹配準確度的影響。endprint

參考文獻：

[1] 盧清華， 許重川， 王華， 等. 基于機器視覺的大幅面陶瓷地磚尺寸測量系統(tǒng)研究[J].光學學報， 2013， 33（3）：172-174.

[2] 童立靖， 張艷， 舒魏， 等. 幾種文本圖像二值化的對比分析[J]. 北方工業(yè)大學學報， 2011， 23（1）：27-32.

[3] 劉清， 林土勝. 基于數(shù)學形態(tài)學的圖像邊緣檢測算法[J]. 華南理工大學學報：自然科學版， 2008， 36（9）：113-116， 121.

[4] 申俊琦， 胡繩蓀， 馮勝強， 等. 基于數(shù)學形態(tài)學的焊縫圖像邊緣提取[J]. 天津大學學報， 2010（4）.

[5] 王征. 一種基于數(shù)學形態(tài)學的邊緣檢測方法[J]. 計算機與數(shù)學工程， 2012， 40（2）：102-104.

[6] 岡薩雷斯. 數(shù)字圖像處理[M]. 3版.北京： 電子出版社， 2011： 199-201.

[7] 于博， 牛錚， 王力. 抗噪形態(tài)學邊緣檢測新算子圖像邊緣檢測[J]. 信息技術， 2012， 36（3）：10-12.

[8] 王方超， 張旻， 宮麗美. 改進的Roberts圖像邊緣檢測算法[J]. 探測與控制學報， 2016， 38（2）：88-92.

[9] Harris C， Stephens MJ. A combined corner and edge detector[C]. Processing of Fourth alvery Vision Conference， 1988： 147-151.

[10] Herbert Bay， Andreas Ess， Tuytelaars， et al.Speeded-up Robust Feature[J]. Computer Vision Understanding， 2008， 110（3）：346-359.

[11] 堯思遠， 王曉明， 左帥. 基于Surf的特征點快速匹配算法[J]. 紅外與激光， 2014， 10（3）：347-350.

[12] 陳藝蝦， 孫權森， 徐煥宇， 等. SURF算法和RANSAC算法相結合的遙感圖像匹配方法[J]. 計算機科學與探索， 2012， 6（9）：822-828.

[13] 凌云， 尹海波， 王琪. SURF和RANSAC在圖像拼接中的應用[J]. 電子測量技術， 2016， 39（4）：71-73.

[14] 紀利娥， 陳磊. 結合SURF特征和RANSAC算法的圖像配準方法[J]. 研究動態(tài)， 2013， 10（9）：9-12.

[15] 褚樂添. 基于視覺的LED照明產(chǎn)品的自動裝配線[J]. 計算機光盤軟件與應用， 2014（23）：127-129.endprint