基于智能相機(jī)的模組視覺定位系統(tǒng)

薛海輝，石 峰，柳 君，王昭鵬

（浙江中控技術(shù)股份有限公司 創(chuàng)新創(chuàng)業(yè)總部，杭州310053）

在石墨烯模組生產(chǎn)過程中，流水線上的模組在進(jìn)入點膠機(jī)前需要工人依次將其拾起并安裝在點膠機(jī)定位凸模上，然后由點膠機(jī)進(jìn)行模組點膠。如果采用工業(yè)機(jī)械臂上料方案，方案就必須滿足模組自動上線的設(shè)計要求，即V 型凹槽模組安裝在點膠機(jī)定位凸模上的成功率要求在99.2%以上。由于石墨烯模組每次到達(dá)烘道出口的位置及模組V 型槽角度姿態(tài)均存在差異，因此在工業(yè)機(jī)械臂抓取前必須借助視覺系統(tǒng)完成模組定位檢測，獲取模組當(dāng)前位置X，Y值及V 型槽旋轉(zhuǎn)角度數(shù)據(jù)，從而引導(dǎo)工業(yè)機(jī)械臂抓取及放置模組，實現(xiàn)模組自動上線。

1 系統(tǒng)總體設(shè)計

1.1 智能相機(jī)模組視覺定位系統(tǒng)

智能相機(jī)是一種高度集成化的、微小型的機(jī)器視覺系統(tǒng)，屬于系統(tǒng)范疇；而工業(yè)相機(jī)只屬于機(jī)器視覺系統(tǒng)中的一部分，屬于工業(yè)元件范疇[1]。

在機(jī)器視覺的使用中，工業(yè)相機(jī)多是基于CCD或CMOS 芯片的相機(jī)，在使用時需要外接DMA 控制器來實現(xiàn)實時進(jìn)行數(shù)據(jù)采集與存儲。另外，編程人員需要具備一定的C#，C++或JAVA 等計算機(jī)編程語言技能。

而智能相機(jī)由于應(yīng)用了最新的DSP，F(xiàn)PGA 及大量存儲技術(shù)，它將圖像采集單元、圖像處理單元、數(shù)據(jù)通信單元統(tǒng)一集成在智能相機(jī)內(nèi)部，因此無需再外接DMA 控制器，就可以獨立進(jìn)行圖像檢測工作。在實際使用中，智能相機(jī)視覺系統(tǒng)在圖形用戶界面（GUI）Spreadsheet 區(qū)域可以通過調(diào)用函數(shù)的方法來實現(xiàn)對視覺系統(tǒng)的二次開發(fā)。

在視覺系統(tǒng)中，圖像采集質(zhì)量的優(yōu)劣在很大程度上受限于所選光源的質(zhì)量。為了獲得理想的照明效果，可以根據(jù)實際應(yīng)用場景選擇適合場景的照明裝置。按照具體的照明方法分類，照明可以分為背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等[2]。一般為了利于安裝，可以采用前向照明方式[3]。

1.2 網(wǎng)絡(luò)構(gòu)架示意

石墨烯模組智能相機(jī)視覺系統(tǒng)在沒有其它外部設(shè)備需要進(jìn)行通訊的情況下，可以直接與工業(yè)機(jī)械臂進(jìn)行TCP/IP 通訊，主要采用工業(yè)以太網(wǎng)通訊技術(shù)，引導(dǎo)工業(yè)機(jī)械臂到達(dá)指定目標(biāo)位置。石墨烯模組視覺系統(tǒng)網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 石墨烯模組視覺系統(tǒng)網(wǎng)絡(luò)架構(gòu)Fig.1 Network architecture of graphene module vision system

設(shè)備IP 地址分配與規(guī)劃：智能相機(jī)IP 地址（192.168.20.100）；工業(yè)計算機(jī)IP 地址（192.168.20.101）；工業(yè)機(jī)械臂IP 地址（192.168.20.102）。

圖像采集單元包括鏡頭、相機(jī)、光源、光源控制器等[4]。智能相機(jī)圖像采集單元等價于CCD 相機(jī)或CMOS 相機(jī)及圖像采集卡，傳輸數(shù)字圖像到圖像處理單元[5]。

圖像處理單元同樣也被集成在智能相機(jī)之中，它不僅可以實時存儲圖像數(shù)據(jù)，而且還可以獨立完成圖像處理任務(wù)。

圖像處理軟件為圖像處理單元硬件提供邊緣提取、特征捕捉等算法，支持圖像處理單元硬件完成圖像處理[6]。

網(wǎng)絡(luò)通信裝置其主要功能是完成控制信息和圖像數(shù)據(jù)的通信任務(wù)。智能相機(jī)模組視覺定位系統(tǒng)采用TCP/IP 通訊協(xié)議，通過工業(yè)以太網(wǎng)進(jìn)行數(shù)據(jù)有效傳輸。

2 工作原理

使用智能相機(jī)模組視覺定位系統(tǒng)對石墨烯模組產(chǎn)品外觀圖像進(jìn)行圖像背景處理、輪廓像素點提取、形狀特征提取，以實現(xiàn)對模組的識別。通過觀察石墨烯模組外觀得出，模組外側(cè)由眾多環(huán)繞圓心生成的筋板組成，筋板顏色為深黑色；模組內(nèi)圓組成部分表面為銀白色，材質(zhì)表面具有反光性；外圓與內(nèi)圓之間設(shè)計有V 型槽，用于模組在點膠機(jī)工裝板上定位。產(chǎn)品外觀與特征局部如圖2所示。

圖2 產(chǎn)品外觀圖與特征局部圖Fig.2 Product appearance diagram and feature local diagram

利用視覺系統(tǒng)圖像處理軟件中的幾何邊緣提取算法，獲得石墨烯模組的內(nèi)圓參數(shù)，系統(tǒng)自動標(biāo)定出模組的幾何圓心位置。通過捕捉圖像特征，首先識別出模組上V 型槽角特征，標(biāo)定出V 型槽的角平分線。

由于智能相機(jī)模組視覺定位系統(tǒng)可以同時采集多組產(chǎn)品特征，因此可以同時標(biāo)定出V 型槽的角平分線和過圓心的基準(zhǔn)線。過圓心的基準(zhǔn)線與V 型槽角平分線二者之間的夾角即為所求平面內(nèi)模組旋轉(zhuǎn)角度。

3 設(shè)計過程

3.1 圖像幾何邊緣的提取與特征捕捉

圖像的邊緣匯集了圖像的大部分信息，邊緣檢測對于圖像識別具有重要意義。圖像f（i，j）灰度值的梯度可使用一階差分來進(jìn)行近似：

式中：Δx f（i，j）為點（i，j）處沿x方向一階差分；Δy f（i，j）為點（i，j）處沿y方向一階差分。

圖像f（i，j）在x和y兩個方向上偏導(dǎo)數(shù)的兩個矩陣[7]為

式中：P［i，j］為x方向偏導(dǎo)數(shù)矩陣；Q［i，j］為y方向偏導(dǎo)數(shù)矩陣。

對圖像灰度剖面進(jìn)行分析可以得出，在圖像灰度剖面中圖像灰度值從較小的一個灰度值緩沖區(qū)急劇過渡到一個較大灰度值。借助離散化梯度逼近函數(shù)可以計算出圖像灰度矩陣的灰度躍變位置：

式中：（x，y）為像素的模板坐標(biāo)；σ 為正態(tài)分布的標(biāo)準(zhǔn)偏差。

然而圖像中梯度值較大的點并不能代表該點就是邊緣，確定圖像邊緣還需要對圖像中梯度值較大的點實行非極大值抑制[8]。實行非極大值抑制是邊緣確定與提取的關(guān)鍵，圖像梯度幅值非極大值抑制可以有效地把非極大值點所對應(yīng)的灰度值置為零，從而確定圖像邊緣。圖像幾何邊緣提取如圖3所示。

圖3 圖像幾何邊緣提取Fig.3 Geometric edge extraction of image

內(nèi)圓提取：內(nèi)圓可以通過調(diào)用“FIND CIRCLE”函數(shù)來實現(xiàn)提取，內(nèi)圓圓環(huán)：｛X，Y，Inner Radius，Outer Radius｝。在環(huán)形圖像區(qū)域內(nèi)定位單個圖像邊緣，“FIND CIRCLE”通過對同心圓上的像素值求和，以生成圖像區(qū)域的一維投影，沿半徑增大的方向掃描，從投影圖像數(shù)據(jù)中提取邊緣變換。

測量線0 與線1 兩條直線夾角可以通過調(diào)用“LINE TO LINE”函數(shù)來實現(xiàn)，其中，線0：｛X0，Y0，X1，Y1｝；線1：｛X2，Y2，X3，Y3｝。

對象特征的捕捉：圖像分割是圖像特征提取的前提，圖像分割效果直接影響系統(tǒng)獲取形狀特征參數(shù)的準(zhǔn)確性[9]。系統(tǒng)提取圖像特征首先對圖像進(jìn)行自動分割，劃分出特征區(qū)域。然后根據(jù)特征區(qū)域提取出圖像特征，并建立起圖像特征索引[10]。最后再通過檢查特征區(qū)域內(nèi)每個像素由此判斷該像素是否屬于同一個特征。

在圖形用戶界面的Spreadsheet 中，插入函數(shù)做出產(chǎn)品中心檢測工具、產(chǎn)品偏差輸出工具，如圖4所示。

圖4 Spreadsheet 中創(chuàng)建檢測工具Fig.4 Create a instrumentation tool in the Spreadsheet

3.2 相機(jī)標(biāo)定

通過智能相機(jī)視覺系統(tǒng)采集石墨烯模組的標(biāo)定位置圖像，即模組標(biāo)準(zhǔn)位置、模組東、西、南、北、東北、西北、東南、西南9 張位置圖像，如圖5所示。

圖5 相機(jī)標(biāo)定采集圖像Fig.5 Camera calibration and image acquisition

依次完成對1.000～9.000 9 點位置調(diào)整（標(biāo)定）如圖6所示，調(diào)用視覺軟件模塊化標(biāo)定工具快捷地完成整個標(biāo)定過程。

圖6 視覺軟件標(biāo)定工具Fig.6 Visual software calibration tool

3.3 設(shè)置視覺系統(tǒng)目標(biāo)位置引導(dǎo)范圍

為了保證工業(yè)機(jī)械臂對目標(biāo)位置的到達(dá)能力同時也為了避免在引導(dǎo)過程中機(jī)械臂因關(guān)節(jié)軸運動與安裝在臂上的相機(jī)、光源發(fā)生位置干涉（碰撞），特此設(shè)置視覺系統(tǒng)目標(biāo)位置引導(dǎo)范圍。

設(shè)置模組X方向偏移引導(dǎo)范圍為-100.000～+100.000 mm，引導(dǎo)前如果模組當(dāng)前位置X值與相機(jī)標(biāo)定基準(zhǔn)位置X值的差值不在-100.000～+100.000 mm的范圍內(nèi)，視覺系統(tǒng)則不向機(jī)械臂發(fā)送目標(biāo)位置X，Y及角度引導(dǎo)數(shù)據(jù)。

設(shè)置模組Y方向偏移引導(dǎo)范圍為-100.000～+100.000 mm，引導(dǎo)前如果模組當(dāng)前位置Y值與相機(jī)標(biāo)定基準(zhǔn)位置Y值的差值不在-100.000～+100.000 mm的范圍內(nèi)，視覺系統(tǒng)則不向機(jī)械臂發(fā)送目標(biāo)位置X，Y及角度引導(dǎo)數(shù)據(jù)。

設(shè)置角度偏移引導(dǎo)范圍為-135.000～+135.000°，引導(dǎo)前如果模組當(dāng)前位置V 型槽角平分線與相機(jī)標(biāo)定基準(zhǔn)位置V 型槽基準(zhǔn)線差值不在-135.000～+135.000°的范圍內(nèi)，視覺系統(tǒng)則不向機(jī)械臂發(fā)送目標(biāo)位置X，Y及角度引導(dǎo)數(shù)據(jù)。

4 實驗結(jié)果分析

石墨烯模組視覺定位系統(tǒng)檢測結(jié)果如圖7所示，實驗結(jié)果表明，采用130 萬像素智能相機(jī)解決方案，視覺系統(tǒng)成功獲取到隨機(jī)擺放的石墨烯模組X，Y位置及旋轉(zhuǎn)角度A值。

圖7 視覺定位系統(tǒng)檢測結(jié)果Fig.7 Visual location system test results

在引導(dǎo)工業(yè)機(jī)械臂抓取放置實驗中，每組測試500 件石墨烯模組，分4 組依次對不同批號石墨烯模組進(jìn)行機(jī)械臂自動上線抓取放置實驗，工業(yè)機(jī)械臂對模組抓取及放置結(jié)果如表1所示。

表1 引導(dǎo)機(jī)械臂抓取及放置結(jié)果Tab.1 Result of guiding the arm to grasp and place

5 結(jié)語

本文從智能相機(jī)的顯著優(yōu)勢談起，介紹了智能相機(jī)模組視覺定位系統(tǒng)的網(wǎng)絡(luò)架構(gòu)、工作原理等內(nèi)容。以“FIND CIRCLE”，“LINE TO LINE”等函數(shù)為例論述了智能相機(jī)模組視覺定位系統(tǒng)圖像處理軟件的函數(shù)調(diào)用功能，以及圖像幾何邊緣提取、對象特征捕捉的實現(xiàn)過程。通過在軟件平臺創(chuàng)建系統(tǒng)定位檢測工具完成相機(jī)標(biāo)定，獲取到隨機(jī)擺放的石墨烯模組X，Y位置及旋轉(zhuǎn)角度。為引導(dǎo)工業(yè)機(jī)械臂抓放模組自動上線提供了穩(wěn)定、可靠的數(shù)據(jù)支撐。通過完成對不同批號石墨烯模組的分組測試，實驗結(jié)果表明該石墨烯模組視覺定位系統(tǒng)滿足模組自動上線的設(shè)計要求，模組安裝在點膠機(jī)定位凸模上的成功率均在99.2%以上。