基于雙目視覺的玻璃料滴體積測量方法①

方 陳, 鄒光明, 侯 宇, 劉源泂, 肖 灑, 許家旺

1(武漢科技大學(xué) 冶金裝備及其控制教育部重點實驗室, 武漢 430081)

2(武漢科技大學(xué) 機械傳動與制造工程湖北省重點實驗室, 武漢 430081)

目前, 在工業(yè)領(lǐng)域中玻璃制品具有衛(wèi)生、外形美觀、耐高溫、耐腐蝕等特點, 已在醫(yī)藥、衛(wèi)生、化工等領(lǐng)域中有十分廣泛的應(yīng)用[1]. 玻璃制造過程中的第一步就是將玻璃配合料熔制成均勻無氣泡且符合成型要求的玻璃料滴, 玻璃料滴的質(zhì)量控制直接影響產(chǎn)品成品率.玻璃料滴質(zhì)量的檢測以往多是由人工檢測, 不僅效率低還易受環(huán)境影響, 穩(wěn)定性較差[2]. 因此, 研究一種非接觸式的測量方法有利于提高生產(chǎn)效率和產(chǎn)品合格率. 雙目立體視覺是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法. 吳琪波[3]通過半全局匹配算法獲得圖片的深度信息, 提取目標(biāo)高度信息和上表面積, 得到目標(biāo)物體體積. 丁嗣禹等[4]通過插值算法填充視差圖中的空洞, 用閾值分割算法提取出了堆料區(qū)域的結(jié)構(gòu)信息. 梁樂[5]通過最小切割算法提升了立體匹配算法精度, 更加完整的重建出待測物體的三維坐標(biāo)信息. 料滴經(jīng)過剪刀剪切后, 在下落過程中會發(fā)生空間上的偏轉(zhuǎn). 利用外截面面積和視差填充[6]測量料滴體積及質(zhì)量會產(chǎn)生較大誤差, 三維重建方法[7]計算較為復(fù)雜, 不能滿足實時測量需求. 本文通過搭建冷態(tài)玻璃料滴測量系統(tǒng), 基于雙目立體視覺獲得料滴的三維信息, 提出一種空間校正切片法來完成玻璃料滴的非接觸式測量.

1 實驗系統(tǒng)及雙目視覺測量模型

1.1 實驗系統(tǒng)及算法流程

實驗裝置如圖1所示. 主要包括料滴接受裝置、料滴模擬運動裝置和CCD攝像頭, 用密度均勻的黏土來模擬玻璃料滴, 測量采用海康威視的 2 臺型號為MV-CE060-10UC攝像頭進行采集, 采集下落過程中的料滴圖像進行處理并獲取結(jié)果.

圖1 實驗裝置

圖像處理算法主要包括5個模塊: 攝像機標(biāo)定、圖像校正、特征輪廓提取、立體匹配和空間校正切片法求體積. 處理流程如圖2所示.

圖2 圖像處理算法流程圖

1.2 雙目視覺測量模型

雙目立體視覺模型如圖3所示. 世界坐標(biāo)系中任意點A(X,Y,Z)在雙目攝像機采集的左右圖像的投影分別為al(ul,vl)和ar(ur,vr). 這兩個像素點坐標(biāo)結(jié)合攝像機內(nèi)外參數(shù), 通過計算獲得空間中待測點A的三維空間坐標(biāo).

圖3 雙目視覺測量原理

綜上所述, 整個成像系統(tǒng)可用式(1)表示:

2 圖像處理及立體匹配

2.1 攝像機標(biāo)定

首先通過張正友平面標(biāo)定法[8]得到攝像機的內(nèi)外參數(shù), 可計算求得兩攝像機之間的旋轉(zhuǎn)平移矩陣, 標(biāo)定過程如下: 若棋盤格上有任意一點P在世界坐標(biāo)系中為PW, 則點P點在左右兩個攝像機坐標(biāo)系中的坐標(biāo)分別為:

選擇左攝像機坐標(biāo)系為雙目立體視覺系統(tǒng)的基準坐標(biāo)系, 因此,Pr和Pl應(yīng)滿足:

聯(lián)立式(2), 式(3)可以得到左右攝像機坐標(biāo)之間的變換關(guān)系:

其中,R和T分別為旋轉(zhuǎn)矩陣和平移向量. 本次采集的標(biāo)定板圖像如圖4所示, 拍攝多組不同位置的標(biāo)定板圖像, 基于Matlab中的Stereo CameraCalibration工具箱對左右相機采集到的棋盤格標(biāo)定板圖片完成左右相機的標(biāo)定, 對多組外參數(shù)進行非線性優(yōu)化, 得到立體標(biāo)定最優(yōu)的外參數(shù)R和T.

圖4 實驗標(biāo)定板圖像

2.2 圖像校正

由于兩個相機的安裝不可能完全平行, 使得左右相機獲取的圖片存在細微的角度偏差, 為了保證雙目圖像在同一平面上使左右圖像對應(yīng)極線平行, 以提高立體匹配速度及精度, 需要對左右相機采集到的圖像進行校正. 圖像的畸變使用BOUGUET校正算法對采集的圖像對進行校正, 能夠很好地消除相機產(chǎn)生的畸變和誤差[9].

2.3 特輪廓提取

中值濾波是一種空間濾波方法, 能有效抑制圖像中的噪聲, 料滴圖像采用中值濾波能較好地保護邊緣信息[10]. 圖5為料滴輪廓提取的過程, 濾波后圖像如圖5(b). 迭代式閾值分割是自動計算閾值, 實現(xiàn)簡單且計算量小, 便于實時檢測. 本文選擇使用迭代式閾值分割算法來分割圖像. 閾值分割后后圖像如圖5(c)所示.

圖5 料滴輪廓提取過程

2.4 融合梯度信息的Census變換立體匹配算法

Census變換的基本原理是: 在一個變換窗口內(nèi), 將窗口中每個像素的灰度值與領(lǐng)域像素的灰度值進行比較并映射到一個比特串. 選擇一個5×5 的矩形窗口遍歷整個圖像, 具體定義為:

用 ⊕ 來表示漢明距離算子, 則基于Census變換的匹配代價計算:

圖像梯度信息包含了豐富結(jié)構(gòu)信息, 能反映圖像灰度變化的速度, 灰度變化較大的區(qū)域經(jīng)常發(fā)生在圖像的邊緣位置[11]. 在Census算法的基礎(chǔ)上, 融入圖像的梯度信息, 能夠更清晰地表現(xiàn)圖像邊緣的信息, 能夠增強立體匹配在邊緣匹配的準確度. 融合梯度信息的Census匹配代價計算方法為:

視差圖如圖6所示.

圖6 料滴視差圖

3 料滴體積測量方法

3.1 垂直下落狀態(tài)方法分析

通過觀察常見料滴形狀具有回轉(zhuǎn)體特征, 因此可利用其任意橫截面為圓形的特征求取料滴體積并計算其質(zhì)量[12]. 如圖7所示, 按水平切片法原理沿垂直方向掃描料滴圖像,re、rs分別為料滴頂端和底端像素所在的行向量坐標(biāo), 切片厚度Δy為 1 pixel;dr為切片的直徑.料滴的體積可由式(9)求得:

圖7 料滴投影水平分割示意圖

利用m=ρv計算料滴質(zhì)量(g); ρ為 料滴的密度(g /cm3).

3.2 空間校正切片法

料滴經(jīng)過剪刀剪切后, 在下落過程中會發(fā)生空間上的偏轉(zhuǎn), 此時將偏轉(zhuǎn)方向分解為相機平面方向和相機景深方向. 當(dāng)料滴對稱軸發(fā)生相機平面偏轉(zhuǎn)時, 料滴水平截面發(fā)生變形, 影響水平切片法計算精度. 利用最小外接矩形算法[13]確定對稱軸和偏轉(zhuǎn)角度, 然后將料滴校正至水平方向. 如圖8(a)所示, 圖像最小外接矩形的高邊角度可以反映出料滴圖像的方向信息. 如圖8(b)所示, 過對稱軸線AB的中點O作垂線交輪廓線于E,F點, 再分別過AO,BO的中點作垂線交輪廓線于點C,D,G和H.

圖8 最小外接矩形實驗

為了驗證最小外接矩形算法選取對稱軸的準確度,引入判斷料滴關(guān)于軸線是否對稱的變量Lλ:

其中,L1,L2,L3,L4,L5和L6, 分別為C,D,E,F,G和H到掃描直線的距離. 若Lλ的值越小, 則料滴關(guān)于對稱軸的對稱性越好. 選擇合適的對稱軸按切片法原理計算料滴體積.

相機景深方向的偏轉(zhuǎn)如圖9所示, 景深方向的偏轉(zhuǎn)影響了對稱軸的高度, 料滴真實高度為l2, 圖像上投影高度為l1, 其對稱軸高度影響的是切片的數(shù)量, 影響結(jié)果的準確性. 在三角形ABC中, 利用視差變化計算出景深方向偏轉(zhuǎn)的距離BC, 結(jié)合投影對稱軸高度AC,計算出料滴真實對稱軸高度AB. 表達式如下:

圖9 相機景深方向偏轉(zhuǎn)示意圖

如圖10雙目視覺橫向模式成像示意圖, 景深與視差成反比, 其公式為:

圖10 雙目橫向模式成像示意圖

其中,f為焦距,b為 左右攝像機之間的距離,xl,xr分別為左右圖像的像素點距離各自中心點的距離. 對于左圖像的任意一個像素點xl, 都在右圖中找到相對應(yīng)的極線, 然后掃描極線找到最匹配的點xr, 最后計算視差, 并根據(jù)公式xl-xr求取景深.

聯(lián)立式(11), 式(12)可以得真實對稱軸高度l2表達式如下:

其中,Za,Zb分別為料滴圖像上下頂點景深.

料滴對稱軸高度變化產(chǎn)生了如圖11所示隱式切片,隱式切片高度為l2-l1, 隱式切片的直徑dr可計為料滴切片直徑的算術(shù)平均數(shù). 隱式切片體積Vs計算公式如下:

圖11 隱式切片示意圖

隱式切片體積可補償在最小外接矩形切片法中因料滴發(fā)生相機景深方向偏轉(zhuǎn)產(chǎn)生的影響.

4 實驗結(jié)果與分析

為驗證空間校正切片法在發(fā)生空間偏轉(zhuǎn)狀態(tài)下的準確性及實用性, 在實驗過程中模擬3種下落狀態(tài), 分為垂直下落、發(fā)生相機平面方向偏轉(zhuǎn)下落、發(fā)生空間偏轉(zhuǎn)下落. 選取質(zhì)量分布均勻且在常用質(zhì)量區(qū)間的3個料滴分別模擬在3種狀態(tài)的圖像如圖12所示, 其中, 編號a、d、g為垂直下落狀態(tài), 編號b、e、h為發(fā)生相機平面方向偏轉(zhuǎn)下落狀態(tài), 編號c、f、i為發(fā)生空間偏轉(zhuǎn)下落狀態(tài). 利用水平切片法、最小外接矩形切片法、空間校正切片法分別計算3組料滴在3種狀態(tài)的測量體積, 表1所示為實驗測量數(shù)據(jù). 將由表1得到的3種方法測量體積相對誤差進行比較, 結(jié)果如圖13.

圖12 不同狀態(tài)料滴圖像

圖13 3種方法對不同料滴的測量誤差比

表1 實驗料滴體積測量數(shù)據(jù)

垂直下落的3組料滴a、d和g三種方法的相對誤差均在1%以內(nèi). 對于發(fā)生相機平面方向偏轉(zhuǎn)的料滴b、e和h, 水平切片法相對誤差達到5%以上, 而最小外接矩形切片法相對誤差降至1%–2%, 最小外接矩形切片法對發(fā)生相機平面方向偏轉(zhuǎn)的料滴精確度有明顯提高. 發(fā)生空間偏轉(zhuǎn)的料滴c、f和i, 水平切片法誤差較大, 其中料滴i相對誤差達到9.25%, 最小外接矩形切片法可提高測量準確度, 其測量相對誤差可降至3%左右, 而空間校正切片法可進一步測量精度, 其相對誤差降至1%以內(nèi). 空間校正切片法對發(fā)生空間偏轉(zhuǎn)的料滴有較為穩(wěn)定的測量精度, 基本能控制在1%以內(nèi). 3種測量方法測量的平均誤差與標(biāo)準差如表2所示. 水平切片法測量發(fā)生偏轉(zhuǎn)的料滴相對誤差誤差較大, 最小外接矩形切片法測量穩(wěn)定性有一定提高, 空間校正切片法具有較高穩(wěn)定性.

表2 不同方法測量料滴體積的平均誤差與標(biāo)準差

5 結(jié)論

料滴經(jīng)剪刀剪切在下落過程中會發(fā)生空間偏轉(zhuǎn),當(dāng)料滴發(fā)生相機平面方向偏轉(zhuǎn)后, 切片形狀發(fā)生變化,水平切片法平均誤差明顯上升, 最小外接矩形算法對相機平面方向偏轉(zhuǎn)的料滴圖像進行校正, 提高了測量精度. 當(dāng)料滴發(fā)生相機景深方向偏轉(zhuǎn), 影響切片高度,最小外接矩形切片法對有相機景深方向偏轉(zhuǎn)的料滴仍具有較大誤差, 空間校正切片法適用于發(fā)生空間偏轉(zhuǎn)的料滴, 空間校正切片法測量的平均誤差與標(biāo)準差分別為0.81%和0.19. 對于發(fā)生空間偏轉(zhuǎn)的料滴, 空間校正切片法具有較高的測量精度和穩(wěn)定性.