基于雙目視覺(jué)的三維振動(dòng)測(cè)量方法研究*

孫猛超, 李鐵軍, 史家浩, 李賽雷, 鄭凱文, 劉今越

(河北工業(yè)大學(xué) 機(jī)械工程學(xué)院,天津 300131)

0 引 言

當(dāng)前巡檢機(jī)器人對(duì)設(shè)備運(yùn)行狀態(tài)的檢測(cè)，通常是通過(guò)用紅外測(cè)溫裝置檢測(cè)熱缺陷以及基于可見(jiàn)光圖像分析的開(kāi)關(guān)、儀表等設(shè)備的自動(dòng)識(shí)別[1]。存在普適性差、智能水平低和難以對(duì)設(shè)備的運(yùn)行狀態(tài)做出準(zhǔn)確的評(píng)估等問(wèn)題。三維的振動(dòng)信號(hào)可以為設(shè)備的安全評(píng)估和健康檢測(cè)等提供豐富的有效信息。根據(jù)振動(dòng)測(cè)量方法與被測(cè)對(duì)象是否接觸可以分為接觸式測(cè)量和非接觸式測(cè)量。在實(shí)際的檢測(cè)環(huán)境下的接觸式測(cè)量方法存在布線(xiàn)、成本和通用性差等問(wèn)題無(wú)法在實(shí)際中應(yīng)用。而機(jī)器視覺(jué)測(cè)量技術(shù)作為一種新的測(cè)量技術(shù)，其以非接觸、高效率、高精度、無(wú)負(fù)載效應(yīng)等特點(diǎn)受到越來(lái)越多研究者的關(guān)注[2]。

近年來(lái)，基于機(jī)器視覺(jué)的三維振動(dòng)測(cè)量技術(shù)開(kāi)始嶄露頭角。崇愛(ài)新等人[3]通過(guò)在軌旁的設(shè)施上部署的參考標(biāo)靶、軌腰上部署的待測(cè)編碼標(biāo)志，用鏈?zhǔn)诫p目相機(jī)三維測(cè)距算法完成了鋼軌的位移測(cè)量。黃鵬程等人[4]通過(guò)在待測(cè)物體上粘貼多個(gè)圓形發(fā)光標(biāo)志點(diǎn)來(lái)實(shí)現(xiàn)對(duì)目標(biāo)物體的三維振動(dòng)測(cè)量。陳忠等人[5]通過(guò)雙目高速攝像機(jī)連續(xù)采集散斑動(dòng)態(tài)變形圖像實(shí)現(xiàn)結(jié)構(gòu)全場(chǎng)振動(dòng)的測(cè)量。歹英杰等>人[6]通過(guò)雙目拍攝目標(biāo)靶振動(dòng)圖像，根據(jù)目標(biāo)點(diǎn)像素位置信息獲得目標(biāo)點(diǎn)空間坐標(biāo)，進(jìn)而求出動(dòng)目標(biāo)空間位姿。劉巍等人[7]將便攜式合作靶標(biāo)安裝在工作臺(tái)上，利用雙目視覺(jué)測(cè)量合作靶標(biāo)以準(zhǔn)確表征機(jī)床運(yùn)動(dòng)位置信息。上述所提的方法都能實(shí)現(xiàn)對(duì)目標(biāo)物體的三維振動(dòng)測(cè)量，但是都需要在目標(biāo)物體上粘附特殊標(biāo)志或者對(duì)目標(biāo)物體的表面有著較高的要求[8～11]，難以滿(mǎn)足巡檢機(jī)器人對(duì)設(shè)備運(yùn)行狀態(tài)的檢測(cè)要求。

為了解決智能巡檢機(jī)器人對(duì)機(jī)電設(shè)備的狀態(tài)檢測(cè)問(wèn)題,針對(duì)雙目視覺(jué)測(cè)量三維振動(dòng)時(shí)存在需要物理目標(biāo)附著、實(shí)時(shí)性差和特征點(diǎn)假匹配等問(wèn)題,提出一種基于特征點(diǎn)的三維振動(dòng)信息提取的方法。通過(guò)追蹤被測(cè)目標(biāo)像素特征點(diǎn)對(duì)被測(cè)目標(biāo)進(jìn)行實(shí)時(shí)的三維振動(dòng)測(cè)量。利用雙目視覺(jué)原理將特征點(diǎn)像素位移的變化裝換成實(shí)際的位移變化，從而得出目標(biāo)物體三維振動(dòng)。最后構(gòu)建了一個(gè)智能巡檢機(jī)器人對(duì)機(jī)電設(shè)備的狀態(tài)檢測(cè)實(shí)驗(yàn)平臺(tái)，對(duì)所提算法進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明本文所提方法具有較好的準(zhǔn)確性。

1 理論與方法

1.1 相機(jī)標(biāo)定與極線(xiàn)校正

雙目相機(jī)安裝在機(jī)械臂末端。由于存在安裝和制造誤差的存在，需要對(duì)相機(jī)進(jìn)行標(biāo)定和對(duì)采集的圖像進(jìn)行極線(xiàn)校正。相機(jī)在測(cè)量前還需要進(jìn)行鏡頭校準(zhǔn)，鏡頭校準(zhǔn)采用文獻(xiàn)[12]的方法，再利用MATLAB工具箱對(duì)雙目相機(jī)進(jìn)行標(biāo)定。極線(xiàn)校正可以使兩幅圖像的極線(xiàn)相互平行[13]，就好像產(chǎn)生了虛擬的平行式立體視覺(jué)模型[14]。極線(xiàn)校正的過(guò)程如圖1所示，校正前兩個(gè)相機(jī)的光心并不平行，兩相機(jī)光心的連線(xiàn)叫基線(xiàn)，像平面與基線(xiàn)的交點(diǎn)為極點(diǎn)，像點(diǎn)與極點(diǎn)所在的直線(xiàn)為極線(xiàn)，左右極線(xiàn)與基線(xiàn)構(gòu)成的平面為空間點(diǎn)對(duì)應(yīng)的極平面。校正時(shí)假設(shè)極點(diǎn)的位置在無(wú)窮遠(yuǎn)處，兩個(gè)相機(jī)的光軸平行，使得兩幅圖像對(duì)應(yīng)極線(xiàn)處于同一水平上，即將成像面從Πl(fā)0和Πr0變換到Πl(fā)1和Πr1的過(guò)程，此時(shí)極線(xiàn)相互平行。本文采用Bouguet算法對(duì)圖像進(jìn)行校正。

圖1 極線(xiàn)校正示意

1.2 特征點(diǎn)的提取

尺度不變特征變換(scale-invariant feature transform，SIFT)是在計(jì)算機(jī)視覺(jué)領(lǐng)域中檢測(cè)和描述圖像中局部特征的算法[15]。SIFT算法的實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向并得出128維的特征點(diǎn)描述子。

算法將圖像進(jìn)行高斯卷積操作與降采樣，來(lái)獲取不同尺度的圖像。再將相鄰的高斯金字塔圖相減得到的新圖像，對(duì)新圖像的每一個(gè)像素點(diǎn)進(jìn)行如下操作：將一個(gè)像素點(diǎn)和它同一平面相鄰的8個(gè)像素點(diǎn)和上下層的9×2個(gè)像素點(diǎn)共26個(gè)進(jìn)行比較，當(dāng)這個(gè)像素點(diǎn)在上、中、下三層圖像構(gòu)成的魔方形狀空間中為極大值或者極小值時(shí)，認(rèn)為此點(diǎn)是初步特征點(diǎn)。但是極值點(diǎn)是通過(guò)離散空間得到的，離散空間和連續(xù)空間得到的極值差別還是很大的。所以，需要對(duì)尺度空間函數(shù)進(jìn)行三維二次曲線(xiàn)擬合，使極值點(diǎn)達(dá)到亞像素級(jí)的精確定位。

為了獲得準(zhǔn)確的關(guān)鍵點(diǎn)的特征信息，對(duì)特征點(diǎn)的方向進(jìn)行定義，對(duì)高斯差分金字塔中的像素點(diǎn)梯度表示為

(1)

梯度幅度

m(x,y)={[L(x-1,y)-L(x-1,y)]2+

[L(x,y+1)-L(x,y-1)]2}1/2

(2)

梯度方向

(3)

將梯度方向360°每10°作為一個(gè)方向在區(qū)域半徑中統(tǒng)計(jì)幅度和方向，以直方圖的形式表達(dá)方向的數(shù)量，主峰值作為該點(diǎn)的主方向。將特征點(diǎn)鄰近區(qū)域分成4×4個(gè)區(qū)域共16個(gè)區(qū)域，并且在每個(gè)區(qū)域統(tǒng)計(jì)梯度信息生成8維的直方圖。這樣就將一個(gè)特征點(diǎn)的描述子通過(guò)128維的向量表達(dá)出來(lái)。

1.3 特征點(diǎn)的選取與匹配

通過(guò)計(jì)算匹配特征點(diǎn)之間的歐氏距離來(lái)判斷兩幀之間的特征點(diǎn)是否為同一點(diǎn)。將所有匹配特征點(diǎn)的歐氏距離進(jìn)行排序，選取歐氏距離較小的多個(gè)特征點(diǎn)(本文為20個(gè),選取的特征點(diǎn)需要滿(mǎn)足位于雙目相機(jī)的共同視野范圍內(nèi))并讀取這些特征點(diǎn)在圖像中的坐標(biāo)位置；并以這些特征點(diǎn)為中心，半徑為a個(gè)像素形成一個(gè)基圓(a為被測(cè)目標(biāo)的最大像素位移的5倍)，后一幀圖像在這個(gè)基圓內(nèi)獲取并匹配特征點(diǎn)。這樣不需要遍歷圖像的所有特征點(diǎn)即可完成特征點(diǎn)的匹配，大大縮短計(jì)算時(shí)間。

1.4 錯(cuò)誤匹配點(diǎn)的剔除

為了消除匹配時(shí)的錯(cuò)誤匹配，由于本文所采用的方法是攝像頭不動(dòng)，將采用方差閾值的方法消除假匹配點(diǎn)公式如下

(X1-X)2+(Y1-Y)2≤a2

(4)

式中X1,Y1為一個(gè)特征點(diǎn)的某幅圖像中的像素坐標(biāo)，X,Y為該特征點(diǎn)在另一幅圖像中的像素坐標(biāo)，α為設(shè)定的閾值。

1.5 像素位移轉(zhuǎn)換成工程位移

雙目立體視覺(jué)是基于視差，通過(guò)三角法原理獲取物體的三維信息,即由左右兩個(gè)攝像頭的成像平面和被測(cè)物體組成的三角形。兩相機(jī)的位置關(guān)系可以通過(guò)標(biāo)定得到，因此可以通過(guò)雙目公共視野的物體成像坐標(biāo)計(jì)算出物體在世界坐標(biāo)系下三維坐標(biāo)。圖2為雙目立體成像原理。

圖2 雙目立體成像原理

兩攝像機(jī)投影中心之間的距離為基線(xiàn)距離B。兩攝像機(jī)在同一時(shí)刻同一平面觀(guān)看世界坐標(biāo)系中的一點(diǎn)P，分別在各自的成像平面形成坐標(biāo)PL(XL,YL)和PR(XR,YR)。又因?yàn)閮蓴z像機(jī)在同一平面，所以YL=YR=Y。由幾何三角關(guān)系可得如下關(guān)系式

(5)

由此計(jì)算出，特征點(diǎn)P在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)

(6)

由于像素坐標(biāo)系和成像平面相差一個(gè)縮放和一個(gè)原點(diǎn)平移,P點(diǎn)的像素坐標(biāo)系與成像平面的關(guān)系為

u=α×X+cx，v=β×X+cy

(7)

可得

α×(XL-XR)=ul-ur

(8)

將式(8)代入式(6)中，得到如下表達(dá)式

(9)

式中 (u0,v0)為圖像的主點(diǎn)坐標(biāo)；(ul,vl)為Pl在像素坐標(biāo)系下的坐標(biāo)；ur為Pr的橫軸像素坐標(biāo)值；fx為f×α；fy為f×β。

由于上面已經(jīng)獲得了目標(biāo)圖像中的特征點(diǎn)每一時(shí)刻的像素坐標(biāo),因此可以通過(guò)雙目測(cè)量原理得出每一時(shí)刻目標(biāo)的實(shí)際坐標(biāo)，從而得出目標(biāo)物體的三維振動(dòng)信息。

2 實(shí) 驗(yàn)

將實(shí)驗(yàn)室的一個(gè)房間作為實(shí)驗(yàn)環(huán)境，模擬巡檢的場(chǎng)景。規(guī)劃出一條機(jī)器人巡檢的路徑和機(jī)械臂到達(dá)測(cè)量目標(biāo)點(diǎn)的位置。對(duì)獲取的圖像進(jìn)行圖像校正、特征點(diǎn)匹配，獲取目標(biāo)物體的振動(dòng)信息與加速度計(jì)和激光位移傳感器進(jìn)行驗(yàn)證。

2.1 實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)將小型空氣壓縮機(jī)作為測(cè)量對(duì)象，實(shí)驗(yàn)系統(tǒng)包括移動(dòng)機(jī)器人地盤(pán)、UR5機(jī)械臂、雷達(dá)、自制雙目相機(jī)、計(jì)算機(jī)2臺(tái)、三軸加速度計(jì)、激光位移傳感器和小型空氣壓縮機(jī)。實(shí)驗(yàn)布局如圖3所示。

圖3 實(shí)驗(yàn)系統(tǒng)

在UR5機(jī)械臂末端安裝自制的雙目相機(jī)，加速度計(jì)采用的是粘附式粘貼在空氣壓縮機(jī)上。三軸加速度計(jì)型號(hào)為Kistler—8396A2D0DTTA00，雙目相機(jī)型號(hào)為A5131MU210，激光測(cè)振儀型號(hào)為OFV—505/5000高性能單點(diǎn)激光測(cè)振儀，測(cè)量時(shí)采樣頻率均為120 Hz，為本次實(shí)驗(yàn)相機(jī)圖像采集的幀率均為120 fps，分辨率為1 280像素×1 024像素。小型空氣壓縮機(jī)型號(hào)為550W—30L，功率為550 W，存儲(chǔ)罐30 L，氣壓0.7 MPa，排氣量40 L/min。雷達(dá)安裝在小車(chē)前端，型號(hào)為YDLIDAR G4，搭載移動(dòng)機(jī)器人上的筆記本為神州K650。

2.2 實(shí)驗(yàn)分析

移動(dòng)機(jī)器人地盤(pán)搭載著機(jī)械臂、雙目相機(jī)和雷達(dá)等，移動(dòng)機(jī)器人地盤(pán)按照預(yù)先設(shè)定的巡檢軌跡通過(guò)雷達(dá)定位，準(zhǔn)確的到達(dá)測(cè)量目標(biāo)的附近；機(jī)械臂將雙目相機(jī)移動(dòng)測(cè)量位置。為了消除機(jī)械臂和移動(dòng)地盤(pán)的抖動(dòng)帶來(lái)的測(cè)量誤差，將機(jī)械臂和移動(dòng)地盤(pán)的電機(jī)處于斷電狀態(tài)。獲取圖像后對(duì)圖像進(jìn)行校正，再進(jìn)行特征點(diǎn)分提取與匹配，最后計(jì)算出特征點(diǎn)的三維坐標(biāo)來(lái)獲取被對(duì)象的振動(dòng)信息。實(shí)驗(yàn)時(shí)，保持空氣壓縮機(jī)始終在壓縮空氣狀態(tài)下。并用雙目相機(jī)、三軸加速度計(jì)和激光測(cè)振儀同時(shí)記錄測(cè)量信息。左右相機(jī)分別采集3 600幀圖像，時(shí)長(zhǎng)為30 s。

將雙目視覺(jué)采集的X方向的振動(dòng)位移信號(hào)跟激光位移傳感器采集的信號(hào)進(jìn)行波形匹配，結(jié)果如圖4所示。從圖中可以看出，視覺(jué)測(cè)量的結(jié)果和激光測(cè)振儀測(cè)量的振動(dòng)信號(hào)波形重合度很高。將雙目相機(jī)采集的三維振動(dòng)信號(hào)與加速度計(jì)采集的加速度三維振動(dòng)信號(hào)進(jìn)行快速傅里葉變換(fast Fourier transform，F(xiàn)FT)，結(jié)果如圖5所示。

圖4 激光測(cè)振儀與視覺(jué)X位移對(duì)比

圖5 快速傅里葉變換

2.3 實(shí)驗(yàn)結(jié)果評(píng)價(jià)

對(duì)于X方向的位移用公式來(lái)判斷激光位移傳感器測(cè)量出的位移波形和視覺(jué)測(cè)量出來(lái)的相關(guān)性。公式如下

(10)

式中ρy1yc為離散化形成下的相關(guān)系數(shù)，可衡量信號(hào)y1(n)和yc(n)波形在同一采樣數(shù)據(jù)窗N內(nèi)的相似程度。ρy1yc在0～1變換，ρy1yc=1為完全相關(guān)，ρy1yc=0為兩個(gè)數(shù)據(jù)之間完全沒(méi)有相關(guān)性。視覺(jué)測(cè)量的空壓機(jī)X方向的位移和激光位移傳感器測(cè)量的波形相關(guān)性如表1所示。加速度計(jì)測(cè)量出的三維振動(dòng)頻率和雙目測(cè)量出的三維振動(dòng)頻率的對(duì)比如表2所示。

表1 位移傳感器與視覺(jué)的X方向位移波形相關(guān)性

表2 加速度計(jì)與視覺(jué)測(cè)量的頻率對(duì)比

3 結(jié) 論

本文所提方法能在無(wú)物理目標(biāo)附著的情況下進(jìn)行實(shí)時(shí)的三維振動(dòng)測(cè)量，與激光位移傳感器在位移為40 μm左右的波形下重合度達(dá)到95.15 %以上，與三軸加速度計(jì)的幅頻值對(duì)比獲得99.97 %以上的準(zhǔn)確率。實(shí)驗(yàn)驗(yàn)證了該方法的可行性和準(zhǔn)確性。相較于傳統(tǒng)的雙目視覺(jué)三維振動(dòng)測(cè)量方法，在測(cè)量目標(biāo)物體時(shí)對(duì)目標(biāo)的輪廓沒(méi)有特殊要求，也不需要對(duì)目標(biāo)物體粘附特殊的標(biāo)志。