基于雙目視覺的航空發(fā)動機(jī)受損葉片三維重建方法＊

李嘉琛，李曉晨，贠曉港，金后取，朱曉明，吳 軍

（中國民航大學(xué) 航空工程學(xué)院，天津 300300）

航空發(fā)動機(jī)葉片工作條件極其惡劣，造價昂貴，且再修復(fù)技術(shù)一直被國外壟斷。因此，通過對已存在破壞損傷等問題的葉片進(jìn)行修復(fù)，進(jìn)而延長其使用壽命，從而獲得更好的經(jīng)濟(jì)效益。如果需對受損的航空發(fā)動機(jī)葉片進(jìn)行維修，只有具備精確的葉片三維形貌特征參數(shù)，才可以將受損葉片修復(fù)成原始狀態(tài)。三維測量技術(shù)有2種，即傳統(tǒng)的接觸式測量和新興的非接觸式測量。世界上第一臺坐標(biāo)測量機(jī)誕生于1956年，它被廣泛應(yīng)用并迅速發(fā)展。三坐標(biāo)機(jī)測量是一種典型的接觸式三維測量，測頭接觸工件，將工件表面的點坐標(biāo)發(fā)送至軟件，經(jīng)計算給出形貌特征。它的缺點是，對被測物體有損傷，測量效率低。視覺測量被廣泛應(yīng)用于非接觸三維測量中，天津大學(xué)的陳明舟[2]研究了通過主動光柵投影的雙目視覺測量獲得物體曲面輪廓的方法；王軍[3]研究了利用光柵投影三維測量技術(shù)對葉片進(jìn)行三維測量，但都增加了激光投射裝置，設(shè)備復(fù)雜，點云數(shù)據(jù)量大，不方便處理。本文提出了一種對葉片表面噴涂散斑作為特征點的方法，模擬人類視覺成像原理，采用2個位置相對固定的工業(yè)相機(jī)從不同的角度采集葉片的左右圖像，再利用運動恢復(fù)結(jié)構(gòu)的算法構(gòu)建葉片曲面，點云數(shù)據(jù)量小，便于處理，大大提高了測量效率。

1 葉片建模算法

要想通過二維圖片恢復(fù)葉片的三維信息，那么，至少需要采集兩幅圖像，應(yīng)用三角測量原理求解兩幅圖像中的同一個點在三維空間中的位置。我們將確定同一個點在兩幅圖像中的對應(yīng)關(guān)系稱之為匹配。理論上講，將葉片表面所有的點都求解出來便可得到葉片的三維模型。除此之外，攝像機(jī)并非理想小孔成像線性模型，在實際成像過程中，它會受到鏡頭畸變的影響。為了提高測量精度，在實驗之前，要先對攝像機(jī)進(jìn)行標(biāo)定。整個三維重建整體流程如圖1所示。

圖1 三維重建過程流程圖

1.1 攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定的方法有很多，其中，張正友提出了一種標(biāo)定方法[4-5]，即不需要知道運動參數(shù)，一個棋盤格就能完成標(biāo)定。本文便采用了張氏標(biāo)定法完成左右攝像機(jī)的立體標(biāo)定。這個方法是從多個不同的角度采集二維平面標(biāo)靶圖像，平面標(biāo)定板上點P在世界坐標(biāo)系下的齊次坐標(biāo)為 ＝（xw，yw，zw，1）T，在圖像坐標(biāo)系下的齊次坐標(biāo)為 ＝（u，v，1）T，則兩坐標(biāo)系之間的變換關(guān)系為：

式（1）中：s為比例系數(shù)；M1為相機(jī)內(nèi)參數(shù)矩陣；矩陣R為兩坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系；向量T為兩坐標(biāo)系之間的平移關(guān)系。

因此，建立特征點與它的像素點之間的一個單應(yīng)性映射H[6-7]，即：

對于標(biāo)定板平面的圖像，可以得到對應(yīng)的單應(yīng)性矩陣，

令：

經(jīng)過比較可知，式（4）比標(biāo)準(zhǔn)的單應(yīng)性矩陣少了一個比例因子λ，因此得：

式（5）（6）（7）為求解內(nèi)參提供了2個約束條件，令：

由于B這個矩陣是對稱的，因此，真正有效的只有B11，B12，B22，B13，B23，B33（因為 B12和 B21，B23和 B32，B13和B31這3對元素是相等的，所以，只需要求得下面的6個元素就可獲得完整的B），并讓它們構(gòu)成向量b，即：

hi是H的第i向量，則有：

將式（11）（12）寫為關(guān)于向量b的方程，則有：

得到B矩陣以后，要算得相機(jī)內(nèi)參矩陣，還需對B矩陣求逆，利用Cholesky分解，獲得M1以后，每幅圖像的外部參數(shù)可由式（14）得出，即：

R1是一個3×3的矩陣，T1是一個3×1的矩陣，將右攝像機(jī)用同樣的方法標(biāo)定，可得到M2，R2和T2.

在雙目立體視覺中，還需標(biāo)定2臺攝像機(jī)間的旋轉(zhuǎn)與平移位置關(guān)系，如圖2所示。

圖2 雙目立體視覺坐標(biāo)系統(tǒng)

采取上述標(biāo)定方法標(biāo)定了左右2個攝像機(jī)后，得到R1，T1和R2，T2.R1，T1表征了左攝像相對世界坐標(biāo)系的位置，R2，T2表征了右攝像機(jī)相對世界坐標(biāo)系的位置。P點的世界坐標(biāo)pw與左右相機(jī)坐標(biāo)p1，p2之間有如下關(guān)系：

將式（15）消去pw后，可得：

設(shè)R和T為2臺攝像機(jī)的相對位置關(guān)系，則有：

到這，已基本完成了對雙目攝像機(jī)的立體標(biāo)定。

1.2 立體匹配

所謂“匹配”，即是確定空間中同一物體在不同圖像上的像點對應(yīng)關(guān)系。立體匹配是計算機(jī)視覺中至關(guān)重要的一步，匹配的準(zhǔn)確性將直接影響到建模的精度，因此，如何實現(xiàn)快速準(zhǔn)確的匹配是研究的重點。

本文采用了基于特征的匹配——SIFT特征匹配[8]，它能解決2幅圖像間存在著旋轉(zhuǎn)、平移甚至仿射等情況下的特征點匹配問題，具有很強的匹配能力。

1.2.1 特征提取

特征檢測使用的是尺度和旋轉(zhuǎn)不變性的SIFT描述子，它的魯棒性比較強，很適合用來提取經(jīng)過改變角度和尺寸的圖片的特征點信息，具有較強的準(zhǔn)確性。這種算法由各種尺寸的高斯濾波器通過計算獲取到特征點的位置（x，y），并且在一個特征點周圍4×4的方格直方圖中，每一個直方圖中又包含了8個bin的梯度方向，即得到一個4×4×8即128維的特征向量[9]。

1.2.2 特征匹配

用關(guān)鍵點特征向量的歐氏距離[10]來衡量圖像對中關(guān)鍵點之間的相似性。所謂“歐式距離”，即128維差值的平方和再開平方。取參考圖像的某一個關(guān)鍵點，在待匹配圖像中理應(yīng)存在能與其匹配的點。簡單定義最近距離的點為匹配點顯然不是一個好辦法，更可靠的方法是，觀察最近距離與次近距離的比值，如果存在正確的匹配點，那么，它應(yīng)是唯一的，而且比其他點的歐氏距離要小得多。只有當(dāng)比值小于某一閾值時，才認(rèn)為是一對匹配點。

初選的匹配對可能不可靠，需要對其進(jìn)行幾何約束檢測，即計算對極幾何，估算基礎(chǔ)矩陣F.F矩陣可以將2幅圖像的像素坐標(biāo)建立聯(lián)系，并包含攝像機(jī)的內(nèi)參信息。每個符合要求的匹配對像素坐標(biāo)必須滿足式（18）的要求，即：

像這種F矩陣計算出來有很多噪聲，需要采取RANSAC算法進(jìn)行降噪，以提高匹配的準(zhǔn)確性。

RANSAC算法步驟是：①從數(shù)據(jù)集中任意取出4個數(shù)據(jù)作為樣本（而這4個數(shù)據(jù)不能共線），算出它的變換矩陣X，并記作模型M.②再將數(shù)據(jù)集中的全部數(shù)據(jù)和模型M的投影誤差算出，如果它小于閾值，就可以將它放入內(nèi)點集I中。③如果當(dāng)前內(nèi)點集I中元素個數(shù)比最優(yōu)內(nèi)點集I best中多，那么，就定義當(dāng)前內(nèi)點集為新的最優(yōu)內(nèi)點集I best，并將迭代次數(shù)改為k.④如果迭代次數(shù)大于k，就退出循環(huán)；如果迭代次數(shù)小于k，將其加1，重復(fù)上述步驟。

當(dāng)RANSAC將誤匹配點剔除之后，就可以連接2幅圖像中的共同特征匹配點。

1.3 空間點的三維重建

2個攝像機(jī)的位置在一般立體視覺成像模型中不做特別要求。如圖3所示，假設(shè)左相機(jī)的坐標(biāo)系O-xyz也是世界坐標(biāo)系，圖像坐標(biāo)系為O1-X1Y1；右相機(jī)坐標(biāo)系為Or-xryrzr，圖像坐標(biāo)系為Or-XrYr，根據(jù)攝像機(jī)透視變換模型[11-12]有：

圖3 一般立體視覺成像原理

而O-xyz與Or-xryrzr坐標(biāo)系相互的旋轉(zhuǎn)平移關(guān)系可通過空間轉(zhuǎn)換矩陣Mlr表示為：

結(jié)合坐標(biāo)系轉(zhuǎn)換的方法，推導(dǎo)出空間點在世界坐標(biāo)系下的三維坐標(biāo)，將其表示為以下形式：

因此，己知焦距f1，f2和空間點的圖像坐標(biāo)，再獲得R和T便可恢復(fù)點的三維坐標(biāo)。

2 實驗結(jié)果及分析

左、右攝像機(jī)分別采集到的標(biāo)定板圖像如圖4所示。

圖4 雙目立體視覺系統(tǒng)采集的棋盤標(biāo)定模板圖像

標(biāo)定板的規(guī)格為60 mm×45 mm，9行12列，每個小正方形邊長為5 mm。圖片分辨率為2 592×1 944，左攝像機(jī)平均重投影誤差為2.262 8個像素，右攝像機(jī)平均重投影誤差為2.296 2個像素，立體標(biāo)定的平均重投影誤差為2.279 5個像素，標(biāo)定精度滿足后續(xù)實驗要求。

雙目立體視覺系統(tǒng)的標(biāo)定結(jié)果如下所示。

2.1 左攝像機(jī)的內(nèi)參矩陣M1

左攝像機(jī)的內(nèi)參矩陣M1為：

2.2 右攝像機(jī)的內(nèi)參矩陣M2

右攝像機(jī)的內(nèi)參矩陣M2為：

2.3 旋轉(zhuǎn)矩陣

旋轉(zhuǎn)矩陣為：

2.4 平移向量

平移向量為：

特征點檢測和匹配結(jié)果如圖5所示。

圖5 SIFT特征匹配結(jié)果圖

為了驗證算法的有效性，進(jìn)行如下實驗：選取重建點云的2個邊角點，得到其三維世界坐標(biāo)，與實際測得的邊角點距離計算比較、驗證。A，B兩點在世界坐標(biāo)系下的三維坐標(biāo)如圖6所示，A，B點及其對應(yīng)的世界坐標(biāo)如表1所示。

圖6 A，B兩點在世界坐標(biāo)系下的三維坐標(biāo)

表1 A，B點及其對應(yīng)的世界坐標(biāo)

A，B兩點之間的計算距離由空間點距離公式可以求得?？紤]到模型尺寸和實際葉片尺寸存在縮放因子，通過標(biāo)準(zhǔn)尺標(biāo)定，縮放因子為1.5，兩點之間的實際距離由游標(biāo)卡尺測得，具體數(shù)據(jù)如表2所示。從表2中可以看出，A，B兩點間的實際測量距離與計算所得距離的誤差為0.558%，即0.35 mm。由此可見，本文三維重建的精度比較高。

表2 實際距離與三維重建所得距離對比

3 結(jié)束語

本文利用2臺工業(yè)CMOS相機(jī)，通過模擬人眼成像原理完成對葉片的三維重建，具體流程是：①對葉片表面噴涂散斑點，作為可提取的特征點。②采用具有旋轉(zhuǎn)不變性、尺度不變性、光照不變性特征的SIFT算法提取特征點和特征向量，并進(jìn)一步以特征向量的歐式距離為度量對圖像對進(jìn)行初步匹配。③估計基礎(chǔ)矩陣F，并采用RANSAC算法降噪，提高匹配的準(zhǔn)確性。④利用單目標(biāo)定的相機(jī)內(nèi)參，結(jié)合立體標(biāo)定的外部參數(shù)R和T求解空間點的三維坐標(biāo)，得到葉片重建的模型。建模精度為0.35 mm，驗證噴涂散斑代替激光投射的基于雙目視覺的受損葉片三維重建系統(tǒng)是可行的。