基于結構光的鉚釘凹凸量雙目視覺檢測方法*

余厚云，孫建陽，孫藝洪，付 攀，溫亞鑫，單英軒，程雅妮

（1.南京航空航天大學，南京 210016；2.東南大學，南京 210096）

鉚釘作為飛機裝配中使用最廣泛的緊固件，在強度、尺寸、耐腐蝕性、壽命、變形量等方面都必須達到很高的要求。根據行業標準，飛機蒙皮表面的航空沉頭鉚釘不允許凹進蒙皮，凸出量應符合各機型的設計技術條件，安裝在非氣動外緣處的鉚釘相對于安裝面的凹凸量應在±0.1 mm以內[1]。

目前，國內大多數飛機制造企業主要依靠有經驗的工人通過目視、借助塞尺或是使用帶輔助支架的千分表等方法來檢查飛機鉚釘的凹凸量是否合格。不僅容易損傷飛機表面，而且無法準確得到鉚釘的凹凸量值，檢測精度及效率低，難以對鉚接工藝提供有效反饋。因此，航空制造現場迫切需要一種量化的鉚釘凹凸量測量方法。

蔣滔等[2]構建了一套鉚接質量視覺檢測系統，采用改進遺傳算法結合OSTU方法對鉚釘圖像進行閾值分割，在此基礎上實現了鉚釘亞像素邊緣提取；該系統主要用于鉚釘識別，并未對凹凸量進行測量。王紅濤等[3]研發出飛機蒙皮鉚釘階差檢測裝置，該裝置由支架、深度尺、轉軸等組成，但由于采用的是接觸式測量，操作煩瑣，不適合鉚釘數量較多的情況。李紅衛[4]提出了一種局部自適應密度算法提取三維點云，根據獲得的鉚釘頭點云和局部非鉚釘點云數據計算鉚釘凹凸量，但該方法需要處理的點云數據量龐大，測量效率不高。王德重等[5]提出了一種基于雙目多線激光的鉚釘凹凸量測量方法，對雙目視覺系統采集的被測表面多線激光圖像進行匹配與重建，計算分布于激光線上的鉚釘頭部及蒙皮表面點的坐標，進而計算出鉚釘凹凸量；該測量方法靈活、效率較高，但只采集了線激光上的點云數據，以此來計算鉚釘的凹凸量容易產生較大誤差。

近年來，基于結構光的三維重建技術[6]取得了很大進展，通過被測對象表面三維重建可實現對物體特征尺寸的測量。與二維圖像相比，重建的三維形貌能夠提供更加豐富的細節信息。本文利用工業投影儀的投影條紋對比度高、亮度非線性誤差小等優點，將結構光編碼后投射到鉚釘區域，然后由雙目相機采集圖像，再經過相位解算、形貌重建和型面擬合等一系列處理后計算出鉚釘的凹凸量。該方法在滿足現場測量效率要求的前提下，提高了鉚釘凹凸量的測量精度。

1 雙目視覺檢測系統

1.1 系統組成

如圖1所示，檢測裝置主要由結構光源和雙目視覺模塊組成。其中，結構光源采用S52型投影儀 （騰聚科技），其結構緊湊、幀率高，且投影條紋可編程。視覺模塊選用VEN–134–90U3M/C–D型CMOS相機和HN–P–1628–6M–C2/3鏡頭 （大恒圖像）。整個檢測裝置體積小巧、質量輕，可以手持或機械臂夾持，移動便捷，適合用于航空制造現場的檢測。

圖1 基于結構光的雙目視覺檢測裝置Fig.1 Binocular vision inspection device based on structured light

檢測系統的視場范圍約50 mm×70 mm，通過工業投影儀對鉚接表面連續投射多幀結構光條紋，利用雙目相機同步采集條紋圖像，經圖像處理和計算后得到鉚釘凹凸量。

1.2 相機標定

系統構建完成后，首先采用張正友方法[7]對雙目相機進行標定，定制的棋盤格標定板的角點位置精度為1 μm。雙目相機在不同角度和位置上采集10幅以上的標定板圖像，提取圖像中角點的亞像素坐標。以其中一個角點作為原點Ow，以標定板平面作為XwOwYw平面，建立世界坐標系OwXwYwZw。則二維圖像中的角點像素坐標 （u，v）與其對應的空間點的世界坐標 （Xw，Yw，Zw）之間的轉換關系可用式 （1）表示。

式中，s為空間點到鏡頭光心的距離沿相機光軸方向上的投影長度；dx、dy分別為圖像在水平方向和豎直方向的像素尺寸； （u0，v0）為相機光心圖像映射點的像素坐標；f為鏡頭的焦距；A為相機內部參數矩陣；R和T分別為世界坐標系相對相機坐標系的旋轉矩陣和平移矩陣。

以鏡頭光心在相機成像平面上的投影點為原點，水平方向為x軸，豎直方向為y軸建立圖像坐標系。考慮到相機本身存在徑向畸變和切向畸變，經校正后的像點坐標 （xp，yp）與原坐標 （xd，yd）的關系為

式中，r為校正前的像點到圖像坐標系原點的距離，r=；k1、k2分別為徑向畸變系數；p1、p2分別為切向畸變系數。

利用Levenberg-Marquard算法[8]對式 （1）和 （2）聯立的包含多個角點的方程組進行迭代優化，可獲得相機的內部參數A和外參數[RT]的最優解。然后根據兩個相機的外部參數計算得到右相機坐標系相對于左相機坐標系的旋轉矩陣R1和平移矩陣T1。

1.3 系統校正

雙目視覺系統采用的是類似人眼的平行光軸模型[9]，但在實際應用時由于視場范圍的要求及相機安裝誤差的原因，左右相機的光軸往往并不平行，這時就需要對雙目相機采集的圖像進行立體校正。參照Bouguet算法[10]，首先將左右相機之間的旋轉矩陣R1拆分成左、右相機的合成矩陣，即rl和rr。

然后將平移矩陣T1歸一化，得到單位平移矩陣e1。定義與e1正交的單位矩陣e2，將e1與e2叉積得到e3，從而得到行對齊矩陣為

聯立式 （3）和 （4），得到左右相機的立體校正矩陣為

如圖2所示，利用上述矩陣可將左右圖像中的對應點轉換到同一水平線上，從而實現左右相機的立體校正。這樣，后續圖像匹配時的特征點搜索范圍就從二維平面縮小至一維水平線，大幅降低了計算量，提高了算法效率。

圖2 立體校正前后的雙目視覺成像對比Fig.2 Comparison of visual imaging before and after binocular stereo correction

2 凹凸量測量原理

2.1 改進的格雷碼解相位方法

如圖3所示，工業投影儀向鉚釘周圍表面投射正弦相移條紋[11]與格雷碼條紋[12]，給鉚釘區域表面賦予獨特的相位信息。其中，正弦相移條紋用于計算包裹相位，格雷碼用于將包裹相位展開成絕對相位。根據相位信息匹配鉚釘區域表面任意一點在雙目視覺圖像中的同名特征點，從而克服了因蒙皮表面缺乏紋理特征帶來的特征點匹配難題。

圖3 結構光投影圖像Fig.3 Image of structured light projection

包裹相位由式 （6）計算得到。

式中，φw（x，y）為像素點（x，y）的包裹相位；Ii（x，y）為像素點（x，y）在第i步正弦條紋投影圖像中的灰度；N為正弦相移條紋的步數，本文這里采用的是4步相移，即N=4。

計算出包裹相位后，再對格雷碼圖像解碼，計算出相位階數G1（x，y）。然后根據G1（x，y）對包裹相位進行展開，獲得連續的絕對相位φ（x，y）。

解碼時格雷碼條紋的邊緣容易發生跳變，將導致最終生成的點云存在條帶狀突變。為此，本文提出了一種改進的格雷碼解相位方法，即對相位階數圖進行分區，在可能發生跳變的分區內根據鄰域像素的相位階數推測當前像素的相位階數并進行修正。該方法的具體步驟如下。

（1）制作模板。

首先根據包裹相位圖中的相位信息制作3個模板Mask1、Mask2和Mask3，這3個模板的灰度信息與包裹相位φw（x，y）之間的關系滿足式（8）。

（2）掩模、修正。

利用上面的模板按式 （9）對相位階數圖進行掩模，將相位階數圖按照包裹相位的區間分為Ka、Kb、Kc3個區域。

式中，將階數K（x，y）加1是因為第1級相位臺階的階數為0，加1后可與圖像中灰度值為0的無條紋區域區分。

根據鄰域相位階數的分布特征對跳變區域 （Ka中的截斷相位0右側附近及Kc中的截斷相位2π左側附近）進行修正。根據其右側鄰域的相位階數對Ka（x，y）進行修正 （式（10）），對Kc（x，y）則根據其左側鄰域的相位階數進行修正 （式（11））。

式中，Ka中的像素沿著同一圖像高度從右往左修正；Kc中的像素沿著同一圖像高度從左往右修正。

根據修正的階數和包裹相位合成絕對相位圖，絕對相位的表達式為

本方法的圖像處理過程如圖4所示。

圖4 基于鄰域階數推測的跳變相位修正示意圖Fig.4 Schematic diagram of hop phase correction based on neighborhood order estimation

圖4給出了改進的格雷碼解相位方法的圖像處理過程，對同一鉚接表面，將本文方法與常用的互補格雷碼法[13]進行對比，在各自生成的絕對相位圖中任取相同一行，其相位值如圖5所示。

圖5 本文方法與互補格雷碼法生成的絕對相位對比Fig.5 Comparison of absolute phase by this method and complementary Gray code method

由圖5可以看出，本文方法可以準確修正跳變相位，獲得較為理想的絕對相位拓展結果。本文方法合成的絕對相位比互補格雷碼法合成的絕對相位整體增大了2π，這是第1級相位階數加1造成的。由于左右相位圖的相位值同時增加了2π，因此并不會影響雙目匹配的結果。此外，對比試驗還表明，在相同硬件條件下互補格雷碼法解算相位用時5.2 s，而本文方法僅3.5 s，節省了約30%。

2.2 基于邊緣特征的鉚釘區域表面重建

根據解算的相位信息即可匹配雙目圖像中的特征點對，生成三維點云。由于相位解算是一個非常耗時的過程，為了提高效率，本文首先提取鉚釘所在的感興趣區域，后續只匹配感興趣區域內的特征點對。

首先采用基于霍夫變換的圓檢測算法[14]從圖像中檢測出鉚釘，擬合出鉚釘邊緣輪廓并計算輪廓圓的圓心和半徑；然后以輪廓圓為邊界分割出鉚釘釘頭區域和鄰近蒙皮區域，如圖6所示。

圖6 鉚釘感興趣區域分割結果示意圖Fig.6 Schematic diagram of feature region segmentation

由于飛機體型非常龐大，例如波音787客機的機身寬度為5.75 m，因而表面蒙皮的曲率很小。而常用的航空沉頭鉚釘頭部直徑范圍為?5～16 mm，鉚接區域的面積也很小，因此可將感興趣區域內的蒙皮表面近似當作平面來處理。這樣，鉚釘凹凸量的最大值發生在鉚釘釘頭的邊緣區域。

對于空間中的一點，其在雙目視覺圖像中的映射點的相位值理論上是相同的，并且圖像校正后受到極線約束，因此可在同一圖像高度上搜索相位值接近的點作為特征點對。圖7給出了特征點匹配過程示意圖，以左圖中的待匹配像素及其8鄰域像素設置左匹配框，以右圖中的待匹配像素及其8鄰域像素設置右匹配框，通過匹配框計算左右像素的相似代價，即

圖7 特征點匹配過程示意圖Fig.7 Schematic diagram of corresponding points matching

式中，（xl，yl）、（xr，yr）分別為圖7左、右兩圖中待匹配像素的坐標；R為相似代價；I為相位值。相似代價值越小說明相似程度越高。

圖8是特征點匹配流程圖，詳細匹配步驟如下：

圖8 特征點匹配流程圖Fig.8 Flow chart of corresponding points matching

（1）在右相位圖中與左相位圖特征像素縱坐標相同的一行，從左往右依次遍歷每個像素，計算每個像素與左特征像素的相位值差的絕對值ΔI，并設置閾值I0，將 ΔI≤I0的像素點放入待匹配集合；

（2）將待匹配集合中的像素依次取出，通過式 （13）計算該像素與左特征像素的相似代價，篩選出相似代價最小的像素作為右特征像素；

（3）以右特征像素為中心，選取左右兩邊各兩個像素進行3次樣條曲線插值，計算出右特征點的亞像素坐標，將坐標存入特征點對集合；

（4）繼續匹配下一個特征點，若上一個點匹配成功，從上一個點的橫坐標附近開始匹配，若上一個點匹配失敗，則仍然從同一行最左端開始向右搜索。

獲得左右相機圖像中匹配特征點對的集合后，結合相機標定得到的重投影矩陣Q，由式（14）計算特征點對空間點云的三維坐標。

式中，（x，y）為左相機圖像中的特征點像素坐標；dis（x，y）為特征點對的視差，即左特征點與右特征點的橫坐標之差； （Xw，Yw，Zw）為特征點對應的空間點的三維坐標。

重建后的鉚釘區域表面點云如圖9所示，本文提出的重建算法只對鉚釘區域表面進行重建，與對整個表面進行無差別重建的常規方法相比，本算法大幅減少了無關區域的數據計算量，使檢測效率得到了顯著提高。

圖9 鉚釘區域表面點云Fig.9 Surface point cloud of rivet area

2.3 基于RANSAC的鉚釘凹凸量計算

實際測量獲得的點云數據中總會存在一定數量的噪聲點，這些噪聲點的坐標誤差大，對測量結果產生較大影響。因此，如圖10所示，這里提出了一種基于RANSAC的平面擬合算法來剔除噪聲點，具體步驟如下：

圖10 基于RANSAC的噪聲點剔除算法流程圖Fig.10 Flow chart of noise point removal based on RANSAC

（1）在點云數據中隨機抽取占樣本總量60%的點，利用這些點擬合最小二乘平面；

（2）計算點云中每個點到擬合平面的距離，將距離小于設定閾值的點放入有效點云集合；

（3）若有效點云集合的規模達到樣本總量的90%，則輸出有效點云集合，轉入下一步；否則重復步驟（1）～（3），直到滿足條件或者迭代達到20次；

（4）利用有效點云集合中的點云數據重新擬合最小二乘平面。

剔除噪聲點后的點云如圖11所示，通過上述算法分別剔除鉚釘頭平面點云和附近蒙皮表面點云中的噪點后，即可根據保留的有效點云計算鉚釘的凹凸量。

圖11 剔除噪聲點后的點云數據Fig.11 Point cloud data after removing noise points

由圖11（b）可以看出，鉚釘鉚接時釘頭平面與蒙皮表面不一定平行，可能存在較大傾斜。因此，鉚釘釘頭平面上的點到蒙皮表面的距離是變化的，基于這一特征，本文在釘頭平面區域內設置了一個滑動窗口。如圖12所示，通過滑動窗口遍歷整個釘頭平面，每次只計算滑動窗口內的點云到蒙皮表面擬合平面的距離均值，從而獲得釘頭平面到蒙皮表面距離的變化范圍。最后將距離的極限值與設定的允許值進行比較，即可判斷鉚釘凹凸量是否合格。

圖12 滑動窗口示意圖Fig.12 Schematic diagram of sliding window

3 試驗與分析

3.1 表面重建精度試驗

為了測試重建的三維點云精度，對厚度分別為1.010 mm、1.020 mm、1.030 mm和1.500 mm的精密量塊（尺寸偏差±0.12 μm）進行測量試驗。首先將待測量塊按照圖13所示方式疊置，然后采集量塊上表面的結構光投影圖像，并根據圖像重建出量塊上表面的三維形貌。

圖13 疊放在一起的量塊Fig.13 Gauge blocks stacked together

通過點云處理軟件提取出圖13所示的A、B、C3個區域的點云數據，結果如圖14所示。

圖14 量塊點云Fig.14 Point cloud of gauge blocks

通過RANSAC擬合算法對A區與C區的點云進行擬合，得到下方量塊表面的平面方程。然后再通過RANSAC方法剔除B區點云中的粗大誤差點，并計算出B區中保留下來的有效點到下方量塊表面的距離均值，即為量塊的厚度值。如表1所示，對4種不同厚度的量塊分別進行測量，測量誤差均在10 μm以內，說明上述表面重建算法達到了較高的精度。

表1 量塊厚度測量結果Table 1 Measurement results of gauge block thickness

3.2 鉚釘凹凸量測量試驗

如圖15所示，為了進一步驗證測量裝置對鉚釘凹凸量的測量精度和穩定性，本文設計定制了與飛機蒙皮鉚接表面特征相似的凹凸量標準件，標準件上有10個高度各不相同的圓柱形凹/凸臺。

圖15 凹凸量標準件Fig.15 Standard part of flatness

考慮到實際加工的標準件尺寸存在誤差，本文使用圖16所示測量精度±5 μm的3D輪廓掃描儀測出凸/凹臺的實際高度值作為相對真值，然后使用本測量系統對標準件進行測量，每個凸/凹臺重復測量10次，測量結果如表2所示。

表2 標準件凹凸量測量結果Table 2 Measurement results of flatness of the standard parts

圖16 3D輪廓掃描儀Fig.16 3D profile scanner

由表2中的測量結果可知，本系統的測量誤差在±20 μm以內，重復測量的標準差在3 μm以內。并且單個凸/凹臺的平均測量時長約2.2 s。本系統的測量精度和測量效率均可滿足航空制造現場的應用要求。

4 結論

（1）提出了一種基于結構光的鉚釘凹凸量雙目視覺檢測方法。對常規格雷碼解相位方法進行改進，解決了條紋邊緣存在跳變誤差的問題，相比傳統互補格雷碼法效率更高。通過基于鉚釘邊緣的特征區域提取方法，縮小了型面重建的范圍，提高了測量算法的效率。研究了一種基于RANSAC的鉚釘凹凸量計算方法，提高了測量結果的穩定性。

（2）構建了基于結構光的飛機鉚釘凹凸量雙目視覺檢測系統，并完成了測量試驗。試驗結果表明，本系統測量誤差小于±20 μm，重復測量標準差小于3 μm，單個鉚釘測量時間約2.2 s，達到了較高的測量精度和檢測效率。