多目視覺測量系統的光束法平差改進

別梓釩,張瑞,李維詩

(合肥工業大學 儀器科學與光電工程學院,安徽 合肥 230041)

0 引言

在航空航天、汽車制造等領域,為了高速、方便、非接觸地對大尺寸曲面工件進行三維測量,三維掃描測量機器人[1]逐漸得到應用。傳統的三維掃描測量機器人的工作原理是:三維激光掃描測頭固定在工業機器人關節臂末端,工業機器人按照規劃路徑運動,帶動激光掃描測頭掃描工件獲取點云數據。由于機器人存在裝配誤差、慣性滯后,機器人末端的定位精度會受到限制,影響測量精度。采用多目視覺測量系統對三維掃描測頭進行動態測量[2]可以消除機器人末端定位精度的影響。

攝影測量中基于共線方程的三維重建易受噪聲影響,通常采用光束法平差(Bundle Adjustment,BA)對相機參數和三維坐標初值進行整體的非線性優化,以獲得更精確的測量結果[3]。傳統光束法平差本質上是求解非線性最小二乘問題,一般以被測點在像平面上的重投影誤差作為誤差函數,再以一定的最優化準則修正相關參數。許多學者對光束法平差在坐標測量領域內的應用進行了研究與改進,周維虎等人[4]運用光束法平差對激光跟蹤儀的精度進行了評定,證明了光束法平差對激光跟蹤儀的精度評定正確可行。郭迎鋼等人[5]在激光跟蹤儀光束法平差中引入馬氏距離,建立起抗差馬氏光束法平差模型,提升了處理精度。趙帥華等人[6]提出了BFGS-GN法,提升了光束法平差對不同類型初值的魯棒性。徐振亮等人[7]采用軸角法代替歐拉角來描述相機的空間位姿,減少了光束法平差在迭代過程中的計算量,提升了運算效率。

在本文搭建的多目視覺系統中,由于相機與標志點之間的距離變化較大,標志點測量結果在空間中的定位誤差難以評價,以二維像平面上的重投影誤差作為誤差函數來表征三維空間點的定位精度并不恰當;另一方面,受標定精度和鏡頭畸變的影響,在迭代計算過程中,光束法平差的修正主要體現在相機外參數,迭代步長在三維坐標上的修正不明顯。

為解決上述問題,本文在傳統光束法平差的誤差方程中引入攝影比例尺,將標志點在二維圖像平面上的重投影誤差映射至三維空間,建立新的誤差方程和目標函數,并將參數的優化分為兩步,先修正經標定算法得到的相機內、外參數,再以優化后的內、外參數作為真值,迭代計算三維坐標,加強三維坐標值的修正。最后利用本文搭建的多目視覺測量系統進行實驗,驗證改進后的光束法平差的精度。

1 多目視覺測量系統介紹

本文搭建的多目視覺測量系統的示意圖如圖1所示,該系統主要由視覺傳感器、專用圖像處理系統[8]和計算機三部分組成。視覺傳感器由4個CMOS相機組成(編號分別為1,2,3,4),以1號相機的相機坐標系作為整體測量環境的世界坐標系,4臺相機采用交向攝影方式環繞布置在測量現場上方,獲取掃描測頭上的標志點圖像,作為整個系統的信息輸入來源;專用圖像處理系統采用基于FPGA開發的硬件系統,用于實時、高速地進行圖像處理,提高視覺系統的整體處理效率;計算機作為上位機控制視覺傳感器、專用圖像處理器,接收數據后進行三維重建,并輸出、顯示最后的計算結果。

圖1 多目視覺跟蹤系統

2 多目視覺測量系統光束法平差

2.1 系統三維重建原理

本系統利用四臺相機對掃描測頭四周的編碼標志點進行同步測量,通過光束法平差對系列參數進行非線性優化,得到標志點的三維坐標值。三維坐標初值計算基于共線方程,本系統的共線方程為

光束法平差以被測點的重投影誤差作為誤差方程,定義如下

式中:fij為第i個標志點在第j個相機像平面上的重投影誤差,像素;為第i個標志點在第j個相機內的像素坐標值,像素;(u′ij,v′ij)為第i個標志點在第j個相機像平面上的重投影點像素坐標值,像素。

2.2 光束法平差改進

由于相機成像時物點距離相機光心的物距遠大于相機主距,每條成像光線在像平面上的微小偏差會通過攝影比例尺[9]明顯放大,測量時易造成空間定位誤差,如圖2所示。攝影比例尺m定義如下

圖2 攝影比例尺

式中:Z為物點和相機光心在光軸方向上的直線距離,mm;f為相機主距,mm。

在實際應用中,掃描測頭處于不斷運動的狀態,相機與標志點之間的距離變化較大,不同成像系統的攝影比例尺也不同。當標志點與各相機之間的距離相差過大時,根據式(3),成像平面上相同大小的重投影誤差所對應的空間定位誤差也會明顯不同。此時,不同成像系統的重投影誤差對空間定位誤差的評價無法統一在相同尺度上。常規光束法平差以成像平面的重投影誤差作為誤差方程,不適用于相機與標志點距離變化較大時的三維重建。

為將各成像系統的空間定位誤差統一在同一尺度下,本文在光束法平差的誤差方程基礎上引入攝影比例尺,以空間定位誤差作為新的誤差方程。由于重投影誤差以像素為單位,空間定位誤差以mm為單位,將相機在像平面x,y軸方向上的主距(fx,fy)代入式(3),得到本系統的攝影比例尺mx,my,即

將式(4)中的攝影比例尺代入式(2)中,得到改進后光束法平差的誤差方程為

式中:f′ij為空間定位誤差,表示第i個物點在空間中與第j個圖像平面的成像光線之間的距離,mm。

在光束法平差的計算中,參與平差的初值受鏡頭畸變和相機標定精度的影響較大,因此迭代步長的修正更多地體現在相機參數上,為加強光束法平差對三維坐標的優化,本文在式(5)的基礎上,將參與光束法平差的平差參數分為兩部分,分步進行優化平差,即

式中:S1為第一步平差的參數向量;S2為第二步平差的參數向量;n為參與重建的相機數量;m為參與重建的標志點數量;C1～C n為各相機的參數向量;P1～P m為各標志點的三維坐標向量。

利用LM算法對平差參數進行非線性優化,迭代計算的目標函數定義如下

式中:F為參與重建的所有標志點的總空間定位誤差,mm;m為參與重建的標志點數量;n為參與重建的相機數量。

根據式(7),在第一步平差過程中,迭代計算獲得高精度的相機參數;在第二步平差過程中,將修正后的相機參數作為真值,迭代計算標志點三維坐標,最終完成對標志點的三維坐標求解。

3 實驗與結果分析

為了驗證改進后光束法平差對空間坐標的處理精度,本文利用多目視覺跟蹤系統對Creaform公司C-Track光學動態跟蹤系統的一維基準尺(如圖3)進行測量。一維基準尺上粘貼有反光標志點,標志點中心之間的直線距離經過高精度標定得到。該標定尺寸作為本文實驗的參考值,參考值及標準不確定度如表1所示。

圖3 C-Track系統一維基準尺

表1 C-Track系統一維基準尺數據 mm

本系統中4臺相機的公共視場范圍較小,且標志點大小在相機采集圖像中所占比例極小,在保證標志點被準確提取的前提下,相機在沿光軸方向上的有效測量距離為1.5～2.5 m。在相機的公共視場以及相機的有效測量距離內,將一維基準尺以不同姿態在水平、縱深方向上的不同位置進行擺放,采集標志點圖像。

本系統中相機內、外參數初值由張正友標定法對相機進行標定獲得,標志點三維坐標初值由空間前方交會法計算獲得。在剔除標志點未被識別等無效圖像組后,經過三維重建和平差優化后,獲得三組對d1和d2的測量數據,每組50個測量值,計算得到每組的算術平均值及算術平均值標準差。表2為重建初值的數據處理結果,表3和表4為經常規光束法平差和改進后光束法平差優化后的數據處理結果。

表2 重建初值數據處理結果 mm

表3 光束法平差數據處理結果 mm

表4 改進光束法平差數據處理結果 mm

根據表2～表4中的數據可知,在測量距離d2時,重建初值、光束法平差和改進光束法平差的σˉxi較為接近,但在測量距離d1時,重建初值的σˉxi整體大于光束法平差的σˉxi,光束法平差的σˉxi整體大于改進后光束法平差的σˉxi。這是因為距離d1較長,在擺放基準尺時,標志點更靠近相機的視場邊緣,受鏡頭畸變影響較大,而距離d2較短,所采集圖像中d2的標志點受畸變影響相較d1更小,具有更好的迭代初值。

根據表2～表4中的算術平均值,計算得出d1,d2在3組測量列中的加權算術平均值、參考值偏差及算術平均值標準差,如表5和表6所示。

表5 d1數據處理結果 mm

表6 d2數據處理結果 mm

表5中三種方法的參考值偏差均為負值,這是因為本系統利用棋盤格對相機進行標定,由于棋盤格相對于整個視場環境較小,標定過程中難以獲取足夠多的視覺信息,影響了相機畸變參數的標定。由于距離d1較長,整體的實驗測量中,標志點三維坐標的求解受鏡頭徑向畸變影響較大,從而導致距離d1的測量值整體上小于參考值。

綜上所述,在對一維基準尺的長度測量實驗中,對于長度d1,相較常規光束法平差,改進后光束法平差處理結果的參考值偏差減小了52.7%,算術平均值標準差減小了59.9%;對于長度d2,相較常規光束法平差,改進后光束法平差的參考值偏差減小了28.7%,算術平均值標準差減小了26.3%。由此可知,在兩種長度的測量上,改進后光束法平差的處理精度相較常規光束法平差有顯著提升。

4 結論

針對多目視覺測量系統,研究了多目視覺的三維重建原理和光束法平差原理,為了更好地表征本系統在三維空間中的定位誤差,以及解決三維坐標值在迭代過程中修正不明顯的問題,本文對傳統光束法平差進行了改進,引入攝影比例尺建立新的誤差方程并分步優化相機參數和三維坐標。實驗結果表明:在一維基準尺的長度測量中,傳統光束法平差測量結果與參考值偏差小于0.600 mm,標準差小于0.300 mm,改進后光束法平差測量結果與參考值偏差小于0.300 mm,標準差不大于0.110 mm,證明本文提出的方法有效地提升了多目視覺測量系統的測量精度,滿足三維掃描測量機器人系統的應用需求。由于本文采用LM算法進行非線性優化,系統實驗過程中求解每組數據的迭代次數一般在30～50次之間,迭代效率較低,未來可以在最優化算法方面展開進一步的研究,提升光束法平差處理數據的效率,推動三維測量技術提升。