基于雙目視覺的水下連接器位姿測量方法

陳 瑞，王旭陽

(上海交通大學 船舶海洋與建筑工程學院，上海 200240)

0 引 言

隨著我國經(jīng)濟的快速發(fā)展，海上運輸量逐年大幅度增長，船舶碰撞事故時有發(fā)生，因此出于海洋環(huán)保的需要，必須將沉船攜帶或裝載的大量燃油或液體危險化學品回收，否則會造成嚴重的海洋污染事件。由于沉船結(jié)構(gòu)與海底環(huán)境的復(fù)雜，此類水下作業(yè)需要封堵、開孔、切割、抽液等各類應(yīng)急處置工具及遙控式作業(yè)型水下機器人（ROV） 進行協(xié)同作業(yè)。在作業(yè)過程中不同的工具往往需要使用不同的接口，因此需要操作員使用ROV搭載的機械手完成相關(guān)接口的變換及對接工作。

目前水下連接器對接作業(yè)過程中，主要由操作員根據(jù)ROV搭載的攝像設(shè)備傳回的視頻在母船上遠程操控機械手完成相關(guān)作業(yè)，這種作業(yè)方式存在的主要問題是攝像設(shè)備傳回的視頻多為二維視頻，操作員難以直觀地判斷水下連接器是否對齊，是否可以對接。由于缺少了深度這一維度的信息，不得不由操作員依據(jù)自身的經(jīng)驗在實際水下空間多次嘗試完成作業(yè)，或者由操作員借助多個攝像設(shè)備傳回不同角度的二維視頻進行作業(yè)，但是這樣的作業(yè)方式需要操作員作業(yè)時同時關(guān)注多個視頻畫面，操作員操作難度較大，要求操作員有較高的操作水平。

隨著計算機視覺技術(shù)的發(fā)展，視覺定位技術(shù)得到了越來越廣泛的應(yīng)用。視覺定位技術(shù)根據(jù)使用攝像機的數(shù)目分為單目、雙目和多目視覺定位技術(shù)。目前使用的單目視覺技術(shù)要求已知目標物的尺寸，因此只適用于形狀規(guī)則的簡單目標物中；雙目視覺定位相對于單目定位可以更精確地重現(xiàn)目標物的三維坐標，更好地模擬人類雙眼視物的過程；雙目視覺定位相對于多目定位更加簡單易行。因其具有非接觸測量、自動化程度高等優(yōu)點，在機器人定位、智能工廠等[1]領(lǐng)域取得了很好的應(yīng)用效果。在水下工程領(lǐng)域，殷莉甜[2]設(shè)計了基于雙目視覺的水下焊接系統(tǒng)，并在水箱中進行了初步試驗，分析了水質(zhì)與測量距離對定位精度的影響；王從政[3]設(shè)計了應(yīng)用于核電站的燃料組件變形檢測系統(tǒng)，該系統(tǒng)可以測量核電站燃料組件的長度，較好地監(jiān)控燃料組件的變形情況；盛明偉[4]提出了一種基于雙目視覺的水下測距方法，并在水池中對水下機械手進行了測距實驗，以上研究大多關(guān)注被測對象的位置或三維坐標等信息，對于姿態(tài)的研究較少。

針對水下連接器對接工作的特殊性，為提高該作業(yè)的效率，降低操作人員作業(yè)難度，本文首先根據(jù)水下連接器的顏色特征確定檢測范圍，之后在檢測范圍中以水下連接器為模板進行初步定位，然后根據(jù)水下連接器端面的成像特點檢測橢圓特征，并進行雙目匹配獲得相關(guān)三維點坐標，最后計算得出水下連接器的位姿，從而為操作員完成對接工作提供參考。

1 原理與方法

本文設(shè)計的方法首先根據(jù)水下連接器的顏色特征確定檢測范圍，之后在檢測范圍中以水下連接器為模板進行初步定位，然后根據(jù)水下連接器端面的成像特點檢測橢圓特征，并進行雙目匹配獲得相關(guān)三維點坐標，最后分別計算得出水下連接器的位姿。相關(guān)流程如圖1所示。

圖1 位姿測量流程圖Fig.1 Posture measurement flowchart

1.1 雙目測量原理

雙目立體視覺根據(jù)三角測量法，即對2臺攝像機進行標定，獲取其內(nèi)、外參數(shù)之后，通過左、右視圖中的一對同名像素點，獲取其對應(yīng)的空間三維坐標。

如圖2所示，OL，OR分別是左右相機的光心，PL，PR分別是空間點P在左右相機上的成像點，b是左右相機之間的距離，即基線長度，f是相機的焦距。

圖2 雙目視覺測量原理Fig.2 Principle of binocular vision measurement

根據(jù)三角形相似，有

整理，得

根據(jù)相機的小孔成像模型，

其中，uL,vL是點P在左相機成像平面的坐標（通常情況下坐標系以左相機為準）。

1.2 標定與校正

理想情況下的攝像機小孔成像模型要求相機光軸在圖像的中心，并且相機在x，y方向的縮小系數(shù)應(yīng)保持一致，但是實際情況下，相機制造過程中不可避免存在器件誤差與安裝誤差，這種誤差由相機的內(nèi)參數(shù)描述。此外，為了獲得更好的成像效果，相機中往往要加入透鏡，這會導致相機成像的畸變。為了消除這些影響，需要對相機進行標定獲得相機的內(nèi)參數(shù)及畸變系數(shù)，從而進行圖像校正。另一方面，雙目相機在安裝過程中造成的位姿誤差以及基線長度需要用外參數(shù)描述。因此還需對雙目相機進行立體標定，并用立體標定得到的外參數(shù)進行立體校正從而保證左右圖像的對應(yīng)點在同一水平極線。

本文采用OpenCV開源庫對雙目相機進行標定及立體標定[5]，并對圖像進行校正及立體校正[6]。如圖3所示，左圖像棋盤格點A及其對應(yīng)點右圖像棋盤格點A′不在同一水平極線上，經(jīng)過圖像校正后，左圖像棋盤格點B及其對應(yīng)點B′在同一水平極線上。

1.3 位置測量算法

水下連接器接口端面存在一系列圓形插孔，這些插孔可以作為圖像模板匹配的特征進行初步定位。模板匹配是一種常用的模式識別方法，它將需要檢測的物體作為模板圖像，從左至右、從上至下地計算模板圖像與原圖像重疊的子圖像之間的匹配度，最終在原始圖像中選擇匹配度最大的子圖像作為匹配結(jié)果。考慮到水下連接器在原始圖像中較小，對原始圖像進行模板匹配計算代價較大，本文首先根據(jù)水下連接器的顏色特征在原始圖像上選定部分檢測范圍，之后進行模板匹配，從而達到加速計算的目的。

圖3 圖像校正Fig.3 Image correction

此外，考慮到拍攝角度的影響，水下連接器接口端面在成像時會被投影為橢圓，因此本文采用橢圓檢測算法[7]獲得橢圓中心的圖像坐標，圖4展示了使用該算法在水下作業(yè)中對水下連接器進行橢圓檢測的結(jié)果。之后根據(jù)式（2）～式（4）可以得出橢圓中心的三維坐標，最后以橢圓中心的三維坐標作為水下連接器接口的位置坐標。

圖4 水下作業(yè)過程中水下連接器的橢圓檢測Fig.4 Ellipse detection of underwater connectors in actual operation

1.4 姿態(tài)測量算法

本文以水下連接器端面法向量為準描述水下連接器的姿態(tài)信息。理論上3個不共線的點可以確定一個平面，但在實際中，這樣做容易導致平面法向量受少數(shù)點誤差的影響存在較大誤差。因此需要根據(jù)之前檢測的特征橢圓的一系列邊緣點的三維坐標擬合水下連接器的端面法向量。

為了獲得橢圓邊緣點的三維坐標，需要進行邊緣點選取與立體匹配。如圖5所示，本文采取的選點策略：在完成圖像校正與立體校正的圖像中，以縱坐標為準每隔一定距離在左圖像上選擇一系列邊緣點P1，P2···Pn，同時在右圖像相同縱坐標處選擇與左圖像邊緣點的橫坐標相近的點作為左圖像的匹配點。此外，考慮到邊緣取點的均衡性，相鄰水平線上的點分別取在橢圓的左半部分和右半部分。

圖5 邊緣點選取與立體匹配Fig.5 Edge point selection and stereo matching

根據(jù)這一系列邊緣點的三維坐標擬合平面，本質(zhì)上是一個最優(yōu)化問題，即求出這一系列點Pi(i=1,2,···,n)到某個 平面ax+by+cz+d=0的 距離di之和最小，其中平面法向量取單位向量，則有a2+b2+c2=1。

其中， (a,b,c)為待擬合平面的法向量，即水下連接器的姿態(tài)， (xi,yi,zi)為點Pi的三維坐標。

由于這一系列點xi,yi,zi)的平均值在擬合的平面上，即

故有

定義

對A做 奇異值分解：A=UDVT，其中U和V為酉矩陣，從而

其中：VTX是列向量，且是對角矩陣，假設(shè)對角元素是降序排列的，那么當且僅當VTX=[001]T時 ，目標函數(shù)取最小值。此時，X=[001]TV。

由此可以根據(jù)水下連接器端面的橢圓邊緣點坐標計算得出水下連接器的姿態(tài)。

2 實驗與結(jié)果分析

為了驗證本文方法位姿測量算法的有效性，設(shè)計并搭建了水下連接器位姿測量實驗裝置。該實驗裝置主要包括水箱、棋盤格標定板、水下連接器、固定裝置及支柱，其中支柱與固定裝置可以保證水下連接器的端面與棋盤格標定板處于同一平面。由于棋盤格標定板的格點可以方便的識別從而獲得其三維坐標，因此棋盤格標定板可以作為測量的基準。

2.1 位置測量實驗

在位置測量實驗中，以棋盤格左上角格點為起點水下連接器中心點為終點，通過雙目立體匹配分別求出水下連接器中心坐標與棋盤格左上格點坐標，根據(jù)兩點距離公式求出其距離，并與實測距離進行比較。之后，調(diào)整水下連接器的位置，進行多次實驗，相關(guān)實驗數(shù)據(jù)如表1所示。

表1 水下連接器位置測量數(shù)據(jù)Tab.1 Data of underwater connector position measurement

2.2 姿態(tài)測量實驗

在姿態(tài)測量實驗中，保持水下連接器端面與實驗平臺平面重合，改變雙目相機的拍攝視角，從而模擬水下連接器的不同姿態(tài)。為驗證本文算法的有效性，以棋盤格標定板法向量為基準，將其與本文算法計算得出的水下連接器法向量相比較，相關(guān)實驗數(shù)據(jù)如表2所示，其中誤差為兩向量的夾角。圖6展示了第4次實驗兩平面在三維空間的情況。

2.3 實驗結(jié)果與誤差分析

經(jīng)過實驗驗證，本文設(shè)計的方法可以獲得水下連接器在對接過程中的位姿信息，其中位置測量平均誤差1.28%，姿態(tài)測量平均誤差3.5°，從而為水下連接對接提供參考。其中誤差的主要來源有：1）投影橢圓擬合誤差，由于實驗中水下連接器防水層存在一定厚度，投影橢圓實質(zhì)上是橢圓環(huán)，因此會對橢圓檢測造成干擾；2）相機標定誤差，相機標定得到的內(nèi)參數(shù)往往帶有誤差，通常情況下，在畫面的中間成像效果會更好一些，表1中第3及第4次實驗水下連接器在畫面中間時誤差較小也驗證了這一點。

表2 水下連接器姿態(tài)測量數(shù)據(jù)Tab.2 Data of underwater connector orientation measurement

圖6 水下連接器平面與棋盤格標定板平面Fig.6 Underwater connector plane and chessboard calibration board plane

3 結(jié) 語

水下連接器對接作業(yè)是水下工程作業(yè)的重要環(huán)節(jié)，目前該作業(yè)主要由操作員根據(jù)水下攝像機傳回的視頻進行遠程作業(yè)，這種作業(yè)方式存在操作難度大，依賴操作員經(jīng)驗的問題。為此本文將雙目視覺測量技術(shù)用于水下連接器的對接作業(yè)，實驗結(jié)果表明本文位姿測量方法在水下機械手作業(yè)范圍內(nèi)誤差滿足相關(guān)對接要求，可以較好地為水下連接器對接作業(yè)提供參考。