一種用于無人船海面障礙物測距的雙目視覺系統

李方旭，金久才，張 杰,，李立剛，戴永壽

(1.中國石油大學（華東）海洋與空間信息學院，山東 青島 266580；2.自然資源部第一海洋研究所海洋物理與遙感研究室，山東 青島 266061)

0 引 言

無人船作為一種新型無人水面平臺，具有體積小、機動性強、不易被敵軍船只發現的優點，逐漸成為對敵偵察、海上維權的重要作戰手段[1-2]。自主避障是無人船在超視距、遙控無效狀態下安全航行的關鍵。無人船只有準確檢測周圍海域中的障礙物，如礁石、浮標、船舶等，才能自主規劃出安全、最優的避碰路徑。

目前，無人船用避障檢測手段以激光雷達[3]、航海雷達[4]為主，分別用于檢測定位近、遠距離的海面障礙物。從無人船安全角度考慮，快速準確定位近距離障礙物目標則更為重要，但價格適中的激光雷達激光線數少，角分辨率低，易漏檢體積較小的障礙物，如橡皮艇、礁石等。美國太空與海戰系統中心的Larson J.等[5]將雙目視覺引入了無人船避障檢測領域中，僅通過處理、匹配船載雙目相機拍攝的海上可見光圖像，即可測得前方障礙物的位置信息，具有實施成本低、角分辨率高的優點。雙目視覺因此成為近年來無人船避障檢測領域中的研究熱點。Shin B.S.等[6]以海天線為界對雙目視覺三維重建出的點云數據進行海平面擬合，根據點云相對于海平面的高度、數量信息檢測定位海面障礙物。Sinisterra A.J.等[7]首先采用基于在線學習機制的方法檢測單目圖像中的障礙物，然后匹配雙目圖像對應點，根據成像幾何關系測得障礙物的位置信息。立體匹配是雙目視覺海面障礙物測距的關鍵。多數學者匹配雙目圖像對應點時采用了基于區域的立體匹配方法[6-8]。然而，無人船體的不規則晃動，增大了雙目圖像間海面障礙物的尺度、亮度差異，易導致此類方法匹配出現歧義，降低雙目視覺測距的準確性。

為提高立體匹配的準確性，本文提出一種改進的AKAZE 特征匹配方法，通過提取、匹配非線性尺度空間中障礙物的輪廓角點，可以在尺度、亮度存在差異的條件下準確測得海面障礙物的位置信息。利用本文所提方法研發出一種具有防水、防鹽等性能的適用于無人船海上工作環境的寬基線雙目視覺系統SV-100。在青島市膠州灣開展了該系統的測試驗證實驗，結果表明該系統在100 m 內的測距誤差小于6 m。

1 改進的AKAZE 特征匹配方法

本章介紹一種改進的AKAZE 特征匹配方法。給定校正后的雙目圖像，基于非線性擴散濾波原理，采用快速顯示擴散方案構建非線性尺度空間，保護障礙物輪廓結構并使得特征提取具有尺度不變性。根據被測像素與圖像域、尺度域中鄰域圓像素的灰度差提取障礙物輪廓角點，抑制波浪邊緣、海面反光等背景干擾因素。最后，采用FREAK 算法計算特征描述向量，依據極線約束準則搜索雙目圖像的匹配點。基于上述方法流程，可準確提取、匹配障礙物的輪廓角點，從而為后續雙目視覺障礙物測距提供準確的視差數據。

1.1 尺度空間特征提取

受風、浪、流等因素的影響，雙目相機會隨無人船船體發生不規則晃動，造成雙目圖像間海面障礙物的尺度、亮度存在差異，易造成匹配歧義。SIFT，SURF，AKAZE 等算法于尺度空間中提取具有尺度不變性的特征點，提高了立體匹配的魯棒性[9]。AKAZE算法基于非線性濾波和快速顯式擴散方案構建非線性尺度空間，使圖像濾波自適應于邊緣結構，保護了圖像的局部精度[10]。但該算法比較提取特征點時需計算尺度空間中每一像素的歸一化黑塞矩陣行列式值，計算復雜度高，且劃定的像素鄰域范圍小，造成特征提取隨機性強，受波浪邊緣、海面反光等背景因素影響大。

針對上述問題，本文將FAST 算法[11]提取角點的原理應用在非線性尺度空間特征點的提取中。通過提取輪廓角點，以減少干擾點的數量。

1）分別提取不同尺度圖像中的特征點，即先于圖像域中提取特征點。計算被測像素與所在尺度圖像中半徑為3 鄰域圓上16 個像素的灰度差，統計灰度差大于閾值εk的像素數量N，若N 大于鄰域圓上像素總數量的3/4，則判定被測像素為該尺度圖像中的特征點，像素數量N 的計算公式如下：

式中：S 為以被測像素為圓心劃定的半徑為3 鄰域圓上像素的集合；x 為鄰域圓上的像素；p 為被測像素；I 為像素的灰度。

2）為保證提取出的特征點具有尺度不變性，需再于尺度域中提取特征點。將提取出的每一尺度圖像的特征點分別與上下相鄰尺度圖像半徑為3 鄰域圓像素的灰度進行比較，如圖1 所示。

針對相鄰尺度圖像與被測圖像分辨率不同的情況，需將鄰域圓半徑乘以兩圖像分辨率間的比例系數后，再進行灰度比較。若各鄰域圓上與被測點灰度差大于閾值εk的像素數量超過該圓上像素總量的3/4，則保留該特征點。

為增強后續特征點描述向量間的差異性以提高匹配的準確率，本文方法對提取出的特征點群進行采樣，僅提取出圖像局部區域中分值最高的特征點。根據尺度參數將尺度空間中的特征點重映射至原圖像，采用非極大值抑制方法去除大小為3×3 像素的圖像塊中除分值最大的特征點外的其他特征點，分值V 的計算公式如下：

式中：Pk為特征點；Sbright為特征點鄰域圓上大于特征點灰度的像素集合；Sdark為特征點鄰域圓上小于特征點灰度的像素集合，特征點鄰域圓的半徑為3。

1.2 特征描述向量計算

提取出尺度空間特征點后，采用FREAK 算法計算特征描述向量。該算法仿生人類視網膜中神經元細胞的分布模式，以鄰域內相關性較小像素的灰度差為依據描述特征點，能夠提高描述向量間的差異性[12]。具體流程如下：

1）以特征點為中心對鄰域像素進行采樣。采樣點共43 個，由內向外分布為6 層，如圖2 所示。黑色圓心為采樣點，灰色圓圈為采樣點感受野。

圖 2 采樣點分布情況Fig.2 Distribution of sampling points

2）完成采樣后，對感受野進行高斯濾波。根據采樣點灰度信息確定特征點方向。如圖3 所示。FREAK算法從43 個采樣點組成的903 個采樣點對中選取了45 個中心對稱的采樣點對用以計算特征點的方向 Od，計算公式如下：

式中：G 為采樣點對集合；M 為采樣點對數；Por1和Por2分別為采樣點對中2 個采樣點的坐標；I 為高斯濾波后采樣點的灰度。

3）FREAK 算法于903 個采樣點對中篩選出512 個相關性較小的采樣點用于計算二進制描述向量：

圖 3 用于計算特征點方向的采樣點對Fig.3 Sample point pairs for calculating the direction of the feature

式中：Pα為采樣點對；N 為二進制特征描述向量的維數；函數T 定義如下：

式中：Pαr1和Pαr2代表采樣點對中2 個采樣點的坐標。

1.3 雙目圖像特征匹配

相比于多幅單目圖像的配準，雙目圖像特征點的匹配可利用固有的極線約束關系來縮小特征點的搜索范圍。對于平行校正后的雙目圖像而言，僅需沿著行方向自左向右搜索匹配代價最小的點即可，由于FREAK 算法計算得到的描述向量為二進制類型，所以采用漢明距離作為匹配代價的計算公式：

式中：d 為兩特征描述向量間的漢明距離，Ai和Bi分別為兩特征向量對應位的數值，為異或運算符。基于上述流程，以左目圖像為參考圖像，右目圖像為匹配圖像，完成特征點匹配后，再以右目圖像為參考圖像，匹配左目圖像。若2 次特征匹配結果相同，則保留匹配對，進而確定雙目圖像特征點間的一一對應關系。

2 寬基線雙目視覺系統

由于雙目視覺的測距精度與左、右相機間的基線長度成正相關，因此綜合考慮擬研發無人船的內部安裝條件，船寬為2.5 m，設計搭建了基線長度為1.8 m的雙目視覺系統，并命名為SV-100，如圖4 框線內所示。該系統主要由1 280×960 分辨率的CMOS 工業面陣相機、8 mm 焦距的鏡頭、IP66 等級的室外防護罩、三腳支架及工控機組成。

圖 4 雙目視覺系統Fig.4 Stereo vision system

其中，工業相機的數據接口為千兆以太網口GigE，可實時向工控機傳輸照片流，保證雙目圖像的同步采集。室外防護罩具備防水、放鹽的功能，可保障雙目視覺系統在復雜海況下正常工作。為準確獲取無人船前方的海面障礙物的位置信息，以規劃出安全、最優的避障行駛路徑，本系統海面障礙物測距的流程如圖5 所示。

圖 5 無人船雙目視覺系統測距流程圖Fig.5 Flow chart of obstacle ranging for USVs based on the stereo vision system

1）采用Bought 算法極線校正船載左、右目相機采集的雙目圖像，實現對應點行對準；

2）采樣改進的AKAZE 特征匹配方法提取、匹配雙目圖像中海面障礙物的輪廓角點，并計算對應點視差；

3）根據成像幾何關系測得障礙物的位置信息。該方法基于Opencv 3.1.0 開源計算機視覺庫實現，編程語言為C++，運行環境為Windows 7。

3 實驗驗證及結果分析

為驗證SV-100 雙目視覺系統海面障礙物測距的準確性，開展實驗測試。實驗期間，采用德國Continental AG 公司研發的ARS408 型毫米波雷達作為SV-100 測距準確性的驗證手段。ARS408 型毫米波雷達是一種緊湊型V 波段77 GHZ 的長距傳感器，探測范圍可達250 m，測距誤差小于0.4 m，具有靈敏度高、性能穩定的優點。ARS408 安裝于雙目相機中間，在與雙目相機的公共視場內，獲取前面障礙物的位置信息。

實驗場景中，選定了一個浮標為被測障礙物，驅動實驗船駛行駛至距離浮標約30 m，60 m，80 m 及100 m 處停機，控制雙目視覺系統、毫米波雷達獲取上述位點浮標的距離測量數據。以毫米波雷達數據為基準，驗證雙目視覺系統于不同范圍內的測距誤差。雙目相機采集的可見光圖像如圖6 所示。

圖 6 浮標的雙目圖像Fig.6 Binocular images of the buoy

經定點測量，上述位點浮標的點云分布情況如圖7 所示。雙目視覺重建出的點云中干擾點數量少，原因在于經過改進后的AKAZE 特征匹配方法通過提取、匹配具有視覺意義的輪廓角點，有效抑制了波浪邊緣的干擾。隨著測距范圍的增大，障礙物于圖像中的占像素比例逐漸減小，部分特征點的匹配中出了歧義，導致重建的點跡分布不規則。但從整體上看，在100 m 范圍內，雙目視覺系統與毫米波雷達測得的點云僅存在較小的位置差異。

圖 7 障礙物點跡分布情況Fig.7 Distribution of the obstacle point cloud

以毫米波雷達與雙目視覺系統測得點云質心間的縱向距離為參考依據，繪制雙目視覺系統的測距誤差曲線，如圖8 所示。

圖 8 雙目視覺系統測距誤差曲線Fig.8 Ranging error curve of the stereo vision system

雙目視覺系統于60 m 處的測距誤差為2.04 m，誤差占比為3.4%，于100 m 處的誤差為5.65 m，誤差占比為5.7%。經與毫米波雷達數據比對，說明雙目視覺系統于100 m 范圍內障礙物測距的準確性高，能夠為無人船避碰路徑規劃提高準確的障礙物位置信息。

4 結 語

針對無人船體不規則晃動，導致雙目視覺海面障礙物測距過程中立體匹配出現歧義的問題，提出一種改進的AKAZE 特征匹配方法。通過提取、匹配非線性尺度空間中障礙物的輪廓角點，從而可準確測得海面障礙物的位置信息。利用本文所提方法研發出一種具有防水、防鹽等性能的適用于無人船海上工作環境的寬基線雙目視覺系統SV-100。測試實驗結果表明，該系統在100 m 內的測距誤差小于6 m，能夠為無人船避碰路徑規劃提供較為準確的障礙物位置信息。