基于單目相機與K均值聚類分割的船舶航行環(huán)境地圖深度構(gòu)建

付洪宇， 史國友， 冉洋， 高邈， 劉姿含

(1. 大連海事大學 a. 航海學院； b. 遼寧省航海安全保障重點實驗室， 遼寧 大連 116026；2. 天津大學海洋科學與技術(shù)學院， 天津 300072)

0 引 言

基于船載設(shè)備的海上航行環(huán)境感知是構(gòu)建海上空間信息的關(guān)鍵一步。空間信息系統(tǒng)通過感知設(shè)備對所處環(huán)境中動態(tài)、靜態(tài)物體深度、角度的獲取，實現(xiàn)對自身運動狀態(tài)和周圍環(huán)境的記錄。如果將智能化交通感知設(shè)備與人類的感官作類比，那么環(huán)境感知技術(shù)就是通過感知設(shè)備的“嗅覺”“視覺”“聽覺”實現(xiàn)對環(huán)境的“聞”“看”“聽”。

目前，視覺即時定位與地圖構(gòu)建(simultaneous localization and mapping, SLAM)的研究主要集中于機器人和無人駕駛車輛等領(lǐng)域。KLEIN等[1]提出將視覺并行追蹤與制圖(parallel tracking and mapping，PTAM)分為前端和后端的算法(前端采用圖像特征跟蹤，后端以非線性優(yōu)化為基礎(chǔ))，開啟了視覺SLAM的先河。MUR-ARTAL等[2]基于PTAM提出ORB-SLAM2算法，該算法能有效避免在運行中產(chǎn)生累積誤差，并能迅速找回丟失的跟蹤路標。LEUTENEGGER等[3]提出組合后端非線性優(yōu)化與提取關(guān)鍵幀的慣導SLAM算法，該算法首先提出后端采用滑動窗口進行位姿優(yōu)化。GRIFFXTH等[4]提出一種室外水面視覺SLAM算法，用來抵抗水面環(huán)境光照的不斷變化，并在實驗中采用無人船實驗平臺觀察法國梅斯湖岸環(huán)境在季節(jié)中的變化。康俊民等[5]基于機器學習的環(huán)境特征分類方法，通過對城市環(huán)境障礙物進行分類來提高感知準確度。高云程[6]對水面機器人感知與避障系統(tǒng)的總體架構(gòu)進行設(shè)計，以雙體船模為實驗平臺，完善了水面機器人的感知系統(tǒng)。張嘯塵等[7]基于YOLOv3算法采用雙目相機對目標進行識別跟蹤，實現(xiàn)了對水面目標的距離測量和位置估計。黃志堅等[8]結(jié)合YOLOv2特征提取層和YOLOv3的特征金字塔網(wǎng)絡(luò)，解決了船舶圖像與視頻檢測算法識別率低、實時性差的問題。鄒雄等[9]對船舶靠泊環(huán)境圖像特征進行了分析，提出基于水岸線的水域環(huán)境去除方法，實現(xiàn)了對船舶航跡的估計。

在感知設(shè)備方面，三維激光雷達[10]能夠較好地實現(xiàn)對環(huán)境的精確感知，但其價格昂貴、測量范圍較小，不適合檢測遠距離目標，難以在海上實現(xiàn)較好的感知效果。紅外熱像儀[11]的測量范圍廣，但獲取的圖像存在分辨率差、對比度低、信噪比低、畫面模糊等問題，無法滿足視覺層面感知需求。雙目相機[12]可獲取圖像深度，但其測量范圍窄、噪聲大、視野小、易受日光干擾，不適合在海面使用。傳統(tǒng)船用雷達[13]對船舶目標感知效果好，但是對環(huán)境的感知還原效果差。單目相機[14]結(jié)構(gòu)簡單、成本低，便于標定和識別，更宜用于水面視覺感知。然而，單目相機感知會因水面光照反射、海上環(huán)境缺少參照物等原因存在失真、實時性不佳等問題。

本文提出基于單目相機與K均值聚類分割的船舶航行環(huán)境深度圖構(gòu)建方法，首先對近岸航行環(huán)境圖像進行分割預處理，對處理后的水域部分聚類完善。改進視覺SLAM算法中特征點提取與匹配部分，解算船舶運動位姿變化并感知船舶航行環(huán)境。提出的方法可有效提升船舶定位精度，構(gòu)建航行環(huán)境深度地圖，為船舶全面立體感知海上航行環(huán)境提供研究基礎(chǔ)，對保障船舶近岸航行安全及降低航行風險有重要意義。

1 模型設(shè)計與基礎(chǔ)原理

設(shè)計一種以單目相機作為視覺傳感設(shè)備的感知模型，見圖1。該模型將HSV(hue， saturation， value)顏色空間與K均值聚類算法組合對圖像進行預處理，對完成預處理的圖像依據(jù)本文設(shè)計的改進算法篩選特征點并完成匹配，求得相機運動過程中的變換矩陣，繪制船舶自身的運動軌跡以及點云和深度圖。圖1中，RANSAC(random sample consensus)算法指隨機抽樣一致算法。

1.1 圖像預處理

如果想在計算機系統(tǒng)中使用人眼所觀察到的色彩，需經(jīng)過特定的數(shù)學公式進行映射變換，映射變換所用的數(shù)學公式就是顏色空間。依據(jù)組合原理的不同，大致可以將顏色空間分為兩類：RGB(red、green、blue)顏色空間、亮度與色彩分開的HSV顏色空間[15]。本文采用HSV顏色空間來降低水面光照反射的影響。

圖1 基于單目相機的運動與環(huán)境感知模型設(shè)計

因為光照反射，HSV閾值分割預處理無法將圖像中水域部分完全清除，所以本文采用K均值聚類算法對分割后的圖像像素進行聚類，清除分割后殘留的水域。首先將被篩選出的像素點作為聚類樣本數(shù)據(jù)集，兩個像素點之間的相似程度用像素點之間的歐氏距離[16]表示，以每個像素點為中心，依據(jù)距離對所有像素點分組，得出每組像素點的數(shù)量；以此生成聚類數(shù)量和聚類中心，以子集中各像素點間歐氏距離的均值確定新的聚類中心，重新計算像素點與各聚類中心的距離，對樣本數(shù)據(jù)進行新一輪的聚類，直到新的聚類中心趨于穩(wěn)定。當準則函數(shù)值與上一輪迭代準則函數(shù)值的差值小于設(shè)定閾值時，迭代過程完成。

1.2 ORB算法

ORB算法由快速特征點提取(oriented FAST)和特征點描述(rotated BRIEF)兩部分組成。特征點的方向性和旋轉(zhuǎn)不變性兩種關(guān)鍵性質(zhì)由灰度質(zhì)心法判定。首先對圖像的像素點灰度進行預處理，將選取的特征點(中心像素點)灰度值設(shè)為1。當邊緣像素點灰度值低于中心像素點灰度值時，該像素點的灰度值被設(shè)為0。當邊緣像素點灰度值高于或近似等于中心像素點灰度值時，該點的灰度值被設(shè)為1。圓上如果有9個以上的點的灰度值連續(xù)等于1或0，則該中心像素點被判定為特征點。

1.3 視覺里程計與構(gòu)建感知圖

視覺里程計是利用單個或多個相機的輸入信息估計物體運動信息的。在提取圖像特征點后，將特征點進行匹配，依據(jù)匹配的特征點解算出單目相機的運動變化矩陣，進而求得相機運動位姿變化。首先需要對相機進行標定獲取相機的內(nèi)參矩陣和畸變系數(shù)并對圖像進行校正，以便獲得更加準確的圖像信息。對校正的圖像采用ORB算法提取特征點。按照圖像順序?qū)μ卣鼽c進行匹配。如果產(chǎn)生錯誤的匹配結(jié)果，需用RANSAC算法[17]對匹配結(jié)果進行篩選。

如圖2所示，O1、O2為相機光心，I1、I2為相機所拍攝的兩幀鄰近圖像的成像平面，特征點P與相機光心的連線與成像平面相交的兩點分別為p1、p2。p1和p2可分別視為點P在I1和I2平面上的投影。設(shè)點P的坐標為(XP,YP,ZP)，點p1和p2的坐標分別為(Xp1,Yp1,Zp1)和(Xp2,Yp2,Zp2)，可知兩點的位置分別為

(1)

式中：K為單目相機內(nèi)參矩陣；R和T分別為相機運動的旋轉(zhuǎn)矩陣和平移矩陣。進一步解算可以得到p1與p2的關(guān)系：

(2)

式中：E為相機運動的本質(zhì)矩陣；T∧為T的反對稱矩陣；T∧R為外積運算；(KT)-1EK-1為對本質(zhì)矩陣的歸一化處理。依據(jù)p1、p2與本質(zhì)矩陣之間的關(guān)系可以進一步求解相機運動的R和T，獲得E。根據(jù)已經(jīng)解得的E，恢復出相機運動的R和T。由E的奇異值可分解得出：

(3)

圖2 特征點匹配后成像平面示意圖

2 改進ORB算法

在ORB算法中，判定一個像素點是否為特征點，需對該像素點周邊16個像素點進行對比。這種判斷方法較為煩瑣，效率也較低。本文提出一種基于灰度延展性的像素對比方法進行改進。

2.1 考慮灰度延展性的ORB特征點判斷方法

傳統(tǒng)ORB算法判斷特征點的方法如圖3a所示。當有9個以上連續(xù)的點的灰度值同時比中心點的低或高時，該中心點被判定為特征點。參考像素點區(qū)域灰度延展的特性(如圖3b所示)，在16個點中，當每隔3個點選取1個點時，至少有3個點的灰度值與中心點的灰度值的差值的絕對值是大于設(shè)定閾值的。例如，當點5與點13灰度值都比中心點P的低，而點1與點9灰度值比點P的高時，可以判定點P是錯誤特征點，也就是噪點。

a)傳統(tǒng)算法

b)改進算法

將對比16個點縮減為對比4個點，雖然能夠提升計算效率，但是得到噪點的概率增加了。本文提出一種考慮灰度延展性的方法來減少噪點的產(chǎn)生。以中心點P為圓心分別作半徑為4像素和5像素的圓，得到除點A、B、C、D之外的E、F、G、H、W、X、Y、Z等8個像素點，見圖4。

當點P被判定為特征點時，點P與周邊的像素點的灰度值必然存在一定的差值，且周邊像素點的灰度值有著相對的延展性，當像素點A的灰度值小于中心點P的灰度值時，像素點E的灰度值應(yīng)同樣低于中心點P的灰度值。依據(jù)這種灰度的延展性，如果點E的灰度值高于點P的灰度值，那么點P就是噪點。由此將對比次數(shù)由16次降為8次，計算效率有所提升，但是噪點的出現(xiàn)概率仍然比對比次數(shù)為16次的高。為進一步降低噪點的出現(xiàn)概率，提高檢測效率，延伸出點W、X、Y、Z，對這4個點同樣做延展的灰度值對比，見圖4。相對于只對比8個像素點，雖然計算效率有所下降，但是噪點的出現(xiàn)概率明顯降低。

a)改進算法

b)噪點情景

2.2 改進的RANSAC算法

采用K最近鄰算法[20]對特征點進行快速匹配，會產(chǎn)生大量誤匹配。基于歐氏距離對特征點進行粗匹配，誤匹配的數(shù)量同樣會影響感知結(jié)果，這就需要采用RANSAC算法對結(jié)果進行提純。RANSAC算法的總迭代次數(shù)是根據(jù)內(nèi)點比例動態(tài)變化的，內(nèi)點占比越高，參數(shù)估計就越快，迭代次數(shù)也就越少。

對RANSAC算法進行改進，在迭代結(jié)束前在樣本中重新添加新的特征點。添加新特征點的步驟如下：

(1)在視覺里程計估算變換矩陣的過程中，若迭代次數(shù)達到10次或者內(nèi)點數(shù)量趨于穩(wěn)定，就可以判斷該變換矩陣T相對準確。從內(nèi)點集合中隨機選擇兩對匹配點，從基準圖像中這兩點的延長線上隨機選取一點a。通過變換矩陣T計算出點a在待匹配圖像中的位置b。

(2)驗證新特征點。若位置b在待匹配圖像中兩點的延長線上，或者偏移足夠小，就把點a和點b作為新特征點，并放在內(nèi)點集合中，否則就重新選擇特征點。

(3)在每次迭代過程中只添加3對特征點，添加太多會導致總迭代次數(shù)過多。重復步驟(1)和(2)，當內(nèi)點數(shù)量穩(wěn)定或達到迭代次數(shù)時停止添加特征點。新的特征點是用內(nèi)點作延長線得到的，而且保證每次都在重疊區(qū)域選擇點，通過驗證保證新特征點的準確性。通過這種方式提高內(nèi)點占比，提高RANSAC算法的效率，減少迭代次數(shù)。

2.3 改進的關(guān)鍵幀選擇

隨著程序的運行，有些場景移出視線，能夠跟蹤成功的特征點的數(shù)量越來越少。當該數(shù)量下降超過閾值時，則需選擇一個新的關(guān)鍵幀。如果關(guān)鍵幀過于密集，則不僅會影響程序的運行速度，還會增加三角測量的不確定性。故在選擇關(guān)鍵幀時，既希望它們之間有盡可能多的相機運動，又需要它們之間有足夠高的匹配度。對關(guān)鍵幀的選擇方法進行修改，使其在更好地還原相機運動的基礎(chǔ)上完成足夠多的特征點匹配。

初始關(guān)鍵幀通常選用數(shù)據(jù)圖像的第一個關(guān)鍵幀K1，進行聚類分割去除水面區(qū)域，然后提取L0個特征點，采取持續(xù)跟蹤的方式選擇第二個關(guān)鍵幀K2，使得在K1與K2之間至少存在L1個匹配點，然后選擇第三個關(guān)鍵幀K3，使得在K1與K3之間至少有L2個匹配點。初始化過程在初始關(guān)鍵幀中實現(xiàn)，其步驟如下:

步驟1得到3個初始關(guān)鍵幀K1、K2、K3，在去除水面之后，K1與K2、K1與K3之間分別有L1、L2個對應(yīng)特征點。

步驟2設(shè)定K1為全局坐標系，在改進的RANSAC算法框架下分別計算K1與K2之間和K1與K3之間的相對位姿。

步驟3基于本質(zhì)矩陣E(K1與K3)，得到K3相對于全局坐標系的旋轉(zhuǎn)矩陣R和平移矩陣T。

步驟4使用K3的相機位姿和對應(yīng)的特征點，先三角化得到三維點，再利用其與K2對應(yīng)的特征得到K2的相機位姿。

步驟5在這3個關(guān)鍵幀中，通過場景點在圖像中的投影位置構(gòu)建重投影誤差：

(4)

式中：Rk和Tk分別為第k幀圖像對應(yīng)的相機旋轉(zhuǎn)矩陣和平移矩陣；Xj為其對應(yīng)的三維場景點坐標；xk,j為第k幀圖像中的第j個特征點坐標。

初始化完成后，位姿估計算法的過程為：①對于每幀圖像，判斷其是否為關(guān)鍵幀，如果不是關(guān)鍵幀，則重新選取新的圖像進行關(guān)鍵幀判斷；②解算相機位姿的初值，三角化得到場景點，將該幀加入窗口；③在窗口中構(gòu)建重投影誤差，采用步驟②中的初值進行優(yōu)化，并返回步驟①。

3 實驗部分

實驗分為水域分割實驗、改進ORB算法驗證、船舶航行環(huán)境感知實驗等3部分，實驗硬件條件為：單目相機采用工業(yè)相機(200萬像素，3.2 μm像素尺寸)，圖像獲取速度為30幀/s，分辨率為1 280×720。PC配置為Ubuntu操作系統(tǒng)，Intel Core i5-9300HCPU @ 2.40 GHz*4處理器。實驗數(shù)據(jù)為2020年南寧海事局執(zhí)法船使用單目相機拍攝的進港和靠泊視頻數(shù)據(jù)，GPS數(shù)據(jù)和IMU數(shù)據(jù)分別采用執(zhí)法船攜帶的GPS和慣性導航(簡稱慣導)系統(tǒng)記錄，相機位置均為近岸側(cè)船舷距船首三分之一船長處。實驗優(yōu)先選用近岸航行環(huán)境圖像數(shù)據(jù)。相比于大洋航行環(huán)境圖像數(shù)據(jù)，近岸航行環(huán)境圖像數(shù)據(jù)中的環(huán)境信息更豐富，更有助于驗證算法的可行性和優(yōu)越性。

3.1 水域分割實驗

選取兩組圖像：第一組圖像水域占比較小，岸上景物復雜，在水域清除時可能將景物與水域混淆；第二組圖像水域占比大，可能因倒影的存在而不能將水域部分完全清除。圖5為原始圖像的HSV分割與聚類過程。閾值設(shè)置如下：H為35～77，S為43～255，V為46～255。經(jīng)過閾值分割后水域仍有部分未被清除(圖5b中的未分割部分較為明顯)，經(jīng)過聚類完善后水域基本被清除。采用聚類后的圖像能夠為后續(xù)特征點提取以及位姿估計提供較好的條件。

a)訓練基地圖像

b)近岸航行環(huán)境圖像

為驗證經(jīng)過聚類分割后的圖像對提取特征點的改進效果，對分割前后的第一組圖像和第二組圖像，對比傳統(tǒng)ORB算法與尺度不變特征變換(scale-invariant feature transform，SIFT)算法的提取效果。把圖像邊緣5像素以內(nèi)的點定義為邊緣點。由表1可以發(fā)現(xiàn)，分割后圖像特征點提取速度明顯加快且邊緣點比例有所下降。圖6為對分割前后的第二組圖像的特征點提取對比圖，分割前圖像中的水面倒影被提取了特征點，分割后的圖像則未發(fā)生這種情況。

表1 HSV分割效果對比

圖6 分割前后圖像的特征點提取效果

3.2 改進ORB算法驗證

采用兩組分割后的圖像，第一組環(huán)境復雜度較高且環(huán)境細節(jié)較多，第二組環(huán)境復雜度較低且環(huán)境細節(jié)較少。對比本文算法與SIFT、SURF(speeded-up robust features)、ORB等3種經(jīng)典算法提取特征點的耗時和邊緣點比例。其中，SIFT是一種基于尺度空間的，對圖像縮放、旋轉(zhuǎn)、仿射變換保持不變性的圖像局部特征描述算法，SURF是一種穩(wěn)健的局部特征點檢測和描述算法。對每組圖像各提取1 000、5 000個特征點。把圖像邊緣5像素以內(nèi)的點定義為邊緣點，邊緣點大概率是噪點。提取特征點所消耗的時間與所提取特征點數(shù)量呈正相關(guān)關(guān)系。由表2可知，使用本文算法在提取5 000個特征點時，不僅速度比傳統(tǒng)ORB算法的快，而且邊緣點的數(shù)量大大減少了。

表2 不同算法特征點提取效果對比

采用關(guān)鍵幀算法選取關(guān)鍵幀，并對兩組圖像進行特征點提取展示，特征點提取數(shù)量L0和匹配數(shù)量L1、L2分別設(shè)置為1 000、750、720。滑動窗口中的窗口大小M和最新關(guān)鍵幀N分別取8和4。圖7為訓練基地圖像選取關(guān)鍵幀的水域清除和特征點提取效果。圖8為近岸航行環(huán)境圖像選取關(guān)鍵幀的水域清除和特征點提取效果。由圖7和8可知，選取的關(guān)鍵幀均保持著較好的水域清除和特征點提取效果。

a)關(guān)鍵幀1

b)關(guān)鍵幀2

c)關(guān)鍵幀3

d)關(guān)鍵幀4

a)關(guān)鍵幀1

b)關(guān)鍵幀2

c)關(guān)鍵幀3

d)關(guān)鍵幀4

3.3 船舶航行感知

3.3.1 自身運動記錄

圖9a為GPS與ORB-SLAM算法記錄軌跡的對比圖，圖9b為GPS與改進ORB-SLAM算法記錄軌跡的對比圖。在改進ORB-SLAM算法記錄的軌跡中，由于初始狀態(tài)特征點追蹤效果不佳，故記錄軌跡與GPS軌跡存在一定的偏差。當船舶進行轉(zhuǎn)向時，由于部分特征點丟失，所記錄的軌跡同樣出現(xiàn)了偏差。當算法穩(wěn)定運行時，ORB-SLAM算法、改進ORB-SLAM算法與GPS所記錄軌跡的偏差折線圖見圖10，其中：ORB-SLAM算法與GPS所記錄軌跡的最大偏差為7.382 m，平均偏差為5.441 m；改進ORB-SLAM算法與GPS所記錄軌跡的最大偏差為4.400 m，平均偏差為2.845 m。

a)ORB-SLAM算法軌跡

b)改進ORB-SLAM算法軌跡

圖10 ORB-SLAM算法和改進ORB-SLAM算法與GPS所記錄軌跡的偏差對比

圖11a為慣導系統(tǒng)記錄的位姿角變化情況。圖11b為改進ORB-SLAM算法根據(jù)單目相機拍攝圖像所記錄的位姿角變化情況。改進ORB-SLAM算法相比于慣導系統(tǒng)，在初始狀態(tài)特征點追蹤未穩(wěn)定的情況下，所記錄的軌跡存在較大誤差。在轉(zhuǎn)向過程中，部分特征點丟失，誤差增加。當改進ORB-SLAM算法穩(wěn)定運行時，其累積誤差比慣導系統(tǒng)的大，但精度滿足定位要求。

3.3.2 周圍環(huán)境記錄

選取執(zhí)法船訓練基地靠泊與近岸航行的深度圖與點云圖進行對比。靠泊運動過程有水域面積占比變化大、運動速度慢、方向指向視野內(nèi)、復雜景物多等特點；近岸航行運動過程存在水域面積占比變化小、運動速度快、方向為橫向、復雜景物少等特點。在記錄靠泊運動圖像時，水域面積大小的改變需要算法對其多次清除修正，提取噪點的概率高；運動速度慢、復雜景物多的特點有利于提取特征點，提高運動估計準確度。在記錄近岸運動圖像時，水域面積占比變化小，算法能將水域穩(wěn)定清除，提取噪點的概率低；運動速度快、復雜景物少的特點使得提取特征點的難度加大，易造成部分特征點丟失。

a)慣導系統(tǒng)

b)本文算法

圖12a和12b分別為訓練基地靠泊的點云圖和深度圖，雖然水域發(fā)生變化但圖像中水域部分未出現(xiàn)錯誤點云，驗證了水域清除算法的有效性。圖12c和12 d分別為為近岸航行環(huán)境的點云圖和深度圖，運動速度快且未造成圖像缺失或圖像畸形，驗證了改進算法的有效性。

a)訓練基地靠泊點云圖

b)訓練基地靠泊深度圖

c)近岸航行點云圖

4 結(jié) 論

本文提出一種基于單目相機的海上航行環(huán)境感知模型。針對感知過程中水面光照反射影響感知效果的問題，采用基于HSV顏色空間的閾值分割對環(huán)境圖像進行預處理，并結(jié)合K均值聚類分割對殘留的水域進行清除，減少水面光照反射影響。改進ORB特征點提取算法，減少提取特征點所需時間并減少了噪點的出現(xiàn)概率，使得在感知過程中所記錄的船舶自身軌跡與位姿滿足實際定位要求，并能夠?qū)崟r構(gòu)建深度圖。本文研究可為海上未知領(lǐng)域探索和海上空間信息基礎(chǔ)設(shè)施構(gòu)建提供理論基礎(chǔ)。本文提出的算法對環(huán)境要求較高，對船舶夜間航行時的感知效果存在一定的局限性，需要進一步研究。